smevals: uusi työkalu mallien, promptien ja harnessien arviointiin
OpenAI
Anthropic
Simon Willison esitteli smevalsin — uuden viitekehyksen pienten arviointitestijoukkojen (evals) ajamiseen erilaisille mallikonfiguraatioille ja tulosten arviointiin. Työkalu sisältää komennot ajoa, arviointia ja tulosten visualisointia varten sekä tukee staattista HTML-raporttien generointia.
Simon Willison on yhdessä Jesse Vincentin sovelletun tekoälyn Prime Radiant -laboratorion kanssa kehittänyt smevals-työkalun, joka on tarkoitettu pienten evaluointitestien (evals) ajamiseen eri mallikonfiguraatioille ja tulosten arviointiin. Työkalu mahdollistaa eval-sarjojen luomisen hakemistoina, joissa on YAML-tiedostoja, niiden ajamisen malleilla, kuten gpt-5.5 ja claude-opus-4.6, sekä tulosten arvioinnin määritettyjen tarkistusten avulla. Tulosten analysointia varten on saatavilla paikallinen verkkopalvelin ja staattisen HTML-raportin luontikomento. Willison kertoi, että tämä on hänen kolmas iteraationsa eval-lähestymistavasta, ja hän suunnittelee laajentavansa työkalua tulevaisuudessa.
Lähde: Simon Willison —
Alkuperäinen