Runtime-agnostiset tekoälytyönkulut: malli, joka tasapainottaa tuotannon vakauden ja nopean arviointi-iteroinnin

InfoQ Chinasta peräisin oleva artikkeli käsittelee Brexin AI-työnkulkualustalla kehitettyä mallia, jolla ratkaistaan tuotannon vakauden ja nopean arviointiiteroinnin välinen kompromissi. AI-työnkulut sisältävät vaiheita, joissa kutsutaan suuria kielimalleja (LLM), ja niiden orkestrointilogiikka on validoitava suorittamalla arviointeja merkittyjen tietojoukkojen avulla. Tuotanto vaatii kestäviä, hajautettuja suoritusympäristöjä, kuten Temporal, kun taas arviointi tarvitsee kevyitä, prosessin sisäisiä silmukoita. Useimmat viitekehykset kytkevät orkestroinnin tiukasti suoritusympäristöön, mutta Brexin malli erottaa ne toisistaan: orkestrointi on tavallinen funktio, joka riippuu vain tyypitetystä Steps-rajapinnasta, ja sivuvaiikutukset ovat konkreettisissa Steps-toteutuksissa. On olemassa kaksi sovitinta: Temporal-sovitin tuotantoa varten, jossa jokainen Steps-metodi muuttuu aktiviteetiksi, ja arviointisovitin, joka suorittaa saman orkestroinnin prosessin sisäisesti mock-liitännäisillä. Tämä lähestymistapa poistaa arvioinnin ja tuotannon välisen erkaantumisen, tekee suoritusympäristön valinnasta käänteisen ja on parantanut pitkäkestoisten tehtävien valmistumisasteen noin 96 prosentista 99,9 prosenttiin, vaikka se edellyttääkin suoritusympäristökohtaisten ominaisuuksien mallintamista rajapintojen kautta ja menettää valmiit visualisointityökalut.