Mukautetut palkkiofunktiot monivaiheiseen vahvistusoppimiseen Amazon Nova Forge -palvelulla
Amazon/AWS
Amazon Nova Forge mahdollistaa mukautetut palkkiofunktiot monivaiheiseen vahvistusoppimiseen, jolloin tiimit voivat määritellä, miltä hyvä lopputulos näyttää, kun palvelu koordinoi roolipelijaksoja ja keskustelutilaa. Artikkeli käsittelee moniosaisten monivaiheisten palkkioiden suunnittelua GRPO:lle, mallin tuottaman koodin turvallista suorittamista ja sudenkuoppia, jotka voivat romauttaa palkkiosignaalin.
Monivaiheisessa vahvistusoppimisessa (RL) mukautettu palkkiofunktio määrää, mitä malli oppii, ja hienovaraisesti väärä palkkio voi opettaa väärän asian terveistä harjoituskäyristä huolimatta. Amazon Nova Forge suorittaa palkkiologiikan omassa ympäristössäsi Bring Your Own Orchestration (BYOO) -ominaisuuden kautta, ja palvelimeton monivaiheinen RL-vaihtoehto on nyt yleisesti saatavilla. Postaus keskittyy sellaisen yhdistelmäpalkkion suunnitteluun, josta Group Relative Policy Optimization (GRPO) voi oppia, mukaan lukien käytännön esimerkki Amazon Nova Lite 2.0:n opettamisesta kysymään ennen koodaamista monivaiheisessa yhteistyökoodaustehtävässä. Esimerkki käyttää neliosaista palkkiota: oikeellisuus, asked_before_coding, guessed_immediately ja loop_penalty. Se käsittelee myös mallin tuottaman koodin turvallista suorittamista, varotoimilla kuten tunnistetietojen tai verkon altistamatta jättäminen, resurssirajoitusten soveltaminen ja testien määrän vahvistaminen. Sudenkuopat-osio käsittelee palkkiohakkerointia, harjoituksen epävakautta ja palkkion romahtamista, korostaen että palkkiosignaali vaikuttaa oppimiseen vain ryhmän sisäisen vaihtelun kautta, joten termi, joka saa saman arvon jokaiselle suoritukselle, ei edistä gradienttia lainkaan. Haluttujen käytösten portin avaamisen ja epäonnistumistilojen rankaisemisen tärkeyttä korostetaan, sekä tarvetta instrumentoida jokainen komponentti, jotta voi luottaa siihen, mitä harjoitus oppii.
Lähde: AWS ML blog —
Alkuperäinen