BAAI

Näin kutistin venäläisen upotuskoneen 24 miljoonaan parametriin – ja melkein pilasin sen yhdellä numerolla

Insinööri koulutti kevyen venäläisen tiheän hakukoneen, STRIZH:n, jossa on 24,4 miljoonaa parametria ja 4 kerrosta, paikalliseen RAG-käyttöön jaetulla GPU:lla. Yksi väärä numero tokenisaattorin asetuksissa (model_max_length=256) pudotti Recall@10:n arvosta 0,589 arvoon 0,448, mikä melkein mitätöi työn. Malli on tarkoitettu nopeaan ensimmäisen vaiheen hakuun AMD Strix Halo -laitteella, ja se kilpailee bge-m3:n kanssa rinnakkaisasennusskenaarioissa.

DeepPavlov BAAI Microsoft