ByteDancen Seed esittelee SeedRealtime-mallin: täysin duplex-audiovisuaalinen LLM, joka katsoo, kuulee ja puhuu yhdessä mallissa

ByteDancen Seed-tiimi on esitellyt SeedRealtimen, natiivin audio-visuaalisen full-duplex-suurkielimallin, joka yhdistää äänen, videon ja tekstin yhteen päästä päähän -arkkitehtuuriin. Toisin kuin perinteiset kaskadijärjestelmät, jotka ketjuttavat automaattisen puheentunnistuksen (ASR), visio-kielimallin (VLM) ja tekstistä puheeksi -moduulit (TTS), SeedRealtime suorittaa havaitsemisen, ymmärtämisen, päätöksenteon ja ilmaisun rinnakkain, ja hoitaa myös vuoronvaihdon sisäisesti, jolloin erillistä puheaktivaation tunnistinta ei tarvita. Yritys väittää saavuttaneensa kolme keskeistä läpimurtoa: yhteinen audio-visuaalinen ymmärrys, ennakoiva vuorovaikutus ja luonnollinen keskustelun ajoitus. Demoissa malli yhdisti onnistuneesti nimet kasvoihin meluisassa ympäristössä, muistutti käyttäjää ennakoivasti, kun tietty esine ilmestyi kameran näkökenttään, korjasi espresson valmistusvaiheita visuaalisen tilan perusteella ja vaimentoi epäolennaista taustapuhetta samalla kun se palautti mieleen näytön ulkopuolista tietoa. SeedRealtime on tällä hetkellä käytössä ByteDancen Doubao-sovelluksessa, mutta yritys ei ole julkaissut teknistä raporttia, parametrimäärää, avoimia painoja tai ohjelmointirajapintaa, joten se ei ole kolmansien osapuolten integroitavissa. ByteDancen sisäisten arvioiden mukaan rytmitysongelmat ovat puolittuneet verrattuna kaskadipinoihin, mutta vertailuarvoja tai viivelukemia ei ole annettu.