ByteDance Seed onthult SeedRealtime: een full-duplex audiovisuele LLM die kijkt, luistert en spreekt in één model

Het Seed-team van ByteDance heeft SeedRealtime onthuld, een native audiovisuele full-duplex large language model dat audio, video en tekst integreert in één end-to-end architectuur. In tegenstelling tot traditionele cascadesystemen die automatische spraakherkenning (ASR), visie-taalmodellen (VLM) en tekst-naar-spraak (TTS) modules aan elkaar rijgen, voert SeedRealtime perceptie, begrip, besluitvorming en expressie parallel uit, en handelt het ook turn-taking intern af, waardoor er geen externe stemactiviteitsdetector nodig is. Het bedrijf claimt drie belangrijke doorbraken: gezamenlijk audiovisueel begrip, proactieve interactie en natuurlijke gesprekstiming. In demonstraties slaagde het model erin namen te koppelen aan gezichten in lawaaierige omgevingen, gebruikers proactief te herinneren wanneer een specifiek object in beeld kwam, espressozetstappen te corrigeren op basis van de visuele staat, en irrelevante gesprekken te onderdrukken terwijl het informatie buiten het scherm ophaalde. SeedRealtime wordt momenteel ingezet in de Doubao-app van ByteDance, maar het bedrijf heeft geen technisch rapport, parameteraantal, open gewichten of een API gepubliceerd, waardoor het niet beschikbaar is voor integratie door derden. Interne evaluaties van ByteDance melden dat pacingproblemen gehalveerd zijn vergeleken met cascadestapels, maar er zijn geen benchmarks of latentiecijfers verstrekt.