ByteDance Seed Luncurkan SeedRealtime: LLM Audio-Visual Full-Duplex yang Menonton, Mendengar, dan Berbicara dalam Satu Model

Tim Seed ByteDance telah meluncurkan SeedRealtime, model bahasa besar full-duplex audio-visual native yang mengintegrasikan audio, video, dan teks dalam satu arsitektur end-to-end. Tidak seperti sistem kaskade tradisional yang merangkai modul pengenalan suara otomatis (ASR), model bahasa visi (VLM), dan text-to-speech (TTS), SeedRealtime melakukan persepsi, pemahaman, pengambilan keputusan, dan ekspresi secara paralel, serta menangani pergantian giliran bicara secara internal, menghilangkan kebutuhan akan detektor aktivitas suara eksternal. Perusahaan mengklaim tiga terobosan utama: pemahaman audio-visual bersama, interaksi proaktif, dan waktu percakapan yang natural. Dalam demonstrasi, model ini berhasil mencocokkan nama dengan wajah di lingkungan yang bising, secara proaktif mengingatkan pengguna ketika objek tertentu muncul di kamera, mengoreksi langkah-langkah pembuatan espresso berdasarkan keadaan visual, dan menekan percakapan yang tidak relevan sambil mengingat informasi di luar layar. SeedRealtime saat ini digunakan di aplikasi Doubao milik ByteDance, tetapi perusahaan belum menerbitkan laporan teknis, jumlah parameter, bobot terbuka, atau API, sehingga tidak tersedia untuk integrasi pihak ketiga. Evaluasi internal ByteDance melaporkan bahwa masalah kecepatan bicara berkurang setengahnya dibandingkan dengan tumpukan kaskade, tetapi tidak ada tolok ukur atau angka latensi yang diberikan.