ByteDance Seed, SeedRealtime'ı Tanıttı: İzleyen, Dinleyen ve Konuşan Tam Çift Yönlü Görsel-İşitsel Büyük Dil Modeli

ByteDance'ın Seed ekibi, ses, video ve metni tek bir uçtan uca mimaride birleştiren yerel bir işitsel-görsel tam çift yönlü büyük dil modeli olan SeedRealtime'ı tanıttı. Otomatik konuşma tanıma (ASR), görüntü-dil modeli (VLM) ve metin-konuşma sentezi (TTS) modüllerini zincirleyen geleneksel kademeli sistemlerin aksine SeedRealtime, algılama, anlama, karar verme ve ifade etme işlemlerini paralel olarak gerçekleştirir ve ayrıca konuşma sırası yönetimini dahili olarak ele alarak harici bir ses etkinliği algılayıcısına ihtiyaç duymaz. Şirket, üç önemli atılım olduğunu iddia ediyor: ortak işitsel-görsel anlama, proaktif etkileşim ve doğal konuşma zamanlaması. Gösterimlerde model, gürültülü ortamlarda yüzlerle isimleri başarıyla eşleştirdi, kameranın görüş alanında belirli bir nesne göründüğünde kullanıcıyı proaktif olarak uyardı, görsel duruma dayalı olarak espresso yapma adımlarını düzeltti ve ekran dışı bilgileri hatırlarken alakasız konuşmaları bastırdı. SeedRealtime şu anda ByteDance'ın Doubao uygulamasında kullanılıyor, ancak şirket teknik rapor, parametre sayısı, açık ağırlıklar veya bir API yayınlamadı; bu da üçüncü taraf entegrasyonunu imkansız kılıyor. ByteDance'ın dahili değerlendirmeleri, kademeli sistemlere kıyasla zamanlama sorunlarının yarı yarıya azaldığını bildiriyor, ancak herhangi bir kıyaslama veya gecikme süresi verisi sağlanmadı.