Kiinalainen malli SenseNova U1.5-Lite-Preview avoimen lähdekoodin kanssa natiivi 4K-lähtö

SenseTime on julkaissut avoimen lähdekoodin yhteisölle SenseNova U1.5-Lite-Preview:n, joka on varhainen esikatselu kevyestä natiivista yhtenäisestä multimodaalimallista. Se perustuu itse kehitettyyn NEO-Unify-arkkitehtuuriin, joka mallintaa kielen, visuaalisen semantiikan ja pikseligeneroinnin yhdessä kehyksessä kattaen visuaalisen ymmärtämisen, päättelyn, generoinnin ja muokkauksen. Pienestä 8B-MoT-parametrimäärästään huolimatta se pystyy käsittelemään pitkiä, monirajoitteisia, hierarkkisia ja jäsenneltyjä visuaalisia ohjeita, mikä tekee siitä taitavan luomaan korkean informaatiotiheyden sisältöä, kuten julisteita ja infografiikoita. Malli tukee myös generoinnin jälkeistä muokkausta, mukaan lukien referenssikuvat, monikuvakoosteen ja tarkan paikallisen muokkauksen punaisten laatikoiden, koordinaattien ja merkintöjen avulla. Se osoitti kykynsä kopioida ja mukauttaa suunnittelukehyksiä, kuten muuntaa elokuvateemaisen infografiikan postimatkaksi, ja muokata yksittäisiä merkkejä, kuten muuttaa '迎' merkiksi '命' järjestämällä visuaaliset elementit uudelleen. Malli pystyy myös yhdistämään useita referenssikuvia, muuttaen oikean valokuvan käsin piirretyksi reseptiksi tai muotokuvan yksisivuiseksi ansioluetteloksi. SenseNova suunnitteli generointipään uudelleen nostaakseen natiiviresoluution 4K-tasolle, vähentäen ruudukkoartefakteja ja parantaen tekstuurin yksityiskohtia. Suorituskyky parani vertailuarvoissa: Qwen-Image-Bench-pisteet nousivat 47,14:stä 55,20:een, ImgEdit-Bench 3,90:stä 4,37:ään, GEdit-Bench englanniksi 7,47:stä 8,17:ään ja kiinaksi 7,42:stä 8,05:een, ja WeEdit Overall Average on 6,44. U1.5:n virallisen version odotetaan avoimen lähdekoodin julkaisua lähiaikoina. Linkit on annettu GitHubissa, Hugging Facessa ja ModelScopessa.