NVIDIA esittelee Nemotron 3.5 Lightningin nopeisiin, erikoistuneisiin agenttitehtäviin
NVIDIA
NVIDIA on laajentanut Nemotron 3 -malliperhettään Nemotron 3.5 Lightningilla, joka on avoin 30B sekoitus-asiantuntijoita -malli, joka on suunniteltu aina päällä oleville agenteille. Se tarjoaa jopa 4 kertaa nopeamman tokenien tuoton ja 30 % nopeamman valmistumisajan verrattuna luokkansa avoimiin malleihin. Mallin voi hienosäätää yksilöllisiin tehtäviin, ja se toimii paikallisesti eri NVIDIA-alustoilla. NVIDIA esitteli myös NeMo Switchyardin, avoimen lähdekoodin reitityskirjaston, joka optimoi agenttien työnkulkuja tarkkuuden, nopeuden ja kustannusten suhteen, ja sen kerrotaan vähentävän vertailuarvojen suorituskustannukset noin kolmasosaan pelkän Opus 4.8:n kustannuksista.
NVIDIA on julkaissut Nemotron 3.5 Lightning -mallin, joka on muokattavissa oleva avoin 30B-moE-malli (mixture-of-experts) jatkuvasti päällä oleville agenteille, laajentaen Nemotron 3 -perhettä. Malli tuottaa tokenit jopa neljä kertaa nopeammin ja suorittaa tehtävät 30 prosenttia nopeammin verrattuna muihin avoimiin malleihin samassa luokassa. Koska painot ovat avoimet, kehittäjät voivat hienosäätää mallia tiettyihin tyyleihin, erikoisaloihin tai koodauskäytäntöihin, mahdollistaen henkilökohtaiset paikalliset agenttipohjaiset tekoälykokemukset, kuten sähköpostinhallinnan, älykotirutiinit tai koodausavustajat. NVIDIA on tehnyt yhteistyötä vLLM:n, Ollaman, llama.cpp:n, LM Studion ja Unslothin kanssa tarjotakseen optimoidut paikalliset käyttöönottovaihtoehdot, mukaan lukien NVFP4- ja GGUF-muodot. Malli toimii paikallisesti laitteissa aina NVIDIA RTX -tietokoneista ja DGX Sparkista Jetsoniin, ja skaalautuu työasemiin ja datakeskuksiin kumppanien, kuten Acerin, ASUSin, Dellin ja Lenovon, Blackwell-järjestelmillä. Lisäksi NVIDIA esitteli NeMo Switchyardin, avoimen lähdekoodin reitityskirjaston, joka ohjaa agenttityönkulun jokaisen vaiheen parhaiten sopivaan malliin tarkkuuden, nopeuden ja kustannusten perusteella, auttaen yrityksiä hallitsemaan token-kustannuksia. Sisäiset vertailut osoittavat, että NeMo Switchyard vähensi vertailutehtävien suorituskustannukset noin kolmasosaan Opus 4.8:n kustannuksista säilyttäen samalla huipputason tehtävien suorituskyvyn. NeMo Switchyard on saatavissa GitHubista.
Lähde: NVIDIA blog —
Alkuperäinen