NVIDIA, ajanlar için 120 milyar parametreli açık modeli Nemotron 3.5 Super VL'i yayımladı

NVIDIA, açık model ailesi Nemotron'a üç yeni üye ekledi. Şirketin 15 Ekim'de resmi blogunda duyurduğu Nemotron 3.5 Super VL, uzun soluklu ve çok adımlı görevleri yürüten yapay zeka ajanları için tasarlanmış, metnin yanı sıra görsel, belge ve video da anlayabilen 120 milyar parametreli bir model. Aynı duyuruda, kişisel bilgisayarlarda ve cihaz üzerinde çalışması hedeflenen iki Nemotron 3.5 Bolt modeli de tanıtıldı.

Super VL neler vaat ediyor?

NVIDIA'nın paylaştığı bilgilere göre Super VL, uzmanlar karışımı (MoE) mimarisiyle 120 milyar toplam parametreye karşın her adımda yaklaşık 12 milyar parametreyi etkinleştiriyor. Şirket, modelin kendi en büyük akıl yürütme modeline yakın doğruluk sunduğunu ve bunu yaklaşık beşte bir parametreyle yaptığını, ayrıca sınıfındaki en yakın rakibinden beş kat hızlı olduğunu öne sürüyor. Model ön eğitimde yaklaşık 26 trilyon token ile eğitildi; ardından yaklaşık 3,8 milyon örnekle ince ayar ve takviyeli öğrenme uygulandı. NVIDIA, Dynamo altyapısıyla aynı donanımda sekiz kata kadar daha fazla kullanıcıya hizmet verilebileceğini ve gecikmenin yüzde 85 azalabileceğini belirtiyor. Bu rakamların şirket beyanı olduğunu hatırlatmak gerek; bağımsız ölçüm kuruluşu Artificial Analysis ise modeli kendi zeka endeksinde 26,5 puanla listeliyor.

Super VL; Hugging Face, OpenRouter, ModelScope ve NVIDIA NIM üzerinden erişime açıldı. NVIDIA, model ağırlıklarının yanında eğitim veri setlerini ve eğitim tariflerini de paylaştığını vurguluyor. Scale AI, AfterQuery, AI21 ve Mercor gibi şirketlerin modeli finans, birleşme-satın alma analizi, siber güvenlik ve yazılım geliştirme gibi alanlara uyarladığı aktarılıyor; Atlassian, CrowdStrike, Perplexity ve Salesforce ise entegrasyon ortakları arasında sayılıyor.

Masaüstü için Bolt modelleri

Ailenin küçük üyeleri de dikkat çekici. Nemotron 3.5 Bolt 74B-A9B, yerleşik 2 bit nicemleme sayesinde 24 GB belleğe sığacak şekilde tasarlandı ve Ollama, LM Studio, llama.cpp ile vLLM gibi araçlarla yerel olarak çalıştırılabiliyor. NVIDIA, modelin PinchBench'te sınıfındaki açık modeller arasında birinci, BrowseComp'ta ise ikinci olduğunu açıkladı. Yaklaşık 4 GB bellek kullanan Bolt E4B ise sesli asistanlar gibi hızlı sohbet ajanları ve Jetson tabanlı fiziksel yapay zeka cihazları için hazırlandı; bu modelin 23 Ekim'de yayımlanması planlanıyor.

Gelişme, Türkiye'deki geliştiriciler ve kurumlar için de anlam taşıyor. Ağırlıkları açık bir modelin kendi sunucularda çalıştırılabilmesi, verinin yurt dışındaki bir bulut hizmetine gönderilmesini istemeyen bankacılık, kamu ve sağlık gibi sektörler açısından önemli bir seçenek. Tek bir üst seviye ekran kartıyla çalışabilen Bolt modeli ise bireysel geliştiricilerin yerel kodlama asistanı ya da araştırma ajanı denemelerini kolaylaştırabilir. Modelin lisans koşullarının ticari kullanım açısından ayrıca incelenmesi öneriliyor.

Kaynak: NVIDIA, Interesting Engineering, Let's Data Science