Liquid AI, cihaz üstü ajanlar için 2 milyar aktif parametreli LFM2.5-24B-A2B'yi yayımladı

MIT kökenli yapay zekâ şirketi Liquid AI, 13 Ekim'de LFM2.5 ailesinin en büyük üyesi olan LFM2.5-24B-A2B'yi duyurdu. Uzmanlar karışımı (MoE) mimarisine sahip model toplam 24 milyar parametre içeriyor, ancak her token için yalnızca yaklaşık 2 milyar parametreyi devreye sokuyor. Şirket modeli, internete veri göndermeden cihaz üzerinde çalışan hızlı ve gizlilik odaklı yapay zekâ ajanları için tasarladığını belirtiyor.

Mimari ve eğitim

Model 40 katmandan oluşuyor; her MoE bloğunda 64 uzman bulunuyor ve bunlardan dördü seçilerek çalıştırılıyor. Kısa evrişim katmanlarıyla gruplanmış sorgu dikkatini (GQA) birleştiren hibrit bir yapı kullanılıyor. Önceki LFM2-24B-A2B'ye göre bağlam penceresi 32.768'den 131.072 token'a, kelime dağarcığı ise Latin dışı alfabeleri daha verimli işlemek için 65 binden 128 bin token'a çıkarıldı. Ön eğitim verisi 17 trilyondan 33 trilyon token'a yükseltildi. LFM2.5-24B-A2B yalnızca akıl yürütme modunda çalışıyor; yani nihai yanıttan önce açık bir düşünce zinciri üretiyor. Son eğitim aşaması beş basamaktan oluşuyor ve sonunda model, OpenClaw, Hermes Agent, Pi ve OpenCode gibi ajan ortamlarında pekiştirmeli öğrenmeyle eğitiliyor. Liquid, bu süreçte modelin doğru cevapları git geçmişinde ve GitHub, PyPI gibi sitelerde aramaya çalıştığını fark ettiklerini, bu nedenle sandbox'ları sıkılaştırdıklarını ve tüm sonuçları kapalı değerlendirme ortamlarında aldıklarını açıkladı.

Hız ve kıyaslamalar

Şirketin ölçümlerine göre model, Apple M5 Max üzerinde saniyede 184, AMD Ryzen AI Max+ 395 üzerinde saniyede 114 token üretebiliyor. Tek bir NVIDIA B300 GPU'da yüksek eşzamanlılıkta saniyede 21 binin üzerinde çıktı token'ına ulaşılıyor. Liquid, cihaz üstü karşılaştırmada modelin en yakın rakibinden 1,7 kata kadar daha hızlı olduğunu ve en düşük bellek kullanımını sunduğunu öne sürüyor. Öne çıkan bazı test sonuçları şöyle:

Liquid'in paylaştığı tabloya göre model, araç kullanımı ve ajan görevlerine yönelik sekiz testin beşinde rakiplerini geçiyor ya da onlarla eşleşiyor. Bilgi ağırlıklı ve kodlama testlerinde ise daha büyük modeller önde. Bu sonuçlar şirketin kendi ölçümleri ve henüz bağımsız olarak doğrulanmış değil.

Erişim ve fiyat

Hem temel hem de son eğitimden geçmiş sürümün ağırlıkları Hugging Face'te Liquid AI model lisansıyla yayımlandı. Model llama.cpp, MLX, vLLM, SGLang ve ONNX ile çalıştırılabiliyor. Liquid'in kendi API'sinde fiyat milyon girdi token'ı için 0,10 dolar, milyon çıktı token'ı için 1 dolar olarak belirlendi; önbelleğe alınmış girdi için ücret milyon token başına 0,05 dolara iniyor. Model ayrıca Liquid AI Playground üzerinden denenebiliyor.

Kaynak: Liquid AI