Amazon TorchNeuron ile PyTorch kodu yeniden yazılmadan Trainium'da çalışacak

Amazon, yapay zekâ geliştiricilerinin kendi çiplerine geçişini kolaylaştırmak için yeni bir yazılım katmanı duyurdu. Şirketin 19 Ekim'de yayımladığı açıklamaya göre TorchNeuron, AWS Trainium çipleri için geliştirilen yerel bir PyTorch arka ucu ve mevcut PyTorch kodunun yeniden yazılmadan, tek bir yapılandırma değişikliğiyle Trainium üzerinde çalışmasını sağlıyor.

Yalnızca cihaz ayarı değişiyor

Amazon'un aktardığına göre TorchNeuron, PyTorch'un donanım kaydı için sunduğu yerleşik mekanizmaya bağlanıyor. Bu sayede mevcut test, hata ayıklama ve ölçekleme araçları değişiklik gerektirmeden çalışmaya devam ediyor. Şirket mühendislerinin yaptığı gösterimde aynı eğitim betiği önce geleneksel bir çipte, ardından Trainium'da çalıştırıldı; iki çalışma arasındaki tek fark cihaz ayarıydı ve model aynı hızda aynı sonuçları öğrendi.

Amazon, yapay zekâ araştırmacı ve geliştiricilerinin yüzde 85'inin kodlarını PyTorch ile yazdığını belirtiyor. Bu da donanım değişikliğinin önündeki en büyük engellerden birinin kodu yeni çipe uyarlama maliyeti olduğu anlamına geliyor.

Teknik ayrıntılar

• Trainium2 ve Trainium3 çiplerini destekliyor.
• Dağıtık eğitim için TorchTitan ile entegre çalışıyor ve FSDP'yi destekliyor.
• Amazon her derlemede yüz binlerce yapay zekâ modeliyle test yaptığını söylüyor.
• Apache 2.0 lisansıyla açık kaynak olarak sunulacak.

Şirketin açıklamasına göre TorchNeuron, 20 Ekim'de başlayan PyTorch Conference North America etkinliğinde yayımlanacak. Amazon ayrıca PyTorch'taki çipe özgü bağımlılıkları azaltmak için projeye katkı gönderdiğini, vLLM'e büyük bir katkı yaptığını ve performans çekirdeklerinin tamamını açık kaynak hâline getirdiğini belirtiyor. Hugging Face de kendi araçlarında yerel Trainium desteğini etkinleştirdi.

İlk kullanıcılar

Amazon'un paylaştığı örneklere göre Cartesia, standart çıkarım hattını PyTorch kodunda küçük değişikliklerle Trainium'a taşıdı. Lieber Institute for Brain Development ise ilaç keşfi çalışmalarında biyolojik, kimyasal ve dil modellerini kullanıyor ve Trainium üzerinde moleküler dinamik yaklaşımlarını araştırıyor. Şirket, aynı donanımın yoğun saatlerde çıkarım, sakin saatlerde ise eğitim işleri için kullanılabildiğini vurguluyor.

Yazılım tarafındaki bu hamle, yapay zekâ çiplerinde rekabetin yalnızca donanım performansıyla değil, geliştiriciye sunulan yazılım ekosistemiyle de belirlendiğini bir kez daha gösteriyor.

Amazon'un verilerine göre şirketin özel çip işi yıllık 25 milyar doları aşan bir gelir hızına ulaştı. Amazon, 2015'te Annapurna Labs'i satın almasının ardından dört ayrı çip ailesi geliştirdi. TorchNeuron'un açık kaynak olarak sunulması, bu çiplerin daha geniş bir geliştirici kitlesi tarafından denenmesinin önünü açabilir. Türkiye'de AWS üzerinde model eğiten ya da çıkarım hizmeti çalıştıran ekipler için de mevcut PyTorch kodunu değiştirmeden farklı donanımları karşılaştırabilmek, maliyet planlamasında yeni bir seçenek anlamına geliyor.

Kaynak: Amazon, AWS, Hugging Face