AMD ROCm 7 tanıtıldı: Yapay zekada 3.5 kat performans artışı

AMD, açık kaynak yazılım yığını ROCm’un (Radeon Open Compute) en yeni sürümünü resmen duyurdu. ROCm 7, yapay zeka çıkarımı (inference), model ölçekleme, ileri düzey algoritmalar ve geliştirici verimliliğini artıran birçok yenilikle geliyor. Yeni sürüm özellikle AMD’nin MI350 hızlandırıcı serisine ve FP8/FP6 gibi karma hassasiyetli veri türlerine yönelik tam destek sunuyor.

Tek odak yapay zeka

ROCm 7, önceki nesil ROCm 6 ile karşılaştırıldığında yapay zeka iş yüklerinde 3.5 kata kadar performans artışı sağlıyor. Öne çıkan modellerdeki kazançlar şöyle:

Llama 3.1 70B: 3.2 kat artış
Qwen2-72B: 3.4 kat artış
DeepSeek R1: 3.8 kat artış

AMD, DeepSeek R1 modelinde ROCm 7'yi MI355X GPU ile çalıştırarak, Nvidia’nın en yeni Blackwell B200 GPU’su ve CUDA yazılım yığınına kıyasla yüzde 30 daha yüksek FP8 verimi elde ettiğini de iddia ediyor.

Yeni özellikler ve yazılım katmanları

ROCm 7, sadece hız artışı değil, aynı zamanda ileri düzey kullanım kolaylığı da vadediyor. Yazılım paketine dahil olan bazı yeni özellikler:

Yeni algoritmalar ve çekirdekler: GEMM autotuning, MoE (Mixture of Experts), Attention, Python tabanlı çekirdek yazımı
Gelişmiş çıkarım optimizasyonları: Distributed inference, prefill, disaggregation
Yazılım entegrasyonları: vLLM v1, llm-d, SGLang
Kurumsal yetenekler: Kümelenmiş yönetim, kurumsal dağıtım kolaylığı, güvenli veri entegrasyonu

Ayrıca ROCm 7, FP8, FP6, FP4 ve karma hassasiyetli işlem desteğiyle daha fazla model esnekliği sağlıyor. AMD bu sayede hem eğitim hem de çıkarım işlemlerinde daha düşük güç tüketimiyle yüksek performans sunabiliyor.

Masaüstü ve dizüstü sistemlere genişleme

AMD, ROCm’un destek alanını da genişletiyor. Bu yılın ikinci yarısında ROCm 7, Ryzen tabanlı dizüstü ve iş istasyonlarında da çalışabilecek. Ayrıca tam Linux desteği ve tam Windows uyumluluğu da sağlanacak.

Haberi DH'de Gör Yorumlar ve Diğer Detaylar