Anlık Bildirim

Nvidia ekran kartlarında yerel yapay zekâ kurulumu kolaylaşıyor

Nvidia, RTX ve DGX sistemlerinde yerel yapay zekâ kullanımını hızlandıracak yeni optimizasyonlar duyurdu. llama.cpp ve vLLM geliştirmeleriyle performans artarken, tek tıkla kurulum desteği de geliyor.

Nvidia ekran kartlarında yerel yapay zekâ kurulumu kolaylaşıyor Tam Boyutta Gör
Nvidia, yerel olarak çalışan yapay zekâ modelleri ve otonom ajanlar için RTX ve DGX platformlarına yönelik yeni geliştirmeleri duyurdu. Şirket, açık kaynaklı llama.cpp ve vLLM topluluklarıyla yapılan optimizasyonların bazı iş yüklerinde performansı önemli ölçüde artırdığını açıkladı. Yeni geliştirmeler özellikle yerel yapay zekâ çıkarımı yapan kullanıcıları ilgilendiriyor.

RTX ve DGX için hız artışı

Nvidia'nın paylaştığı testlerde RTX ve DGX sistemlerinde token üretim hızında ciddi artışlar elde edildi. Şirketin verdiği bilgilere göre GeForce RTX 5090 gibi üst seviye RTX GPU'larında llama.cpp kullanılarak yapılan testlerde, Qwen3.6-27B modelinde token üretim hızı yüzde 50'ye kadar arttı. Daha büyük Qwen3.6-35B modelinde ise hızlanmanın yüzde 90'a kadar ulaştığı belirtiliyor.

Nvidia ekran kartlarında yerel yapay zekâ kurulumu kolaylaşıyor Tam Boyutta Gör
Bu sonuçlar, SpeedBench-Coding 8K Throughput testi ve AIPerf kullanılarak ölçüldü. Optimizasyonlar yalnızca oyuncu odaklı RTX ekran kartlarıyla sınırlı değil. RTX PRO 6000 Blackwell ekran kartında vLLM üzerinden gerçekleştirilen testlerde, ilgili modellerde yüzde 20'ye kadar performans artışı sağlandığı belirtiliyor.

DGX Spark platformunda ise Qwen3.6-27B modeliyle yapılan vLLM testlerinde 1,4 kata kadar hızlanma elde edildi. DeepSeek v4 Flash ile yapılan yapay zekâ çıkarım işlemlerinde de yüzde 20 civarında bir artış yaşanmış durumda. Nvidia, bu performans kazanımlarının yeni çekirdek optimizasyonları sayesinde elde edildiğini söylüyor.

Nvidia ekran kartlarında yerel yapay zekâ kurulumu kolaylaşıyor Tam Boyutta Gör
Güncellemeler, speculative decoding tekniklerinin geliştirilmesini ve modelin ilk veri işleme aşamasının hızlandırılmasını içeriyor. Nvidia'nın paylaştığı verilere göre bazı iş yüklerinde elde edilen toplam hızlanma 1,9 kata kadar çıkabiliyor.

GPU'lara tek tıkla yapay zekâ kurulumu

Nvidia'nın ikinci önemli duyurusu ise yerel yapay zekâ kullanımını daha kolay hale getirmeyi amaçlıyor. Şirket, 24 GB veya daha yüksek VRAM kapasitesine sahip Nvidia GPU'lar için çeşitli yapay zekâ ajanlarında kolaylaştırılmış kurulum desteği sunacak. Bu destek ilk aşamada üç önemli platformu kapsıyor. Bunlar Hermes Agent, OpenClaw ve Perplexity Computer.

Nvidia ekran kartlarında yerel yapay zekâ kurulumu kolaylaşıyor Tam Boyutta Gör
Perplexity Portable Computer'ın eylül ayında Windows ve Linux'taki uygun RTX sistemlerine gelmesi planlanıyor. Kullanıcılar iş akışlarını yerel olarak çalıştırabilecek, ihtiyaç halinde ise buluttaki gelişmiş modellere geçebilecek. Hermes Agent tarafında sistem, Nvidia GPU'yu otomatik olarak algılayarak uygun model ve yapılandırmayı seçebilecek. Böylece manuel model indirme ve ayar yapma ihtiyacı azaltılacak.

Nvidia, Microsoft ve OpenClaw tarafından geliştirilen Windows uygulaması da benzer şekilde 24 GB ve üzeri VRAM'e sahip RTX GPU'larda optimize edilmiş yerel modellerin daha kolay kurulmasını sağlayacak. 

Bu haberi ve diğer DH içeriklerini, gelişmiş mobil uygulamamızı kullanarak görüntüleyin: DH App Gallery Uygulamasını İndir DH Android Uygulamasını İndir DH iOS Uygulamasını İndir
Sorgu:

Editörün Seçtiği Sıcak Fırsatlar

Tavsiyelerimiz

Yeni Haber
şimdi
Geri Bildirim