İnce Satırlar
Liste Modu
Döşeme Modu
Sade Döşeme Modu
Blog Modu
Parçalı yapay zekâ devrimi
Amatör bir hesap tarafından yapılan paylaşım, akıllı telefonların da yapay zekâ dil modellerini kendi üzerinde çalıştırabileceğini gösterdi. Anemll hesabı iPhone 17 Pro üzerinde çalışan 400 milyar parametreli bir model paylaşımı yaptı ki normalde bu tür modeller 200GB bellek gerektiriyor.
Flash-MoE açık kaynak projesi üzerine inşa edilen bu model ilginç bir yöntem benimsiyor. Modelin tüm bileşenlerini yüklemek yerine sadece temel bileşeni uyanık tutuyor ve gerek duyuldukça gereken bileşeni depolamadan çekerek devreye sokuyor. Böylece tam fonksiyon çalışmak yerine parçalı bir şekilde çalışıyor. Üstelik bellek ve işlemci kullanımı da kabul edilebilir seviyelerde kalıyor.
Bu yöntemin dezavantajı ise saniyede 0.6 token üretmesi. Yani bir komuta cevap verebilmesi epey uzun sürüyor. İnternette anında cevap aldığımı modellerin aksine bu modelde biraz sabırlı olmak gerekiyor. Diğer taraftan bataryayı adeta sömürdüğü de dikkatlerden kaçmıyor.
Şimdilik bu tür mobil modellerin genel dil modellerinin yerini alması mümkün değil ancak zamanla gerek hızlı cevap verme gerekse de batarya tüketimi konusunda ilerlemelerin yaşanacağını tahmin etmek zor değil.
Bu haberi ve diğer DH içeriklerini, gelişmiş mobil uygulamamızı kullanarak görüntüleyin:
