Apple’dan yapay zekada “görsel dil” devrimi: FastVLM

Metin Akpınar

Teknoloji Editörü

Apple’dan yapay zekada “görsel dil” devrimi: FastVLM — **Apple**, yapay zeka dünyasında önemli bir adım atarak **FastVLM** adını verdiği yeni **görsel-dil modelini** (VLM) kullanıcıların beğenisine sundu. 2024’te tanıtılan bu model, hız, ölçeklenebilirlik ve doğruluk açısından mevcut birçok modele fark atacak şekilde tasarlandı. FastVLM, özellikle gerçek zamanlı uygulamalarda, mobil, bulut ve uç cihazlarda kullanılmak üzere optimize edilmiş bir çözüm sunuyor.

Etkileyici bir model

Apple, FastVLM’i Hugging Face platformunda 0.5, 1.5 ve 7 milyar parametreli modeller olarak yayınladı. Modelin önemli teknik avantajları arasında benzer boyuttaki VLM’lere kıyasla 85 kat daha hızlı ve 3,4 kat daha küçük olması, büyük modellerde TTFT (text-to-frame time) performansının 7,9 kat artırılması ve yüksek çözünürlüklü görseller için daha az çıktı üreterek kodlama süresini azaltması yer alıyor. Üstelik WebGPU desteği sayesinde FastVLM, ek bir kurulum gerektirmeden doğrudan tarayıcı üzerinden gerçek zamanlı çalışabiliyor. Aşağıdaki videoda bu model, gerçek zamanlı video altyazı oluşturma yeteneğini sergiliyor.

FastVLM, görselleri ve metinleri aynı anda anlayabilen bir yapay zeka modeli olarak öne çıkıyor. Modelin amacı, yüksek hızda işlem yapmak, farklı görsel-dil görevlerinde güçlü sonuçlar elde etmek ve eğitim süreçlerini daha verimli hale getirmek. Apple, bu modelle hızdan ödün vermeden doğruluk sunmayı hedefliyor ve bu sayede hem geliştiriciler hem de kullanıcılar için daha iyi bir deneyim sağlıyor.

Akıllı gözlüklerde devrim yaratabilir

Modelin hız optimizasyonları da dikkat çekici. Apple, görsel işleme ve metin üretme adımlarını daha hızlı ve verimli hale getiren teknikler uyguladığını belirtiyor. Büyük veri setleri üzerinde yapılan eğitimlerde ise işlem maliyetlerini düşürmek için özel hesaplama yöntemleri tercih edildi. Bu sayede FastVLM, büyük görevlerde bile yüksek verimlilikle çalışabiliyor.

FastVLM, sağlık sektöründe tıbbi görüntüleme ve rapor üretiminde, perakende sektöründe görsel ürün arama ve öneri sistemlerinde, eğitimde, içerik üretiminde ve erişilebilirlikte görsel verilerin gerçek zamanlı sese çevrilmesinde kullanılabiliyor. Ve daha da önemlisi; bu model, akıllı gözlük gibi giyilebilir cihazlarda inanılmaz avantajlar sağlayabilir. Gerçek zamanlı video altyazı oluşturma ve sahne analizi yetenekleri, kullanıcıların çevreyi anında anlamasına ve etkileşim kurmasına imkan tanıyabilir.