Multimodal AI nedir?

Bu derste yapay zekânın son yıllardaki en önemli gelişmelerinden biri olan multimodal AI, yani çok modaliteli yapay zekâyı sıfırdan işliyoruz: ne olduğunu, nasıl çalıştığını, nerelerde kullanıldığını ve sık yapılan yanılgıları. Konu, Yapay Zekâ dersleri alanımızdaki “Yapay Zekâ Modelleri ve Araçları” ünitesinin bir parçasıdır ve bu ünitedeki model türlerini anlamak için temel taşlardan birini oluşturur.

Multimodal AI Nedir?

Multimodal AI, metin, görüntü, ses ve video gibi birden fazla veri türünü aynı model içinde birlikte anlayıp işleyebilen yapay zekâ demektir. Her bir veri türüne modalite adı verilir. Klasik bir sohbet botu yalnızca yazdığın metni okur; multimodal bir model ise aynı konuşmada hem yüklediğin fotoğrafa bakar, hem ses kaydını dinler, hem de yazılı yanıt üretir.

Farkı somutlaştıralım: “Bu grafiğe bakıp trendi açıkla” yazıp ekran görüntüsü eklediğinde seni anlayan bir model, tek sistem içinde görme ve dil becerisini birleştiriyordur. 2024-2025 döneminde yaygın büyük modellerin neredeyse tamamı bu noktaya geldiği için “metin modeli mi, multimodal model mi?” sorusu, model seçiminde temel ölçütlerden biri hâline gelmiştir.

Tek Modaliteli ile Multimodal Model Arasındaki Fark

Aşağıdaki karşılaştırma ayrımı netleştirir:

• Girdi: Tek modaliteli bir metin modeli yalnızca yazı alır; multimodal model metinle birlikte görsel, ses dosyası ve çoğu zaman video da alabilir.
• Çıktı: Klasik modeller yalnızca metin üretir; multimodal modellerin bir kısmı sesli yanıt verebilir, bazıları metin tarifinden görüntü üretebilir.
• Senaryo: “Bu grafikte satışlar neden düşmüş olabilir?” sorusunu tek modaliteli model yanıtlamak için veriyi ayrıca ister; multimodal model grafik fotoğrafını doğrudan okuyup yorumlayabilir.
• Araç zinciri: Eskiden “görseli tanıyan bir model + yazıya çeviren bir sistem + metin üreten bir model” ayrı ayrı zincirlenirdi. Multimodal modelde bu beceriler tek modelde birleşir; bağlam kaybı azalır, iş akışı kısalır.

Multimodal AI Nasıl Çalışır?

Mantığı dört adımda özetleyebiliriz:

1. Girdi: Kullanıcı metin yazar ve yanına görsel, ses ya da video ekler.
2. Kodlama: Her parça, kendi kodlayıcısıyla (encoder) sayısal vektörlere dönüştürülür; görsel de, cümle de aynı türden sayı dizilerine çevrilir.
3. Birleştirme: Bu vektörler ortak bir temsil uzayında buluşturulur; model “şu kelimeler şu görseli tarif ediyor” eşleşmesini burada kurar.
4. Üretim: Model yanıtı istenen biçimde verir: açıklama metni, özet, tablo ya da destekliyorsa görsel.

Bu eşleşme, eğitimdeki milyonlarca eşleşmiş örnek sayesinde mümkün olur: açıklamalı fotoğraflar, altyazılı videolar, yazıya dökülmüş ses kayıtları. Model bu örneklerden, bir görselin bir kelimeyle aynı anlamı nasıl taşıdığını öğrenir. Akılda kalması gereken öz şu: multimodalite, iki ayrı yapay zekâyı yan yana koymak değil, tek modelde ortak bir anlam uzayı kurmaktır. 2024-2025 döneminde öne çıkan yaklaşım doğuştan multimodal (natively multimodal) eğitim oldu: GPT-4o ve Gemini gibi modeller baştan itibaren metin, görüntü ve sesi birlikte görerek eğitildi; görsel yeteneği sonradan eklenmiş eski kuşak modellerden bu yönüyle ayrılırlar.

Bu modellere geliştiriciler çoğunlukla bir arayüz üzerinden, yani API ile ulaşır: isteğe görsel veya ses eklenir, yanıt çoğunlukla metin olarak alınır. Bunun ne demek olduğu ve ilk adımların nasıl atılacağı, bu ünitedeki API derslerinde ayrıntılı işlenir.

Multimodal AI Nerelerde Kullanılır?

Bugün gerçekten yapılabilecek işlerden bazıları şunlardır:

• Belge ve fiş okuma: Market fişinin fotoğrafından tarih, tutar ve kalem bilgilerini ayıklamak; el yazısı formları yazıya dökmek.
• Grafik yorumlama: Sunumdaki grafiğin ekran görüntüsünü yorumlamak, tablodan çıkarım üretmek.
• Görsel soru-cevap: Hata mesajının ekran görüntüsünü atıp “sorun ne olabilir?” diye sormak.
• Ses işleme: Toplantı kaydını yazıya döküp özet ve yapılacaklar listesi çıkarmak.
• Video anlama: Ders videosundan bölüm özetleri çıkarmak veya uzun kayıtta belirli bir sahneyi bulmak.
• Ekran görüntüsünden arayüz üretme: Tasarımın ekran görüntüsünü verip HTML/CSS karşılığını istemek; kod tarafındaki kullanımlar için AI ile kod yazma dersine bakabilirsin.
• Erişilebilirlik: Görme engelli kullanıcılar için çevredeki sahneyi sesli anlatan uygulamalar.

Eğitim tarafında etkisi somuttur: öğrenci geometri sorusunun fotoğrafını yükler, model şekli okur, verileri çıkarır ve adım adım çözüm yazar. Ekrana bakıp karar veren otomasyonlar da multimodal anlama üzerine kuruludur; bu yapıların genel mantığını merak edenler AI agent nedir? dersine göz atabilir.

Sık Yapılan Hatalar ve Yanılgılar

• “Fotoğraf yükleyebilen her model multimodaldır.” Tek yönlü görsel kabulü yetmez; asıl ölçüt, birden fazla modaliteyi aynı bağlamda birlikte anlamaktır.
• “Model resmi insanlar gibi görüyor.” Model pikselleri değil, görselin sayısal temsilini işler. Bu yüzden görsellerde de yanılgı olur: okunmayan bir yazıyı okumuş gibi gösterebilir (görsel halüsinasyon). Kritik belgelerde çıktı mutlaka kontrol edilmelidir.
• “Görsel üretebilen model görseli de doğru anlar.” Üretme ve anlama ayrı becerilerdir; birini güçlü yapan model diğerini zayıf yapabilir.
• “OCR ile aynı şey.” OCR metni okur, anlamlandırmaz; multimodal model okuduğunu yorumlar, karşılaştırır ve özetler. Ayrıca düşük kaliteli taramalarda ve zor el yazılarında hata yapabileceğini unutma.
• “Multimodal model her işte daha iyidir.” Salt metin görevlerinde ek modalite maliyet ve karmaşıklık katarken mutlaka daha iyi sonuç vermez. Doğru seçim için Yapay zekâ modeli karşılaştırma dersi yol göstericidir.
• Hassas görselleri dikkatsizce yüklemek: Kimlik fotoğrafı veya özel belge yüklerken hizmetin gizlilik ve veri kullanım politikasını kontrol etmek gerekir.

Başlamak için iki yol vardır: ticari sağlayıcıların erişime açtığı Kapalı yapay zekâ modelleri güçlü multimodal beceriyi hazır sunar; Açık kaynak yapay zekâ modelleri tarafında ise LLaVA, Qwen-VL ve Llama'nın görsel destekli sürümleri gibi seçenekleri kendi ortamında çalıştırabilirsin. Alıştırma önerisi: aynı belgenin fotoğrafını iki farklı modele gönder, çıktıları yan yana karşılaştır ve farkları not et — multimodaliteyi okuyarak değil, deneyerek pekiştirirsin.