Bu modülde ne öğreneceksin?
- Belge analizi ile görsel analizi arasındaki farkı kavramak
- Layout, OCR, tablo ve grafik yorumlama risklerini görmek
- Multimodal temsilin nasıl kullanıldığını anlamak
Belge analizi
PDF veya uzun belge analizinde metin çıkarılır, sayfa veya başlık bazında parçalara ayrılır ve ilgili bölümler seçilir. Tablo varsa satır-sütun ilişkisi korunmalıdır; aksi halde sayılar yanlış yorumlanabilir.
Görsel analiz
Görsel modeller görüntüyü küçük patch’lere veya görsel temsillere ayırabilir. Nesneler, metinler, konumlar, renkler, kontrast, layout ve grafik ilişkileri metin sorusuyla birlikte değerlendirilir.
OCR ve layout zorlukları
Küçük yazılar, düşük çözünürlük, üst üste binen paneller veya karmaşık tablolar yanlış okunabilir. Ekran görüntülerinde yalnızca görünen alan yorumlanır; görüntü dışında kalan bilgi varsayılmamalıdır.
Doğru kullanım
Kritik görsel veya tablo analizlerinde model cevabı dosya içeriği, kullanıcı açıklaması veya hesaplama aracıyla desteklenmelidir. Özellikle finansal tablo, akademik grafik veya teknik log yorumlarında doğrulama önemlidir.
Kısa teknik notlar
Multimodal model görseli piksel olarak değil, temsil katmanlarıyla yorumlar.
OCR hatası, cevabın tamamını yanlış yöne götürebilir.
Tablo analizinde gerçek hesaplama motoru kullanmak daha güvenilir olabilir.
Multimodal yorumlama
PDF ve uzun belgeler çoğu zaman sayfa, başlık veya paragraf bazında parçalara ayrılır. Model tüm belgeyi değil, soruyla en ilgili parçaları bağlama alabilir.
Verimli kullanım bağlantısı
Görsel analizde düşük çözünürlük, küçük yazı ve kırpılmış bağlam yanlış yoruma yol açabilir.
Görsel analizde sistem nesne, metin, layout, renk, kontrast ve ilişki sinyallerini birlikte değerlendirir. Ancak küçük yazılar ve düşük çözünürlük hata riskini artırır.
Kritik belgelerde cevap mutlaka kaynak satırı, sayfa veya bölüm referansıyla desteklenmelidir.
Bu konuyu eğitim sırasında nasıl kurmalısın?
PDF ve uzun belgelerin genellikle parçalara ayrılarak işlendiğini anlat.
Görsel analizde nesne, metin, layout, kontrast ve bağlam sinyallerinin birlikte değerlendirildiğini göster.
Tablo veya sayısal analizde gerçek hesaplama aracı kullanmanın neden daha güvenilir olduğunu vurgula.
Bu modülde geçen teknik terimler
Bu bölümde geçen teknik kavramların kısa ve doğrudan açıklamaları.
OCR
Görsel veya PDF içindeki yazıyı makine tarafından okunabilir metne dönüştürme işlemidir.
Layout Analysis
Sayfadaki başlık, tablo, kutu, görsel ve boşluk ilişkilerini anlama sürecidir.
Table Parsing
Tablodaki satır, sütun ve hücre ilişkilerini ayıklama işlemidir.
Vision Encoder
Görseli modelin kullanabileceği sayısal temsile dönüştüren bileşendir.
Multimodal Representation
Metin ve görsel gibi farklı veri türlerinin ortak temsil alanında işlenmesidir.
Alt Text
Görselin erişilebilirlik ve SEO için kısa açıklamasıdır.