Özet: Tıbbi Raporlamada Yapay Zeka Güvenilirliği

CBCT (Konik Işınlı Bilgisayarlı Tomografi) rapor üretimi için geliştirilen yapay zeka sistemleri, geleneksel metin benzerliği metrikleri (BLEU-4, METEOR) yerine olgusal doğruluğa (factual entailment) odaklandığında çok daha güvenilir sonuçlar vermektedir. Yapılan son araştırmalar, sadece kelime benzerliğine odaklanmanın raporlardaki tıbbi gerçekliği %52 seviyelerinden %26'ya kadar düşürebileceğini göstermektedir. Bu blog yazısında, ODIN 2026 CBCT rapor üretim yarışması kapsamında sunulan "Clinical Reasoning Under a Partially Observed Objective" başlıklı bilimsel çalışmanın bulgularını inceleyeceğiz.

CBCT Rapor Üretiminde Yeni Bir Yaklaşım

Maksillofasiyal (çene ve yüz) cerrahisinde kullanılan CBCT görüntüleri, teşhis süreçlerinin temelini oluşturur. Ancak bu görüntülerin manuel olarak raporlanması zaman alıcı bir süreçtir. Araştırmacılar, bu süreci otomatize etmek için büyük dil modelleri (LLM) ve bilgisayarlı görü tekniklerini birleştiren yeni bir sistem geliştirdiler.

Sistemin başarısını ölçmek için kullanılan bileşik hedef fonksiyonu şu şekilde yapılandırılmıştır:

• %80 Olgusal Doğruluk (Factual Entailment): Bir LLM tarafından, üretilen raporun gerçek tıbbi bulgularla ne kadar örtüştüğünün değerlendirilmesi.
• %20 Sözlükbilimsel Örtüşme (Lexical Overlap): BLEU-4 ve METEOR gibi metrikler kullanılarak metnin referans raporla kelime bazlı benzerliği.

Kelime Benzerliğinin Tuzağı: N-Gram Paradoksu

Araştırmanın en çarpıcı bulgusu, "n-gram" örtüşmesine (yani metinlerin birbirine kelime bazlı benzemesine) odaklanmanın, raporun tıbbi doğruluğunu ciddi şekilde zedelemesidir.

Çalışmaya göre:

• Sadece kelime benzerliğine (lexical ranking) göre seçilen raporlar 0.2909 puan alırken,
• Olgusal doğruluğu içeren bileşik hedefe göre seçilen raporlar 0.4122 puana ulaşmıştır.

Bunun temel sebebi, yapay zekanın sadece kelimeleri eşleştirmeye çalışırken anatomik gerçekleri göz ardı etmesidir. Kelime benzerliği peşinde koşmak, raporun tıbbi doğruluğunu (precision) %0.522'den %0.266'ya düşürmektedir.

Görüntü vs. Meta Veri: Yapay Zeka Neyi Öğreniyor?

Araştırmada kullanılan 29 milyon parametreli encoder modeli, 985 farklı ifade üzerinde test edilmiştir. İlginç bir şekilde, sadece görüntü başlığından (header) okunan veriler (mandibula ve kondil kapsamı gibi), görüntüden türetilen modelden daha yüksek doğruluk oranları sergilemiştir.

Bu durum, mevcut sistemlerin bazen anatomiyi analiz etmek yerine, belirli merkezlerin dikte alışkanlıklarını öğrendiğini göstermektedir.

Geliştirilen Sistemin Mimarisi ve Başarısı

Ekip tarafından sunulan nihai sistem, 8 koşulsuz ifade ve 5 geometrik kısıtlı ifadeden oluşmaktadır. Bu ifadeler polarite, lateralite ve diş düzeyinde tutarlılık kısıtlamalarına tabidir. Hiç görülmemiş bir merkezden alınan 50 test vakasında sistem, 0.3542 METEOR skoruna ulaşarak rüştünü ispatlamıştır.

Temel Bulgular Tablosu

Sıkça Sorulan Sorular (SSS)

Soru: Tıbbi raporlamada neden sadece kelime benzerliğine bakılmıyor?
Cevap: Çünkü bir rapor, orijinal raporla aynı kelimeleri kullansa bile "sağ" yerine "sol" yazması tıbbi bir felakete yol açabilir. Kelime benzerliği (BLEU/METEOR) anlamı değil, dizilimi ölçer.

Soru: Bu sistem her hastanede kullanılabilir mi?
Cevap: Araştırma, sistemin "görülmemiş merkezlerde" bile yüksek performans gösterdiğini kanıtlamıştır; ancak yerel dikte geleneklerine uyum sağlaması için fine-tuning gerekebilir.

Soru: Görüntü başlık verisi neden bu kadar önemli?
Cevap: Görüntü başlıkları çekim yapılan bölgenin geometrisini net olarak verir. Yapay zeka bu veriyi kullanarak anatomik sınırları daha kesin çizebilir.

Sonuç

Yapay zekanın tıbbi radyolojideki geleceği, sadece metin üretmek değil, üretilen metnin klinik gerçeklikle bağını koparmamaktır. Bu çalışma, gelecekteki tıbbi yapay zeka modellerinin "kelime avcılığı" yerine "klinik muhakeme"ye odaklanması gerektiğini net bir şekilde ortaya koymaktadır.