AI müşterinizin yerine
cevap verebilir mi?

Ankette sorulmayan bir sorunun cevabı bulunabilir mi?

Bir müşteri araştırmasında görüşmeler bitiyor. Rapor hazırlanırken önemli bir sorunun ankete eklenmediği fark ediliyor. Aynı kişilere yeniden ulaşmak zaman ve para gerektiriyor. Araştırmacının elinde ise bu kişilerin başka sorulara verdiği cevaplar bulunuyor. Oded Netzer ve Rajan Sambandam, yapay zekânın bu kayıtlardan yararlanarak eksik cevabı ne ölçüde tahmin edebileceğini araştırıyor.

Yazarlar bu durumu unutulan soru problemi olarak adlandırıyor. Burada amaç, hiç insan verisi toplamadan bütün araştırmayı yapay zekâya yaptırmak değil. Araştırmacının elinde gerçek kişilerden alınmış ilgili bilgiler var. Modelin görevi, bu bilgilerin yakınındaki başka bir soruya cevap üretmek. Asıl güçlük ise üretilen cevabın hangi koşullarda güvenilir olabileceğini önceden ayırt etmek.

Çalışmanın yazarlarından Netzer, Columbia Business School’da görev yapıyor. Sambandam, pazarlama araştırması şirketi TRC Insights’ın başkanı. Yazarlar önce sentetik veri türlerini ve doğruluk ölçülerini açıklıyor. Sentetik veri, burada insanların yerine modelin ürettiği anket cevapları anlamına geliyor. Ardından gerçek bir anketin cevaplarını gizleyerek tahminleri sınayan bir uygulama sunuyorlar.

Ortalama cevabı tutturmak neden yeterli olmayabilir?

Yazarlar insan verisi verilmeyen model cevaplarını, müşteri gruplarını temsil eden profilleri ve kişisel dijital ikizleri ayırıyor. Dijital ikiz, bu çalışmada belirli bir kişinin önceki cevaplarından oluşturulan yapay zekâ temsilidir. Bir müşteri grubunun genel özelliklerini anlatan profil ise o gruptaki bütün kişilerin ayrı ayrı temsil edildiği anlamına gelmiyor. Bu yöntemlerin doğrulama gereksinimleri de farklılaşıyor.

Bir model genel ortalamayı insanlara benzer hesaplayabilir. Buna rağmen hangi kişinin bir özelliği daha önemli bulduğunu yanlış tahmin edebilir. Yazarlar bu yüzden ortalamaların benzerliğini, kişisel cevapların yakınlığından ayırıyor. Kişiler arasındaki sıralamayı doğru bulmak da cevabın büyüklüğünü doğru bulmakla aynı değil. Model cevapları doğru sıraya koyarken insanların görüşlerini olduğundan daha birbirine yakın gösterebilir.

Araştırmacılar farklı doğruluk ölçülerinin farklı kararları desteklediğini vurguluyor. Genel bir eğilimi görmekle müşteri gruplarını karşılaştırmak aynı bilgiye ihtiyaç duymuyor. Belirli bir kişinin cevabını tamamlamak daha ayrıntılı doğrulama gerektiriyor. Yazarlar bu nedenle dijital ikize tek bir doğruluk etiketi verilmesini yetersiz buluyor. Güvenilirlik, ikize verilen bilgiyle sorulan sorunun ilişkisine bağlı olarak ele alınıyor.

Gerçek cevaplarla karşılaştırma nasıl kuruldu?

Uygulama, Rice Üniversitesi’ndeki C-CUBES merkezinin müşteri değerleri araştırmasına dayanıyor. TRC Insights’ın yürüttüğü ankette 3.063 katılımcı yer alıyordu. Anket 18 sektörü kapsıyordu. Sağlık, eğitim, bankacılık ve market alışverişi bu alanlar arasındaydı. Katılımcılar hizmetleri seçerken veya kullanmayı sürdürürken hangi özellikleri önemli bulduklarını değerlendirmişti. Yazarlar bu gerçek cevapları tahminlerin karşılaştırma kaynağı olarak kullandı.

Ankette sektörlere dağılan 108 tutum sorusu vardı. Her sektör için altı soru bulunuyordu. Katılımcılar ilgili özellikleri 1 ile 10 arasında önem puanıyla değerlendirdi. Araştırmacılar her denemede hedef sorunun gerçek cevabını modelden sakladı. Bir koşulda modele yalnız demografik bilgileri verdi. Diğer koşulda bunlara aynı sektördeki kalan beş sorunun cevaplarını ekledi.

Araştırmacılar GPT-5.4-mini’den katılımcıymış gibi eksik soruya cevap vermesini istedi. Her kişi ve soru için ayrı çağrı yaptı. Model önceki çağrıları hatırlamıyordu. Ekip daha sonra tahmini, sakladığı gerçek cevapla karşılaştırdı. Bu düzen, uygulamada henüz sorulmamış olacak bir soruyu mevcut veride canlandırdı. Araştırmacılar doğruluğu ölçebilmek için gerçek cevabı biliyordu. Ancak bu cevabı modele göstermiyordu.

Kişiye ait ilgili bilgi eklenince ne değişti?

Araştırmacılar önce kişiler arasındaki cevap farklılıklarının ne kadar korunduğuna baktı. Bunun için korelasyon hesapladı. Korelasyon, burada modelin yüksek ve düşük puan veren kişileri gerçek cevaplarla ne kadar uyumlu sıraladığını gösteriyor. Yalnız demografik bilgi verilen koşulda ortalama korelasyon 0,08’di. Aynı sektördeki diğer cevaplar eklendiğinde bu değer 0,57’ye çıktı. Bu katsayılar doğru cevap yüzdesi değildir.

İlgili tutum bilgileri, kişisel tahminleri belirgin biçimde iyileştirdi. Ancak araştırmacılar bütün soruların aynı ölçüde iyi yanıtlanmadığını gördü. Bazı sorularda modelin elindeki bilgi hedef cevaba daha yakındı. Başka sorularda ise kişinin görüşünü tahmin etmek daha zordu. Bu fark, bir anketten alınan bilgilerin aynı kişiye ilişkin her soruyu yanıtlamaya yetmediğini gösterdi.

Genel ortalamalarda farklı bir sonuç çıktı. Yalnız demografik bilgi kullanılan koşul, ortalama cevabın hatasında daha iyi görünüyordu. Oysa aynı koşul kişisel farklılıkları çok zayıf yakalamıştı. Yazarlar bu sonucu doğruluk ölçüsü seçiminin önemine örnek gösterdi. Ortalama düzeyindeki yakınlık, belirli katılımcının hangi cevabı vereceğinin doğru bilindiğini göstermiyordu. Kişiye ait ilgili bilgiler eklendiğinde bireysel tahminler iyileşmişti.

Hangi soruların daha güvenilir olduğu nasıl seçildi?

Yazarlar gerçek hedef cevaba ihtiyaç duymayan bir eleme yöntemi önerdi. Önce dijital ikizlerin eksik soruya verdiği tahminleri topladı. Ardından bu tahminlerin, modele verilen katılımcı bilgileriyle ne kadar açıklanabildiğini hesapladı. Bunun için rastgele orman adlı öğrenme yöntemini kullandı. Bu yöntem, veriden kurulan çok sayıda karar ağacının tahminlerini birleştiriyor.

Araştırmacılar açıklama gücünü R² adlı katsayıyla ölçtü. Katsayı, ikiz cevaplarındaki farklılıkların verilen bilgilerle ne kadar açıklanabildiğini gösteriyordu. Araştırmacılar her tahmini, ilgili kaydı eğitimde kullanmayan ağaçlarla değerlendirdi. Böylece yöntemin yalnız öğrendiği veriyi tekrar etmesinden kaynaklanabilecek iyimserliği azaltmayı amaçladı. Yüksek açıklama gücü, modelin kişiye verilen bilgilerle ilişkili cevaplar ürettiğine işaret ediyordu.

R² değeri 0,7’den büyük olan sorular seçildiğinde 108 sorunun 46’sı kaldı. Bu seçilen grupta ortalama insan ve ikiz korelasyonu 0,65’e yükseldi. Araştırmacılar korelasyonu 0,50’nin altında kalan soruları zayıf yanıtlanan sorular olarak saydı. Bu soruların payı, eleme öncesindeki %25,9’dan seçilen grupta %4,3’e indi. Eleme bütün soruları iyileştirmedi. Daha güvenilir görünen soruları ayırdı.

Diğer kontroller ve araştırmanın sınırları nelerdi?

Araştırmacılar soruların anlamca benzerliğine dayanan daha basit bir eleme yöntemini de denedi. Ayrıca deneyimli araştırmacılardan hangi soruların iyi tahmin edilebileceğini değerlendirmelerini istedi. Bu değerlendirmeler doğruluk hakkında bilgi taşıyordu. Ancak yazarlar uzman incelemesinin daha dar bir soru kümesiyle yapıldığını belirtti. Bu karşılaştırmalar, önerilen istatistiksel yöntemin bütün alanlarda üstün olduğunu kanıtlamıyor.

Yüksek R² değeri de tek başına doğru cevap garantisi vermiyor. Model, kişisel bilgileri tutarlı biçimde kullanarak yanlış tahmin üretebilir. Yazarlar bu nedenle açıklama gücünü gerekli fakat yeterli olmayan bir koşul olarak ele alıyor. Eleme eşiğinin ayrıca ayrılmış veride belirlenmesini öneriyor. Uygulama belirli bir anket, soru türü ve model sürümüyle sınırlı. Sonuçlar yeni ürünlere veya tamamen farklı tercihlere kendiliğinden taşınamaz.

İncelenen sürüm ön baskıdır. Hakem değerlendirmesinden geçmemiştir. Yazarlar veri toplama ve analiz desteği için TRC Insights’a teşekkür ediyor. Sambandam’ın bu şirketin başkanı olması da yazar bilgisinde belirtiliyor. Sağlanan metinde ayrı bir çıkar çatışması beyanı bulunmuyor. Çalışma satın alma tahminlerini gerçek satışlarla doğrulamıyor. Ölçtüğü şey, anketteki insan cevaplarının ne kadar iyi yeniden üretildiği.

Yazarlar sentetik veriyi nerede yararlı buluyor?

Netzer ve Sambandam, sentetik verinin gerçek araştırmaya yakın eksik soruları tamamlamada yararlı olabileceğini savunuyor. Bunun için önce sorunun eldeki bilgilerle yanıtlanabilirliğinin değerlendirilmesini istiyor. Yeterli dayanak bulunmayan sorularda yeni insan verisi toplanmasını öneriyor. Ayrıca modellerin anket hazırlığında, soru ifadelerinin denenmesinde ve araştırma öncesi değerlendirmede kullanılabileceğini belirtiyor. Bu hazırlık önerilerinin tamamını mevcut uygulamada sınamıyorlar.

Yazarların temel sonucu, insan katılımcının araştırmadan çıkarılamayacağıdır. Dijital ikiz, kişinin daha önce açıkladığı bilgileri kullanıyor. Değişen tercihleri veya beklenmedik yeni ihtiyaçları kendiliğinden gözleyemiyor. Yazarlar doğruluk iddialarının kullanılan ölçüyle ve soruyla birlikte verilmesini istiyor. Kendi uygulamaları, ilgili insan verisinin kişisel tahmini iyileştirdiğini ve seçici elemenin zayıf tahminleri azaltabildiğini gösteriyor.