Yapay zekâyla
daha az anket yanıtı yeterli olabilir mi?

Daha çok yapay zekâ yanıtı daha iyi araştırma sağlar mı?

Bir araştırmacı, bir ürünün fiyatı değiştiğinde insanların satın alma isteğinin nasıl değişeceğini öğrenmek istiyor. Bunun için insanlara farklı fiyatlar gösterip yanıt topluyor. Katılımcı bulmak ve anket yürütmek maliyetli olabiliyor. Yapay zekâ aynı sorulara hızla çok sayıda yanıt üretebiliyor. Ancak bu yanıtların sayısı, gerçek insanların tercihlerinin doğru temsil edildiğini göstermiyor.

Cheng Lu, Mengxin Wang, Dennis J. Zhang ve Heng Zhang bu sorunu araştırdı. Lu ve Dennis J. Zhang Washington University in St. Louis’de çalışıyor. Wang, University of Texas at Dallas’ta çalışıyor. Heng Zhang ise Arizona State University’de görev yapıyor. Ekip, az sayıdaki insan yanıtını yapay zekâ çıktılarıyla destekleyen GAI adlı istatistiksel yöntem önerdi.

Araştırmacıların amacı yapay zekâyı anket katılımcısı ilan etmek değildi. Ekip, yapay zekâ çıktılarının gerçek yanıtlarla nasıl ilişkili olduğunu öğrenmek istedi. Hatalı bir yapay zekâ tahmini bile insan davranışı hakkında yardımcı bilgi taşıyabilir. Fakat araştırmacının bu ilişkiyi gerçek yanıtlarla kontrol etmesi gerekir. Çalışma, bu bilgiyi tahmine katarken belirsizliğin nasıl hesaplanacağını da inceliyor.

GAI insan yanıtlarını nasıl kullanıyor?

Araştırmacılar verinin bir bölümünde hem gerçek insan yanıtını hem yapay zekâ çıktısını görüyor. Daha geniş yardımcı bölümde ise insan yanıtını analizden gizli tutuyor. Burada ürün özellikleri ve yapay zekâ çıktıları bulunuyor. GAI önce insan yanıtı bulunan bölümden öğreniyor. Ürün bilgisiyle yapay zekâ çıktısı birlikte verildiğinde insanın hangi yanıtı vermesinin beklendiğini tahmin ediyor.

Ardından yöntem bu ilişkiyi yardımcı bölüme uyguluyor. Ancak tahminleri doğrudan gerçek yanıt gibi saymıyor. İnsan yanıtı görülen kayıtlardaki tahmin hatasını kullanarak son hesabı düzeltiyor. Böylece modelin sistematik biçimde fazla veya az tahmin yapması hesaba katılıyor. İnsan verisi, hem ilişkinin öğrenilmesinde hem düzeltmede temel dayanak olarak kalıyor.

Ekip öğrenme ve değerlendirme için veriyi parçalara ayırıyor. Bir parçadaki yanıtı tahmin eden model, o parçanın gerçek yanıtlarıyla eğitilmiyor. Bu düzen, modelin zaten gördüğü yanıtları tekrar etmesini başarı sanma riskini azaltıyor. Araştırmacılar yalnız insan yanıtlarına dayanan yöntemi de çalıştırıyor. Ayrıca insan ve yapay zekâ yanıtlarını düzeltmeden birleştiren yaklaşımı ve mevcut hata düzeltme yöntemlerini karşılaştırıyor.

Yapay zekâ çıktısının biçimi sabit değil. Çıktı bir tercih, olasılık veya gerekçe metninin sayısal gösterimi olabiliyor. Sayısal gösterim, metindeki anlam ilişkilerini hesaplamada kullanılabilen sayılarla temsil eder. GAI bu bilgiyi insan yanıtını tahmin etmeye yardımcı özellik olarak kullanıyor. Yöntemin farkı, yapay zekâdan gelen her çıktının gerçek yanıtla aynı türde olmasını gerektirmemesi.

Aşı tercihleri çalışması nasıl kuruldu?

Araştırmacılar yeni bir aşı deneyi yürütmedi. Daha önce toplanmış, 1.971 katılımcının varsayımsal aşı tercihlerini içeren veri setini kullandı. Her kişi 5 seçim görevi yanıtlamıştı. Görevlerde 11 özellik bakımından tanımlanan iki aşı karşılaştırılıyordu. Araştırmacılar hiç aşı seçmeyen kişileri analiz dışında tuttu. Bu karar, kullanılan dil modellerinin aşı seçmeme yanıtını üretmesine ilişkin kısıtlarla bağlantılıydı.

Ekip, bütün insan yanıtlarından tercih modelinin katsayılarını hesapladı. Katsayılar, incelenen özelliklerle seçim arasındaki ilişkinin sayısal değerleridir. Bu değerleri küçük örneklemlerle elde edilen tahminlerin karşılaştırma noktası olarak kullandı. Dolayısıyla çalışmadaki referans, dışarıdan bilinen kusursuz bir pazar gerçeği değildi. Aynı veri setinin tamamından hesaplanan model sonucuydu.

Araştırmacılar farklı büyüklükte insan yanıtı örnekleri seçti. Yardımcı örneklemde 1.000 seçim kaydı kullandı. Her düzeni 50 bağımsız denemeyle tekrarladı. Yöntemleri aynı çekilişlerden gelen verilerle karşılaştırdı. Yapay zekânın tercih tahminini ve gerekçe metninin sayısal gösterimini ayrı ayrı değerlendirdi. Bu düzen, örneklem şansının yöntemler arasındaki farkla karışmasını azaltıyordu.

Gerekçe bilgisini kullanan GAI, 50 insan yanıtıyla %16,5 tahmin hatası elde etti. Yalnız insan verisine dayanan yöntem ise 200 yanıtla %19,0 hata verdi. Buradaki yanıtlar kişi sayısı değildi. Katılımcıların seçim görevleriydi. Hata, küçük örneklemden hesaplanan model katsayılarının referans katsayılardan ortalama yüzdesel sapmasını gösteriyordu. Sonuç, gerçek kişilerin tercihlerinin o oranda yanlış tahmin edildiği anlamına gelmiyordu.

Fiyatlama verisinde aynı yöntem işe yaradı mı?

Fiyatlama uygulamasında 2.058 katılımcının önceki anket verileri kullanıldı. Katılımcılar kişisel özellikler ve tercihler hakkında sorular yanıtlamıştı. Ardından rastgele fiyatlarla sunulan 40 ürün için satın alıp almayacağını belirtmişti. Araştırmacılar ana metinde ev temizliği ürününe ait sonucu sundu. Diğer ürünlerin toplu sonuçlarını eklerde verdi.

Katılımcı yanıtlarından oluşturulan dijital ikizler yardımcı tahminleri üretti. Dijital ikiz, burada bir kişinin anket bilgileriyle hazırlanmış yapay zekâ temsilidir. Bu temsil, kişinin belirli fiyatta ürünü satın alıp almayacağını tahmin ediyordu. Yapay zekânın olumlu yanıt oranı %30,07’ydi. İnsanların anketteki olumlu yanıt oranı ise %44,10’du. Bunlar gerçekleşmiş alışveriş kayıtları değil, satın alma isteği yanıtlarıydı.

Ana karşılaştırmada bütün yöntemler aynı yapay zekâ tahminlerini aldı. Böylece GAI’nin daha fazla yardımcı bilgiye sahip olduğu için başarılı olması açıklaması sınırlandı. GAI, 100 insan yanıtıyla %12,4 tahmin hatası verdi. Yalnız insan verisini kullanan yöntem 300 yanıtla %12,5 hata elde etti. Yapay zekâ yanıtlarını düzeltmeden eklemek ise insan örneklemi büyüdüğünde aynı iyileşmeyi sağlamadı.

Eklerde bütün ürünler üzerinden yapılan karşılaştırma da GAI lehineydi. Ancak yöntem her ölçütte üstün değildi. Mevcut karşılaştırma yöntemlerinden biri fiyatlama uygulamasında biraz daha dar belirsizlik aralıkları üretti. Bu aralıklar, tahminin ne kadar kesin olduğuna ilişkin hesaplamayı gösterir. Dar olmaları tek başına yeterli değildir. Referans değeri ne sıklıkta içerdikleri de önemlidir.

Sigorta verisi ve belirsizlik kontrolleri ne gösterdi?

Ekip başka bir uygulamada Kaliforniya’daki 318.215 kişinin nüfus sayımı verisini kullandı. Burada özel sağlık sigortasına sahip olmakla gelir arasındaki ilişkiyi tahmin etti. Yardımcı tahminler bir dil modelinden gelmiyordu. Araştırmacılar gelir, cinsiyet ve başka özellikleri kullanan mevcut bir makine öğrenmesi sınıflandırıcısından yararlandı. Bu model, kişinin sigorta sahibi olma olasılığını üretiyordu.

Sigorta uygulamasında GAI, daha az insan kaydıyla karşılaştırma yöntemlerinden daha düşük katsayı hatası elde etti. Belirsizlik aralıkları da referans değeri yüksek sıklıkla içerdi. Bununla birlikte sigorta uygulamasındaki hata hesabı diğer uygulamalardan farklıydı. Aşı ve fiyatlama hesaplarında küçük referans katsayılarının etkisini sınırlayan bir ekleme vardı. Sigorta hesabında bu ekleme yapılmadı. Bu nedenle uygulamaların hata yüzdelerini doğrudan başarı sıralaması olarak karşılaştırmak doğru değil.

Aşı uygulamasında kullanılan yardımcı bilginin türü de belirsizlik hesabını değiştirdi. Gerekçe metninin sayısal gösterimini kullanan sürümün aralıkları referans değeri daha güvenilir biçimde kapsadı. Yalnız seçim tahminini kullanan sürüm bazı örneklem büyüklüklerinde yeterli kapsama ulaşamadı. Çalışma, daha düşük tahmin hatasının belirsizlik ölçümündeki bütün sorunları kendiliğinden çözmediğini gösterdi.

Yöntemin garantisi hangi koşullara bağlı?

Yazarların yalnız insan verisine göre daha kötü olmama sonucu, belirli matematiksel koşullarda örneklem büyüdükçe geçerli olan bir sonuç. İnsan yanıtlarının rastgele seçilmesi bu koşullar arasında. Ayrıca yardımcı ilişkiyi öğrenen modelin yeterince doğru tahmin üretmesi gerekiyor. Bu garanti, eldeki her küçük örneklemde GAI’nin bütün ölçütlerde kazanacağı anlamına gelmiyor.

Araştırmacılar eklerde rastgele olmayan seçim için karşı örnek veriyor. Gerçek yanıtlar özellikle kolay tahmin edilen kayıtlardan seçilirse yardımcı kayıtlar daha fazla belirsizlik ekleyebilir. Yapay zekâ verisini sınırsız artırmak da çözüm değil. İnsan yanıtları az kalırken yardımcı örneklem çok büyürse belirsizlik hesabının doğruluğu bozulabilir. Yazarlar insan verisinin büyüklüğünü hâlâ belirleyici görüyor.

Ekip, eldeki örneklemin hedef kitleyi temsil etmediği durumlar için de yöntemi genişletti. Bu sürümlerde grupların veri içindeki ağırlıkları düzeltiliyor. Ancak hedef kitlenin ilgili özelliklerinin kaynak örneklemde karşılığının bulunması gerekiyor. Çalışma yeni bir işletmede gerçekleşmiş satış, gelir veya araştırma bütçesi tasarrufu ölçmüyor. Sonuçlar mevcut veri setlerinin yeniden örneklenmesine dayanıyor.

Yazarlar ne öneriyor?

Yazarlar, yapay zekâ çıktılarının insan verisinin yerine geçirilmek yerine yardımcı bilgi olarak değerlendirilmesini öneriyor. Gerçek insan yanıtlarını sonucun dayanağı olarak koruyorlar. Yöntemin daha az insan verisiyle benzer tahmin doğruluğuna ulaşabileceğini savunuyorlar. Bu değerlendirme, her araştırma için sabit bir anket azaltma oranı sunmuyor.

İncelenen metin, hakem değerlendirmesinden geçtiği belirtilmeyen genişletilmiş bir ön baskı. Daha dar kapsamlı önceki çalışma ICML konferansına kabul edilmiş. Bu kabul, genişletilmiş metnin bütün yeni sonuçlarının hakem değerlendirmesinden geçtiğini göstermiyor. Metinde ayrı finansman veya çıkar ilişkisi beyanı bulunmuyor. Yazarlar gerçek zamanlı sistemlerde hesaplama yükünü açık bir sorun olarak belirtiyor ve yöntemin çevrim içi karar süreçlerine uyarlanmasını gelecekteki çalışma konusu olarak öneriyor.