AI alışveriş asistanı
kimi temsil ediyor?

Otel seçimini asistan yapınca ne değişiyor?

Bir yolcu, otel arama işini yapay zekâ asistanına bırakıyor. Asistan fiyatları ve konuk yorumlarını karşılaştırıp bir otel öneriyor. Listede sponsorlu bir seçenek de var. Sponsorlu etiketi, ilanın ücret karşılığında öne çıkarıldığını belirtiyor. Yolcu listeyi kendisi incelese bu etiketi görüp öneriye daha temkinli yaklaşabilir. Karşılaştırmayı asistan yaptığında ise etiketi önce asistan okuyor. Yolcu, asistanın seçtiği oteli görüyor.

Reklam etiketi, okurun ücretli görünürlük ile kaliteyi ayırt etmesine yardımcı oluyor. Oteli asistan seçtiğinde bu ayrımı onun yapması gerekiyor. Ancak asistanı sunan rezervasyon platformu, sponsorlu ilanların seçilmesinden kazanç sağlayabiliyor. Yolcu uygun bir otel ararken platformun ticari çıkarı farklı bir seçimi destekleyebiliyor.

Asistan kimin adına karar veriyor?

McGill Üniversitesi Desautels İşletme Fakültesi’nden Davood Wadi ve Yu Ma, asistanın kimin adına çalıştığını araştırdı. Otellerin özelliklerini aynı tuttular. Asistana yolcu adına ya da rezervasyon platformu adına çalıştığını söylediler. Bu görev değişikliğinin sponsorlu otelin seçilme oranını değiştirip değiştirmediğine baktılar. Araştırmacılar deneylerde büyük dil modellerini kullandı. Bu yapay zekâ sistemleri, çok miktarda metinden öğrendikleri ilişkilerle yanıt ve öneri üretiyor.

Yazarlar bu durumu “görev çatışması” olarak adlandırıyor. Asistanın yolcuya ve platforma karşı görevleri birbiriyle çelişebiliyor. Yolcu tarafsız bir değerlendirme bekliyor. Platform ise ücretli görünürlükten yararlanıyor. Bu çatışma için asistanın kendisinin para kazanması gerekmiyor. Araştırmacılara göre, asistanı görevlendiren taraf otelin bir özelliği değil. Bu yüzden yalnız görevlendiren taraf değiştiğinde asistan aynı oteli farklı değerlendirmemeli.

Araştırmacılar sponsorlu otelin mutlaka kötü olduğunu varsaymıyor. Asistanın temsil ettiği tarafın seçimi değiştirip değiştirmediğini anlamak istiyorlar. Otelin fiyatını ve hakkındaki bilgileri aynı tutuyorlar. Bu koşulda seçim değişirse, farkı otelin daha uygun olmasıyla açıklayamıyorlar.

Deney nasıl yapıldı?

İlk deneyde araştırmacılar Gemini 3.1 Pro’ya her seferinde dört otel sundu. Asıl karşılaştırdıkları iki otelin fiyatı aynıydı. Araştırmacılar ikisine de olumlu yorumlar verdi. Diğer iki otel daha pahalıydı. Bu otellerin yorumları da olumsuzdu. Liste farklı özelliklerde seçenekler içeriyordu. Asıl karşılaştırma ise aynı fiyatlı ve olumlu yorumlu oteller arasındaydı.

Araştırmacılar otel adlarını Expedia’dan seçtikleri on isimlik havuzdan aldı. Yorumları da Expedia yorumlarından uyarladı. Makalenin ekleri, olumlu yorumların cümle yapısı korunarak olumsuz karşılıklarının üretildiğini açıklıyor. Yazarlar son örnekleri kontrol etti. Araştırmacılar otellerin ve özelliklerinin listedeki sırasını her denemede rastgele değiştirdi. Böylece listedeki konumun seçime etkisini azaltmayı amaçladılar.

Araştırmacılar asistanın görevini bir sistem talimatıyla tanımladı. Sistem talimatı, asistana nasıl çalışacağını söyleyen başlangıç mesajıdır. Bir koşulda asistana yolcu adına otel önereceğini söylediler. Diğer koşulda ise bir otel rezervasyon platformu adına çalışacağını belirttiler. Ardından asistana hangi oteli rezerve edeceğini sordular. Platformun gelirini artırmasını, komisyon kazanmasını veya reklamvereni kayırmasını istemediler. Deney koşuluna göre otellerden birine platform sponsoru etiketi eklediler ya da etiketi kullanmadılar.

Araştırmacılar temsil edilen tarafı ve sponsorluk etiketini değiştirerek dört koşul oluşturdu. Her koşulda 500 bağımsız deneme yaptı. Toplam 2.000 seçim kaydetti. Asistan her denemeye önceki konuşmaları hatırlamayan yeni bir oturumda başladı. Araştırmacılar modelin hangi oteli önerdiğini ölçtü. Ayrıca modelin seçimden önce yazdığı gerekçeleri inceledi. Bu metinlerde sponsorluk bilgisine ne kadar kuşkuyla yaklaştığını ayrı bir modelle puanladı. Araştırmacılar bu modelin puanlarını önce bir insanın verdiği puanlarla karşılaştırdı.

İlk deneyde ne bulundu?

Yolcu adına çalışan asistan, sponsorluk etiketi yokken hedef oteli denemelerin %53’ünde seçti. Araştırmacılar aynı otele platform sponsoru etiketi eklediğinde oran %2,8’e düştü. Asistan, etiketli koşuldaki 500 denemenin yalnız 14’ünde bu oteli önerdi. Sponsorluk etiketi, asistanın birbirine denk oteller arasındaki seçimini belirgin biçimde değiştirdi.

Platform adına çalışan asistan da sponsorlu oteli daha az seçti. Etiketsiz durumda hedef oteli seçme oranı %54,2’ydi. Etiketli durumda bu oran %25 oldu. Asistan sponsorlu oteli 500 denemenin 125’inde seçti. Araştırmacılar oranlar arasındaki farkı yüzde puanla ifade etti. Yüzde puan, iki yüzde oranının doğrudan farkıdır. Yolcu rolünde düşüş 50,2 yüzde puandı. Platform rolünde ise düşüş 29,2 yüzde puandı. Bu farklar satış artışını ölçmüyor.

Platform adına çalışan asistan, ilk deneyde her durumda sponsorlu oteli tercih etmedi. Sponsorluk etiketi bu asistanın da oteli seçme sıklığını azalttı. Ancak yolcu adına çalışan asistan sponsorlu oteli daha da az seçti. Platform adına çalışan asistan, gerekçe metinlerinde de sponsorluğa daha az kuşkuyla yaklaştı. Araştırmacılar bu ilişkiyi, seçim farkını açıklayabilecek bir bulgu olarak değerlendirdi.

Araştırmacılar ana seçim sonucunu GPT 5.6 Terra, Claude Sonnet 5 ve Gemini 3.5, 3.6 ve 3.8 Flash modellerinde de sınadı. Her model için 2.000 ek deneme yaptı. Bu modellerde de platform rolü sponsorluk etiketinin seçimi azaltan etkisini zayıflattı. Araştırmacılar talimattaki kelimeleri değiştirdiğinde temel sonuç aynı kaldı. Gemini’nin yanıt öncesi akıl yürütme düzeyini düşürdüklerinde de aynı sonucu buldular.

İkinci deneyde etiketin kelimeleri seçimi değiştirdi mi?

Araştırmacılar ikinci deneyde etiketteki iki bilgiyi ayrı ayrı sınadı. Bunlardan biri ilanın öne çıkarılmasıydı. Diğeri, etiketin platformun adını içerip içermemesiydi. “Öne çıkarılmış” anlamındaki Promoted ile ücretli ilişkiyi daha açık belirten Sponsored kelimelerini karşılaştırdılar. Her etiketi “platform tarafından” ifadesiyle ve bu ifade olmadan denediler. Yolcu ve platform rollerini yine ayrı tuttular. Gemini 3.1 Pro ile sekiz koşulun her birinde 500 deneme yaptılar. Toplam 4.000 deneme kaydettiler.

Etiket yalnız “öne çıkarılmış” dediğinde yolcu adına çalışan asistan hedef oteli denemelerin %28,8’inde seçti. Platform adına çalışan asistanın seçme oranı %39,6’ydı. Etiket “platform tarafından öne çıkarılmış” olduğunda yolcu rolündeki oran %34,6 oldu. Platform rolündeki oran ise %74,2’ye çıktı. Platform adına çalışan asistan bu koşulda hedef oteli denemelerin çoğunda seçti. Etikete platformun adını eklemek, iki rol arasındaki seçim farkını artırdı.

Daha açık olan “sponsorlu” kelimesi seçilme oranlarını azalttı. Etiket platformun adını içermediğinde yolcu rolündeki asistan hedef oteli denemelerin %0,8’inde seçti. Platform rolündeki oran %1,4 oldu. “Platform tarafından sponsorlu” etiketiyle yolcu rolündeki oran %3,6’ya çıktı. Platform rolündeki oran ise %21,2 oldu. Daha açık reklam dili, iki rol arasındaki farkı ortadan kaldırmadı. Asistanın seçimi, etiketin reklamı açıklamasının yanı sıra platformun adını içerip içermemesine de bağlıydı.

Araştırma neyi ölçmedi?

Araştırmacılar gerçek müşterilerin alışverişini izlemedi. Deneylerde gerçek rezervasyon veya satın alma yapılmadı. Araştırmacılar, hazırladıkları otel listeleri karşısında modellerin hangi oteli seçtiğini ölçtü. Fiyatları eşitlemeleri ve yorumları dengelemeleri karşılaştırmayı kolaylaştırdı. Gerçek alışverişte ise müşteriler fiyatı, konumu, kişisel tercihlerini ve çok sayıda farklı yorumu birlikte değerlendiriyor. Bu nedenle deneydeki oranlar bir rezervasyon sitesinin satışlarını göstermiyor.

Asistan her denemede tek konuşma turunda seçim yaptı. Araştırmacılar yolcunun tercihlerini anlattığı, itiraz ettiği ve yeni seçenekler istediği uzun görüşmeleri sınamadı. Başka ürün veya hizmetlerde aynı etkinin görülüp görülmeyeceğini de ölçmedi. Ayrıca modelin yazdığı gerekçeler, iç hesaplamalarının kaydı değil. Araştırmacılar bu metinlerden modelin kararı tam olarak nasıl oluşturduğunu kanıtlayamıyor.

Yazarlar incelenen sürümü arXiv’de ön baskı olarak yayımladı. Ön baskı, hakem değerlendirmesinden geçmemiş araştırma metnidir.

Yazarlar ne öneriyor?

Wadi ve Ma’ya göre, insanlar için hazırlanmış reklam açıklamaları yapay zekâ asistanıyla yapılan alışverişte tek başına yeterli değil. Etiket sponsorlu içeriği açıkça belirtse bile asistanın görevi, bu bilgiyi nasıl değerlendirdiğini değiştirebiliyor. Deneyde araştırmacılar asistandan reklamvereni kayırmasını açıkça istemedi.

Yazarlar, denetçilerin yalnız son öneride reklam etiketi bulunup bulunmadığını kontrol etmesini yeterli görmüyor. Asistan farklı tarafları temsil ettiğinde aynı seçenekleri aynı biçimde değerlendirip değerlendirmediğini de sınamalarını öneriyorlar. Bu sorumluluğu düzenleyicilere ve asistanı hizmete sunan şirketlere veriyorlar. Model geliştiricilerinin de görev tanımının modelde oluşturduğu varsayımları test etmesini istiyorlar. Araştırmacılar bu önerileri bulgulardan çıkardı. Önerileri deneyde uygulayıp etkilerini ölçmedi.