AI görünürlüğünün
satış etkisi ölçülür mü?

Bir marka yanıtta görünürse satışa katkısı bilinir mi?

Bir kişi ürün önerisi almak için yapay zekâya soru soruyor. Yanıtta bir markanın adı geçiyor. Kişi adı okuyabilir, gözden kaçırabilir veya bağlantıya tıklamadan başka yerde alışveriş yapabilir. Marka adının metinde bulunması, fark edilmesi ve satış gerçekleşmesi farklı olaylardır. Bu olayların hepsini aynı görünürlük sayısıyla anlatmak, katkının nerede oluştuğunu belirlemeyi zorlaştırıyor.

Masahiro Kato, Daiki Honma ve Taka Kato, bu ölçüm sorununu ele aldı. Masahiro Kato’nun kurumları Tokyo Üniversitesi ve Mizuho-DL Financial Technology olarak belirtiliyor. Honma ve Taka Kato, NP-hard bünyesinde yer alıyor. Yazarlar yapay zekâ yanıtlarındaki görünürlüğü satış veya dönüşüm verileriyle ilişkilendirecek bir yöntem geliştirdi. Yöntemi gerçek model yanıtları ve ayrıca ürettikleri benzetim verileriyle inceledi.

Çalışmanın amacı, belirli bir kampanyanın satışları artırdığını göstermek değildi. Araştırmacılar böyle bir iddianın hangi ölçümlerle ve varsayımlarla sınanabileceğini açıklamak istedi. Bu nedenle yanıt toplama bölümünü satış etkisinin hesaplandığı benzetimlerden ayırdı. Gerçek yanıtlar marka adının bulunma olasılığı hakkında bilgi verdi. Satış benzeri sonuçlar ise yöntemin doğruluğunu sınamak için bilgisayarda üretildi.

Yazarlar hangi değişikliklerin etkisini ölçmek istiyor?

Makale GEO adını verdiği çalışmayı kaynak içerikte yapılan belirli bir değişiklik olarak tanımlıyor. Ürün belgesini yenilemek veya sık sorulan sorular eklemek bu kapsama giriyor. Amaç, yapay zekâ yanıtlarının bu içerikten etkilenmesini incelemek. GEM ise yapay zekâ yanıtlarında ücretli yerleşim satın alınmasını ifade ediyor. Yazarlar içerik değişikliğini ve sponsorlu görünürlüğü ayrı girdiler olarak ele alıyor.

Araştırmacılar bu girdileri pazarlama karması modellemesine ekliyor. Bu modelleme, belirli dönemlerdeki pazarlama faaliyetleriyle satış gibi toplu sonuçların ilişkisini hesaplıyor. Model, reklamın etkisinin sonraki dönemlerde sürebileceğini dikkate alıyor. Ayrıca görünürlük arttıkça her ek gösterimin aynı katkıyı vermeyebileceğini hesaba katıyor. Yazarlar yapay zekâ görünürlüğünün de bu zaman ve yoğunluk özellikleriyle değerlendirilmesini öneriyor.

İçerik değişikliği yapılmadan önce de marka adı yanıtlarda geçebilir. Bu nedenle araştırmacılar değişiklik yapılmayan durumu tamamen görünmezlik olarak tanımlamıyor. İçerik düzenlemesinin satışa etkisi yalnız yapay zekâ yanıtlarından da gelmeyebilir. Aynı düzenleme normal aramadan gelen trafiği veya sayfadaki satın alma davranışını etkileyebilir. Önerilen yöntem bu ek etkilerin modele alınmasına izin veriyor.

Görünürlük satış modeline nasıl hazırlanıyor?

Araştırmacılar önce yanıtın hangi özelliğinin sayılacağını belirliyor. Uygulamada bu özellik, Glasp adının önceden belirlenen yazılışlardan biriyle metinde bulunmasıydı. Aynı soruyu tekrar sorarak markanın görünme sıklığını hesaplıyorlar. Ancak bu oran belirli bir pazarda kaç kişinin markayı gördüğünü tek başına göstermiyor. Bunun için pazardaki ilgili soru sayısı ve kullanılan sistemlerin payları gerekiyor.

Yöntem daha sonra marka adının fark edilme olasılığını ekliyor. Yazarlar bu olasılığın kullanıcıların yanıtları gördüğü ayrı çalışmalarla ölçülebileceğini açıklıyor. İlgili soru hacmi, sistem kullanım payı, adın bulunma olasılığı ve fark edilme olasılığı birlikte beklenen fark edilme sayısını oluşturuyor. Aynı kişi adı tekrar gördüğünde sayıya tekrar katkı veriyor. Dolayısıyla bu değer benzersiz kişi sayısı anlamına gelmiyor.

Sponsorlu yerleşim için başlangıç noktası, platformun gösterdiği reklam kayıtları. Yöntem bunları da fark edilme olasılığıyla birleştiriyor. Ardından araştırmacılar değişiklik yapılan ve yapılmayan durumların bütün dönemlerini karşılaştırıyor. Önceki görünürlüğün sonraki satışa etkisi olabileceği için yalnız son dönemi değiştirmek yeterli olmuyor. Nedensel sonuç için karşılaştırma gruplarının ve eşzamanlı değişikliklerin de uygun biçimde değerlendirilmesi gerekiyor.

Gerçek model yanıtları nasıl toplandı?

Araştırmacılar GPT-5.6 Luna ve GPT-4o modellerine aynı ürün önerisi sorularını yöneltti. Listede 28 İngilizce ve 28 Japonca soru vardı. Sorular web üzerinde işaretleme, araştırma notları ve özetleme gibi kullanım alanlarını kapsıyordu. Her model her soruya 20 kez cevap verdi. Ekip toplam 2.240 tam yanıt topladı. İsteklerin sırasını toplama blokları içinde rastgele değiştirdi.

Her çağrıda aynı başlangıç talimatı kullanıldı. Araştırmacılar modellerden bağımsız ürün önerisi vermesini ve cevap öncesinde web araması yapmasını istedi. Ne sorularda ne de talimatta hedef marka Glasp adı bulunuyordu. Ekip tam yanıtları sakladıktan sonra marka adını aradı. Bu sayım markanın övülmesini gerektirmiyordu. Olumsuz bağlamda geçen ad da bulunma göstergesine giriyordu.

Glasp, GPT-5.6 Luna yanıtlarının %33,8’inde, GPT-4o yanıtlarının %27,8’inde bulundu. Bu oranlar sabit soru listesindeki yanıtları eşit ağırlıkla birleştiriyor. Gerçek pazarda hangi soruların daha çok sorulduğunu göstermiyor. Araştırmacılar toplama boyunca kaynak içeriği değiştirmedi. Bu nedenle modeller arasındaki görünme farkı, içerik düzenlemesinin yarattığı etki olarak yorumlanamaz.

Dil ve benzetim sonuçları ne gösterdi?

Toplam oran GPT-5.6 Luna’da daha yüksek olsa da İngilizce sorularda GPT-4o daha yüksek oran verdi. Marka adının bulunduğu yanıtlar arasında GPT-4o, Glasp’ı aday markaların başında daha sık saydı. Araştırmacılar kullanım alanlarına göre de farklılıklar buldu. Bu sonuçlar, bütün dilleri ve soruları tek oranda birleştirmenin uygulama açısından önemli ayrımları gizleyebileceğini gösteriyor.

Yöntemi sınamak için araştırmacılar beş pazar ve her pazarda altı ürün grubu içeren benzetimler kurdu. Bu grupları 36 dönem boyunca izleyen veriler üretti. Bazı ürün gruplarında içerik değişikliğini daha erken, bazılarında daha geç başlattı. Diğer grupları değiştirmedi. Gerçek etkiyi kendileri belirledikleri için hesaplama yöntemlerinin bu etkiyi ne kadar doğru bulduğunu karşılaştırabildi.

Ekip aynı koşulları 120 tekrarla sınadı. Bazı hesaplamalarda ölçüm değerlerini sabit tuttu. Diğerlerinde bu değerlerin belirsizliğini hesaba kattı veya satış verisinin ölçüm tahminlerini değiştirmesine izin verdi. Temel iyileşme, geçmiş görünürlüğün süren etkisini ve artan yoğunlukta azalan katkıyı veriden tahmin etmekten geldi. Satış verisini ölçüm hesabına geri aktaran yaklaşım bütün koşullarda daha iyi sonuç vermedi.

Ek analizler neyi değiştirdi ve neyi gösteremedi?

Araştırmacılar toplam etkinin doğruya yakın bulunmasının, içindeki her katkının doğru hesaplandığını göstermediğini belirtti. İçerik değişikliğinin doğrudan etkisindeki hata ile görünürlük üzerinden hesaplanan hata birbirini kısmen dengeleyebiliyordu. Ek benzetimlerde ortak platform büyümesini de inceledi. Yalnız değişiklik öncesini ve sonrasını karşılaştırmak, bu ortak büyümeyi içerik çalışmasının katkısı gibi gösterebiliyordu. Uygun karşılaştırma grubu bu ayrımı değerlendirmeye yardımcı oldu.

Makalenin ekinde, kamuya açık yönlendirme trafiği verisi de incelendi. Bu veri, yapay zekâdan siteye gelen oturumları gösteriyordu. Ancak aynı dönemlere ait soru hacmi, yanıtlar ve fark edilme gözlemleri yoktu. Araştırmacılar bu nedenle trafik verisini gerçek yanıt koleksiyonuyla tek bir tam ölçümde birleştiremedi. Trafik sonucu da satış katkısı olarak verilmedi.

Yönlendirme analizinde sonuç, değişikliğin hangi haftada başladığı varsayımına duyarlıydı. Otomatik ziyaretleri ayıklayan filtredeki değişiklik de hesabı etkiliyordu. Araştırmacılar bu kontrollerin tek başına nedensel etki kanıtlamadığını belirtti. Ana benzetimler ise soru hacmini ve sistem paylarını bilinen değerler kabul etti. Gerçek uygulamada bu bilgiler de belirsiz olabilir. İncelenen sürüm hakem değerlendirmesinden geçmemiş bir ön baskıdır. Sağlanan metinde ayrı bir çıkar çatışması beyanı bulunmuyor.

Yazarlar hangi sonuca varıyor?

Kato, Honma ve Kato, görünürlük ölçümüyle satış etkisi hesabının ayrı işler olduğunu vurguluyor. Tekrarlanan yanıtlar adın bulunma olasılığını ölçebilir. Pazar hacmi ve dikkat bilgisi bu olasılığı beklenen fark edilme sayısına dönüştürür. İçerik değişikliğinin katkısı ise değişiklik yapılan ve yapılmayan dönem dizilerinin karşılaştırılmasıyla tanımlanır. Yazarlar bu aşamaların hiçbirini diğerinin yerine koymuyor.

Araştırmacılar gerçek uygulamalar için eşzamanlı içerik durumu, soru hacmi, kullanıcı dikkati ve iş sonucu verilerinin toplanmasını öneriyor. Rastgele uygulama sırasının nedensel karşılaştırmayı güçlendirebileceğini belirtiyor. Gözlemsel uygulamalarda ise diğer değişikliklerin ve karşılaştırma koşullarının ayrıca gerekçelendirilmesini istiyor. Çalışmanın sunduğu sonuç bir satış artışı oranı değil. Yazarlar gerekli veriler bulunduğunda bu etkinin nasıl tanımlanıp tahmin edilebileceğini gösteren bir yöntem sunuyor.