AI reklamına çok yorum gelmesi
iyi haber mi?

Olumlu kelimeler reklamın beğenildiğini gösterir mi?

Bir reklamın altındaki yorumda rakip marka övülüyor. Cümlede olumlu kelimeler var. Ancak yorum reklamı yayımlayan markaya itiraz ediyor. Metindeki kelimelerin tonunu ölçen bir program bu ayrımı kaçırabilir. Coca-Cola’nın “Holidays Are Coming” reklamını inceleyen çalışma tam bu sorunla karşılaştı. İlk sınıflandırmada olumlu görünen yorumların bir bölümünde kullanıcılar Pepsi’yi tercih edeceklerini söylüyordu.

Bu ayrım araştırmanın temel sorusunu değiştiriyor. Yalnız yorumun olumlu veya olumsuz olması yeterli bilgi vermiyor. Yorumun hangi markayı ve hangi tercihi anlattığı da gerekiyor. Araştırmacılar reklamın aldığı toplam yorum sayısından memnuniyet sonucu çıkarmadı. Yorumların içeriğini sınıflandırdı ve bu sınıflandırmayı kelime incelemesiyle yeniden değerlendirdi. Sonuç, kullanılan yöntemin bağlamı ne kadar anlayabildiğine de bağlıydı.

İncelenen reklam, markanın yılbaşı döneminde kullandığı tanıdık temanın yapay zekâyla hazırlanmış sürümüydü. Yazarlar tüketicilerin bu üretim biçimine nasıl tepki verdiğini anlamak istedi. Araştırmada ele alınan şey kullanıcıların yazdığı yorumlardı. İzleyicilerin ürünü satın alması, reklamı sessizce izlemesi veya markaya uzun vadede bağlı kalması aynı veri içinde ölçülmedi.

Araştırmacılar hangi reklamı ve hangi soruyu seçti?

İstanbul Gelişim Üniversitesi’nden Nevra Üçler ile Giresun Üniversitesi’nden Defne Ertaş, Coca-Cola reklamını örnek olay olarak inceledi. Örnek olay incelemesi, belirli bir olayın kendi koşulları içinde araştırılmasıdır. Araştırmacılar reklamın tamamen yapay zekâ araçlarıyla hazırlanan sürümünü seçti. Markanın yerleşik reklam temasının bu üretim biçimiyle nasıl karşılandığını, YouTube kullanıcılarının yazdığı metinler üzerinden değerlendirdi.

Yazarların çıkış noktası, teknik üretim başarısıyla izleyicinin duygusal tepkisinin aynı olmayabileceğiydi. Reklamın eski sürümlerini tanıyan bir kişi yeni görüntüleri geçmişteki beklentileriyle karşılaştırabilir. Yazarlar makalede nostalji, özgünlük ve insan emeği tartışmalarını bu nedenle ele aldı. Ancak bu kavramların her biri için ayrı bir tüketici anketi düzenlemedi. İncelemeyi platformda zaten bulunan yorumlarla yürüttü.

Araştırmacılar olumlu görünen bir cümlenin reklamın kendisini övüp övmediğini ayrıca sorguladı. Pepsi hakkındaki ifadeler bu soruyu somutlaştırdı. Rakibi tercih edeceğini söylemek, cümlede beğeni belirten kelimeler bulunsa bile Coca-Cola reklamına yönelik olumlu tepki sayılmıyordu. Çalışmanın yeniden sınıflandırma adımı, kelimenin duygusuyla yorumun hedefini birbirinden ayırmaya çalıştı.

Yorumlar nasıl toplandı ve sınıflandırıldı?

Araştırmacılar yorumları YouTube API aracılığıyla aldı. API, bir yazılımın platformdaki verilere belirli kurallarla erişmesini sağlayan bağlantıdır. Ekip analizden önce metinleri temizledi. Emojileri ve değerlendirme kapsamı dışında bıraktığı unsurları çıkardı. Son analiz kümesi 9.051 yorumdan oluştu. Bu sayı yorum adedidir. Makale bunu benzersiz müşteri veya reklamı izleyen kişi sayısı olarak vermiyor.

Yorumlar İngilizce olduğu için ekip RoBERTa tabanlı duygu analizi modelini kullandı. Duygu analizi, bir metni olumlu, olumsuz veya nötr gibi kategorilere ayıran işlemdir. Model her yorum için bir sınıf üretti. Araştırmacılar bu etiketleri sayarak genel dağılımı çıkardı. Nötr etiketi, modelin metni olumlu veya olumsuz sınıfa koymadığını gösteriyordu. Bu etiket kullanıcının markaya karşı kesinlikle kayıtsız olduğunu kanıtlamıyordu.

Ekip daha sonra MAXQDA adlı metin inceleme programını kullandı. Programla sık geçen kelimeleri saydı ve her duygu grubu için kelime bulutları hazırladı. Kelime bulutunda daha sık geçen sözcükler daha belirgin görünüyordu. Bu görseller, araştırmacılara etiketlenen yorumların hangi ifadeleri içerdiğini gösterdi. İlk sonuçların yeniden incelenmesine yol açan Pepsi adı bu aşamada dikkat çekti.

İlk analiz ile yeniden değerlendirme nasıl farklılaştı?

İlk analizde model 4.736 yorumu olumsuz sınıfına yerleştirdi. Nötr sınıfında 2.659, olumlu sınıfında 1.656 yorum vardı. Araştırmacılar bu dağılımda olumsuz yorumların zaten çoğunlukta olduğunu gördü. Ardından olumlu kelimelerin hangi bağlamda kullanıldığını inceledi. Olumlu grubun kelime bulutunda rakip marka Pepsi’nin belirgin olması, ilk etiketlerin doğrudan kabul edilmesini zorlaştırdı.

Araştırmacılar Pepsi’yi olumlu alternatif olarak gösterip Coca-Cola’yı eleştiren yorumları yeniden değerlendirdi. Bu yorumları Coca-Cola bakımından olumsuz kabul etti. Ekip ilgili içerikleri olumlu kategoriden olumsuz kategoriye taşıdı ve güncellenen dağılımı hesapladı. Bu işlem yeni izleyicilerden veri toplamak anlamına gelmiyordu. Araştırmacılar aynı yorum kümesindeki bazı etiketleri yorumun hedefini dikkate alarak değiştirdi.

Son dağılımda 5.290 yorum olumsuz, 2.659 yorum nötr, 1.102 yorum olumlu sınıfında yer aldı. Nötr yorum sayısı değişmedi. Araştırmacılar yeniden değerlendirme sonrasında eleştirel tepkilerin daha belirgin olduğunu bildirdi. Bu sonuç yorumların sınıflandırmasına aittir. Coca-Cola müşterilerinin aynı oranlarda rakip markaya geçtiğini göstermiyor. Makale kullanıcıların söylediği tercihle gerçekleştirdiği alışverişi eşleştirmedi.

Kelimeler kullanıcıların hangi itirazlarını gösterdi?

Olumsuz yorumlarda kötü, ucuz, yapay veya özensiz içerik anlamında kullanılan İngilizce ifadeler öne çıktı. Araştırmacılar bunları reklamın kalitesi, özgünlüğü ve duygusal etkisine yönelik eleştirilerle ilişkilendirdi. Bazı kullanıcılar reklamı markanın önceki anlatımıyla karşılaştırıyordu. Yazarlar bu karşılaştırmaları, tanıdık reklam temasından beklenen duygunun yeni sürümde bulunamaması olarak yorumladı. Bu yorum, kullanıcı metinlerinin incelenmesine dayanıyor.

Olumlu yorumlarda ise sevgi, beğeni ve hayranlık belirten kelimeler vardı. Araştırmacılar reklamı beğenen kullanıcıların da bulunduğunu açıkça belirtti. Yeniden etiketleme sonrasında olumlu grupta Coca-Cola adı daha görünür hâle geldi. Olumsuz grupta Pepsi’nin öne çıkması, eleştirinin rakip marka üzerinden ifade edildiğini gösterdi. Böylece aynı marka adı, bulunduğu duygu sınıfına göre farklı bir anlam taşıdı.

Kelime sıklıkları yorumların bütün anlamını tek başına açıklamıyor. Bir kelimenin çok kullanılması, bütün kullanıcıların aynı gerekçeyi taşıdığını göstermiyor. Çalışmanın yeniden değerlendirmesi de bu sınırı ortaya koyuyor. Araştırmacılar kelime bulutunu son hüküm olarak kullanmadı. Görselde fark ettikleri marka adını, yorumların yeniden incelenmesini gerektiren bir işaret olarak ele aldı.

Araştırmanın hangi sınırları ve belirsizlikleri var?

Çalışma bu reklamın YouTube yorumlarıyla sınırlı. Yorum yazmayan izleyicilerin görüşleri veride bulunmuyor. Makale Türkçe yayımlanmış. Ancak İngilizce yorumlar Türkiye tüketicilerini temsil etmiyor. Araştırmacılar insan üretimi bir reklamla eşzamanlı deneysel karşılaştırma yapmadı. Bu nedenle olumsuz tepkinin ne kadarını yalnız yapay zekâ kullanımının oluşturduğunu hesaplamadı. Reklamın içeriği ve önceki marka beklentileri de yorumlarda yer alıyor.

Makalenin sayısal raporlamasında tutarsızlıklar bulunuyor. Ham yorum sayısı farklı bölümlerde farklı yazılmış. Son olumsuz yorum yüzdesi de özetle bulgular bölümünde aynı değil. Burada sonuç anlatımı, son sınıflandırmada birlikte verilen yorum adetlerine dayanıyor. Yeniden kodlamayı anlatan bölüm, bağımsız değerlendiricilerin hangi ölçüde uzlaştığını bildirmiyor. Bu eksiklik, sınıflandırmanın doğruluğunu ayrıca değerlendirmeyi sınırlıyor.

Çalışma satış kaybını veya Pepsi’nin pazar payındaki değişimi ölçmedi. Yazarların rekabet konusundaki çıkarımı, yorumlarda rakip markanın tercih olarak gösterilmesine dayanıyor. Makaledeki destek beyanında kurumsal veya finansal destek alınmadığı yazıyor. Yazarlar çıkar çatışması bulunmadığını da bildiriyor. Çalışmanın veri kaynağı açık kullanıcı yorumları olduğu için makale etik kurul izni gerekmediğini belirtiyor.

Yazarlar hangi sonucu ve öneriyi veriyor?

Üçler ve Ertaş, incelenen reklamın yorumlarda ağırlıklı olarak eleştirel karşılandığı sonucuna varıyor. Yazarlar üretimde hız ve kolaylık sağlamanın izleyicide olumlu duygu oluşturmayı garanti etmediğini savunuyor. İnsan yaratıcılığıyla yapay zekâ kullanımının birlikte değerlendirilmesini öneriyor. Kültürel bağlamın ve markaya ilişkin beklentilerin üretim kararlarında dikkate alınmasını istiyor. Bunlar araştırmacıların bulgulardan çıkardığı önerilerdir. Çalışmada sınanmış müdahaleler değildir.

Yazarlar sonraki araştırmalarda insan üretimi reklamlarla yapay zekâ reklamlarının karşılaştırılmasını öneriyor. Farklı sektörlerden ve sosyal platformlardan veri toplanmasını da istiyor. Deneysel çalışmaların güveni ve satın alma niyetini ayrıca inceleyebileceğini belirtiyor. Mevcut çalışmanın gösterdiği yöntem sorunu daha dar: olumlu kelime içeren bir yorum, reklamı yayımlayan marka için olumsuz anlam taşıyabiliyor.