Daha iyi öneriler
en popüler ürünlerin payını azaltır mı?

Öneri listesi hangi yapımların izleneceğini değiştirir mi?

Bir izleyici Netflix’i açtığında ana sayfada kendisi için sıralanmış yapımlar görüyor. Listeden bir film seçebilir, daha önce başladığı diziye dönebilir veya arama yapabilir. Öneri sistemi burada yalnız izleyicinin ne kadar süre izleyeceğini etkilemiyor. Katalogdaki hangi yapımların dikkat çekeceğini de belirliyor. Daha başarılı bir sistemin herkesçe bilinen yapımları mı, daha az popüler olanları mı öne çıkaracağı araştırmanın temel sorusu.

Guy Aridor, Winston Chou, Nathan Kallus, Antoine Scheid, Allen Tran ve Kevin Zielnicki bu soruyu Netflix üzerinde inceledi. Yazarların tamamı proje boyunca Netflix çalışanıydı. Aridor ayrıca Northwestern Kellogg, Kallus ise Cornell Üniversitesi ve Cornell Tech bağlantısını bildiriyor. Araştırmacılar, öneri teknolojisindeki ilerlemenin izlemeyi daha geniş bir yapım grubuna yayıp yaymadığını ölçmek istedi.

Çalışma, kişiselleştirilmiş önerilerin hiç öneri verilmemesine göre farkını araştırmıyordu. Karşılaştırılan sistemler zaten kişiselleştirme yapıyordu. Ekip, çalışan bir sistemin geliştirilmesiyle ortaya çıkan ek değişimi inceledi. Öneri teknolojisinin ilk kurulmasıyla olgun bir sistemin güncellenmesi aynı sonuçları vermeyebilir.

Netflix deneyi nasıl yürüttü?

Deney Şubat ile Nisan 2025 arasında 60 gün sürdü. Araştırmacılar 8.559.252 abonenin platform kayıtlarını kullandı. Kontrol grubundaki kullanıcılar deney başındaki öneri sistemini kullanmaya devam etti. Diğer grup, Netflix’in dönem boyunca yayımladığı algoritma yeniliklerini aldı. Bu karşılaştırma, eski sürümü sabit tutarak güncellemelerin biriken etkisini ölçmeyi sağladı.

Yenilikler arasında ana sayfanın belirli sıraları için farklı sıralama yöntemleri vardı. Ekip ayrıca modellerin kullandığı bilgileri, model yapılarını ve tahmin hedeflerine verilen ağırlıkları değiştirdi. Kullanıcı arayüzü aynı kaldı. Dolayısıyla kullanıcılar farklı bir sayfa tasarımıyla karşılaşmadı. Asıl değişiklik, yapımların kime ve hangi sırada önerileceğini hesaplayan sistemdeydi.

Güncellemeler tek tek daha önce karşılaştırmalı ürün testlerinden geçmişti. Bu araştırma ise güncellemelerin birlikte oluşturduğu farkı değerlendirdi. Sonuçlardan belirli bir yeniliğin katkısını ayırmak mümkün değildi. Makale kullanıcıların gruplara nasıl atandığını ve her grubun büyüklüğünü ayrıca açıklamıyor. Araştırmacılar, deney dönemindeki kullanıcı davranışlarını grup düzeyinde karşılaştırıyor.

Netflix aboneleri katalogdaki bir yapımı oynatmak için ayrıca ödeme yapmıyor. Bu nedenle araştırmada tüketim, bir yapımın oynatılması olarak tanımlandı. Ekip, kullanıcının gördüğü önerileri ve başlattığı oynatmaları platform kayıtlarından aldı. İzleme saati, oynatma sayısı, farklı yapım sayısı ve izleme yapılan günleri de ayrıca hesapladı.

Popüler ve az izlenen yapımları nasıl ayırdılar?

Araştırmacılar yapımları oynatma dağılımındaki sıralarına göre grupladı. En üst %5 en popüler yapımlardı. En alt %50 en az izlenen gruptu. Arada kalan yapımlar orta popülerlikteki grubu oluşturdu. Bu yüzdeler izlenme süresinin paylaşımını değil, yapımların sıralamadaki konumlarını belirliyordu. Ekip, her kullanıcının önerilerinin ve oynatmalarının bu gruplara dağılan payını ölçtü.

Kataloğa yeni yapımlar giriyor, bazıları katalogdan çıkıyordu. Bu yüzden yalnız deney öncesi sıralamayı kullanmak uygun değildi. Araştırmacılar ana sınıflamayı deney boyunca grupların birleşik oynatma dağılımıyla kurdu. Ancak güncellemelerin kendisi de sıralamayı etkileyebilirdi. Ekip bu sorunu kontrol etmek için sınıflamayı yalnız kontrol grubunun oynatmalarıyla yeniden yaptı. Ana örüntü bu hesapta da korundu.

Araştırmacılar ayrıca yoğunlaşma endeksi hesapladı. Bu ölçü, öneri veya oynatmaların az sayıda yapımda ne kadar toplandığını gösterir. Endeks düştüğünde toplam pay daha geniş bir yapım grubuna yayılır. Bu ölçü, belirli bir filmin daha kaliteli olduğunu söylemez. Araştırmacılara yalnız dağılımın ne kadar toplandığını veya yayıldığını gösterir.

Öneriler ve gerçek oynatmalar nasıl değişti?

Güncellemeleri alan grupta öneriler en popüler yapımlardan orta popülerlikteki yapımlara yöneldi. En az izlenen gruptaki değişim küçüktü. Önerilerin yoğunlaşma endeksi kontrol grubuna göre %5,7 düştü. Ekip bu düşüşü istatistiksel olarak anlamlı buldu. Sistem aynı az sayıdaki yapımı daha sık göstermek yerine daha geniş bir orta popülerlik grubunu öneriyordu.

Önerideki değişiklik tek başına izleyicinin davranışını kanıtlamıyordu. Kullanıcı yeni öneriyi beğenmezse aramayla popüler yapımı bulabilir veya hiçbir şey oynatmayabilirdi. Araştırmacılar bu nedenle gerçekleşen oynatmaları ayrıca inceledi. Oynatmalarda da en popüler yapımların payı azaldı. Payın çoğu orta popülerlikteki yapımlara geçti. En az izlenen grubun oynatma payında belirgin bir değişim görülmedi.

Oynatmaların yoğunlaşma endeksi %1,2 azaldı. Bu da istatistiksel olarak anlamlıydı. Ancak önerilerdeki yayılmadan daha küçüktü. Sonuç, sistemin daha çeşitli seçenek göstermesiyle izleyicinin daha çeşitli yapım seçmesinin aynı büyüklükte değişmediğini ortaya koydu. Buradaki yüzdeler endeksin göreli değişimiydi. Belirli bir yapım grubunun payındaki yüzde puan farkı değildi.

İzleyiciler daha fazla mı izledi?

Araştırmacılar, dağılım değişirken toplam kullanımın azalıp azalmadığını da kontrol etti. Güncellemeleri alan grupta izleme saati %0,37 arttı. Farklı yapım sayısı %1,2 yükseldi. Toplam oynatma ve izleme yapılan gün sayıları da arttı. Bu bulgular, orta popülerlikteki yapımların kazanımının yalnız mevcut izlemeyi yeniden dağıtmaktan ibaret olmadığını gösterdi.

Dizi bölümleri toplam oynatma sayısına ayrı ayrı girebiliyordu. Ancak aynı dizinin başka bir bölümünü izlemek farklı yapım sayısını artırmıyordu. Araştırmacılar bu ölçüleri ayrı tuttu. Ek analizde hem filmler hem diziler için farklı yapım izleme sayısı yükseldi. Artış dizilerde daha büyüktü. Zaman içindeki kontrollerde etkiler deney boyunca korunuyor veya artıyordu.

Ekip, önerilerin bu artıştaki rolünü anlamak için oturumdaki ilk oynatmaya odaklandı. Oturum, kullanıcının platforma yaptığı ziyaret sırasında gerçekleşen kullanım bölümüdür. Araştırmacılar oynatmanın öneriden, aramadan, izlemeye devam etme alanından veya kaydedilmiş listeden gelip gelmediğini ayırdı. Öneriden başlayan oynatmaların payı arttı. Kullanıcılar öneri listesinde daha üst sıralardaki yapımları seçmeye de biraz daha yatkındı.

Daha çok izlemek daha uygun öneri anlamına geldi mi?

Araştırmacılar, seçilen yapımların kullanıcıya uygunluğunu izlemeye devam etme ve olumlu puan verme davranışlarıyla değerlendirdi. Kullanıcının ilk izleme gününde 15, 30 veya 45 dakikalık eşiklere ulaşıp ulaşmadığına baktı. Yapım eşikten kısaysa tamamını izlemeyi esas aldı. Olumlu puan karşılaştırmasında ise yalnız puanlama sorusu gösterilen oynatmaları kullandı.

Bu eşiklere ulaşan yapımların toplam sayısı arttı. Olumlu puan alan yapımların sayısı da yükseldi. Ancak toplam sayı ile oynatma başına oran aynı yönde ilerlemedi. En az 30 dakika izleme olasılığı ve olumlu puan verilen oynatmaların payı anlamlı biçimde düştü. Diğer izleme eşiklerinde aynı düşüş bulunmadı. Dolayısıyla bütün uygunluk ölçülerinin iyileştiği söylenemiyordu.

Yazarlar bu sonucu farklı kullanıcı davranışlarının birleşimi olarak yorumladı. Daha iyi öneri, izleyiciyi önceden izlediği popüler yapım yerine daha uygun bir yapımla eşleştirebilir. Aynı zamanda daha önce hiç başlamayacağı ek bir yapımı denemesine neden olabilir. Bu ek denemeler ortalama izleme oranını düşürebilir. Ek analizler, yeni oynatılan yapımların daha yüksek veya daha düşük uygunluk taşıdığını kesin biçimde ayıramadı.

Yazarlar sonucu nasıl açıklıyor ve nereye kadar genelliyor?

Yazarların kuramsal açıklaması, popüler yapımların daha fazla davranış verisi üretmesine dayanıyor. Öneri sistemi az bilgi bulunan yapımlarda kullanıcının zevkini daha zor tahmin edebilir. Bu durumda popüler seçenekleri daha sık önerebilir. Sistem geliştikçe sınırlı veriden daha iyi tahmin üretmesi mümkün olur. Orta popülerlikteki yapımlar bu gelişmeden yararlanacak kadar veri ve olası izleyiciye sahip olabilir.

Bu açıklama bütün az izlenen yapımların kazanacağını öngörmüyor. En az izlenen grupta veri hâlâ çok sınırlı kalabilir. Kuramsal model, deney döneminde önerinin kullanıcı kararına etkisinin değişmediğini de varsayıyor. Çalışma uzun dönem katalog yatırımlarını, yapımcı gelirini, yeni abonelikleri veya satışları ölçmüyor. Bulgular, incelenen platform ve güncelleme dönemiyle sınırlı.

İncelenen metin, hakem değerlendirmesinden geçmemiş bir ön baskı. Yazarların Netflix’te çalıştığı açıkça belirtiliyor. Ayrı finansman veya çıkar çatışması beyanı bulunmuyor. Yazarlar, öneri teknolojisi geliştikçe orta popülerlikteki yapımların platform açısından değerinin artabileceği sonucuna varıyor. Katalog kararlarında algoritmanın gelişmişliğinin ve eldeki davranış verisinin dikkate alınmasını öneriyorlar. Bu, belirli bir yapım yatırımının getirisini ölçen sonuç değil.