Sosyal medya platformu Reddit, otomatik web kazıyıcılarına karşı sert önlemler alacağını duyurdu. Şirket, Robots Exclusion Protocol (robots.txt dosyası) güncellemesiyle platformunun otomatik kazıyıcılarını engelleyebileceğini belirtti.
Reddit, bu güncellemeyle anlaşması olmayan ve internet arşivi gibi iyi niyetli aktörlerin dışında kalan web örümceklerini ve diğer botları engellemeye devam edeceğini ifade etti. Şirket, bu değişikliklerin, web yayıncılarının içeriklerinin erişilmesini istemediklerini web örümceklerine bildirmek için kullandıkları robots.txt protokolünü düşünmede etkili olmayacağını belirtti.
Reddit'in bu duyurusu, son zamanlarda Perplexity ve diğer AI şirketlerinin platformların robots.txt protokolünü düzenli olarak atlatmalarına dair yapılan raporların ardından geldi. Bir röportajında Perplexity'nin CEO'su, bu protokolün "bir yasal düzenleme olmadığını" belirtmişti.
Reddit'in interneti açık tutarken kendini korumanın amaçlandığını ifade etti. Sözcü, "Birkaç hafta içinde robots.txt talimatlarımızı herkesin anlayabileceği kadar net bir şekilde güncelleyeceğiz Reddit'e otomatik bir ajan kullanıyorsanız, hangi türde bir şirket olursanız olun, şartlarımıza ve politikalarımıza uymalısınız ve bizimle iletişime geçmelisiniz. Açık bir internetten yanayız, ancak kamuya ait içeriğin kötüye kullanılmasına inanmıyoruz" şeklinde konuştu.
Bu, şirketin veri erişimi konusunda sert bir tavır takındığı ilk örnek değil. Geçtiğimiz yıl, şirket API'si için ücret talep etmeye başladığında, AI şirketlerinin platformunu kullanımını gerekçe göstermişti. O zamandan beri Google ve OpenAI gibi bazı AI şirketleriyle lisans anlaşmaları yaparak Reddit'in arşivinde modellerini eğitmelerini sağladı. Bu anlaşmalar, Reddit'in yeni halka arzının önemli bir gelir kaynağı olmuştur.