Son dönemlerde, yapay zeka startuplarının web verilerini toplamak için kullandığı “crawler" (tarayıcı) teknolojileri, yayıncılar ve internet siteleri arasında ciddi tartışmalara yol açmaya devam ediyor. Freelancer ve iFixit gibi şirketler, Anthropic adlı yapay zeka startupını, kendi web sitelerinin “do not crawl" (tarama yapma) uyarılarına rağmen içerik verilerini toplamakla suçladı. Freelancer CEO’su Matt Barrie, Anthropic’ın ClaudeBot’unun “şimdiye kadar gördüğümüz en saldırgan tarayıcı" olduğunu belirtti ve şirketinin web sitesine yalnızca dört saat içinde 3.5 milyon ziyaret gerçekleştirdiğini iddia etti.
Crawler Sorunu ve Yasal İhlaller
Barrie’nin açıklamalarına göre, Anthropic’ın tarayıcısı, Freelancer web sitesine karşı beş kat daha fazla trafiğe neden olurken, iFixit CEO’su Kyle Wiens de benzer bir durumla karşılaştıklarını dile getirdi. Wiens, Anthropic’ın botunun iFixit’in sunucularına bir günde bir milyon kez ulaştığını bildirdi. “Sadece içeriğimizi para ödemeden alıyorsunuz, aynı zamanda devops kaynaklarımızı da zorluyorsunuz," diyerek durumu özetledi.
Web siteleri için özellikle kritik olan “robots.txt" dosyası, web tarayıcılarının hangi sayfalara erişebileceği hakkında talimatlar içermektedir. Bu dosyadaki talimatların uygulanması isteğe bağlı olsa da, kötü niyetli botlar tarafından sıkça ihlal edilmektedir. Wired dergisi, daha önce Perplexity adlı bir başka yapay zeka firmasının da robots.txt dosyasını dikkate almadığını ve tarama yaptığını bildirmişti. TollBit adlı bir startup, bunun yalnızca Perplexity ile sınırlı olmadığını, aynı zamanda Anthropic ve OpenAI gibi firmaların da benzer şekilde davranmakta olduğuna dair duyumlar aldıklarını açıkladı.
Eyleme Geçen Şirketler
Freelancer, Anthropic’ın botuna erişim taleplerini başlangıçta reddetmeye çalıştı ancak sonunda botu tamamen engellemek zorunda kaldı. Barrie, “Bu, siteyi tüm kullanıcılar için yavaşlatan ve gelirlerimizi etkileyen bir scraper içeriği," şeklinde konuştu. iFixit ekibi ise, Anthropic’ın botu nedeniyle 3AM’de alarm durumuna geçmek zorunda kaldı. Ancak, iFixit, robots.txt dosyasını güncelleyerek Anthropic’ın botunu yasakladıktan sonra taramada bir azalma yaşandığını bildirdi.
Anthropic’ın Yanıtı
Anthropic, The Information’a verdiği demeçte, robots.txt dosyasına saygı gösterdiğini ve iFixit tarafından uygulanan bu kısıtlamalara saygı gösterdiğini, aynı zamanda tarama süreçlerini daha az kesintili hale getirmek için yavaş hareket etmeye çalıştıklarını belirtti. Şirket, bu durumu incelemekte olduklarını ifade etti.
Hey @AnthropicAI: I get you're hungry for data. Claude is really smart! But do you really need to hit our servers a million times in 24 hours?
— Kyle Wiens (@kwiens) July 24, 2024
You're not only taking our content without paying, you're tying up our devops resources. Not cool.
Gelecek ve Lisanslama Olasılıkları
Yapay zeka firmaları, web sitelerinden içerik toplamak için crawler kullanırken, bu durum birçok telif hakkı ihlaline sebep olan davaları da beraberinde getiriyor. Birçok içerik sahibi, bu nedenle yayıncılarla anlaşmalar yaparak yasal sorunların önüne geçmeye çalışıyor. OpenAI, şu ana kadar News Corp, Vox Media, Financial Times ve Reddit gibi kuruluşlarla içerik ortaklıkları kurmuş durumda. iFixit’in CEO'su Kyle Wiens, Anthropic ile lisanslama konusunda bir anlaşma yapmaya açık olduğunu ifade ederken, "Ticari kullanım için içeriğimizi lisanslama konusunda konuşmak için buradayız" dedi.
Yıllardır gündemde olan bu durum, internet sitelerinin verilerinin haksız yere kullanılmasını engellemek adına gereken adımların atılması gerektiğini bir kez daha gözler önüne serdi. Bu tür olayların artması, AI sektöründeki etik tartışmalarını da derinleştirmesiyle birlikte, şirketlerin daha saygılı ve yasalara uygun davranmasının önemini artırıyor.