Amazon Web Services, Wired'a göre, Perplexity AI'in kurallarını ihlal edip etmediğini belirlemek için bir soruşturma başlattı. Şirketin bulut bölümü, hizmetin sunucularında barındırılan bir tarayıcının, Robots Exclusion Protocol'ü ihmal ederek kullanıp kullanmadığı iddialarını araştırıyor. Bu protokol, geliştiricilerin web sitelerine yükledikleri robots.txt dosyasında botların belirli sayfalara erişip erişemeyeceği konusunda talimat içeren bir web standardıdır. Bu talimatlara uyum zorunlu değildir, ancak saygın şirketlerin tarayıcıları genellikle '90'lardan beri bu standartları uygulamaya başladıklarından beri bunlara saygı göstermişlerdir.
Daha önceki bir haberde, Wired, kendi web sitesinin robots.txt talimatlarını atlayan bir sanal makine keşfettiğini bildirmişti. Bu makine, 44.221.181.252 IP adresiyle barındırılan ve "kesinlikle Perplexity tarafından işletilen" bir Amazon Web Services sunucusunda bulunuyordu. İddiaya göre, bu makine, son üç ayda Condé Nast'ın diğer web sitelerini yüzlerce kez ziyaret ederek içeriklerini kopyaladı. Wired'ın iddiasına göre, The Guardian, Forbes ve The New York Times da yayınlarını defalarca ziyaret ettiğini tespit etmişlerdi. Perplexity'in içeriklerini kopyalayıp kopyalamadığını doğrulamak için Wired, şirketin chatbot'una makale başlıklarını veya kısa açıklamalarını girdi. Araç, makalelerini "minimal atıf ile kısa özetlerle" yeniden yazan sonuçlar verdi.
Son Reuters raporu, Perplexity'nin büyük dil modellerini eğitmek için içerik toplamak amacıyla robots.txt dosyalarını atlayan tek AI şirketi olmadığını iddia etti. Ancak, Amazon'un soruşturması sadece Perplexity AI üzerinde odaklanıyor gibi görünüyor. Bir Amazon sözcüsü, müşterilerinin web sitelerini tararken robots.txt talimatlarına uymak zorunda olduğunu belirterek, "AWS'nin hizmet koşulları, müşterilerimizin hizmetlerimizi herhangi bir yasa dışı faaliyet için kullanmasını yasaklar ve müşterilerimiz, koşullarımıza ve tüm ilgili yasalara uymaktan sorumludurlar" dedi.
Perplexity sözcüsü Sara Platnick, şirketin Amazon'un sorularına zaten cevap verdiğini ve tarayıcılarının Robots Exclusion Protocol'ünü atlamadığını reddetti. "PerplexityBotumuz ki AWS üzerinde çalışıyor robots.txt'yi saygı gösterir ve Perplexity tarafından kontrol edilen hizmetlerin AWS Hizmet Koşulları'nı ihlal eden hiçbir şekilde tarama yapmadığını teyit ettik" dedi. Ancak Platnick, PerplexityBot'un kullanıcıların chatbot sorgularına belirli bir URL eklediklerinde robots.txt'i ihmal edebileceğini kabul etti.
Perplexity CEO'su Aravind Srinivas, şirketinin "Robot Exclusions Protocol'ü ihmal etmediğini ve sonra yalan söylemediğini" daha önce inkar etti. Srinivas, Perplexity'nin kendi tarayıcılarının yanı sıra üçüncü taraf web tarayıcılarını da kullandığını ve Wired'ın tespit ettiği botun bunlardan biri olduğunu kabul etti. Reuters raporunda