Yapay Zeka Botları ve robots.txt: GPTBot, ClaudeBot ve Google-Extended Nasıl Yönetilir?

Sitenizin ChatGPT, Claude, Perplexity veya Google’ın yapay zeka yanıtlarında kaynak olarak gösterilebilmesi için önce bu sistemlerin botlarının sitenize girebilmesi gerekir; bunu belirleyen ilk yer robots.txt dosyasıdır. Kısa cevap şu: arama ve yanıt üretmek için siteyi ziyaret eden botlara (örneğin OAI-SearchBot, Claude-SearchBot, PerplexityBot) izin verin, yalnızca model eğitimi için veri toplayan botlar (örneğin GPTBot, ClaudeBot, Google-Extended) konusunda ise işletmenizin içerik politikasına göre bilinçli bir karar verin. En sık yapılan hata, tek bir “tüm botları engelle” satırıyla ya da güvenlik eklentisinin varsayılan ayarıyla bu botların hepsini farkında olmadan dışarıda bırakmaktır.

Yapay Zeka Botları Neden Ayrı Ayrı Ele Alınmalı?

Klasik SEO’da robots.txt denince akla çoğunlukla Googlebot ve Bingbot gelir. Yapay zeka aramalarının yaygınlaşmasıyla birlikte ise sitelere farklı amaçlarla gelen yeni bir bot ailesi oluştu. Bu botların bir kısmı modelleri eğitmek için içerik toplar, bir kısmı kullanıcı bir soru sorduğunda yanıtı oluşturmak için güncel sayfaları tarar, bir kısmı da kullanıcı bir bağlantıyı açmasını istediğinde o sayfayı anlık olarak ziyaret eder.

Bu ayrım önemlidir, çünkü her bot için verilecek karar farklı olabilir. Bir işletme, içeriklerinin model eğitiminde kullanılmasını istemeyebilir; ama aynı işletme, potansiyel bir müşteri “Ataşehir’de iç mimar” gibi bir soru sorduğunda yapay zeka yanıtında kaynak olarak gösterilmeyi kesinlikle ister. Tüm botları tek kalemde engellemek, bu ikinci fırsatı da ortadan kaldırır.

Hangi Bot Ne İş Yapar?

Aşağıdaki tablo, işletme sitelerinde en sık karşılaşılan yapay zeka botlarını ve genel işlevlerini özetliyor. Bot adları ve görevleri sağlayıcılar tarafından zaman zaman güncellendiği için, karar vermeden önce ilgili firmanın güncel dokümantasyonunu kontrol etmek iyi bir alışkanlıktır.

Google tarafında dikkat edilmesi gereken bir ayrıntı var: Google Arama’daki yapay zeka özetleri, ayrı bir yapay zeka botu üzerinden değil, normal Googlebot taramasıyla beslenir. Yani Googlebot’u engellemeden yalnızca bu özetlerden çıkmak robots.txt ile mümkün değildir; Google-Extended ise farklı bir kullanımı kontrol eder. Benzer şekilde Microsoft’un yapay zeka deneyimleri de büyük ölçüde Bingbot’un taradığı içeriklere dayanır. Bu yüzden klasik arama botlarına erişim, yapay zeka görünürlüğünün de temelidir.

Örnek Bir robots.txt Kurgusu

Aşağıdaki örnek, arama ve yanıt botlarına izin verip eğitim botlarını sınırlayan bir yaklaşımı gösteriyor. Bu bir şablon değil, karar mantığını anlatan bir örnektir; kendi sitenizin yönetim paneli, sepet veya üye alanı gibi kapatılması gereken bölümleri mutlaka ayrıca eklemeniz gerekir.

Eğitim botlarını engellemek zorunlu değildir. İçeriğinin geniş ölçüde yayılmasını, marka adının modellerin genel bilgisinde yer almasını önemseyen işletmeler bu botlara da izin verebilir. Burada doğru ya da yanlış tek bir cevap yoktur; önemli olan kararın bilinçli verilmesi ve dosyanın bu kararı gerçekten yansıtmasıdır.

robots.txt Doğru Olsa Bile Botlar Neden Giremeyebilir?

Pek çok sitede robots.txt dosyası temiz olduğu hâlde yapay zeka botları siteye ulaşamaz. Bunun nedeni genellikle robots.txt’den önce devreye giren katmanlardır:

• Güvenlik eklentileri: WordPress güvenlik eklentilerinin bir kısmı, tanımadığı user-agent’ları veya yoğun istek gönderen botları otomatik olarak engelleyebilir.
• CDN ve güvenlik duvarı ayarları: Bazı CDN ve güvenlik hizmetleri, yapay zeka botlarını engelleyen hazır ayarlar sunar ve bu ayarlar kimi durumlarda varsayılan olarak açık gelebilir.
• Hosting kaynaklı limitler: Paylaşımlı hostinglerde art arda gelen isteklere uygulanan sınırlamalar, botların sayfaları zaman aşımıyla terk etmesine yol açabilir.
• JavaScript’e bağımlı içerik: Metnin yalnızca tarayıcıda JavaScript çalıştıktan sonra oluştuğu sayfalarda, bazı botlar boş bir sayfa görebilir.

Bu nedenle robots.txt’yi düzenlemek işin yarısıdır; diğer yarısı, botların gerçekten sayfaya ulaşıp içeriği okuyabildiğini test etmektir.

Dört Adımda Bot Erişim Kontrolü

İşletme Tipine Göre Hangi Karar Daha Mantıklı?

Eğitim botlarına izin verip vermeme kararı, işletmenin içeriğinden ne beklediğine göre değişir. Hizmet satan yerel işletmeler (tadilat, iç mimarlık, ilaçlama, spor salonu gibi) için içerik çoğunlukla tanıtım amaçlıdır; markanın ve hizmet bölgesinin yapay zeka sistemlerince doğru bilinmesi bu işletmelerin lehinedir. Bu nedenle bu tür işletmeler genellikle tüm botlara açık bir politika ile daha fazla kazanç elde eder.

Öte yandan içeriğin kendisinin ürün olduğu siteler, örneğin ücretli eğitim materyali, özgün araştırma veya abonelikle sunulan rehberler yayımlayan yapılar, eğitim botlarını sınırlamayı tercih edebilir. Üretici ve toptancı firmalar ise genellikle ürün sayfalarını açık tutar, fiyat listesi veya bayi paneli gibi bölümleri ise zaten giriş gerektiren alanlarda saklar. Kararı hangi yönde verirseniz verin, arama ve yanıt botlarını kapatmak yerine açık bırakmak, potansiyel müşterilerin yapay zeka asistanlarına sorduğu sorularda sizi bulabilmesi için gereklidir.

Erişim Açıldıktan Sonra Ne Olur?

Botların siteye girebilmesi, yapay zeka yanıtlarında görünmenin ön koşuludur ama tek başına yeterli değildir. Sayfaların soruya ilk paragrafta net cevap vermesi, işletme bilgilerinin tüm platformlarda tutarlı olması ve yapılandırılmış verilerin (şema) doğru kurulması da gerekir. Ajans Zeus’un GEO hizmeti, bot erişim testiyle başlar; ardından cevap önce gelen içerik yapısı, şema, llms.txt ve marka tutarlılığı adımlarıyla devam eder. Bu çalışmalar klasik SEO’nun yerine geçmez, onu tamamlar; arama motoru tarafındaki temel altyapı için SEO danışmanlığı sayfamıza da göz atabilirsiniz.

Sık Sorulan Sorular

GPTBot’u engellersem ChatGPT yanıtlarında görünmez miyim?

OpenAI, eğitim amaçlı GPTBot ile ChatGPT aramasında kullanılan OAI-SearchBot’u ayrı botlar olarak tanımlar. GPTBot’u engelleyip OAI-SearchBot’a izin vermek, içeriğin eğitimde kullanılmasını sınırlarken arama sonuçlarında görünme imkânını korumayı amaçlayan bir yaklaşımdır.

Google-Extended’ı engellemek Google sıralamamı etkiler mi?

Google, Google-Extended’ın Google Arama’daki sıralamayı etkilemediğini belirtir. Bu ayar, içeriğin Gemini modellerinde kullanımıyla ilgilidir.

robots.txt değişikliği ne zaman etkili olur?

Botlar robots.txt dosyasını belirli aralıklarla yeniden okur. Değişiklik genellikle kısa sürede dikkate alınır, ancak her sağlayıcının yenileme sıklığı farklıdır.

llms.txt dosyası robots.txt’nin yerine geçer mi?

Hayır. robots.txt erişim izinlerini belirler; llms.txt ise yapay zeka sistemlerine sitenin önemli sayfalarını özetleyen isteğe bağlı bir rehber dosyadır. İkisi farklı amaçlara hizmet eder.

Yapay zeka aramalarında görünür olmak, doğru kapıyı doğru botlara açmakla başlar. Sitenizin bot erişimini test etmek ve GEO yol haritanızı çıkarmak için 15 yıllık tecrübesiyle Ataşehir merkezli İstanbul dijital ajans Ajans Zeus ile 0216 328 14 14 numarasından veya info@ajanszeus.com adresinden iletişime geçebilirsiniz.

İlgili Yazılar

• İşletmeniz ChatGPT ve Google Yapay Zeka Yanıtlarında Görünüyor mu? 6 Adımlık GEO Ön Kontrolü