robots.txt ve llms.txt oluşturucu

robots.txt nedir?

robots.txt, sitenizin kök dizininde duran ve tarayıcı botlara hangi adresleri tarayabileceklerini söyleyen düz bir metin dosyasıdır. Kurallar User-agent (hangi bot), Disallow (taranmasın) ve Allow (taranabilir) satırlarıyla yazılır; Sitemap satırı ise site haritanızın yerini bildirir. Biçim 2022’de RFC 9309 ile standartlaştırılmıştır.

Önemli iki nokta: robots.txt bir güvenlik önlemi değildir; dosyayı herkes okuyabilir ve kötü niyetli botlar kurallara uymaz. Ayrıca robots.txt ile engellenen bir sayfa, başka sitelerden bağlantı alıyorsa Google dizininde adres olarak görünebilir. Bir sayfanın dizinden çıkmasını istiyorsanız taramaya izin verip noindex etiketi kullanın.

Yapay zekâ botları: eğitim ve arama ayrımı

Yapay zekâ şirketlerinin botları iki ana gruba ayrılır ve bu ayrım doğru kararı vermenin anahtarıdır:

• Eğitim botları (GPTBot, ClaudeBot, Google-Extended, Applebot-Extended, CCBot vb.) içeriğinizi yapay zekâ modellerinin eğitiminde kullanmak için toplar. Engellemek, içeriğinizin gelecekteki modellerin eğitimine girmesini sınırlar.
• Arama ve yanıt botları (OAI-SearchBot, Claude-SearchBot, PerplexityBot vb.) yapay zekâ asistanlarının arama sonuçlarında ve yanıtlarında sitenizi kaynak olarak gösterebilmesi için sayfaları tarar. Engellerseniz bu asistanların yanıtlarında kaynak olarak görünme şansınızı kaybedersiniz.
• Kullanıcı adına çalışan botlar (ChatGPT-User, Claude-User, Perplexity-User) bir kullanıcı sohbette bir bağlantı paylaştığında ya da soru sorduğunda sayfayı anlık olarak getirir. Bazı şirketler bu isteklerin kullanıcı tarafından başlatıldığı gerekçesiyle robots.txt kurallarının her durumda uygulanmayabileceğini belirtir.

Pek çok marka için dengeli seçenek “eğitimi engelle, aramaya izin ver” şablonudur: içeriğiniz model eğitimine verilmez ama ChatGPT, Claude ve Perplexity gibi asistanlar sizi kaynak olarak gösterebilir.

Google-Extended Google aramasını etkiler mi?

Hayır. Google-Extended ayrı bir tarayıcı değil, robots.txt’de kullanılan bir kontrol adıdır. İçeriğinizin Gemini modellerinin eğitiminde ve Gemini uygulamaları ile Vertex AI’daki yanıtların temellendirilmesinde kullanılıp kullanılmayacağını belirler. Googlebot’un taramasını, Google Arama’daki dizine eklenmeyi ve sıralamayı etkilemez. Applebot-Extended de benzer biçimde yalnızca Apple’ın yapay zekâ modellerinin eğitimiyle ilgilidir.

llms.txt nedir?

llms.txt, Eylül 2024’te Jeremy Howard tarafından önerilen ve büyük dil modellerine sitenizin en önemli sayfalarını sade bir Markdown dosyasıyla tanıtmayı amaçlayan bir standarttır (llmstxt.org). Dosya sitenin kök dizinine /llms.txt olarak konur ve şu yapıyı izler:

1. Site ya da proje adını içeren bir H1 başlık (# Site adı)
2. Kısa bir özet içeren alıntı bloğu (> …)
3. İsteğe bağlı açıklama paragrafları
4. H2 başlıklar altında bağlantı listeleri: - [Başlık](adres): kısa not
5. Zaman kısıtlı durumlarda atlanabilecek bağlantılar için “Optional” bölümü

Dürüst olmak gerekirse llms.txt henüz gelişmekte olan bir öneridir. Büyük yapay zekâ şirketleri bu dosyayı düzenli olarak okuduklarını resmî olarak duyurmuş değildir ve Google, aramadaki yapay zekâ özellikleri için gerekli olmadığını belirtmiştir. Yine de hazırlaması kolaydır, zararı yoktur ve özellikle dokümantasyon, yazılım ve içerik ağırlıklı sitelerde yapay zekâ araçlarının sitenizi doğru özetlemesine yardımcı olabilir.

Sık yapılan robots.txt hataları

• Geliştirme ortamındaki Disallow: / kuralını canlı siteye taşımak.
• CSS ve JavaScript klasörlerini engellemek; Google sayfayı doğru göremez.
• Bir bota özel grup yazıp genel (User-agent: *) kuralların ona da uygulanacağını sanmak. Bot, kendi adının geçtiği grubu izler; genel grubu dikkate almaz.
• Google’ın desteklemediği Crawl-delay ve Noindex satırlarına güvenmek.