SITEMAP ROBOTS TXT KURGUSU YAPMAK

Google bot bir siteyi ziyaret ettiğinde ilk baktığı iki dosya: robots.txt ve sitemap.xml. Robots.txt "buraları görme" der; sitemap.xml "buralara bak" der. İkisi birlikte Google'ın sitenizi nasıl gezeceğini, hangi sayfaları önemseyeceğini belirler.

1. Robots.txt nedir?

Robots.txt; sitenin kök dizininde duran düz metin dosyasıdır. Tarayıcı bot'lar (Googlebot, Bingbot, vs) bir siteye gelmeden önce bu dosyayı okur ve hangi sayfaları taramamaları gerektiğini öğrenir. Her iki dosyanın geçerli sözdizimi arama merkezi dokümantasyonunda tanımlıdır.

URL: https://siteniz.com/robots.txt

Temel yapısı

User-agent: *
Disallow: /admin/
Disallow: /sepet
Disallow: /hesap

Sitemap: https://siteniz.com/sitemap.xml

Açıklama:

• User-agent: Hangi bot için kural geçerli. * tüm bot'lar; Googlebot sadece Google için
• Disallow: Bot'un erişmemesi gereken yol
• Allow: Disallow ile engellenen alan içindeki istisna
• Sitemap: Sitemap'in adresini bot'lara bildirir

2. Robots.txt yaygın kuralları

Tüm siteyi engelleme

User-agent: *
Disallow: /

Staging veya development ortamında kullanılır. Production'da kesinlikle olmamalı; canlı sitede bu yazılırsa tüm sıralama kaybedilir.

Belirli klasörü engelleme

User-agent: *
Disallow: /private/
Disallow: /admin/

Belirli dosya tipini engelleme

User-agent: *
Disallow: /*.pdf$
Disallow: /*.docx$

Query string engelleme

User-agent: *
Disallow: /*?sort=
Disallow: /*?utm_
Disallow: /*?session=

Bot özelinde kural

# Yapay zeka tarayıcılarını engelle
User-agent: GPTBot
Disallow: /

User-agent: ClaudeBot
Disallow: /

User-agent: anthropic-ai
Disallow: /

# Diğer bot'lara izin
User-agent: *
Allow: /

2024'ten itibaren AI tarayıcılarını engellemek yaygın bir tartışma; bazı yayıncılar tüm AI bot'larını engelliyor.

3. Robots.txt yaygın hatalar

1. Tüm CSS ve JS engellemek. Google sayfayı render etmek için bunlara ihtiyaç duyar; engellenirse sayfa anlaşılamaz
2. Staging robots.txt'i production'a kopyalamak. Disallow: / kalırsa felaket
3. Robots.txt ile noindex sanmak. Robots.txt sadece taramayı engeller; sayfa hâlâ indekslenebilir (sadece içerik görülmez). Gerçek gizleme için noindex meta tag gerekli
4. Sitemap belirtmemek. Sitemap referansı çok pratik; Google bunu görür ve bulur
5. Yanlış syntax. Disallow ve Allow yazımına dikkat; case sensitive
6. Wildcard yanlış kullanımı. / ile * fark eder; ölçüm yapmadan production'a alma

4. Sitemap nedir?

Sitemap; sitenin indekslenmesini istediğiniz URL'lerin listelendiği XML dosyasıdır. Google'a "buraya öncelikle bak" demektir. Robots.txt "buraya bakma" der; sitemap "buraya bak" der.

URL: https://siteniz.com/sitemap.xml

Temel sitemap yapısı

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://siteniz.com/</loc>
    <lastmod>2026-05-12</lastmod>
    <changefreq>weekly</changefreq>
    <priority>1.0</priority>
  </url>

  <url>
    <loc>https://siteniz.com/blog/seo-rehberi</loc>
    <lastmod>2026-05-10</lastmod>
    <changefreq>monthly</changefreq>
    <priority>0.8</priority>
  </url>
</urlset>

Etiketler:

• loc: URL'in tam adresi (zorunlu)
• lastmod: Son değişiklik tarihi (Google bunu okur)
• changefreq: Sayfa ne sıklıkla değişiyor (önemsiz; Google görmezden geliyor)
• priority: Sitenin diğer sayfalarına göre öncelik 0-1 (Google görmezden geliyor)

Pratikte sadece loc ve lastmod önemlidir. changefreq ve priority'yi Google yıllar önce dikkate almayı bıraktı.

5. Sitemap türleri

1. Standart XML sitemap

Yukarıdaki örnek. Çoğu site için yeterli. WordPress (Yoast, Rank Math) otomatik üretir; özel kodlu siteler için manuel veya plugin ile.

2. Sitemap index

50.000+ URL'li siteler tek sitemap'e sığmaz; sitemap index dosyası birden fazla sitemap'i gruplar.

<?xml version="1.0" encoding="UTF-8"?>
<sitemapindex xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <sitemap>
    <loc>https://siteniz.com/sitemap-urunler.xml</loc>
    <lastmod>2026-05-12</lastmod>
  </sitemap>
  <sitemap>
    <loc>https://siteniz.com/sitemap-blog.xml</loc>
    <lastmod>2026-05-10</lastmod>
  </sitemap>
</sitemapindex>

3. Görsel sitemap

Google Images için ayrı sitemap. Görsellerin alt metni, açıklaması, lisans bilgisi eklenir.

4. Video sitemap

YouTube video embed'leri veya kendi video içeriği için.

5. Haber sitemap (Google News)

Haber sitelerinde özel format. Yayın tarihi, başlık, dil, ülke bilgisi içerir.

6. Sitemap'e ne dahil edilmeli?

Dahil EDİLMESİ gerekenler

• Ana sayfa
• Tüm önemli kategori sayfaları
• Tüm ürün sayfaları (canlı, stokta veya gelecek)
• Tüm blog yazıları
• Hakkımızda, İletişim gibi statik sayfalar
• Hizmet sayfaları

Dahil EDİLMEMESİ gerekenler

• Noindex etiketli sayfalar
• Canonical başkasını gösteren sayfalar
• 404 dönen sayfalar
• Sepet, ödeme, hesap gibi kullanıcı-spesifik sayfalar
• Arama sonuç sayfaları
• Filtrelenmiş kategori URL'leri (parametre URL'leri)
• Pagination'daki tüm sayfa (sadece ilk sayfa veya canonical'ı tutulan sayfa)
• Test ortamı kalıntıları

"Sitemap çöp dolu" Google'ın güvenini azaltır; önemli URL'leriniz de geç indekslenebilir.

7. Sitemap'i Google'a bildirme

1. Search Console'a gönderme

Search Console > Sitemaps > yeni sitemap URL'i ekle. Google'ın sitemap'i bilmesi için bu en doğrudan yol.

2. Robots.txt referansı

Sitemap: https://siteniz.com/sitemap.xml

Robots.txt'e ekleme; bot'lar her ziyarette görür.

3. Otomatik ping (eski yöntem)

Google önceden https://www.google.com/ping?sitemap=... ile manuel ping kabul ederdi; 2023'te kaldırıldı. Artık Search Console veya robots.txt yoluyla.

8. Sitemap güncel tutmak

Sitemap statik değil; site içeriği değiştikçe güncellenmeli. Otomatik üretim sistemleri:

WordPress

Yoast SEO veya Rank Math otomatik sitemap üretir; yeni yazı eklendiğinde anında güncellenir. /sitemap_index.xml URL'i.

Shopify

Otomatik /sitemap.xml üretir; manuel düzenleme yok.

WooCommerce

Yoast veya Rank Math eklentisi ile entegre olur.

Özel kod

Üretim script'i yazılır; cron job ile günlük üretilir.

9. Sitemap test araçları

• Search Console Sitemaps raporu: Toplam URL, indekslenen URL, hata sayısı
• XML Sitemap Validator (XML-Sitemaps.com): Format kontrolü
• Screaming Frog Sitemap Crawler: Sitemap'teki tüm URL'leri tarayıp 404 olanları bulur

10. Örnek tam yapılandırma

Robots.txt

# Genel kural
User-agent: *
Allow: /

# Engellenen bölümler
Disallow: /wp-admin/
Disallow: /sepet
Disallow: /hesap
Disallow: /arama
Disallow: /*?sort=
Disallow: /*?utm_

# Wp-admin'de Ajax'a izin
Allow: /wp-admin/admin-ajax.php

# Sitemap
Sitemap: https://siteniz.com/sitemap_index.xml

Sitemap (örnek)

<?xml version="1.0" encoding="UTF-8"?>
<urlset xmlns="http://www.sitemaps.org/schemas/sitemap/0.9">
  <url>
    <loc>https://siteniz.com/</loc>
    <lastmod>2026-05-12</lastmod>
  </url>
  <url>
    <loc>https://siteniz.com/hakkimizda</loc>
    <lastmod>2026-04-15</lastmod>
  </url>
  <url>
    <loc>https://siteniz.com/iletisim</loc>
    <lastmod>2026-04-15</lastmod>
  </url>
  <!-- Diğer URL'ler -->
</urlset>

11. Sık karşılaşılan sorunlar

12. Sürekli Çalışma

Sitemap ve robots.txt teknik SEO'nun temel araçlarıdır. Bilgiyi sıralı yol haritasıyla edinmek için uygulamalı SEO eğitimi programı tarama yönetimi, sitemap ve robots.txt kurgusunu hands-on ele alır.

Toparlarsak

Sitemap ve robots.txt; Google'a "buraya bak / buraya bakma" diyen iki temel SEO dosyasıdır. Robots.txt taramayı yönlendirir; sitemap indeksleme önceliklerini bildirir. Doğru yapılandırma 5 dakikalık iş; yanlış yapılandırma aylarca düzelmeyen sıralama kaybı. Sitemap'te sadece indekslenmek istenen kaliteli URL'ler bulunmalı; robots.txt'te kullanıcı-spesifik ve parametre URL'leri engellenmeli. İki dosya da Search Console'da düzenli kontrol edilmeli; her büyük değişiklik sonrası güncel tutulmalı.