robots.txt + sitemap zusammen

robots.txt

User-agent: *
Disallow: /administrator/
Sitemap: https://joomla6.rneuhoff.de/sitemap.xml

robots.txt + sitemap

User-agent: *
Disallow: /administrator/
Sitemap: https://joomla6.rneuhoff.de/sitemap.xml
User-agent: * Disallow: /administrator/ Sitemap: https://joomla6.rneuhoff.de/sitemap.xml

Sehr wichtig: letzte Zeile! Ohne diese muss Google die Sitemap selbst finden.

Praxisbeispiel

Website hat Menüpunkt: Ratgeber → Unterseite ohne Menülink

Ohne Sitemap: → wird nie gefunden
Mit Sitemap: → wird indexiert

Häufiger Fehler

Viele glauben: 
Falsch: robots.txt verhindert nur Last auf Server.

Ranking entsteht über:

  1. sitemap.xml
  2. interne Links
  3. Canonical
  4. Inhalte