Sitemap
Eine XML-Sitemap hilft Suchmaschinen, wichtige öffentliche URLs zu entdecken. Sie erzwingt keine Aufnahme in den Index.
robots.txt
Die robots.txt steuert das Crawling. Sie ist kein Zugriffsschutz und darf deshalb keine geheimen Pfade enthalten.