Robot / Crawler
Robot / CrawlerDie Datei robots.txt ist eine Standardmöglichkeit um Robots / Crawler zu steuern.Nähere Informationen können Sie hier nachlesen Wenn Sie nicht wünschen, dass unser Robot Ihre Seiten besucht und in diesem Suchdienst verfügbar macht, können Sie unseren Bot mit dem folgenden Eintrag in Ihrer robots.txt aussperren: User-agent: frogl-bot |
| Wenn Sie unserem Bot einzelne Verzeichnisse verbieten wollen, erreichen Sie dies mit dem folgenden Eintrag User-agent: frogl-bot |