Informationen für Anbieter

ServerDB-Crawler-Bot

ServerDB.cc betreibt einen automatisierten Bot, der in regelmäßigen Abständen Anbieter-Websites besucht, um Preise, Verfügbarkeiten und Spezifikationen auszulesen. Die meisten Angebote werden etwa alle 24 Stunden aktualisiert, wobei das Intervall davon abhängt, wie häufig sich Ihr Angebot ändert. Zwischen zwei Anfragen wartet der Bot standardmäßig 1 Sekunde. Diese Pause lässt sich über Crawl-delay (unten gezeigt) verlängern oder verkürzen. Wir crawlen nur mit Ihrer Erlaubnis: Der Bot verwendet feste IP-Adressen, sendet einen eindeutigen User-Agent und beachtet Ihre robots.txt. Fragen sind jederzeit willkommen.

Zugriff erlauben

In den meisten Fällen erreicht der Bot Ihre Website ohne Änderungen auf Ihrer Seite. Falls etwas blockiert, prüfen Sie Folgendes:

1. Falls Sie eine Firewall betreiben oder einen Proxy wie Cloudflare nutzen, setzen Sie die Quell-IP-Adressen des Bots auf die Whitelist.

Falls Sie eine robots.txt pflegen, erlauben Sie unseren Bot, indem Sie Folgendes ergänzen:

User-agent: ServerDBBot
Allow: /

Anfragerate begrenzen

Der Bot wartet standardmäßig 1 Sekunde zwischen den Anfragen. Um ein anderes Intervall anzufordern, fügen Sie Ihrer robots.txt Folgendes hinzu, wobei 10 die Pause in Sekunden ist:

User-agent: ServerDBBot
Crawl-delay: 10

Bot stoppen

Bevor Sie uns vollständig blockieren, würden wir uns über eine Nachricht freuen, damit wir die Ursache beheben können. Falls der Bot gerade Probleme verursacht und sofort gestoppt werden muss, tragen Sie dies in Ihre robots.txt ein:

User-agent: ServerDBBot
Disallow: /

Der Bot cached die robots.txt für 1 Stunde, sodass Änderungen nicht sofort wirksam werden.

Identität des Bots