Über den WholesaleX-Crawler
Um einen Anbieter aufzunehmen, liest die Software von WholesaleX die öffentliche Website dieses Unternehmens. Diese Seite erklärt Betreibern einer Website, was diese Software tut.
Wie er sich zu erkennen gibt
Der Crawler sendet in jeder Anfrage den Namen WholesaleXDirectoryBot und die Adresse dieser Seite. Er gibt sich nicht als Browser aus.
Wie er sich verhält
- Er befolgt die Regeln in der robots.txt Ihrer Website.
- Er wartet mindestens 2 Sekunden zwischen zwei Anfragen an dieselbe Website.
- Er übernimmt höchstens 5 Produkte eines Unternehmens von dessen eigener Produktseite.
Wie Sie ihn stoppen
Tragen Sie eine Regel für WholesaleXDirectoryBot in Ihre robots.txt ein oder schreiben Sie uns. Wir entfernen die Daten eines Unternehmens auf Anfrage.
Kontakt: global@wholesalex.de