Over de crawler van WholesaleX
Om een leverancier te vermelden, leest de software van WholesaleX de publieke website van dat bedrijf. Deze pagina legt de beheerder van een website uit wat die software doet.
Hoe hij zich identificeert
De crawler stuurt bij elk verzoek de naam WholesaleXDirectoryBot en het adres van deze pagina mee. Hij doet zich niet voor als een browser.
Hoe hij zich gedraagt
- Hij volgt de regels in het robots.txt-bestand van uw website.
- Hij wacht minstens 2 seconden tussen twee verzoeken aan dezelfde website.
- Hij haalt maximaal 5 producten van een bedrijf van diens eigen productpagina.
Hoe u hem kunt stoppen
Voeg een regel voor WholesaleXDirectoryBot toe aan uw robots.txt, of schrijf ons. Wij verwijderen de gegevens van een bedrijf op verzoek.
Contact: global@wholesalex.de