Voor site-eigenaren
DomivoBot, de crawler van Domivo
Zie je DomivoBot in de logs van je website? Hier lees je wie wij zijn, wat hij leest, hoe hij zich gedraagt en hoe je hem tegenhoudt.
- User-agent
DomivoBot/1.0 (+https://domivo.nl/bot)- robots.txt
- Wordt gevolgd
- Tempo
- Hooguit één verzoek per twee seconden per host
Wie is Domivo
Domivo is een Nederlands platform voor koopwoningen, huurwoningen en nieuwbouw. Bezoekers zoeken op de kaart, particulieren verkopen zelf hun woning en makelaars en ontwikkelaars werken in dezelfde omgeving. DomivoBot is de crawler waarmee we openbare woning- en projectgegevens vindbaar maken, met vermelding van de bron.
Wat DomivoBot leest
Openbare pagina's van makelaars, ontwikkelaars en nieuwbouwprojecten: pagina's die een bezoeker zonder account ook ziet. We nemen alleen feiten over.
Wat we overnemen
- Plaats of adres, prijs, woonoppervlak en aantal kamers
- Bij nieuwbouw: aantal woningen, bouwfase en verwachte oplevering
- De naam van de aanbieder en de link naar de pagina waar we het vonden
Wat we niet overnemen
- Beschrijvingen en verkoopteksten
- Foto's: we tonen ze met een link naar jullie eigen bestand. Voor een woning in de zoekresultaten bewaren we hooguit één verkleind voorbeeldplaatje.
Hoe DomivoBot zich gedraagt
- Hij leest eerst het robots.txt van je site en houdt zich eraan. Wat daar voor DomivoBot is verboden, openen we niet.
- Hij stuurt hooguit één verzoek per twee seconden naar dezelfde host, zodat je site niet onder druk komt te staan.
- Hij meldt zich altijd met de user-agent hierboven, die naar deze pagina verwijst. Hij doet zich nooit voor als een gewone browser.
DomivoBot blokkeren
Wil je niet dat DomivoBot je site leest? Zet dit in het robots.txt in de hoofdmap van je site. DomivoBot houdt zich eraan.
User-agent: DomivoBot
Disallow: /Alleen een deel van de site afsluiten kan ook, bijvoorbeeld met een eigen pad in plaats van een schuine streep.
User-agent: DomivoBot
Disallow: /nieuwbouw/Vragen, correcties en verwijdering
Klopt er iets niet, wil je dat we gegevens aanpassen of verwijderen, of heb je een andere vraag? Mail ons. Vermeld de website of het project, dan kunnen we het snel vinden.
Mail naar info@domivo.nl