Wat doet GoedkoophuisBot?
Goedkoophuis.nl is een gratis overzicht van de goedkoopste koop- en huurwoningen die nu in Nederland te koop of te huur staan. GoedkoophuisBot leest daarvoor de woningpagina's van makelaars en verhuurders.
- We nemen alleen feiten over: adres, prijs, status (te koop, onder bod, verkocht), soort woning en oppervlakte. Geen advertentieteksten.
- Bij elke woning op onze site staat een duidelijke link naar de advertentie van de makelaar. Bezoekers reageren altijd bij de makelaar zelf.
- We bewaren geen kopieën van foto's op onze server.
Hoe gedraagt hij zich?
- Hij volgt robots.txt, ook
Crawl-delay. - Rustig: minstens 5 seconden tussen twee verzoeken aan dezelfde site, en een vaste bovengrens per site per dag.
- Waar het kan, vraagt hij alleen wat gewijzigd is (
If-Modified-Since/ETag). - Bij
429gaat hij langzamer; bij401of403stopt hij bij die site. - Hij komt altijd van hetzelfde vaste IP-adres en noemt altijd dezelfde naam.
Herkennen
| User-Agent | GoedkoophuisBot/1.0 (+https://bot.goedkoophuis.nl) |
| IP-adres | 2.31.113.161 (lijst: ip.txt) |
| Reverse DNS | bot.goedkoophuis.nl |
Liever niet?
Zet in uw robots.txt:
User-agent: GoedkoophuisBot Disallow: /
Dan komt hij niet meer. Een vraag, of een woning of foto die weg moet? Mail ons gerust: info@goedkoophuis.nl. We passen het direct aan.
What does GoedkoophuisBot do?
Goedkoophuis.nl is a free overview of the most affordable homes currently for sale or for rent in the Netherlands. GoedkoophuisBot reads the listing pages of Dutch estate agents and letting agents for it.
- We only take facts: address, price, status (for sale, under offer, sold), type of home and floor area. No listing texts.
- Every home on our site has a clear link to the agent's own listing; visitors always contact the agent.
- We do not store copies of photos on our servers.
Behaviour
- Obeys robots.txt, including
Crawl-delay. - Polite: at least 5 seconds between requests to the same site, and a fixed daily limit per site.
- Uses conditional requests (
If-Modified-Since/ETag) where possible. - Slows down on
429; stops at a site on401or403. - Always crawls from the same fixed IP address with the same user agent.
Identification
| User agent | GoedkoophuisBot/1.0 (+https://bot.goedkoophuis.nl) |
| IP address | 2.31.113.161 (list: ip.txt) |
| Reverse DNS | bot.goedkoophuis.nl |
Opting out
User-agent: GoedkoophuisBot Disallow: /
Questions or removal requests: info@goedkoophuis.nl.