Crawlen is het doorzoeken van een complete website door een spider, of robot, van een zoekmachine.
Als de zoekmachine een website bezoekt, zal de spider door het volgen van iedere interne link alle pagina’s van het domein bezoeken en indexeren. Als je niet wilt dat alle pagina’s geïndexeerd kunnen worden, dan kun je dit door middel van Meta Tags aangeven.
SEO Toolkit Meta Tag Editor
 |
Crawlen |
||||||||||||||||||||
|
|
||||||||||||||||||||
|
|
