{"id":14244,"date":"2026-07-29T12:28:41","date_gmt":"2026-07-29T12:28:41","guid":{"rendered":"https:\/\/youthcommerce.nl\/begrippenlijst\/crawler\/"},"modified":"2026-07-29T12:54:07","modified_gmt":"2026-07-29T12:54:07","slug":"crawler","status":"publish","type":"glossary","link":"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/","title":{"rendered":"Crawler"},"content":{"rendered":"<p>Crawlen is het proces waarbij een zoekmachine, via een <a class=\"glossaryLink\"  aria-describedby=\"tt\"  data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\"  href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\"  data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]'  tabindex='0' role='link'>crawler<\/a> (ook wel bot of spider genoemd, zoals Googlebot), automatisch webpagina&rsquo;s bezoekt en de inhoud analyseert.<\/p>\n<h2>Hoe een <a class=\"glossaryLink\"  aria-describedby=\"tt\"  data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\"  href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\"  data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]'  tabindex='0' role='link'>crawler<\/a> het web verkent<\/h2>\n<p>Een <a class=\"glossaryLink\"  aria-describedby=\"tt\"  data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\"  href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\"  data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]'  tabindex='0' role='link'>crawler<\/a> start bij bekende URL&rsquo;s en volgt vervolgens elke link die het tegenkomt naar nieuwe pagina&rsquo;s, waardoor het web stap voor stap in kaart wordt gebracht. Wat een <a class=\"glossaryLink\"  aria-describedby=\"tt\"  data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\"  href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\"  data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]'  tabindex='0' role='link'>crawler<\/a> tegenkomt en begrijpt op een pagina, bepaalt of en hoe die pagina uiteindelijk in de zoekresultaten kan verschijnen.<\/p>\n<h2>Sturing geven aan crawlers<\/h2>\n<p>Twee bestanden bepalen grotendeels hoe crawlers een website benaderen:<\/p>\n<ul>\n<li><strong>Robots.txt<\/strong>: geeft aan welke delen van de site wel of niet gecrawld mogen worden.<\/li>\n<li><strong>XML-sitemap<\/strong>: geeft aan welke pagina&rsquo;s bestaan en welke prioriteit ze hebben.<\/li>\n<\/ul>\n<h2>Crawlbudget<\/h2>\n<p>Grote websites krijgen te maken met een crawlbudget: het aantal pagina&rsquo;s dat een <a class=\"glossaryLink\"  aria-describedby=\"tt\"  data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\"  href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\"  data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]'  tabindex='0' role='link'>crawler<\/a> binnen een bepaalde periode bezoekt. Een onoverzichtelijke sitestructuur, veel dode links of onnodige duplicate pagina&rsquo;s verspillen dat budget aan onbelangrijke content, ten koste van de pagina&rsquo;s die er echt toe doen.<\/p>\n<p>Twijfel je of jouw website optimaal gecrawld wordt? <a href=\"https:\/\/youthcommerce.nl\/contact\/\">Neem contact op<\/a> of <a href=\"https:\/\/youthcommerce.nl\/contact\/\">plan een strategiegesprek<\/a>.<\/p>\n","protected":false},"excerpt":{"rendered":"<p>Crawlen is het proces waarbij een zoekmachine via een <a class=\"glossaryLink\" aria-describedby=\"tt\" data-cmtooltip=\"cmtt_702c4368a509bdfbe44b3ca7588135d9\" href=\"https:\/\/youthcommerce.nl\/en\/begrippenlijst\/crawler\/\" data-gt-translate-attributes='[{\"attribute\":\"data-cmtooltip\", \"format\":\"html\"}]' tabindex=\"0\" role=\"link\">crawler<\/a> automatisch webpagina&rsquo;s bezoekt en de inhoud analyseert.<\/p>\n","protected":false},"author":4,"featured_media":0,"menu_order":0,"template":"","meta":{"_page_generator_pro_exclude":false,"_page_generator_pro_group":0,"_page_generator_pro_index":0,"footnotes":""},"class_list":["post-14244","glossary","type-glossary","status-publish","hentry"],"_links":{"self":[{"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/glossary\/14244","targetHints":{"allow":["GET"]}}],"collection":[{"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/glossary"}],"about":[{"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/types\/glossary"}],"author":[{"embeddable":true,"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/users\/4"}],"version-history":[{"count":1,"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/glossary\/14244\/revisions"}],"predecessor-version":[{"id":14323,"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/glossary\/14244\/revisions\/14323"}],"wp:attachment":[{"href":"https:\/\/youthcommerce.nl\/en\/wp-json\/wp\/v2\/media?parent=14244"}],"curies":[{"name":"wp","href":"https:\/\/api.w.org\/{rel}","templated":true}]}}