13mei2022
Printen

Het is onmogelijk om het hele web te verkennen: de beperkingen van webcrawlers

Wat is er frustrerender dan pagina's op uw eigen website compleet genegeerd te zien worden door zoekmachines? Voor één SEO-expert was dit de hindernis te ver. Hij deed zijn beklag op het Reddit-forum door deze vraag te stellen aan het management van Google: waarom laten SEO-tools niet alle backlinks zien (inkomende links die naar een website of webpagina leiden)? Zijn opmerking trok de aandacht van communicatieprofessionals, die van de gelegenheid gebruikmaakten om John Mueller, de search advocate van Google, te ondervragen. Volgens hem is het onmogelijk om het hele web te crawlen.

Oneindig aantal URL'sIllustratie van een robot die het web scant met een vergrootglas

De ambassadeur van de firma uit Mountain View rechtvaardigt zijn antwoord met het feit dat er een oneindig aantal URL's bestaat. Bijgevolg is het voor webcrawlers zeer ingewikkeld om het internet van kop tot teen te doorzoeken. Ter herinnering, webcrawlers zijn robots die door zoekmachines gebruikt worden om pagina's op websites te scannen/begrijpen/lezen. Als elke pagina gelezen moest worden, zouden de resources van deze webcrawlers overstelpt worden. Daar is een enorme connectiviteit, voldoende bandbreedte en geld voor nodig! Daarom moeten zij snel zoeken waar zij kunnen blijven hangen. Sommige URL's worden volledig genegeerd.

Kaf van het koren scheiden

John Mueller legt uit dat webcrawlers eerder geneigd zijn pagina's te raadplegen die voortdurend veranderen, zichzelf vernieuwen, wijzigingen ondergaan. Degene die statisch blijven, zullen daarentegen eerder genegeerd worden. Bovendien voegt de Google-deskundige eraan toe dat veel pagina's op het internet gewoon weggegooid geld zijn, het lezen niet waard en absoluut niets bijdragen. Die zijn gemakkelijk te vermijden, te negeren. Anderzijds zijn er sites die weliswaar aan een technische eis voldoen, maar geen relevante inhoud te bieden hebben. Dit zijn degene die voor webcrawlers moeilijker te herkennen zijn en zij moeten dus vindingrijk zijn.

Elk zijn eigen regels

Elke zoekmachine reageert naar eigen goeddunken en werkt met een vereenvoudigde reeks URL's. Daarom zijn SEO-tools de enige die de controle hebben over hun web scanning. Zij zullen willekeurig kiezen om sommige URL's in aanmerking te nemen en andere te negeren. Dit is de reden waarom de resultaten voor verschillende zoekopdrachten verschillend zijn naar gelang van de gebruikte zoekmachine. Het is onmogelijk om het hele web te crawlen, heeft John Mueller van Google bevestigd. Webcrawlers ondervinden moeilijkheden en reageren op hun eigen regels. Reden te meer om aan de pagina's van uw website te werken, ze regelmatig bij te werken en de surfer toegevoegde waarde te bieden. Heeft u hulp nodig om dit werk te ondernemen? Vertrouw uw project toe aan ons team van deskundigen!



Deze artikelen kunnen u ook interesseren!

SEO is een marathon, ||geen sprint!
09/01/2023

SEO is een marathon, geen sprint!

Lees meer
Google Webmaster Guidelines|| zijn met pensioen
03/11/2022

Google Webmaster Guidelines zijn met pensioen

Lees meer
Wat is de beste SEO-architectuur|| voor uw website?
19/05/2022

Wat is de beste SEO-architectuur voor uw website?

Lees meer
Beste gebruikers, deze site bewaart cookies op uw computer. Het doel is om uw ervaring op onze website te verbeteren en u tegelijkertijd meer gepersonaliseerde diensten aan te bieden. Cookies worden ook gebruikt voor het personaliseren van advertenties.

Als u meer informatie wilt over de cookies die wij gebruiken, raadpleeg dan ons Privacybeleid. Door cookies te accepteren, stemt u in met het gebruik ervan. U kunt de instellingen van de cookies ook aanpassen. Als u weigert, worden uw gegevens niet bijgehouden wanneer u deze site bezoekt. Er wordt slechts één cookie gebruikt in uw browser om uw voorkeur dat u niet gevolgd wilt worden te onthouden.
Alles weigeren
Instellingen aanpassen
Sta alles toe
Cookie-instelling bewerken