Het is onmogelijk om het hele web te verkennen: de beperkingen van webcrawlers

Wat is er frustrerender dan pagina's op uw eigen website compleet genegeerd te zien worden door zoekmachines? Voor één SEO-expert was dit de hindernis te ver. Hij deed zijn beklag op het Reddit-forum door deze vraag te stellen aan het management van Google: waarom laten SEO-tools niet alle backlinks zien (inkomende links die naar een website of webpagina leiden)? Zijn opmerking trok de aandacht van communicatieprofessionals, die van de gelegenheid gebruikmaakten om John Mueller, de search advocate van Google, te ondervragen. Volgens hem is het onmogelijk om het hele web te crawlen.

Oneindig aantal URL's

De ambassadeur van de firma uit Mountain View rechtvaardigt zijn antwoord met het feit dat er een oneindig aantal URL's bestaat. Bijgevolg is het voor webcrawlers zeer ingewikkeld om het internet van kop tot teen te doorzoeken. Ter herinnering, webcrawlers zijn robots die door zoekmachines gebruikt worden om pagina's op websites te scannen/begrijpen/lezen. Als elke pagina gelezen moest worden, zouden de resources van deze webcrawlers overstelpt worden. Daar is een enorme connectiviteit, voldoende bandbreedte en geld voor nodig! Daarom moeten zij snel zoeken waar zij kunnen blijven hangen. Sommige URL's worden volledig genegeerd.

Kaf van het koren scheiden

John Mueller legt uit dat webcrawlers eerder geneigd zijn pagina's te raadplegen die voortdurend veranderen, zichzelf vernieuwen, wijzigingen ondergaan. Degene die statisch blijven, zullen daarentegen eerder genegeerd worden. Bovendien voegt de Google-deskundige eraan toe dat veel pagina's op het internet gewoon weggegooid geld zijn, het lezen niet waard en absoluut niets bijdragen. Die zijn gemakkelijk te vermijden, te negeren. Anderzijds zijn er sites die weliswaar aan een technische eis voldoen, maar geen relevante inhoud te bieden hebben. Dit zijn degene die voor webcrawlers moeilijker te herkennen zijn en zij moeten dus vindingrijk zijn.

Elk zijn eigen regels

Elke zoekmachine reageert naar eigen goeddunken en werkt met een vereenvoudigde reeks URL's. Daarom zijn SEO-tools de enige die de controle hebben over hun web scanning. Zij zullen willekeurig kiezen om sommige URL's in aanmerking te nemen en andere te negeren. Dit is de reden waarom de resultaten voor verschillende zoekopdrachten verschillend zijn naar gelang van de gebruikte zoekmachine. Het is onmogelijk om het hele web te crawlen, heeft John Mueller van Google bevestigd. Webcrawlers ondervinden moeilijkheden en reageren op hun eigen regels. Reden te meer om aan de pagina's van uw website te werken, ze regelmatig bij te werken en de surfer toegevoegde waarde te bieden. Heeft u hulp nodig om dit werk te ondernemen? Vertrouw uw project toe aan ons team van deskundigen!