Verbeter je SEO: indexeren van pagina’s

Posted On 14 maart 2024

Stel je voor dat Google een enorme bibliotheek is, waarin geen boeken, maar URL’s worden opgeslagen. Een URL die door Google is geïndexeerd, is als een boek dat is goedgekeurd om in deze bibliotheek te worden opgenomen. Wanneer een webpagina niet wordt geïndexeerd, ontstaat er een probleem dat moet worden aangepakt! In dit blogartikel zullen we dieper ingaan op dit fenomeen.

Waarom zoekmachines je pagina’s niet indexeren

Het is niet ongewoon dat webpagina’s niet verschijnen in zoekresultaten, en er zijn verschillende redenen voor dit probleem. Google Search Console geeft een handig rapport waarin wordt aangegeven waarom bepaalde pagina’s niet worden weergegeven in Google-zoekresultaten. Enkele van de redenen die worden vermeld zijn pagina’s met 301- of 404-statuscodes, pagina’s met een no-index tag, pagina’s die wel zijn gevonden maar momenteel niet worden geïndexeerd, en pagina’s die wel zijn gecrawld maar momenteel niet worden geïndexeerd.

Wat betekent “gevonden – momenteel niet geïndexeerd” in Google Search Console?

De melding “Gevonden – momenteel niet geïndexeerd” is een probleemrapport in het Index Coverage-rapport van Google Search Console. Dit type probleem wordt vermeld onder het gedeelte ‘Index’. In de lijst met uitgesloten URL’s kun je URL’s vinden die wel zijn gevonden maar op dit moment niet worden geïndexeerd.

Waarom komen deze URL’s daar terecht?

Wel, Google is zich bewust van het bestaan van deze webpagina’s, maar heeft ze nog niet gecrawld en dus nog niet geïndexeerd. Voor kleinere websites met betrouwbare inhoud wordt dit probleem meestal vanzelf opgelost.

Voordat Google een nieuwe webpagina kan crawlen, moet het eerst weten dat deze bestaat. URL’s worden meestal ontdekt door Google via interne links van bestaande pagina’s op de site zelf, of via links van andere websites die naar de nieuwe webpagina verwijzen. XML-sitemaps, die alle pagina’s van een site moeten bevatten om te worden geïndexeerd, kunnen hierbij ook helpen.

Het crawlen van pagina’s stelt Google in staat ze te bezoeken en de inhoud te controleren. Aangezien Google niet alle pagina’s die het vindt direct kan crawlen, vormt dit de basis voor veel crawlproblemen die websites tegenkomen.

Waarom worden URL’s gevonden maar momenteel niet geïndexeerd?

Er zijn verschillende oorzaken waarom URL’s niet geïndexeerd worden door Googlebot. Hieronder hebben we ze opgesomd:

Kwaliteit en hoeveelheid content: Google gebruikt kwaliteitsdrempels waaraan pagina’s moeten voldoen, gezien het onmogelijk is om alles op het web te crawlen en indexeren. Als een website meer content bevat dan Google bereid is te crawlen, kan de zoekmachine sommige pagina’s beschouwen als “niet de moeite waard om te crawlen” en ze overslaan. Dit kan resulteren in URL’s die worden gemarkeerd als “Gevonden – momenteel niet geïndexeerd”.
Slechte interne linkstructuur: Een gebrekkige interne linkstructuur kan als gevolg onvoldoende signalen geven die wijzen op het belang van bepaalde URL’s. Als Google niet genoeg interne links vindt die naar een URL leiden, kan het crawlen ervan worden overgeslagen.
Serverproblemen: Technische problemen op de server kunnen het voor Google moeilijk maken om de website te crawlen. Dit kan worden veroorzaakt door problemen zoals overbelasting van de server of slechte webprestaties, wat invloed heeft op de crawlsnelheid en het crawl budget.

Hoe kun je het probleem van gevonden maar momenteel niet geïndexeerd oplossen?

Verbeter de kwaliteit van de content: Zorg ervoor dat je unieke en waardevolle content creëert die relevant is voor je doelgroep. Verwijder verouderde of duplicerende inhoud door middel van ‘content pruning’.
Optimaliseer de interne linkstructuur: Verbeter de interne linkstructuur van je website om de relevantie en belangrijkheid van pagina’s te benadrukken. Zorg ervoor dat belangrijke pagina’s voldoende interne links hebben om hun crawlen te stimuleren.
Los serverproblemen op: Neem contact op met je hostingprovider om eventuele serverproblemen op te lossen die het crawlproces van Google kunnen vertragen.

Verwarring tussen gecrawld, momenteel niet geïndexeerd en gevonden

Het is belangrijk om het onderscheid te begrijpen tussen “Gecrawld – momenteel niet geïndexeerd” en “Gevonden – momenteel niet geïndexeerd”, aangezien ze vaak verward worden, hoewel ze een compleet verschillende betekenis hebben.

“Gecrawld – momenteel niet geïndexeerd” wordt meestal veroorzaakt door een vertraging in het indexeren. Dit probleem lost zich meestal vanzelf op. Het kan dus voorkomen dat URL’s in deze categorie staan die al geïndexeerd zijn. Je kunt controleren of een pagina geïndexeerd is door de Google-zoekoperator “site:” gevolgd door de URL in te typen in de zoekbalk. Als de pagina wordt weergegeven, is deze geïndexeerd. Als je echter merkt dat bepaalde URL’s voor langere tijd in deze lijst staan of als ze niet worden weergegeven in de zoekresultaten bij gebruik van “site:”, dan is er waarschijnlijk een andere oorzaak.

Oorzaken van gecrawld – momenteel niet geïndexeerd

Er zijn verschillende redenen waarom een pagina wel gecrawld wordt maar nog niet geïndexeerd is:

Problemen met content:
- Content van lage kwaliteit kan ervoor zorgen dat een pagina niet wordt geïndexeerd. Dit kan het geval zijn als de inhoud te algemeen is of als het niet relevant is voor de zoekopdrachten van gebruikers.
- Pagina’s worden ook niet geïndexeerd als ze te veel lijken op bestaande content, wat bekend staat als duplicate content. Dit kan leiden tot verwarring voor zoekmachines en ze kunnen ervoor kiezen om de pagina niet te indexeren om dubbele resultaten te voorkomen.
Slechte linkstructuur:
- Een goede interne linkstructuur is belangrijk om de relevantie en het belang van pagina’s te benadrukken. Pagina’s met weinig interne links worden mogelijk als minder belangrijk beschouwd door zoekmachines, wat kan resulteren in het niet-indexeren ervan.
Lage domeinautoriteit:
- Als de bovengenoemde oorzaken niet van toepassing zijn, kan het zijn dat de pagina-autoriteit of domeinautoriteit te laag is. Een hogere autoriteit kan worden bereikt door meer backlinks naar de website en specifieke pagina’s te verkrijgen. Backlinks van betrouwbare en relevante bronnen kunnen de geloofwaardigheid van de site vergroten en bijdragen aan een hogere indexeringssnelheid.

Gevolgen voor kleine en grote websites bij problemen met indexeren

kleine websites

Voor kleine websites met minder dan 10.000 URL’s en pagina’s van goede kwaliteit zal het probleem van “gevonden – momenteel niet geïndexeerd” zich vaak vanzelf oplossen. Dit kan te wijten zijn aan een vertraging tussen het crawlen en indexeren van pagina’s door Google.
Het crawl budget, dat het maximum aantal URL’s van een website bepaalt dat Google binnen een bepaalde tijdsspanne crawlt, is meestal geen probleem voor kleine websites door het lagere aantal pagina’s.
Als er geen problematische pagina’s zijn die niet geïndexeerd moeten worden, is er meestal geen actie nodig. Het is echter wel belangrijk om regelmatig het Index Coverage-rapport in Google Search Console te controleren en eventuele problemen aan te pakken.

Grote websites

Voor grotere websites met meer dan 100.000 URL’s kan het crawl budget een grote uitdaging vormen. Dit kan leiden tot problemen met het indexeren van pagina’s van lage kwaliteit of duplicaatpagina’s.
Als een website veel duplicate content bevat, kan het gebruik van canonical-tags helpen om Google te laten weten welke pagina als de belangrijkste moet worden beschouwd en geïndexeerd moet worden.
Het is essentieel voor grote websites om actief te blijven monitoren en te optimaliseren om het crawl budget efficiënt te gebruiken en ervoor te zorgen dat belangrijke pagina’s correct worden geïndexeerd.

Migratie van een grote website

Bij het migreren van een grote website is het cruciaal om indexatieproblemen te voorkomen. Een geleidelijke aanpak is hierbij belangrijk. Verhuis niet direct de hele structuur van de website. Dit geldt vooral als de website veel lege of onvoltooide pagina’s bevat die later zullen worden bijgewerkt. Door de migratie geleidelijk uit te voeren, voorkom je dat er onnodige URL’s op de website achterblijven die kunnen worden gezien als “gevonden – momenteel niet geïndexeerd”.

Zorg ervoor dat alle pagina’s die worden gemigreerd waardevolle en relevante inhoud bevatten. Vermijd het verplaatsen van pagina’s met weinig of geen inhoud, omdat dit kan leiden tot problemen met indexering en de perceptie van je website als low-quality door zoekmachines.

Tijdens de migratie is het ook belangrijk om te controleren op duplicate content. Zorg ervoor dat elke pagina unieke en waardevolle inhoud biedt om te voorkomen dat Google je website als low-quality beschouwt.

Implementeer 301-redirects van oude naar nieuwe URL’s om de linkwaarde over te dragen en gebruikers naar de juiste pagina’s te leiden. Dit voorkomt ook dat zoekmachines foutmeldingen tegenkomen bij het crawlen van de website.

Hou na de migratie de indexering van de nieuwe website in de gaten met behulp van tools zoals Google Search Console. Identificeer eventuele problemen met indexering en pak ze snel aan om de SEO-prestaties van de website te behouden. Op deze manier verminder je de impact van de migratie op de indexering en zorg je ervoor dat je website geen negatieve gevolgen krijgt in de zoekresultaten.

De Impact van niet-geïndexeerde pagina’s op SEO

Niet-geïndexeerde pagina’s hebben een aanzienlijke invloed op SEO. Wanneer Google een pagina niet indexeert, zal deze ook niet verschijnen in de zoekresultatenpagina’s (SERP). Dit kan de zichtbaarheid en vindbaarheid van een website, vooral bij grote bedrijven met veel URL’s verminderen.

Voor grote bedrijven met meer dan 100 niet-geïndexeerde URL’s kan dit door Googlebot worden beschouwd als verspilling van crawl resources. Dit kan resulteren in een lagere waardering van de website door zoekmachines, wat leidt tot een lager crawl-budget en minder frequente indexering van nieuwe pagina’s.

Het is dus cruciaal om regelmatig het rapport “gevonden – momenteel niet geïndexeerd” in Google Search Console te controleren. Op deze manier kunnen eventuele belangrijke pagina’s die per ongeluk niet zijn geïndexeerd, worden geïdentificeerd en gecorrigeerd. Door passende maatregelen te nemen, kunnen deze pagina’s alsnog worden opgenomen in de zoekresultaten, waardoor de SEO-prestaties van de website worden geoptimaliseerd.