Kunnen AI-crawlers pagina’s lezen die met JavaScript laden?

Welke AI-crawlers voeren JavaScript uit?

Voor zover openbaar gemeten: Googlebot, en daarmee Gemini, en AppleBot wel. De crawlers van OpenAI, Anthropic en Perplexity niet.

Vercel en MERJ volgden eind 2024 maandenlang het crawlerverkeer op nextjs.org en het netwerk van Vercel, met honderden miljoenen verzoeken per maand. De bots van ChatGPT en Claude vroegen wel JavaScript-bestanden op, maar voerden ze niet uit. Gemini gebruikt de infrastructuur van Googlebot en rendert pagina’s wel volledig (Vercel).

Twee kanttekeningen. Het gaat om logdata van één netwerk uit 2024, geen experiment op jouw site. En de aanbieders zeggen zelf niets over renderen: de crawlerpagina van OpenAI beschrijft waarvoor elke bot dient, niet of hij scripts uitvoert (OpenAI). Ik ga er daarom van uit dat het nog zo werkt, tot een aanbieder iets anders meldt.

Wat ziet een AI-crawler dan van je pagina?

Alleen wat in de HTML staat die je server terugstuurt. Tekst die een script daarna inlaadt, bestaat voor die crawler niet.

Daar zitten vaak precies de stukken die een AI-assistent nodig heeft om je aan te bevelen:

• prijzen, pakketten of productinformatie die een script ophaalt;
• reviews en beoordelingen uit een widget van een externe dienst;
• artikelen of cases achter een knop “meer laden”;
• sites die als app in de browser worden opgebouwd, waar de HTML bijna leeg is.

Inhoud die wel in de HTML staat maar visueel is ingeklapt, zoals tabbladen of uitklapvragen, is meestal gewoon leesbaar. Het verschil zit in waar de tekst vandaan komt, niet in of hij zichtbaar is.

Hoe controleer je wat een crawler ziet?

Vergelijk de broncode van je pagina met wat je op het scherm ziet. Staat je belangrijkste zin niet in de broncode, dan mist een AI-crawler hem ook.

1. Open de paginabron in je browser (Ctrl+U of Cmd+Option+U) en zoek een zin uit je korte antwoord, een prijs en een review.
2. Zet JavaScript uit in je browserinstellingen en laad de pagina opnieuw. Wat dan verdwijnt, is afhankelijk van scripts.
3. Gebruik voor Google de URL-inspectie in Search Console. Die toont de gerenderde HTML, dus wat Google na het renderen ziet. Voor de andere AI-crawlers telt stap 1.

Hoe los je het op in WordPress?

In WordPress staat de tekst van een pagina meestal al in de HTML. Het probleem zit vaak in losse plugins en widgets, en die zijn per onderdeel op te lossen.

• Laad prijzen, pakketten en contactgegevens vanuit WordPress zelf, niet via een script van een externe dienst.
• Toon een selectie van je reviews als gewone tekst op de pagina, met een link naar de bron.
• Geef elk artikel en elke case een eigen URL met gewone links, in plaats van alles achter “meer laden”.
• Werk je headless of met een JavaScript-framework, kies dan voor server-side rendering of pre-rendering. Google raadt dat zelf ook aan, omdat niet alle bots JavaScript uitvoeren (Google Search Central).

Begin bij je dienstpagina’s en je belangrijkste artikelen. Dat zijn de pagina’s die een AI-assistent citeert als iemand vraagt wie jouw dienst levert.

Geldt dit ook voor AI Overviews van Google?

Minder. Google rendert JavaScript wel en stelt voor AI Overviews en AI Mode geen extra technische eisen: de pagina moet geïndexeerd zijn en met een snippet kunnen verschijnen.

Dat staat in de documentatie van Google over AI-functies (Google Search Central). Renderen gebeurt wel in een tweede stap, zodra Google daar capaciteit voor heeft. Tekst die direct in de HTML staat, is dus sneller en zekerder in beeld, via Google en bij de andere assistenten.