Website crawler herkennen en uitsluiten

De website crawler bezoekt websites om content op te halen en te analyseren. Het kan nuttig zijn om verkeer van de website crawler te herkennen of uit te sluiten in je eigen analysesystemen.

User-agent

De crawler gebruikt altijd de volgende user-agent:

Copernica Web Crawler

Verkeer uitsluiten via Google Tag Manager

In Google Tag Manager (GTM) kun je crawlerverkeer labelen zodat het in Google Analytics (GA4) of andere systemen kan worden uitgefilterd. Dit doe je door een variabele en trigger te maken op basis van de user-agent.

Stap 1: User-agent variabele maken

1. Ga naar Google Tag Manager en open je container.
2. Navigeer naar Variabelen en klik op Nieuwe variabele.
3. Kies het type Aangepaste JavaScript-variabele.
4. Plak de volgende code in het veld:

   function() {
   return navigator.userAgent;
   }

5. Geef de variabele een naam, bijvoorbeeld UA - User Agent.

Stap 2: Trigger instellen op crawler

1. Ga naar Triggers en klik op Nieuwe trigger.
2. Kies type Paginaweergave (All Pages).
3. Voeg een voorwaarde toe:
   • Variabele: UA - User Agent
   • Voorwaarde: bevat
   • Waarde: Copernica Web Crawler

Stap 3: Parameter toevoegen aan GA4-event

1. Open je GA4-configuratietag in GTM.
2. Voeg bij Event Parameters een nieuwe parameter toe:
   • Naam: traffic_type
   • Waarde: internal
3. Voeg de trigger toe die je in stap 2 hebt gemaakt.
4. Sla je wijzigingen op en publiceer de container.

Stap 4: Filter instellen in GA4

1. Ga naar Google Analytics.
2. Navigeer naar Beheerder > Gegevensinstellingen > Gegevensfilters.
3. Maak een filter voor Intern verkeer.
4. Alle events met traffic_type=internal worden voortaan genegeerd.