Google Analytics skjulte “fejl”.
Jeg har gennem det seneste stykke tid oplevet usædvanligt store udsving i Google Analytics tal sammenlignet hos de af mine kunder der også benytter sig af andre tracking værktøjer (AdForm, Omniture, WebTrends, etc.). Det har været en stor kilde til frustration og nu har jeg fundet frem til en del af svaret på hvad disse udsving bla. skyldes.
Jeg skal gøre opmærksom på at den her artikel er en “smule langhåret”… ;o)
Google Analytics er måske det mest brugte tracking værktøj i verden. Og med god grund - det er gratis. Desværre er GA ikke 100% præcist, hvilket ingen af de tilgængelige tracking værktøjer her i verden er på nuværende tidspunkt, så det skal Google ikke høre noget for. Tilgengæld adskiller GA sig fra andre produkter ved bevidst at være designet til at være fejlvisende, væsentlig mere end de “normale” fejlmarginer som er uundgåelige.
Besøgende og afvisningsprocent (Bounce Rate).
Først og fremmest. Google har ikke skabt GA. Det har firmaet Urchin som Google købte og efterfølgende rebrandede. Efter et års tid lancerede Google produktet Google Analytics i en opgraderet version. Urchin havde en stor fejl i beregningerne som Google havde rettet. Problemet lå i målingen af besøgende. Overensstemmende for alle web analytics standarder er at et “Besøg” kun regnes for et besøg, hvis en bruger ser mere end én side på et website. Hvis nogen kommer til din hjemmeside, kigger på den første side og forsvinder igen, så er det ikke et “Besøg” - det er et “Bounce” eller på dansk “afvisning” (hvilket er en smule misvisende. Frafald havde været bedre men for ikke at gøre forvirring total holder jeg mig til Bounce). Den bedste måde at beskrive Bounce på er ved at sammenligne med en fysisk butik. Hvis nogen kigger gennem butiksruden og går videre så er det et Bounce. Hvis de derimod går ind i butikken er det et besøg.
Det er en ekstremt vigtig definition at forstå, da den fundamentalt har betydning for hvordan du ser effektiviteten af din hjemmeside. Grunden til vi behøver forskellen på Bounce og Besøg er at vi IKKE er istand til at se hvor lang tid brugerne har besøgt hjemmesiden. Vi kan kun se hvad tid de ankom til siden. Efterfølgende måles tiden en bruger har forbrugt på et website ved at sammenligne tiden brugeren ankom til siden med det tidspunkt brugeren gik videre til den næste side på websitet.
Eks. Hvis du ankommer til min hjemmeside kl 12.00 og går videre til den næste side kl. 12.15 (ja der står mange interessante ting på forsiden…), antages det at du har brugt 15 minutter på forsiden. Hvis du tilgengæld forlader forsiden du ankom til, er det et Bounce. Tiden du bruger på forsiden er underordnet. Ergo kan jeg kun måle besøgets varighed når en bruger ser på 2 eller flere sider på sitet.
Gennemsnits Besøgsvarighed på en hjemmeside udregnes ved at tage summen af alle Individuelle Besøgtidspunkter og dividere dette tal med det totale antal Besøg (på hver enkelte side på sitet selvfølgelig).
Da Google købte Urchin softwaren, behandlede (og talte) Google, Bounces som Besøgende med 0-besøgsvarighed. Ved beregning af Gennemsnitlig Besøgsvarig betød dette at tallet for Besøgende var væsentligt unøjagtigt i forhold til det korrekte tal. Unøjagtigheden afhang af det procentvise antal af Besøgende som Bouncede.
I juli 2007 ændrede Google udregningen af Gennemsnitlig Besøgsvarighed så tallet ikke længere inkluderede Bounces. Dvs. at nu var Gennemsnits besøgsvarighed pludselig korrekt. Bare en måned senere gik Google tilbage til den gamle (og forkerte) udregningsmodel. Med andre ord gik Google bevidst tilbage til den model, som viser en forkert Gennemsnitlig Besøgsvarighed. Spørgsmålet er så “hvorfor fanden gjorde i det???!!!”.
Brett Crosby, Senior Manager hos Google Analytics, forklarede på en Google blog at det skyldtes klager fra folk, som mente at de nye (men korrekte) ændringer var helt skæve i forhold til de gamle (som var forkerte!!!??). Blogindlægget blev efterfølgende fjernet (hvorfor dog det spørger man så sig selv), men der kan stadig findes kopier på nettet.
Sagt med andre ord - Folk (gøglere vil jeg tillade mig at kalde dem) mente at ensartethed var vigtigere end nøjagtighed. Og sådan har det været siden. Google leverer fuldt bevidst “skæve tal” fordi nogle få tosser foretrak orden fremfor sandhed (lyder næsten som Kinas politiske forhold).
Fejlbehæftede områder.
Ovennævnte “orden” påvirker hermed mere eller mindre ALLE målepunkter som har med antallet af besøgende at gøre.
- Antal besøgende
Når du ser på tallet “Totale Besøgende” i din Google Analytics rapport, så stil dig selv følgende spørgsmål: Hvad repræsenterer dette tal? Hvis du tror tallet dækker over antal brugere som kom ind i din butik, reagerede på salgstalen, gennemgik indholdet på siden, som potentielt kunne have købt produkter - så er du forkert på den! Tallet er udtryk for brugere som stillede sig foran indgangsdøren, og ikke mere.
- Konverteringsrate.
Konverteringsraten er et udtryk for hvor godt din hjemmeside sælger (ikke nødvendigvis et konkret salg. Kan også være downloads, sign-ups, indtastede formularer, etc.). Normalt benyttes Bounces ved udregningen af konverteringsraten, men brugere som “smuttede” fik aldrig set mit salgs-pitch, så det er misvisende at medregne Bounce i konverteringsraten. Ydermere var der ingen af brugerne, som fik set mit salgs-pitch, så jeg aner ikke engang om det virker eller ej….
- Exit rate (jeg ved faktisk ikke hvad det hedder på dansk…. sorry).
GA fortæller mig hvor mange personer som forlader siden fra en hvilken som helst side. Ligesom Konverterings raten er dette et udtryk for hjemmesidens præstation. Men at få en bruger ind på websitet og få brugeren til at blive på sitet når han/hun nu endelig er kommet er to vidt forskellige ting. Der er forskellige faktorer og processor involveret og de skal både måles og forbedres seperat. Du kan ikke bedømme hjemmesidens evne til at “holde på en bruger” og “engagere en nyankommen” i det samme tal. At bruge Bounces i udregningen af Exit rate gør brugen af Exit rate meningsløs.
- Google AdWords.
Det er vigtigt at understrege at fejlen ikke har indlfydelse på tilgangen til hoved målepunkterne for Google AdWords. Du betaler for dem der kommer til din side, uanset om de bouncer eller ej. Dvs. Pris-Per-Besøgende og ROI for AdWords påvirkes ikke.
Hvordan retter man så “fejlen” i Google Analytics?
Brandt Dainow har fundet frem til en udregningsmodel hvor han delvist kan rette misvisningerne, uden at rode rundt i hele systemet. Han har tilføjet et målepunkt han kalder for “Beholdende Besøg” (Retained Visits). Brandt Dainow fjerner simpelthen bounces.
Eks. hvis Totale Besøgende er 1.000 og Bounce rate er 25% (250 “smuttere”), vil Beholdende Besøg være 750. Matematisk ser det således ud:
BB = TB - (TB*BR)
Hvor: BB er Beholdende Besøg, TB er Totale Besøgende og BR er Bounce Rate.
Hvordan retter man “fejlen” Gennemsnitlige Besøgsvarighed?
OK. Tag en dyb indånding for den her er lidt mere kringlet.
For at få “den ægte” Gennemsnitlige Besøgsvarighed har Brandt Dainow opsat endnu et regnestykke. GA udregner Gennemsnitlig Besøgsvarighed ved at lægge antallet af individuelle besøgstidspunkter sammen og derefter dividere med Totale Besøg (inklusive Bounces). Ved at gange Totale Besøg med Gennemsnitlige Besøgsvarighed fås den Totale Besøgsvarighed. Herefter kan man opstille følgende regnestykke:
ÆGB = (GB * TB)/BB
Hvor: ÆGB er Ægte Gennemsnitlige Besøgsvarighed, GB er Gennemsnitlig Besøgsvarighed (som du kan se i din Google Analytics rapport), TB er Totale Besøgende og BB er Beholdende Besøg.
Konklusionen på det hele.
Det er vigtigt at vide hvordan målepunkterne udregnes. Du kan ikke blindt forvente at alle tallene er korrekte, uanset hvilket firmas tracking værktøj du bruger. Små differencer kan være acceptable, men du har måske et fuldstændig forkert indtryk af din hjemmesides præstation.
En anden vigtig konklusion er at mange brugere af tracking værktøjer ikke har forståelse for de data de kigger på, samt hvor lav prioritet GA har hos Google. Forestil dig en revisor, som insisterer på at benytte sig af tendensbaserede tal fremfor nøjagtige tal. Han kan sikkert få sig et job i Roskilde Bank….
Denne artikel er en (ikke direkte) oversættelse af Brandt Dainow’s artikel offentliggjort idag (18. november 2008). Brandts originale artikel kan læses via følgende link: ” The disturbing inaccuracy behind Google Analytics” og postulatet omkring 100% præcis tracking nævnt i indledningen har Brandt ligeledes skrevet om i sit indlæg “Things that throw your stats“. Grundet indholdet af Brandts artikel har jeg tilladt mig at tage de væsentligste sektioner og oversætte dem til dansk, så informationerne forhåbentligt spredes så hurtigt som det er muligt.