November 18, 2008

Bevidst misvisning i Google Analytics

Filed under: Google Analytics — Tags: , — sorenj @ 7:52 pm

Google Analytics skjulte “fejl”.

Jeg har gennem det seneste stykke tid oplevet usædvanligt store udsving i Google Analytics tal sammenlignet hos de af mine kunder der også benytter sig af andre tracking værktøjer (AdForm, Omniture, WebTrends, etc.). Det har været en stor kilde til frustration og nu har jeg fundet frem til en del af svaret på hvad disse udsving bla. skyldes.

Jeg skal gøre opmærksom på at den her artikel er en “smule langhåret”… ;o)

Google Analytics er måske det mest brugte tracking værktøj i verden. Og med god grund – det er gratis. Desværre er GA ikke 100% præcist, hvilket ingen af de tilgængelige tracking værktøjer her i verden er på nuværende tidspunkt, så det skal Google ikke høre noget for. Tilgengæld adskiller GA sig fra andre produkter ved bevidst at være designet til at være fejlvisende, væsentlig mere end de “normale” fejlmarginer som er uundgåelige.

Besøgende og afvisningsprocent (Bounce Rate).
Først og fremmest. Google har ikke skabt GA. Det har firmaet Urchin som Google købte og efterfølgende rebrandede. Efter et års tid lancerede Google produktet Google Analytics i en opgraderet version. Urchin havde en stor fejl i beregningerne som Google havde rettet. Problemet lå i målingen af besøgende. Overensstemmende for alle web analytics standarder er at et “Besøg” kun regnes for et besøg, hvis en bruger ser mere end én side på et website. Hvis nogen kommer til din hjemmeside, kigger på den første side og forsvinder igen, så er det ikke et “Besøg” – det er et “Bounce” eller på dansk “afvisning” (hvilket er en smule misvisende. Frafald havde været bedre men for ikke at gøre forvirring total holder jeg mig til Bounce). Den bedste måde at beskrive Bounce på er ved at sammenligne med en fysisk butik. Hvis nogen kigger gennem butiksruden og går videre så er det et Bounce. Hvis de derimod går ind i butikken er det et besøg.

Det er en ekstremt vigtig definition at forstå, da den fundamentalt har betydning for hvordan du ser effektiviteten af din hjemmeside. Grunden til vi behøver forskellen på Bounce og Besøg er at vi IKKE er istand til at se hvor lang tid brugerne har besøgt hjemmesiden. Vi kan kun se hvad tid de ankom til siden. Efterfølgende måles tiden en bruger har forbrugt på et website ved at sammenligne tiden brugeren ankom til siden med det tidspunkt brugeren gik videre til den næste side på websitet.

Eks. Hvis du ankommer til min hjemmeside kl 12.00 og går videre til den næste side kl. 12.15 (ja der står mange interessante ting på forsiden…), antages det at du har brugt 15 minutter på forsiden. Hvis du tilgengæld forlader forsiden du ankom til, er det et Bounce. Tiden du bruger på forsiden er underordnet. Ergo kan jeg kun måle besøgets varighed når en bruger ser på 2 eller flere sider på sitet.

Gennemsnits Besøgsvarighed på en hjemmeside udregnes ved at tage summen af alle Individuelle Besøgtidspunkter og dividere dette tal med det totale antal Besøg (på hver enkelte side på sitet selvfølgelig).

Da Google købte Urchin softwaren, behandlede (og talte) Google, Bounces som Besøgende med 0-besøgsvarighed. Ved beregning af Gennemsnitlig Besøgsvarig betød dette at tallet for Besøgende var væsentligt unøjagtigt i forhold til det korrekte tal. Unøjagtigheden afhang af det procentvise antal af Besøgende som Bouncede.

I juli 2007 ændrede Google udregningen af Gennemsnitlig Besøgsvarighed så tallet ikke længere inkluderede Bounces. Dvs. at nu var Gennemsnits besøgsvarighed pludselig korrekt. Bare en måned senere gik Google tilbage til den gamle (og forkerte) udregningsmodel. Med andre ord gik Google bevidst tilbage til den model, som viser en forkert Gennemsnitlig Besøgsvarighed. Spørgsmålet er så “hvorfor fanden gjorde i det???!!!”.
Brett Crosby, Senior Manager hos Google Analytics, forklarede på en Google blog at det skyldtes klager fra folk, som mente at de nye (men korrekte) ændringer var helt skæve i forhold til de gamle (som var forkerte!!!??). Blogindlægget blev efterfølgende fjernet (hvorfor dog det spørger man så sig selv), men der kan stadig findes kopier på nettet.

Sagt med andre ord – Folk (gøglere vil jeg tillade mig at kalde dem) mente at ensartethed var vigtigere end nøjagtighed. Og sådan har det været siden. Google leverer fuldt bevidst “skæve tal” fordi nogle få tosser foretrak orden fremfor sandhed (lyder næsten som Kinas politiske forhold).

Fejlbehæftede områder.
Ovennævnte “orden” påvirker hermed mere eller mindre ALLE målepunkter som har med antallet af besøgende at gøre.

  • Antal besøgende
    Når du ser på tallet “Totale Besøgende” i din Google Analytics rapport, så stil dig selv følgende spørgsmål: Hvad repræsenterer dette tal? Hvis du tror tallet dækker over antal brugere som kom ind i din butik, reagerede på salgstalen, gennemgik indholdet på siden, som potentielt kunne have købt produkter – så er du forkert på den! Tallet er udtryk for brugere som stillede sig foran indgangsdøren, og ikke mere.
  • Konverteringsrate.
    Konverteringsraten er et udtryk for hvor godt din hjemmeside sælger (ikke nødvendigvis et konkret salg. Kan også være downloads, sign-ups, indtastede formularer, etc.). Normalt benyttes Bounces ved udregningen af konverteringsraten, men brugere som “smuttede” fik aldrig set mit salgs-pitch, så det er misvisende at medregne Bounce i konverteringsraten. Ydermere var der ingen af brugerne, som fik set mit salgs-pitch, så jeg aner ikke engang om det virker eller ej….
  • Exit rate (jeg ved faktisk ikke hvad det hedder på dansk…. sorry).
    GA fortæller mig hvor mange personer som forlader siden fra en hvilken som helst side. Ligesom Konverterings raten er dette et udtryk for hjemmesidens præstation. Men at få en bruger ind på websitet og få brugeren til at blive på sitet når han/hun nu endelig er kommet er to vidt forskellige ting. Der er forskellige faktorer og processor involveret og de skal både måles og forbedres seperat. Du kan ikke bedømme hjemmesidens evne til at “holde på en bruger” og “engagere en nyankommen” i det samme tal. At bruge Bounces i udregningen af Exit rate gør brugen af Exit rate meningsløs.
  • Google AdWords.
    Det er vigtigt at understrege at fejlen ikke har indlfydelse på tilgangen til hoved målepunkterne for Google AdWords. Du betaler for dem der kommer til din side, uanset om de bouncer eller ej. Dvs. Pris-Per-Besøgende og ROI for AdWords påvirkes ikke.

Hvordan retter man så “fejlen” i Google Analytics?
Brandt Dainow har fundet frem til en udregningsmodel hvor han delvist kan rette misvisningerne, uden at rode rundt i hele systemet. Han har tilføjet et målepunkt han kalder for “Beholdende Besøg” (Retained Visits).  Brandt Dainow fjerner simpelthen bounces.

Eks. hvis Totale Besøgende er 1.000 og Bounce rate er 25% (250 “smuttere”), vil Beholdende Besøg være 750. Matematisk ser det således ud:

BB = TB – (TB*BR)

Hvor: BB er Beholdende Besøg, TB er Totale Besøgende og BR er Bounce Rate.

Hvordan retter man “fejlen” Gennemsnitlige Besøgsvarighed?
OK. Tag en dyb indånding for den her er lidt mere kringlet.
For at få “den ægte” Gennemsnitlige Besøgsvarighed har Brandt Dainow opsat endnu et regnestykke. GA udregner Gennemsnitlig Besøgsvarighed ved at lægge antallet af individuelle besøgstidspunkter sammen og derefter dividere med Totale Besøg (inklusive Bounces). Ved at gange Totale Besøg med Gennemsnitlige Besøgsvarighed fås den Totale Besøgsvarighed. Herefter kan man opstille følgende regnestykke:

ÆGB = (GB * TB)/BB

Hvor: ÆGB er Ægte Gennemsnitlige Besøgsvarighed, GB er Gennemsnitlig Besøgsvarighed (som du kan se i din Google Analytics rapport), TB er Totale Besøgende og BB er Beholdende Besøg.

Konklusionen på det hele.
Det er vigtigt at vide hvordan målepunkterne udregnes. Du kan ikke blindt forvente at alle tallene er korrekte, uanset hvilket firmas tracking værktøj du bruger. Små differencer kan være acceptable, men du har måske et fuldstændig forkert indtryk af din hjemmesides præstation.

En anden vigtig konklusion er at mange brugere af tracking værktøjer ikke har forståelse for de data de kigger på, samt hvor lav prioritet GA har hos Google. Forestil dig en revisor, som insisterer på at benytte sig af tendensbaserede tal fremfor nøjagtige tal. Han kan sikkert få sig et job i Roskilde Bank….

Denne artikel er en (ikke direkte) oversættelse af Brandt Dainow’s artikel offentliggjort idag (18. november 2008). Brandts originale artikel kan læses via følgende link: ” The disturbing inaccuracy behind Google Analytics” og postulatet omkring 100% præcis tracking nævnt i indledningen har Brandt ligeledes skrevet om i sit indlæg “Things that throw your stats“. Grundet indholdet af Brandts artikel har jeg tilladt mig at tage de væsentligste sektioner og oversætte dem til dansk, så informationerne forhåbentligt spredes så hurtigt som det er muligt.

12 Comments »

  1. Hej Søren, jeg må medgive dig at det blev lidt langhåret og jeg er ikke helt sikker på at jeg har forstået det. Er det korrekt antaget, at det Brandt siger er at hvis en besøgende kun ser een side, så bør de ikke tælle med som en besøgende?

    Grunden til at jeg spørger er, at det muligvis kan være at det er en “standard” at det er sådan, men hvis jeg f.eks. driver en side der tjener penge på Adsense, så passer dig mig fint, at en besøgende ser een side, klikker på en reklame og så forsvinder. Ikke at medregne disse besøg ville (efter min mening) være forkert.

    Er det hvad han siger eller har jeg misforstået dig?

    Svar fra SorenJ: Hejsa, beklager den sene respons. Men ja, det er faktisk hvad Brandt siger…

    Comment by Mikael Rieck — November 19, 2008 @ 5:56 am

  2. Hmmm, spændende! Jeg var ikke engang klar over at de forskellige værktøjer tæller noget så basalt som et Visit, så forskelligt.

    Er der forøvrigt ikke noget med at en eller anden Web Analytics Association er ved at arbejde på standarder for alle de forskellige metrics? Synes jeg har læst noget om det for nyligt, men kan ikke lige finde det igen.

    Forøvrigt, hvis du vil have en rigtig langhåret undersøgelse af afvigelser på de forskellige værktøjer, så er denne her guld værd:
    http://www.stonetemple.com/articles/analytics-report-august-2007.shtml

    Comment by Søren Sprogø — November 19, 2008 @ 6:14 am

  3. Google Analytics skulte fejl | Soren J…

    Har du lagt mærke til fejl i dine Analytics rapporter?
    Og vidste du at Google Analytics er behæftet med fejl, som Google bevidst ikke retter?

    Jamen så læs med her……

    Trackback by www.anyhed.dk — November 19, 2008 @ 8:00 am

  4. Web Analytics Association definerer et besøg som følger:
    “A visit is an interaction, by an individual, with a website consisting of one or more requests for an analyst-definable unit of content (i.e. “page view”). If an individual has not taken another action (typically additional page views) on the site within a specified time period, the visit session will terminate.”

    I følge den definition skal bounces ikke sorteres fra. Jeg mener også, at det er forkert af frasortere bounces. Der er masser af tilfælde, hvor der er værdi i en bruger, der kun ser en enkelt side og forlader sitet igen.

    Comment by Torben Lundsgaard — November 19, 2008 @ 12:27 pm

  5. Det er ikke kun Google der registrerer forkerte besøg.

    Min side http://lemans.frac.dk har kun en side og det er derfor ikke muligt at lave to sidevisninger, men både Woopra og StatCounter registrerer masser af besøg. Så de er åbenbart også tilfredse med en enkelt sidevisning før der bliver registreret et besøg.

    Comment by Jacob — November 20, 2008 @ 11:53 am

  6. I forbindelse med vort site i England, A1VoucherCodes, som leverer voucher codes (rabatkoder), kan vi heller ikke bruge Google Analytics. Faktisk ønsker vi at folk kun besøger én side, da sitet er optimeret til at de skal gå videre til den Webshop, som landingssiden viser voucher koden for (alternativt at der klikkes på Adsense). Hvis de surfede rundt på sitet, ville de alligevel ikke være i købsmode.
    Det ville være perfekt, hvis Google istedet gav mulighed for at måle bounce i sekunder. F.eks. at der kun var tale om et bounce, hvis brugeren forlod siden efter mindre end 5 sekunder.

    Comment by Preben — November 23, 2008 @ 4:14 pm

  7. Der er vist gået lidt kuk i dit eksempel vedr. besøgsvarigheden: “Hvis du ankommer til min hjemmeside kl 12.15 og går videre til den næste side kl. 12.15 (…), antages det at du har brugt 15 minutter på forsiden.”. Hvis du (jeg) derimod ankommer kl. 12.00 passer eksemplet.

    Iøvrigt kan man vel slet ikke afgøre den korrekte besøgsvarighed, for analyseværktøjet ved ikke hvornår sidste side på websitet forlades.

    Udemærket artikel i øvrigt.

    Fra SorenJ – Så er tidspunktet rettet!!! Tak, det hænder jo at man har lidt tykke fingre engang imellem ;o)

    Comment by Tommy Raun — November 25, 2008 @ 5:57 am

  8. Jeg synes det kan være problematisk ikke at regne et bounce med som et besøg.
    Med hard core konverteringsbriller på, er det klart at et bounce ikke har (stor) værdi – man får næppe en konvertering ud af et bounce – det kræver som regel et par klik rundt på siden før konverteringen er i hus.
    Men tager vi lidt bredere briller på, kan en bounce stadig have stor værdi. Som du selv skriver, kan man bruge 15 min på forsiden af denne blog og læse dine posts, men det vil stadig tælle som et bounce i statistikken – selvom det har stor værdi for dig.
    Endnu mere problematisk bliver det, når vi tænker google ind i billedet. En søgning på google vil ofte resultere i et dybt link, ikke et link til et sites forside. Hvis G gør arbejdet ordentligt, vil jeg som bruger havne på den mest relevante side ved ét klik og jeg har ikke brug for at klikke videre. Jeg kommer altså til at tælle som et bounce selvom jeg havnede på den rigtigt side og fik lige præcis den information jeg søgte.
    Det bedste mål – efter min mening – ville være at den Gennemsnitlige Besøgsvarighed blev udregnet uden at differentiere mellem bounces og besøg. Noget i stil med: [al den tid der er blevet brugt på sitet]/[antallet af alle besøgende - også bounces].
    Har altid troet det var sådan – og forstår ikke hvorfor det ikke er tilfældet :)
    Hvis vi skal blive lidt i metaforenes verden, kan vi forestille os, at nogle butikker ikke sælger produkter, men prøver at kommunikere et budskab. Så er det vel ok at de “stillede sig foran indgangsdøren, og ikke mere.”
    (hmmm… det her lød mere elegant i mit hoved :) )
    Go og interessant artikel som viser jeg skal have læst op på nogle ting.

    Comment by Thomas From — November 25, 2008 @ 10:31 am

  9. > Iøvrigt kan man vel slet ikke afgøre den korrekte besøgsvarighed, for analyseværktøjet ved ikke hvornår sidste side på websitet forlades.

    Det er ikke sandt. Det er faktisk muligt med JavaScript er der er da også flere analyseværktøjer der viser udgående links – altså hvilket ekstern site brugeren er gået videre til.

    Der findes faktisk veldefinerede nøgletal til beregning af kvaliteten af besøgende på et site. Et af disse nøgletal er Heavy User Share, som er andelen af besøgende der har set mere end 10 sider.

    Anyway, jeg kan til enhver tid finde flere argumenter for at medtage bounces som besøg end at fjerne dem.

    Comment by Torben Lundsgaard — November 25, 2008 @ 6:04 pm

  10. Hej
    Jeg vil godt stille spørgsmålstegn ved udtalelsen “Overensstemmende for alle web analytics standarder er at et “Besøg” kun regnes for et besøg, hvis en bruger ser mere end én side på et website”.
    Det er ikke noget jeg er faldet over, men tror gerne at der er forskellige måder at måle det på.
    Faktum er at man som udgangspunkt ikke ved hvor længe en bruger har været på et website (hvornår forlod de den sidste side), så alle statistikprogrammer er fejlbehæftede, og det væsentligste er derfor at brugerne er klar over hvorledes tallene beregnes.
    Som en anden nævnte kan man faktisk godt få GA til at tracke en sidevisning nummer 2 eftert at en side er vist fx. 15 sekunder ved hjælp af javascript.
    Mvh Jesper

    Reply fra SorenJ: Hej Jesper. Mht. udtalelsen se venligst Brandt’s artikel. Sidevisningstingen – helt korrekt, jeg har et par enkelte kunder, som benytter sig af det…

    Comment by Jesper Jørgensen — November 25, 2008 @ 6:51 pm

  11. Hej Søren

    Spændende artikel hvor en masse argumenter fremføres. Men det er argumenter og ikke definitivt korrekt.

    Jeg mener absolut bounces skal tælles med i antallet af visits. Det er ikke kunder der kigger ind af vinduet. De åbner døren og går ind! Kunder der kigger ind af vinduet er brugere der ser dit site på Google i Søgeoversigten.

    Avinash mener at et bounce bør være brugere, som er kortere tid end 5 sekunder på sitet, da man ikke kan nå at danne sig et indtryk på denne tid.

    En anden ting er at sites er forskellige, så et bounce kan være yderst vellykket. Jeg har en mængde brugere, som er tilmeldt mit RSS feed, og hvis de kommer ind på mit site og læser mit nye indlæg, så er jeg glad og tilfreds. Det er faste brugere, og de har fået det de kom efter. Eller hvis jeg selv søger på “Åbningstid blockbuster” og lander direkte på den side der giver mig svaret. Så er jeg en glad bruger, hvor sitet har givet mig alt jeg havde brug for.

    Ift. tid for bounces, så er der udover muligheden for 15-sekunders hack også mulighed for at implementere værktøjer som Clicktale, som kan give et retvisende billede af tidsforbruget på sitet.

    Jeg kan godt se fornuften i at trække bounce fra tidsforbruget. Bruger man tidsforbrug som et benchmark er det dog i mindre grad vigtigt (specielt hvis %-satsen af bounce ikke svinger så meget), da man stadig kan se udviklingen i brugen af sitet.

    Min konklusion på det hele er at det er alfa og omega at man kender definitionerne på det man arbejder med. Så kan man tage højde for det, og evt. tilpasse så det passer ens personlige smag :-)

    Comment by Jacob Kildebogaard — January 21, 2009 @ 4:38 pm

  12. [...] Analytics fejl” vil jeg gerne tage debatten op her. Først læste jeg selv oversættelsen hos SørenJ, hvor jeg kommenterede (uden at få svar). Dernæst blev det igen for nylig blæst op som en fejl [...]

    Pingback by Google Analytics med fejl. Eller..? | Webanalyse blog | Webanalytiker.dk — February 10, 2009 @ 9:51 pm

RSS feed for comments on this post. TrackBack URL

Leave a comment

Powered by WordPress