Vanlige feil i tolkning av research og hvordan du unngår dem

Den vanligste feilen jeg ser i avslutningsmodulen, er at et funn formuleres sterkere enn kildene tillater. Deltakeren har kanskje funnet to undersøkelser og tre artikler som peker i samme retning, og skriver at utviklingen er klar. Men to undersøkelser med ulik metode er ikke det samme som et solid belegg, og det må rapporten si. I kurset øver vi på å la formuleringen følge beleggets styrke. Et funn som bygger på én kilde, skrives som en indikasjon. Et funn som bygger på flere uavhengige kilder med samme retning, kan beskrives mer bestemt, men fortsatt med forbehold om utvalg og tidsrom. Det hjelper å gå tilbake til kildeloggen før du skriver. Der står det hvem som har laget materialet, hva det skulle brukes til og hvor langt det rekker. Setningene dine kan ikke rekke lenger enn loggen.

Mange legger merke til først etter første utkast at de har brukt ord som tydelig, åpenbart og alle. Slike ord føles som en naturlig del av en rapport, men de signaliserer en sikkerhet som sjelden finnes i mediefeltet. Prøv å stryke dem og se om setningen fortsatt stemmer. En enkel rutine er å lese hver påstand høyt og spørre: hva i kildematerialet bærer akkurat dette ordet? Hvis svaret er et uklart inntrykk, bør formuleringen justeres ned til noe du faktisk kan peke på.

• Knytt hver påstand til en navngitt kilde i loggen
• Bruk ord som tyder på og peker mot når belegget er tynt
• Stryk ord som åpenbart og alle i første utkast

En annen typisk feil er at det som er observert og det som er antatt, glir sammen i samme setning. Et eksempel: «Yngre lesere forlater nettaviser fordi formatene er for tunge.» Første halvdel kan ha støtte i en undersøkelse, mens årsaken er en antakelse som ingen har målt. Løsningen er å dele setningen. Skriv først hva materialet viser, og skriv deretter, i en egen setning og tydelig merket, hva du mistenker og hvorfor. Leseren skal aldri måtte gjette hvilken av delene som er målt. I modulen bruker vi en enkel todelt mal med én kolonne for belegg og én for tolkning. Det virker banalt, men det tvinger deg til å bestemme hvor hver tanke hører hjemme, og det er ofte der de svakeste punktene avsløres.

Antakelser er ikke feil i seg selv. Redaksjonell research trenger hypoteser, og en rapport uten tolkning blir en opplisting. Poenget er at tolkningen skal være merket som tolkning, og at den skal kunne forkastes hvis nye opplysninger kommer. Deltakere som vender seg til å skrive «dette kan skyldes» og deretter nevne minst én alternativ forklaring, leverer gjerne rapporter som både er lettere å lese og lettere å stole på. Alternativet viser at du har vurdert mer enn én vei.

• Del setninger som blander det målte og det antatte
• Merk tolkninger tydelig som tolkninger
• Nevn minst én alternativ forklaring

Når deltakerne leser undersøkelser, glemmer de ofte å spørre hvem som er spurt og når. Et funn fra en spørreundersøkelse blant et begrenset utvalg gjelder først og fremst dette utvalget. Hvis rapporten overfører det til alle voksne i Norge uten kommentar, har den gått lenger enn kilden. Tidsrommet betyr like mye. En måling fra for noen år siden kan ha fanget en situasjon som er endret, særlig i digitale medier der plattformer og vaner skifter raskt. Skriv alltid ut når materialet ble samlet inn, ikke bare når det ble publisert. I rapportmalen vi bruker, finnes det et eget felt for begrensninger. Der skal utvalg, metode og tidsrom stå i klartekst, slik at en leser kan vurdere selv hvor langt funnet rekker.

Prosenter er en egen felle. En økning fra fem til sju prosent høres stor ut når den omtales som en økning på førti prosent, men sier lite hvis grunnlaget er lite. Oppgi derfor både ut- og inngangsverdi, og si fra når tallgrunnlaget er lite. Det samme gjelder sammenligninger over tid. Hvis spørsmålet er stilt på en litt annen måte i to målinger, er ikke tallene uten videre sammenlignbare. Les metodebeskrivelsen før du setter dem ved siden av hverandre.

• Skriv ut utvalg og innsamlingstidspunkt
• Oppgi grunnlaget bak prosentene
• Kontroller at spørsmålet er likt før du sammenligner målinger

Kursets avsluttende oppgave er en kort researchrapport, og her gjør deltakerne to motsatte feil. Noen skriver alt de har funnet, og leseren mister hovedpoenget. Andre skriver bare konklusjonen, og leseren har ingen mulighet til å vurdere hvordan den er kommet frem. En brukbar kort rapport har fire deler: spørsmålet, kildene og hvordan de er vurdert, funnene med riktig styrke, og begrensningene. Er det plass til mer, kan det legges til forslag til videre undersøkelser, men aldri som erstatning for en av de fire. Spørsmålet bør stå først, og det bør være så smalt at det kan besvares. «Hvordan endrer mediebruken seg?» er for vidt. «Hva viser tilgjengelige undersøkelser om hvor lenge voksne leser nyheter på mobil?» kan faktisk besvares.

Et annet vanlig problem er rekkefølgen. Mange begynner med bakgrunn og historikk og kommer til funnene på tredje side. Les gjennom utkastet og se om en travel leser finner det viktigste i løpet av første avsnitt. Etter innlevering får hver deltaker en kort tilbakemelding fra instruktør, der vi peker på hvor formuleringene er sterkere enn belegget, og hvor loggen mangler opplysninger. Det er sjelden dramatisk. Oftest er det små justeringer som gjør rapporten merkbart ryddigere.

• Formuler et spørsmål som faktisk kan besvares
• Hold deg til spørsmål, kilder, funn og begrensninger
• Legg det viktigste i første avsnitt

Når man har arbeidet lenge med et tema, er det fristende å lese alt gjennom samme linse. En deltaker som har kartlagt kortvideo, ser kortvideo som forklaringen på endringer i både nyhetsvaner og annonsemarked. Det kan stemme delvis, men sjelden fullt ut. Det beste vernet er å spørre hva som ellers kunne forklart det samme mønsteret. Endret tilgang til plattformer, nye vaner i aldersgrupper, justeringer i hvordan noe måles, eller rett og slett tilfeldig variasjon. Skriv dem ned, og vurder hver for seg. I trendkartene vi bruker i kurset, finnes det en rute for motforklaringer. Den er ofte den som blir stående tom lengst, og det er et tegn på at man bør lete videre før man konkluderer.

En beslektet feil er å lese enkelthendelser som trender. En plattform som endrer et format, eller en oppsiktsvekkende sak som får mye omtale, er ikke nødvendigvis starten på noe varig. Grunnmodulen i kurset gir verktøy for å skille mellom trend, svingning og hendelse, og de brukes også her. Hold igjen en uke eller to hvis du kan. Se om mønsteret fortsatt er der når oppmerksomheten har lagt seg. Mange tilsynelatende trender forsvinner i løpet av den tiden, og det er en nyttig lærdom i seg selv.

• List opp minst to alternative forklaringer
• Skill trend fra svingning og enkeltstående hendelse
• Vent og se om mønsteret holder

Før en rapport sendes videre, anbefaler jeg en kort gjennomgang med blyant. Merk hver påstand og skriv i margen hvilken kilde som bærer den. Mangler du en kilde, må påstanden enten dokumenteres, omformuleres som antakelse eller strykes. Gå deretter gjennom språket. Er det ord som antyder større sikkerhet enn belegget gir? Er det tall uten utvalg og tidsrom? Er det en setning der det målte og det antatte blander seg? Disse tre kontrollene fanger de fleste av feilene vi har sett på. Til slutt: les rapporten som om du var en leser uten forkunnskaper. Forstår vedkommende hva som er undersøkt, hva som er funnet og hva som er usikkert? Hvis ikke, mangler det noe, uansett hvor god researchen bak er.

Mange deltakere forteller at denne gjennomgangen tar mindre tid enn de trodde, og at den endrer måten de leser andres rapporter på. De begynner å se etter margnotatene som ikke er skrevet, altså de påstandene som mangler kilde. Det er egentlig målet med modulen: ikke å lage rapporter uten usikkerhet, men rapporter der usikkerheten er synlig og plassert riktig. Det gir leseren noe å stole på, og det gir deg et bedre utgangspunkt neste gang du tar fatt på et nytt spørsmål.

• Skriv kilden i margen ved hver påstand
• Kontroller språk, tall og blanding av belegg og antakelse
• Les rapporten som en leser uten forkunnskaper