Kennis
Onderzoek is meer dan alleen het gebruik van een tool. Goed onderzoek is een professie.
Met de tool kunt u zelf aan de slag, maar ervaren onderzoekers van Newcom staan u bij met raad en daad voor goed onderzoek.
We kunnen, indien gewenst, op elk moment met u meekijken en onze afdeling methodologie kan u helpen bij het opzetten van betrouwbaar onderzoek.
U kunt niet alleen training krijgen met betrekking tot de werking van de tool. We gaan verder: we geven u een officiële cursus ‘goed onderzoek doen’
Hieronder staan alvast bruikbare tips, welke u direct kunt gebruiken. Klik op een onderwerp om meer informatie uit te klappen.
Drie elementen van goed onderzoek
Bij het opzetten van uw onderzoek, dient u rekening te houden met de volgende drie elementen.
- Betrouwbaar en valide
- Meet u wat u wilt meten? Zijn uw vragen helder, eenduidig en begrijpelijk?
- Is het proces reproduceerbaar? Zijn uw resultaten statistisch goed geanalyseerd?
- Generaliseerbaar
- Kunt u met het onderzoek uitspraken doen over (groepen) mensen die niet aan het onderzoek hebben meegedaan?
- Is de steekproef die u heeft genomen voldoende representatief?
- Bruikbaar
- Zijn uw resultaten toepasbaar op de vraag of de uitdaging die de aanleiding tot het onderzoek vormt?
- Zijn uw resultaten goed geïnterpreteerd?
Deze begrippen borduren op elkaar voort en zijn afzonderlijk geen garantie voor succes. Uw onderzoek moet valide, betrouwbaar en generaliseerbaar zijn om bruikbare resultaten op te leveren. Echter niet ieder valide, betrouwbaar en generaliseerbaar onderzoek levert voor u bruikbare resultaten op.
Tien tips bij het opzetten van onderzoek
- U begint met het einde in gedachten. Denk aan wat u wilt doen met de resultaten en hoe u deze gaat analyseren;
- U besteedt aandacht aan het opstellen van de enquête. Dit is de belangrijkste fase in uw onderzoek. Bij online onderzoek is het belangrijk dat uw vragen goed te begrijpen en te beantwoorden zijn. U moet precies meten wat u wilt weten;
- Uw enquête is kort en bondig. Uit onderzoek blijkt dat deelnemers gemiddeld 8 tot 10 minuten voor een onderzoek willen uittrekken. Dit betekent in de praktijk dat u maximaal 20 tot 25 vragen stelt;
- U denkt vooruit. Als u de enquête ontwerpt en u wilt de resultaten van twee of meer vragen met elkaar vergelijken, houd er dan rekening mee dat u dezelfde antwoordschalen gebruikt. Dus vergelijk dan schalen van ‘zeer tevreden/zeer ontevreden’ met elkaar en niet die met ‘tevreden/ontevreden’.
- U test de online enquête voordat u deze verstuurt. Voordat de enquête ‘live’ gaat laat u deze doornemen door enkele proefpersonen. Zo voorkomt u fouten.
- U verhoogt de respons. U schrijft een wervende onderwerpregel. Dit is het visitekaartje van uw uitnodiging. Een schrijft daarbij een korte e-mail waarin wordt aangegeven waar uw onderzoek over gaat en wat het de respondent oplevert. Het terugkoppelen van een deel van uw onderzoeksresultaten motiveert mensen om mee te doen. Vertel hoe lang uw onderzoek duurt en richt het daarop in.
- U verstrekt een incentive en koppelt (een deel van) de resultaten terug. Het verstrekken van een incentive verhoogt de response, echter is vaak niet de belangrijkste reden om mee te doen voor respondenten. Veel belangrijker is het daadwerkelijk iets doen met de resultaten die u heeft verkregen. Het terugkoppelen van de resultaten (en nog beter: wat u er mee gaat doen) is aan te bevelen.
- U besteedt aandacht aan de vormgeving en gebruikt beeldmateriaal indien mogelijk. Dit kan het geheugen van de respondent prikkelen. Bovendien maakt het uw enquete aantrekkelijker. Zo laat u bijvoorbeeld in de enquête uw laatste nieuwsbrief zien, zodat de respondent weet welke brief het betreft.
- U verstuurt een herinnering als blijkt dat de respons achterblijft. Dit verhoogt de respons. Normaliter is de beoogde respons binnen ongeveer 5 dagen binnen.
- U controleert na de dataverzameling de responssamenstelling. Komt deze op belangrijke kenmerken (zoals leeftijd, geslacht en regio) overeen met de populatie? Zo niet, dan zal u wellicht een weging toe moeten passen op uw dataset, zodat de scheve verdeling rechtgetrokken wordt.
De tien richtlijnen voor een begrijpelijke enquête
- U gebruikt een neutrale vraagstelling. Uw vragen dienen neutraal te worden gesteld om te voorkomen dat u respondenten ‘dwingt’ tot een bepaald antwoord. Bijvoorbeeld: ‘Wat is uw mening over..?’ of ‘Kunt u aangeven in hoeverre u tevreden of ontevreden bent over..?’. U vermijdt suggestieve vragen.
- U stelt simpele vragen. U maakt uw vragen zo simpel en concreet mogelijk, zodat iedereen ze begrijpt. Vragen in spreektaal worden het beste begrepen.
- U vermijdt dubbele ontkenningen. Twee keer ‘niet’ in een vraag is voor velen moeilijk te begrijpen.
- U vermijdt teveel open vragen. Gesloten vragen zijn makkelijker te analyseren dan open vragen. Ontwerp geen open vragen als u weinig tijd hebt om deze goed te analyseren. Onthoud hierbij dat de meeste respondenten liever niet te veel tekst typen behalve als ze echt een uitgesproken mening hebben over een bepaald onderwerp.
- U stelt eerst algemene en daarna uw specifieke vragen. Als u bijvoorbeeld eerst een algemene vraag stelt over de tevredenheid van uw website. Vraag dit dan voorafgaand aan specifieke vragen over bijvoorbeeld uw design of content van de site. De reden daarvoor is dat wanneer de respondent een sterke mening over het laatste specifieke onderwerp heeft, dit van invloed kan zijn op het antwoord op de algemene vraag en er dus een soort ‘vervuiling’ optreedt aangezien men dan nog in de positieve of negatieve bias verkeert.
- U bent voorzichtig met een ‘waarom’ vraag als follow up. Soms wilt u weten waarom een respondent een bepaald antwoord geeft. Dit levert vaak waardevolle informatie op. Echter, het kan ook misleidende antwoorden genereren. Wat voorkomt is dat respondenten alleen gevraagd worden naar het ‘waarom’ als zij bijvoorbeeld negatief hebben geantwoord op een vorige vraag. Als de respondent dit door heeft, zal hij ertoe neigen om toch positief te antwoorden om zo van de ‘waarom’ vraag af te zijn.
- U gebruikt schalen met een gelijk aantal positieve en negatieve opties. 4-puntsschalen hebben twee positieve en twee negatieve antwoordmogelijkheden zoals bijvoorbeeld ‘zeer tevreden’, ‘tevreden’, ‘ontevreden’ en ‘zeer ontevreden’. 5-puntsschalen hebben ook twee positieve en twee negatieve antwoordmogelijkheden met daartussen een antwoordmogelijkheid ‘neutraal’.
- U gebruikt: ‘niet van toepassing’ waar nodig is. Er bestaat anders een kans dat andere antwoordmogelijkheden ten onrechte worden aangeklikt.
- U gebruikt exclusieve antwoordcategorieën. Dit geldt ondermeer voor leeftijd, tijd, enzovoort. Zo dient ‘16-24’ opgevolgd te worden door ‘25-30’ en niet door ‘24-30’.
- U bewaart de demografische vragen tot het einde. Respondenten hebben een bepaalde goodwill ten opzichte van uw enquête. Deze wilt u namelijk zo lang mogelijk vasthouden. De interessante vragen dus eerst stellen en pas op het einde de simpele vragen over bijvoorbeeld leeftijd en geslacht.
De vier criteria voor representatief onderzoek
- Het aantal respondenten in uw steekproef moet voldoende groot zijn.
Afhankelijk van de grootte van de totale populatie en de gewenste betrouwbaarheid variëren deze aantallen aanzienlijk. Voorbeeld: indien u 100 Nederlanders in uw steekproef hebt en u wilt iets zeggen over geheel Nederland, dan is het aantal in uw steekproef te klein. Met andere woorden: de aantallen zijn dusdanig klein dat de kans op ‘toevalligheden’ erg groot is. Maar als u 100 klanten heeft en u heeft 40 klanten in uw steekproef, dan is het aantal weliswaar klein in absolute aantallen, maar gezien de groep een behoorlijk percentage. - De verhouding deelnemers/niet deelnemers moet voldoende hoog zijn.
Voorbeeld: als u 60 klanten heeft uitgenodigd om deel te nemen en 40 hebben daadwerkelijk deelgenomen, dan heeft u een respons van 67 procent. Dit kan bestempeld worden als een hoge respons en dus een belangrijke indicator van representatief onderzoek. Indien u onderzoek doet onder de ‘Nederlander’ en u heeft 20.000 Nederlanders uitgenodigd met een onderzoek over een bepaald thema en er hebben 1.000 gereageerd, dan heeft u qua aantallen een behoorlijke steekproef. Echter, het deelnemingspercentage is 5 procent en bijzonder laag. De kans dat de niet-deelnemers andere meningen en/of behoeften kunnen hebben is behoorlijk groot. - De opbouw van de steekproef komt overeen met de opbouw van de totale populatie.
Ook al heeft u een grote steekproef qua aantallen en ook qua respons, als de deelnemers voornamelijk uit grote klanten bestaat en de niet-deelnemers uit ‘kleine’ klanten bestaat, dan kunt u geen uitspraak doen over uw totale klantenpopulatie. Met andere woorden: de opbouw van de steekproef die u heeft verkregen moet op belangrijke kenmerken van uw populatie (zoals grootte klanten, geslacht, leeftijd, etc) overeenkomen met de totale populatie. - Er zijn geen systematische verschillen tussen deelnemers en niet-deelnemers.
Tot slot kan het zijn dat er systematische verschillen kunnen zijn tussen de deelnemers en de niet-deelnemers. Als er bijvoorbeeld relatief gezien weinig klanten hebben gereageerd, dan nog hoeft het onderzoek niet direct als niet-representatief bestempeld te worden. Er is dan nader onderzoek nodig onder de non-respons. Als blijkt dat een paar niet-deelnemers juist niet hebben meegedaan omdat ze ontevreden zijn, dan is er dus aanleiding dat de groep niet-deelnemers minder tevreden zijn dan de groep deelnemers. In dit geval is het onderzoek niet representatief. Maar als blijkt dat het kwam omdat men toevallig op vakantie was, druk etc, (en niet omdat men ontevreden is over de organisatie) dan is het geen systematisch verschil, maar een toevalligheid.
Drie redenen om internet onderzoek te gebruiken in plaats van telefonisch onderzoek
- Laagdrempelig: de respondent kan zelf bepalen wanneer hij of zij mee wil werken aan het onderzoek. Deelname is laagdrempelig en indien het doel duidelijk is kan het leiden tot een hoge respons.
- Efficiënt: online onderzoek is gemakkelijk in uitvoering. De variabele kosten tijdens de afname van het onderzoek zijn zeer beperkt. Dit maakt het mogelijk dat online onderzoek efficiënter is dan telefonisch onderzoek.
- Uitgebreid: internet enquêtes geven u de mogelijkheid tot bijvoorbeeld het voorleggen van visueel materiaal.
Vier elementen om uw naamsbekendheid te meten
Om uw volledige naamsbekendheid te meten zijn er vier elementen waarmee u in uw vraagstelling rekening kunt houden.
- Ten eerste de ‘Top of Mind Awareness’. Bijvoorbeeld: ‘Welke organisatie komt het eerst bij u op als u denkt aan een ziekenhuis?’.
- Ten tweede de ‘Totale spontane bekendheid’. ‘Als u voorgaande vraag begeleidt met een vervolgvraag: welke ziekenhuizen kent u nog meer?’, dan heeft u de totale spontane bekendheid in beeld.
- Bij ‘Geholpen bekendheid’ legt u een aantal ziekenhuizen in uw vraag voor aan de respondenten. Vervolgens vraagt u ‘Welke onderstaande ziekenhuizen kent u, al is het alleen maar van naam?’
- Interessant is waar mensen uw organisatie van kennen. Dit geeft input voor uw totale marketingcommunicatie beleid. Het gaat dan om de ‘Bronbekendheid’. Met behulp van de vraag ‘waar kent u [ziekenhuis x] van?’ krijgt u de bronbekendheid in beeld. U kunt gebruik maken van voorgedefinieerde antwoordcategorieën of van een open vraag.
Vier meetniveaus van enquête vragen
Wat u wilt vragen is uiteraard belangrijk. Maar om hier goed antwoord op te krijgen zult u voorafgaand aan het onderzoek helder moeten hebben hoe u het kan meten. De volgende vier schalen geven u inzicht in op welk meetniveau u kunt meten.
Nominale schaal
Het eenvoudigste meetniveau dat we kennen is het nominale. Daarbij gaat het, zoals de naam(!) al aangeeft (Latijn: nomen, naam) bij het meten slechts om het benoemen, om de naam van het gemetene. Voorbeelden zijn geslacht (man/vrouw), provincie, branche van uw klant, afdelingen binnen uw organisatie, etc. Omdat zonder naamgeving niets onderscheiden kan worden, is elk van de andere meetniveaus ook minstens van nominaal niveau.
Ordinale schaal
Metingen op ordinaal niveau kennen een natuurlijke ordering. Een typisch voorbeeld vormen de rangen in het leger of de onderverdeling tussen opleidingsniveaus: Mavo, Havo, Vwo. Andere voorbeelden zijn: de beoordeling met cijfers in het Nederlands onderwijs, de veelgebruikte 5-puntsschaal (zeer mee oneens - mee oneens - neutraal - mee eens - zeer mee eens). Bij een ordinale schaal is de volgorde duidelijk, maar zijn de verschillen niet interpreteerbaar: ‘zeer mee eens’ ligt niet noodzakelijk net zo ver boven ‘mee eens’ als dat ‘mee eens’ boven ‘neutraal’ ligt.
Interval schaal
Gelijke intervallen zonder absoluut nulpunt. Metingen op intervalniveau betreffen altijd getallen. Voorbeelden: de tijd als tijdsaanduiding (niet als tijdsduur), maar ook de Celsiusschaal voor de temperatuur (nulpunt heeft geen betekenis). Voorbeeld: Van 5 naar 10 graden celsius betekent niet automatisch twee keer zoveel warmte of energie (dus interval). Van 5 naar 10 Kelvin wel (dus ratio, zie volgende).
Ratio schaal
Intervallen met absoluut nulpunt. Temperatuur in Kelvin, gewicht in kilogram, lengte in meters, etc, Bij onderzoek naar bestedingsgedrag wordt deze schaal veelal ingezet (euro’s).