Je wilt zeker weten dat klanten bij elke vestiging dezelfde ervaring krijgen. Maar hoe meet je dat zonder dat de uitkomst wordt gekleurd door wie er kijkt? Dat is precies de kern van de keuze tussen zelf mystery shoppen en een mystery shopping bureau inschakelen. In deze vergelijking lees je waar die keuze echt over gaat. Je leest zes criteria: objectiviteit, herkenbaarheid van de shopper, vergelijkbaarheid tussen vestigingen, tijd en belasting voor je eigen team, privacy en gebruik van resultaten, en de kwaliteit en bruikbaarheid van rapportages. Daarna zie je wanneer zelf doen prima werkt. Denk aan een eenmalige check, een klein team of een vraag die je intern goed kunt afbakenen. Je leest ook wanneer uitbesteden verstandiger is. Bijvoorbeeld als je meerdere vestigingen wilt vergelijken, als objectiviteit zwaar weegt of als je privacy en rapportages professioneel wilt borgen. Een mystery shopping bureau met MSPA- en ESOMAR-lidmaatschap kan dan meer zekerheid bieden. Tot slot helpt de conclusie je om een onderbouwde keuze te maken. Zo weet je vooraf wat je meet, wat het je oplevert en waar de grens van zelf doen ligt.

Waar deze keuze echt over gaat

Mystery shopping is in één zin: een getrainde of gebriefde shopper gedraagt zich als klant, voert een vaste opdracht uit en rapporteert op een vergelijkbare, consistente manier. Vergelijkbaarheid is de kern. Zonder dezelfde meetpunten kun je twee vestigingen niet eerlijk naast elkaar leggen, ook al heb je van beide een verslag. Uitgangspunt uit de internationale principes (ESOMAR-richtlijn, herziene versie 2005): de medewerker weet normaal niet dat er wordt gemeten. Die wetenschap leidt tot ander gedrag en maakt de bevindingen ongeldig. Je hebt misschien al een NPS-score of CSAT-cijfer, maar wat observatie toevoegt laat zien welk besluit je daarmee nog niet kunt nemen. Die zes punten bepalen of je zelf kunt meten of beter uitbesteedt. Dit is een praktische vuistregel. Vaak hangt dat af van één vraag: welk besluit wil je met de uitkomst nemen?

Criterium 1: objectiviteit, wie heeft belang bij de uitkomst

Objectiviteit begint bij wie meet. Zelf doen betekent vaak dat dezelfde persoon meet die ook verantwoordelijk is voor de score. Dat is geen onwil, maar wel een belang: je meet je eigen werk. Klanttevredenheidscijfers uit enquêtes meten herinneringen, niet wat er op de vloer gebeurde.

Eigen medewerkers of bekenden kennen de norm, weten welke antwoorden goed vallen en weten dat de uitkomst terugkomt bij collega’s. Een onderzoeksbureau heeft geen operationeel belang bij een mooie uitkomst; het verdient aan de meting zelf, niet aan een hoge score. Dat maakt het makkelijker om een ongunstige uitkomst te laten staan, al heeft een bureau belang bij herhaalopdrachten.

De internationale richtlijn noemt nog een onderscheid: bij gebruik voor training, verkoopinspanningen of een bonus is het geen onderzoek meer, maar een mystery shopping project. Presenteer het ook zo, want dat bepaalt hoe zwaar je het cijfer mag laten wegen.

Praktische vraag: wie kan de uitkomst beïnvloeden en wie profiteert van een hoog cijfer? Hoe meer namen, hoe zwakker de objectiviteit. Dat raakt direct aan herkenbaarheid.

Criterium 2: herkenbaarheid van de shopper

Objectiviteit bepaalt wie meet. Herkenbaarheid bepaalt of de meting nog iets zegt. Dat uitgangspunt geldt hier extra sterk. Herkenning is dus de basis onder je cijfers.

In een klein team, een dorp of een vestiging waar iedereen elkaar kent, valt een bekende shopper snel op. Je meet dan iemand die zich bekeken voelt, niet het gewone gedrag. Of medewerkers een vaste shopper op den duur herkennen en zich anders gaan gedragen, is niet onderzocht.

Dat risico verdwijnt niet als een eigen medewerker uit een andere vestiging komt shoppen. Iemand kan herkend worden, of de shopper zelf laat iets vallen tegen een collega. Bij uitbesteden kies je zelf de shoppers niet, wat het risico op herkenning anders maakt. Vraag dan wel hoe het bureau shoppers selecteert en wat er gebeurt als een shopper een bekende treft. Dat geldt voor elk kanaal, dus bepaal eerst welk meetkanaal je inzet en daarna wie de meting uitvoert.

Bij zelf doen is de vraag: hoe groot is de kans dat jouw shopper hier als bekende binnenkomt, en wat gebeurt er dan met die meting?

Criterium 3: vergelijkbaarheid tussen vestigingen

Vergelijken vraagt om een vaste checklist: hetzelfde scenario, vergelijkbare momenten en dezelfde scoringsregels. Zonder die afspraken vergelijk je indrukken in plaats van vestigingen. Een programma met duidelijke doelen en een doordacht scenario is de basis; anders blijft het een afvinklijst.

Het klassieke probleem bij zelf doen: de ene vestiging wordt op een drukke zaterdagmiddag gemeten, de andere op een rustige dinsdagochtend. Het verschil in uitkomst zegt dan vooral iets over het moment, niet over de vestiging.

Herhaalbaarheid is de sleutel. Je moet de meting over tijd kunnen herhalen met exact dezelfde meetpunten. Dan zie je vooruitgang of verslechtering in plaats van losse momentopnames.

Schrijft iedereen zijn eigen verslag op zijn eigen manier, dan is optellen en rangschikken lastig. De ene shopper noemt wachttijd, de andere schrijft alleen dat het vriendelijk was.

Bij uitbesteden leg je de meetpunten en de vragenlijst vooraf vast. Dezelfde punten worden bij elke vestiging gemeten. Dat maakt cijfers per vestiging bruikbaar om op te sturen. Lees hoe je verschillen tussen vestigingen vergelijkt in een franchiseketen.

Vraag een bureau hoe de vergelijkbaarheid over tijd wordt bewaakt als je vragenlijst in de loop van het jaar verandert. Dan weet je niet of je cijfers over tijd nog hetzelfde meten.

Criterium 4: tijd en belasting voor je eigen team

Een vaste checklist lost het vergelijkingsprobleem op, maar niet de vraag wie het werk doet. Zelf doen kost uren die je vooraf vaak niet ziet: shoppers werven, briefen, inplannen, herinneren, verslagen nalezen en onvolledige inzendingen opnieuw laten doen. Die uren komen bovenop het gewone werk, bij een regiomanager, kwaliteitsmedewerker of teamleider. Ze zijn zelden vrijgespeeld en dus zichtbaar in de agenda.

Reken ook de interne gesprekken mee: over anonimiteit en over wat je wel en niet deelt als iemand de shopper denkt te herkennen. Bij regelingen die het gedrag van medewerkers observeren is vooraf instemming van de ondernemingsraad nodig; toets met een jurist of dat hier geldt.

Uitbesteden verschuift het werven, briefen en plannen naar het bureau. Jij houdt tijd voor de briefing, het vaststellen van de meetpunten en het nalezen van de rapportage. Hoeveel dat is, hangt af van het aantal vestigingen, de frequentie en de mate waarin je bestaande processen kunt gebruiken.

Reken na: is zelf doen echt goedkoper, of verplaats je de kosten naar iemand binnen je team die dit erbij doet? Wil je weten wat een shopper per bezoek ontvangt, dan geeft dat een beter beeld van de kostenkant.

Criterium 5: privacy en gebruik van de resultaten

Privacy vraagt om eigen afspraken. De richtlijn vraagt dat een meting voldoet aan de geldende privacyregels en dat zowel jij als het onderzoeksbureau de gegevens goed beveiligt. Vraag hoe dat geregeld is, in plaats van er vanuit te gaan.

Stel dezelfde vragen, of je zelf meet of uitbesteedt: waar staan de gegevens, wie kan ze zien, hoe lang worden ze bewaard en worden bevindingen aan een persoon gekoppeld of alleen aan een vestiging of moment? Zie de vragen van shoppers voor die afspraken.

Communiceer naar medewerkers hoe je de uitkomsten gebruikt, zodat ze begrijpen waar de meting voor dient.

Bevindingen mogen niet worden gebruikt om individuen te straffen. Dat zet de volgende meting onder druk en past niet bij een meting die gedrag in kaart brengt.

Bij zelf doen is die scheiding lastig vol te houden: de shopper kent collega’s en de verleiding om te vertellen wie het was is groot. Vraag daarom bij uitbesteden naar vaste afspraken over rapporteren op vestigingsniveau, niet op persoonsniveau.

Criterium 6: kwaliteit en bruikbaarheid van de rapportages

Privacy regelt wie de gegevens ziet. De rapportage bepaalt of je er als manager ook iets mee kunt.

Een bruikbare rapportage beschrijft waarneembaar gedrag, geen indrukken: wat er is gezegd, wat er is gedaan, hoe lang het duurde en of dat aan de afspraak voldeed.

Vraag naar de kwaliteitscontrole op de shoppers zelf. Hoe wordt gecontroleerd of een bezoek echt is uitgevoerd en of een verslag compleet en consistent is ingevuld?

Cijfers per vestiging zijn het einddoel: in één oogopslag zien waar het afwijkt van de norm en waar je deze week kunt bijsturen. Bij nalevingscontroles telt dat extra zwaar; lees hoe je een handhavingsplan omzet naar metingen.

Lidmaatschap van MSPA of ESOMAR en aansluiting bij het Data & Insights Network zeggen iets over gebondenheid aan gedrags- en datacodes. Zie dat als minimum, niet als keurmerk. Vermelding in de ESOMAR-directory is geen onafhankelijke certificering.

Vraag voorbeeldrapportages op en kijk of jij zonder uitleg ziet wat er afwijkt. Een mooi vormgegeven rapport dat je niet kunt gebruiken is geen kwaliteitsbewijs.

Vraag ook hoe een meting die mislukt of onvolledig is wordt behandeld. Gaat die het gemiddelde in, of wordt er opnieuw gemeten?

Wanneer zelf doen prima werkt

Zelf doen werkt prima als de meting klein blijft. Je onderzoekt één afgebakend onderwerp in één of enkele vestigingen en hebt geen vergelijking tussen locaties nodig.

De uitkomsten mogen geen gevolgen hebben voor bonussen, sancties of beoordelingen van individuen. Het gaat om leren en signaleren, niet om afrekenen.

Anonimiteit moet echt te waarborgen zijn. Een shopper die niemand kent werkt, net als een terugkoppeling die niet tot een persoon of tijdstip te herleiden is.

Zet je meetpunten vooraf kort op papier. Dan gebeurt de meting over een half jaar nog op dezelfde manier.

Accepteer dat de uitkomst een indicatie is. Bruikbaar voor een gesprek met een vestiging, niet als hard cijfer in een vergelijking of beoordeling.

Zodra je vestigingen tegen elkaar wilt leggen, verschuift de afweging. Lees waarom vestigingsniveau de enige stuurbare eenheid is.

Wanneer uitbesteden verstandiger is

Zelf doen houdt op waar het besluit zwaarder wordt. Wil je meerdere vestigingen eerlijk naast elkaar leggen, dan moet het verschil uit de meting komen en niet uit de aanpak van je shoppers. Zodra de uitkomst meeweegt in gesprekken over bonus, beoordeling of naleving, telt objectiviteit zwaar. Een onafhankelijke partij meet elke vestiging met dezelfde checklist, hetzelfde scenario en dezelfde scoringsregels.

Wanneer weegt de uitkomst zwaar genoeg om een buitenstaander te laten meten? Bij nalevingscontroles, zoals op de Alcoholwet en NIX18 waar gemeenten op laten meten, in elk geval wel. De uitvoering hoort dan niet af te hangen van iemand binnen je eigen organisatie. Hetzelfde geldt voor een doorlopend programma met veel bezoeken per jaar: herhaalbaar meten op vaste meetpunten vraagt een vaste werkwijze en een partij die die werkwijze kan uitleggen aan een gemeente, franchisegever, hoofdkantoor of toezichthouder.

Vraag bij elk bureau naar de werkwijze, de controle op shoppers en de afspraken over privacy en rapportage.

Conclusie: zo maak je een onderbouwde keuze

De keuze komt dus niet neer op welke methode beter is, maar op wat je met de uitkomst wilt doen. Begin bij dat besluit, niet bij de methode.

Vuistregel: is de meting klein, intern en niet bestraffend, dan kun je het zelf prima organiseren. Wil je vestigingen objectief vergelijken, je naar buiten verantwoorden of echt sturen op cijfers per locatie, dan is uitbesteden verstandiger.

Leg in beide gevallen je meetpunten, scenario en scoringsregels vooraf vast. Dat is de basis onder elk bruikbaar cijfer, wie de meting ook uitvoert. Vraag een bureau naar voorbeeldrapportages, de controle op shoppers en de afspraken over privacy en gebruik van resultaten. Vergelijk op werkwijze, niet op beloftes.

Wil je beide routes naast elkaar leggen voor jouw vestigingen? Bekijk dan de diensten van De Onderzoekfabriek, met 8.000+ shoppers en ruim vijftien jaar ervaring in mystery shopping, mystery calling en mystery mailing. Eén van de opties, geen automatische uitkomst. Op de site vind je ook de cases.

Bronnen in dit artikel: de internationale mystery shopping principes van ESOMAR en de ESOMAR-directory.