Delphi-studie

In hoofdzaak bestaat de Delphi methode uit drie hoofdstappen:

1. De briefing van de deelnemers
2. De anonieme bevraging van de deelnemers
3. De analyse van de resultaten

In de praktijk echter zijn er veel meer kleinere stappen nodig om tot resultaat te komen. Linstone en Turoff* noemen er tien:

1. De samenstelling van een onderzoeksteam
   2. De selectie van een of meer panels van deelnemers – veelal experts in een bepaald gebied
   3. Ontwikkeling van de eerste vragenronde
   4. Testen van de eerste vragenronde – vooral een check op ondubbelzinnig taalgebruik en heldere vraagstelling
   5. Verzenden van de eerste vragenronde aan de deelnemers
   6. Analyse van de antwoorden van de eerste ronde
   7. Voorbereiding van de tweede vragenronde op basis van de resultaten van de eerste
   8. Verzenden van de tweede vragenronde
   9. Analyse van de tweede vragenronde
   a. Herhaling van stappen 7-9 zolang als nodig is om stabiliteit in de antwoorden te krijgen. Let op: niet noodzakelijkerwijs consensus!
   10. Samenstelling van de rapportage

De uitvoering van de stappen hangt voor een groot deel af van de omvang en het budget dat voor de studie beschikbaar is. Er is wat dat betreft geen substituut voor gezond en praktisch ‘boerenverstand’. Sommige onderzoeksorganisaties hebben de beschikking over een versnellingskamer of group decision room. Dan kunnen de Delphi vragen in die faciliteit worden geprogrammeerd en de deelnemers kunnen hun antwoorden vanaf een terminal intypen. Anonimiteit is daarbij vaak niet wat wordt nagestreefd, omdat het proces meestal slechts een element is ter aanvulling aan andere vormen van communicatie in het onderzoek. Bovendien biedt de invoer per keyboard wel enige waarborg tegen ongewenste groepseffecten.

Andere onderzoeksorganisaties hebben de beschikking over een web-based applicatie. Het voordeel daarvan is uiteraard de onafhankelijkheid van tijd en plaats. Deelnemers kunnen waar ze ook zijn en wanneer ze gelegenheid hebben deelnemen. Een Nederlands voorbeeld van een generieke applicatie is Synmind. Deze wordt momenteel in verschillende onderzoeken toegepast en heeft als ‘gadget’ de grafische representatie (in een ‘spiderweb’) van de scores van de deelnemers.

Toch is het niet voorhanden hebben van dergelijke instrumenten geen grote belemmering, en vaak zelfs een voordeel. Geen belemmering, omdat met eenvoudige standaard applicaties, zoals Microsoft Excel en Microsoft Access, de vragen op heel overzichtelijke wijzen kunnen worden aangeboden op een wijze die zich ook uitstekend leent voor latere analyse. Een voordeel, omdat bij het op eenvoudige wijze aanbieden van de vragen, minder snel fouten worden gemaakt, zowel door het onderzoeksteam als door de deelnemers.

Briefing. Vooral bij complexe thema’s, bij uitstek het terrein van Delphi onderzoek, kan het noodzakelijk zijn om de feiten nog eens op een rijtje te zetten, ook al worden experts in het onderzoek betrokken. Doel is uiteraard dat alle deelnemers hetzelfde vertrekpunt hebben en niet van verschillende, onjuiste vooronderstellingen uitgaan. Indien de tijd en het budget het toelaten is het ideaal als de onderzoekers de deelnemers eerst interviewen. Die interviews hebben namelijk als voordeel dat het briefing document en de vragen aan kwaliteit winnen. Bovendien kan het interview gebruikt worden om het belang van de deelname aan de Delphi te benadrukken. De praktijk wijst uit dat op die manier de deelname aan kwaliteit en kwantiteit wint, en hetzelfde geldt voor het draagvlak voor de uitkomsten.

Anonimiteit. In aanvulling op wat hierboven over anonimiteit is geschreven het volgende. Elke deelnemer aan elke enquête vraagt zich af ‘What is in it for me?” Soms wordt dit opgelost met de belofte om het eindrapport toe te sturen, soms heeft men de kans om in te loten voor een prijs. Vaak is de deelnemer, vooral bij gerenommeerde enquêtes, nieuwsgierig naar de vragen. Zulke incentives volstaan bij korte enquêtes. Een typisch voorbeeld is de webenquête 20minuten.nl van McKinsey. Deelnemers vinden de vragen interessant omdat ze hen aanzetten tot nadenken.
Het goed invullen van twee of meer Delphi rondes is een inspanning die veel meer van de deelnemer vergt dan een enquête van 20 minuten. Waarom zou een deelnemer die inspanning leveren als hij toch anoniem blijft? Een antwoord is dat een expert toegewijd is aan het thema van zijn expertise. Als uiteindelijk zijn naam in het eindrapport staat, kan dat voldoende zijn om hem over te halen tot deelname. Een goed gestelde formele uitnodigingsbrief van een hooggeplaatste persoon kan ook helpen. In de praktijk blijkt dat hoe hoger de deelnemer is gekwalificeerd, hoe lastiger het is om de anonieme deelname in alle ronden te realiseren. Dan helpt het om en niet-anonieme laatste ronde in het vooruitzicht te stellen, mogelijk in aanwezigheid van de opdrachtgever.

Vragen. Het is duidelijk dat te korte en te lange vragen tot minder goed resultaten leiden. Salancik et (1971) berekenen dat een zinslengte van 20 – 25 woorden optimaal werkt.

Analyse. Bij de analyse van de resultaten gaat het er om de spreiding van de antwoorden over de scoremogelijkheden zodanig weer te geven dat aan de individuele deelnemer duidelijk wordt hoe zijn antwoord zich verhoudt tot dat van anderen. Over het gebruik van scoreschalen is veel geschreven. Meest gebruikt zijn de 5-puntsschaal en de 7-puntsschaal. Aan de hand van de mediaan de spreiding kan een deelnemer snel inzicht krijgen in hoeverre zijn score afwijkt van het gemiddelde. Gebruikelijk is ook om deelnemers te vragen hoe zeker ze zijn van hun antwoord, in hoeverre ze zichzelf expert beschouwen, etc. Maar hier ontstaat een praktische constatering, namelijk dat de essentie van de Delphi methode bestaat uit de gefaseerde terugkoppeling op basis van argumentaties. Om die terugkoppeling enigszins efficiënt te laten plaatsvinden, zal het onderzoeksteam zich moeten beperken. In de beperking sneuvelen dan vaak de aanvullende vragen.

Terugkoppeling. In aanvulling op het voorgaande is het realistisch om er hier op te wijzen dat het onderzoeksteam veel wijsheid zal moeten steken in een zinvolle terugkoppeling. Zinvol is alleen die terugkoppeling die de deelnemers er toe noopt om wederom diep na te denken over de vragen en de argumentaties en om die vervolgens al of niet met nieuwe argumentaties bij te stellen of ongewijzigd te laten. Over het algemeen geldt: ”overdaad schaadt”. Het is dus zaak om precies de juiste terugkoppeling te bieden, en niet meer dan dat, zonder echter de resultaten te manipuleren. Daarbij ontstaat vaak behoefte aan een of andere statistische maat voor de relevantie van de consensus of dissensus die uit de vraagbeantwoording volgt. Dit is in de Delphi methode een ondergeschoven kindje. Delphi onderzoekers stellen dat statistische analyse bij Delphi onderzoek geen betekenis heeft, omdat het juist gaat om de argumentaties achter de beantwoording en de scores. Bovendien zijn de aantallen deelnemers doorgaans veelal te klein (per expert panel) om gangbare statistische analyse te kunnen uitvoeren. Daarom hanteren onderzoekers vaak een eigen criterium voor significante verschillen, bijvoorbeeld een afstand van twee punten op een scorebreedte van zeven.

Na een halve eeuw ervaring met de Delphi methode zijn er enkele do’s en dont’s naar voren gekomen.

1. Leg als onderzoeker je gezichtspunt niet op aan de deelnemers – op geen enkele manier. Ook niet door een te rigide structuur aan te brengen of door de inbreng van de deelnemers te limiteren.
2. Denk niet dat de Delphi methode voor alle vormen van menselijke communicatie een goede benadering is.
3. Pas op met samenvattingen van meningen en argumentaties. Vaak is het beter deze op zichzelf te laten.
4. Vergeet niet om aandacht te schenken aan alle meningen en argumentaties van alle deelnemers – op straffe van dropouts.
5. Vergeet niet om te beseffen dat de deelnemers er veel tijd en moet in steken, en dat die op een of andere manier gehonoreerd moet worden.
6. Het resultaat van een Delphi staat ter beschikking van beleidsmakers en besluitvormers, maar op geen enkele manier zijn de deelnemers verantwoordelijk voor beleid en besluit.
7. Laat zo min mogelijk tijd verlopen tussen de verschillende ronden.
8. Vermeld alleen de namen van de deelnemers als dat instrumenteel is en als ze daarvoor hun persoonlijke goedkeuring hebben gegeven. Maar zorg er voor dat meningen en argumentaties nooit kunnen worden herleid naar de deelnemers van wie ze afkomstig zijn.
9. Kies logische stellingen en scoremogelijkheden (5-7), zorg ervoor dat de scores ook realistische wijze kunnen worden gebruikt, en schenk zo veel mogelijk aandacht aan het voorkomen van ambiguïteit in de frasering.
10. Denk ook om aanvullende vragen naar wenselijkheid van een ontwikkeling, mate van zekerheid van de mening, niveau van expertise, etc.
11. Besteed zoveel mogelijk energie aan de hoffelijke, betrokken, en inhoudelijk zo gedetailleerd mogelijk terugkoppeling naar de deelnemers, inclusief formele brieven etc.
12. Indien er een afsluitende niet-anonieme meeting is, zorg voor een onafhankelijke voorzitter met natuurlijk autoriteit.

Naar het overzicht: Toekomstonderzoek voor organisaties