Herken je deze situatie? Je hebt de vaardigheid die je de deelnemers wilt leren net voorgedaan en erbij verteld wat je doet. Je denkt dat ze nu een goed beeld hebben van wat ze moeten doen en dus laat je de deelnemers oefenen. Maar als je de groepjes langsloopt, zie je ze de simpelste dingen fout doen. Hoe kan dat? Zijn ze nou echt zo dom?
In dit blog bespreken we twee experimenten die verklaren wat hier gebeurt èn dat oplossen. Uit het eerste experiment blijkt dat experts zoveel weten dat ze tijdens een training vaak maar een deel benoemen van wat ze weten en kunnen. Daardoor moeten de deelnemers veel dingen zelf invullen en dan gaat het mis. Het tweede experiment laat zien dat je dit probleem voorkomt door de vaardigheid van tevoren helemaal uit te pluizen. Dat doe je met een cognitieve taakanalyse. Als je het ontwerp van je training daarop baseert, gaan de deelnemers met sprongen vooruit.
Onbewust bekwaam trainen
Hoeveel van hun kennis maken experts expliciet tijdens een training – dat is wat Maura Sullivan en collega’s (2014) willen meten in het eerste onderzoek. De onderzoekers denken dat veel experts die trainen onbewust bekwaam zullen zijn. Ze beheersen veel vaardigheden perfect, maar kunnen die moeilijk onder woorden brengen. Dat komt doordat experts hun vaardigheden geautomatiseerd hebben. Bij de uitvoering hoeven ze dus niet meer na te denken: de verschillende stappen die experts ze zetten, zijn samengesmolten tot één geheel. Daardoor kunnen experts snel en goed reageren op allerlei situaties. Maar het nadeel is dat ze hun kennis en kunde slecht onder woorden kunnen brengen, bijvoorbeeld als ze een training geven.
Om deze hypothese te testen nemen de onderzoekers een training onder de loep van drie docenten chirurgie. Hun training is bedoeld voor chirurgen in opleiding die moeten leren hoe je een tracheotomie verricht. Dat is een ingreep waarbij artsen een buisje inbrengen onder het strottenhoofd van een patiënt om die te helpen ademen. Om de vaardigheid onder de knie te krijgen, volgen de studenten eerst een college met een PowerPoint van de belangrijkste stappen. Daarna krijgen ze een demonstratie te zien van de ingreep. En tot slot gaan ze oefenen op een modelpop en krijgen ze feedback.
Er zijn drie chirurgen die de demonstratie geven en dat zijn allemaal experts in hun vakgebied. Om te bestuderen hoe zij zich gedragen tijdens de demonstraties, maken de onderzoekers video-opnames. Vooraf drukken ze de docenten op het hart om tijdens het onderwijs zo veel mogelijk van hun expertise te delen met de studenten. Zo willen ze de docenten stimuleren om zo veel mogelijk van hun kennis en gedachten expliciet te maken. Als de opnames gemaakt zijn, schrijven de onderzoekers die woordelijk uit, zodat ze een verslag hebben dat ze kunnen analyseren.
Cognitieve taakanalyse
Voordat de onderzoekers de verslagen analyseren maken ze eerst een tussenstap. Ze hebben namelijk een meetlat nodig om te beoordelen hoeveel van hun kennis de docenten benoemen tijdens het onderwijs. De onderzoekers construeren die maatstaf met behulp van een cognitieve taakanalyse. Dat is een serie interviews waarin ze experts het hemd van het lijf vragen. In dit geval bevragen ze zes experts: de drie docenten en drie van hun collega’s. Die krijgen allemaal de opnames van het onderwijs te zien en moeten daarover een hele reeks vragen beantwoorden. Wat zijn de indicaties voor een tracheotomie? Wat zijn de contra-indicaties? Welke materialen heb je nodig voor een tracheotomie? Waarom heb je deze tube geselecteerd en geen andere? Enzovoort.
Als alle interviews afgelopen zijn, halen de onderzoekers daar alle stappen en elementen uit. Die voegen ze samen tot een complete beschrijving van een tracheotomie. Vervolgens vragen de ze de experts om commentaar en stellen ze de beschrijving bij. Dit gaat zo door totdat alle betrokkenen akkoord gaan met de beschrijving van de procedure. In dit geval levert dat een ‘gouden standaard’ op voor een tracheotomie die bestaat uit 14 klinische stappen, 27 handelingen en 5 strategische beslissingen.
Hoe onbewust bekwaam zijn de trainers?
En dan volgt het oordeel: hoe onbewust bekwaam zij de drie docenten eigenlijk? Welk deel van de ‘gouden standaard’ benoemen ze wel tijdens de demonstratie van de tracheotomie en welk deel niet?
Het antwoord is ontluisterend, want het blijkt dat de drie chirurgen tijdens de demonstraties maar 41% benoemen van alle punten die belangrijk zijn. Ze noemen maar 49% van de handelingen bij naam en bespreken maar 29% van alle medische kennis die ze daarbij gebruiken. Verder maken ze maar 27% expliciet van alle beslissingen die ze nemen en vertellen ze bij maar 14% van alle handelingen hoe ze die precies verrichten. Alles bij elkaar verzwijgen de docenten tijdens het onderwijs dus heel veel van wat ze impliciet doen, denken en beslissen.
Lijden studenten onder onbewust bekwaam trainen?
Met hun eerste experiment hebben Sullivan en collega’s laten zien dat de trainers onbewust bekwaam zijn. De drie chirurgen kunnen de tracheotomie weliswaar tot in de puntjes uitvoeren, maar ze hebben moeite om hun kennis goed onder woorden te brengen. Ze gaan dus gebukt onder de vloek van kennis.
Maar hoe zit het met de studenten die getraind werden door de drie chirurgen? Hebben zij last van het onvermogen van de trainers om hun gedachten goed onder woorden te brengen? Of maakt het voor het leerproces van de studenten niet uit wat de chirurgen zeggen tijdens de demonstraties? Dat is een belangrijke vraag, want als studenten geen last hebben van de vloek van kennis hoeft er niets te veranderen.
Daarom doen Sullivan en collega’s een tweede experiment. Hieraan doen 20 chirurgen in opleiding mee die weer moeten leren hoe je een tracheotomie verricht. Elf van hen krijgen hetzelfde onderwijs als in het eerste onderzoek: eerst een college met PowerPoint; dan een demonstratie van de ingreep waarbij de docent vertelt wat hij doet; en tot slot gaan ze de procedure oefenen en krijgen ze feedback. De andere negen studenten krijgen eerst een grondige uitleg van de standaardprocedure bij een tracheotomie met al die 14 klinische stappen, 27 handelingen en 5 strategische beslissingen. Daarna krijgen ze een demonstratie waarbij de docent elke keer verwijst naar de stappen in de standaardprocedure. Tot slot gaan de studenten oefenen en krijgen ze feedback.
Maakt een cognitieve taakanalyse verschil?
De hamvraag is natuurlijk: leren de studenten meer van een training die gebaseerd is op een cognitieve taakanalyse? Of levert de traditionele aanpak hetzelfde resultaat op? Om die vraag te beantwoorden laten Sullivan en collega’s alle studenten na een maand terugkomen. Zij moeten dan een tracheotomie verrichten op een oefenpop en hun optreden wordt beoordeeld door de onderzoekers. Vijf maanden later ondergaan de studenten dezelfde test. Bij die gelegenheid moeten ze niet alleen de ingreep verrichten, maar moeten ze ook hardop vertellen wat ze doen, hoe ze dat doen en waarom ze dat doen.
En net als bij het eerste experiment zijn de uitkomsten spectaculair. Want de studenten die het vernieuwde onderwijs hebben gevolgd, scoren op alle fronten veel beter. Na een maand scoren ze 87% op de gedragstoets (versus 70% voor de traditionele groep). Vijf maanden later is dit verschil in stand gebleven: 79% versus 64% op de gedragstoets en 64% versus 48% op de kennistoets. Alhoewel je het er niet meteen aan afziet, zijn dit echt grote verschillen. Statistisch gezien liggen de resultaten van het nieuwe programma een straatlengte voor op die van de traditionele aanpak.
Lang leve de cognitieve taakanalyse
Je kunt je natuurlijk afvragen hoeveel het laatste experiment precies zegt. Is een training gebaseerd op een cognitieve taakanalyse altijd zoveel beter dan een aanpak waarbij experts veel van hun kennis vergeten te vertellen? Gelukkig weten we daar ook wat over. Want Thomas Edwards en collega’s (2021) hebben twaalf onderzoeken in de medische sector bekeken waarin vergelijkbare experimenten gedaan werden. Hun conclusie: trainingen die gebaseerd zijn op een cognitieve taakanalyse leveren veel betere leerresultaten op dan trainingen die verzorgd worden door trainers die onbewust bekwaam zijn.
Een oudere meta-analyse van Tofel en Feldon (2013) komt tot dezelfde conclusie. Zij laten zien dat een cognitieve taakanalyse niet alleen in de medische wereld superieure trainingsresultaten oplevert. Dat is ook het geval in de krijgsmacht, in het bedrijfsleven en in het hoger onderwijs.
Al het onderzoek wijst er dus op dat een cognitieve taakanalyse een must is voor elke training. Wanneer je zo’n analyse achterwege laat en onbewust bekwaam gaat trainen doe je je deelnemers tekort. En dat kan nooit de bedoeling zijn.
Bewust in plaats van onbewust bekwaam trainen
Veel wat er gebeurt in de experimenten herken ik uit de praktijk. Als je voor een groep staat, ben je soms verbaasd over wat de deelnemers lastig vinden. Wat voor jou een tweede natuur is, is voor hen nieuw.
Juist daarom is het belangrijk dat je je deskundigheid vóór de training expliciet maakt. Dat doe je net zoals de onderzoekers deden. Je geeft een demonstratie van de vaardigheid, neemt jezelf op en kijkt terug wat je precies doet. En je verwoordt wat je erbij dacht.
- Stel, je wilt de deelnemers leren hoe ze een brilmontuur kunnen kiezen dat past bij de gezichtsvorm van de klant. Leg tien brillen neer en bekijk vijf gezichten in een tijdschrift. Neem jezelf op en verwoord hardop wat je ziet in de gezichtsvorm, wat je overwegingen zijn en hoe je kiest.
- Of je wilt deelnemers leren hoe ze een goede squat kunnen maken. Doe dan zelf een paar squats en signaleer alles wat je voelt. Neem jezelf op en kijk jezelf terug en vertel daarbij waarop je let.
Of stel dat je deelnemers wilt leren hoe ze een goede presentatie kunnen geven aan een managementteam over een plan dat veel geld gaat kosten. Bedenk een voorbeeldpresentatie vanuit de cases van je deelnemers, geef die presentatie en neem jezelf weer op. Kijk terug: wat heb je gedaan, hoe deed je dat precies en waarom? - Met modelleren alleen ben je er trouwens nog niet. Want je wilt uiteindelijk een helder stappenplan opstellen dat de deelnemers houvast geeft. Dat vraagt ordenen, selecteren en opmaken. Maar de basis is dat je uitgaat van een concrete situatie en je eigen onbewuste aanpak en de stappen niet uit een boekje haalt.
Wil je leren hoe dit werkt?
Wil je leren over hoe je jezelf modelleert en een goed stappenplan ontwikkelt? In ons nieuwe boek Trainen voor Experts lees je hoe je dat doet voor denk- en doevaardigheden. Of kom naar de tweedaagse training Didactisch Ontwerpen voor Experts van de Trainingexperts.
Train je communicatievaardigheden? Kom dan naar onze eigen tweedaagse training Activerend trainen.
Literatuur
Sullivan, M. E., Yates, K. A., Inaba, K., Lam, L., & Clark, R. E. (2014). The use of cognitive task analysis to reveal the instructional limitations of experts in the teaching of procedural skills. Academic Medicine, 89(5), 811-816.
Sullivan, M. E., Brown, C. V., Peyre, S. E., Salim, A., Martin, M., Towfigh, S., & Grunwald, T. (2007). The use of cognitive task analysis to improve the learning of percutaneous tracheostomy placement. The American journal of surgery, 193(1), 96-99.
Edwards, T. C., Coombs, A. W., Szyszka, B., Logishetty, K., & Cobb, J. P. (2021). Cognitive task analysis-based training in surgery: A meta-analysis. BJS open, 5(6), zrab122.
Tofel-Grehl, C., & Feldon, D. F. (2013). Cognitive task analysis–based training: A meta-analysis of studies. Journal of Cognitive Engineering and Decision Making, 7(3), 293-304.