methodologie leren of methodisch verantwoord leren werken?

Rondom “onderzoek” hangt vaak de belofte van een geheimzinnige receptuur: “goed” onderzoek is een correct mengsel van onderzoeksvragen, interviewtechnieken, data-analyse, (pre)-experimenten en hypothesen.

De meeste in het hbo gebruikte boeken over onderzoeks- of ontwerpmethodologie bevatten stappenplannen. Ook dit suggereert dat het werken volgens een stappenplan “vanzelf” verantwoord onderzoek of ontwerp oplevert. Veel cursussen “onderzoeksvaardigheden” hebben zo’n boek met een stappenplan als basis.

Zonder de waarde van de gangbare boeken over onderzoek te willen bagatelliseren, denk ik dat er heel wat meer nodig is om hbo-ers te leren om onderzoeksvaardig of onderzoekend te worden. Mijn stelling: Het maakt eigenlijk niet uit of je wilt dat studenten zelf onderzoek moeten gaan doen, of dat zij “slechts” over een onderzoekende werkhouding moeten gaan beschikken: van het volgen van stappenplannen leren studenten niet om methodisch verantwoord te werken.

Maar hoe dan wel?
Vooropgesteld: Ieder op te lossen of te onderzoeken probleem is anders. Elke situatie waarin een probleem moet worden opgelost of onderzocht is anders. Elke onderzoeker of ontwerper is anders. De urgentie van een probleem verschilt onder invloed van externe factoren. Budgetten in tijd, geld en beschikbare menskracht verschillen.. het is niet erg waarschijnlijk dat je problemen volgens voorgeschreven methoden te lijf kunt gaan.

Methodisch verantwoord werken betekent dus vooral dat je verstandige keuzes maakt in de de manier van aanpakken van een probleem. De aanpak zal uiteindelijk bestaan uit een aantal methoden die na en naast elkaar worden toegepast. Van elke methode moet je vervolgens bedenken hoe zorgvuldig, hoe intensief en hoe diepgravend je hem toepast: zoek je álle beschikbare literatuur of alleen de paar meest relevante; zet je 1000 enquêtes uit of 20? rapporteer je na elke fase of alleen op het eind? Bouw je een werkend prototype of volstaat een proof-of-principlemodel? Welke creativiteitstechniek gebruik je? Geef je de opdrachtgever de keus uit 2 varianten of 5? Als ontwerper of onderzoeker moet je dat allemaal zelf bepalen, op basis van zijn eigen inschatting van urgentie, beschikbare tijd, budget, menskracht, enzovort..

Wat je als onderzoeker / ontwerper in spe dus moet leren is hoe je die keuzes maakt. Voorwaarde is dat je kunt putten uit een goedgevulde gereedschapskist van onderzoeks- of ontwerpmethoden. Om deze te kunnen samensmeden tot een effectieve methodische werkwijze moet je weten wat de voors- en tegens van verschillende methoden zijn. Je moet weten in welke situaties ze wel of niet werken en welke resultaten je ongeveer kunt verwachten. En als je een methode nog niet kent, moeten je weten hoe je daar meer over te weten kunnen komen.

Dan zijn we aangekomen bij de nijpende didactische vraag: leer je studenten het best methodisch verantwoord werken door ze eerst “aan het handje” mee te nemen door een ontwerp- of onderzoeksproces, in de hoop dat ze zo snel veel methoden leren gebruiken, of train je studenten al direct in het maken van keuzes in aanpak en methoden, daarbij accepterend dat ze fouten maken, niet altijd tot eindresultaten komen, maar wel veel leren over het maken van keuzes?

Zelf neig ik sterk naar de tweede variant: hoe minder voorgeschreven methodologie hoe beter, wat niet per se betekent dat je studenten maar wat laat zwemmen. Er is niets op tegen om verschillende methoden gedetaillerd aan te reiken: Hoe voer je verschillende vormen van interviews uit; welke creativiteitstechnieken zijn er, welke presentatievormen, welke manieren van literatuuronderzoek, enzovoort. Het komt vooral aan op de stijl van begeleiding en instructie: begeleid je studenten bij het maken van keuzes (zonder deze keuze voor ze te maken!) en het achteraf terugkijken of de keuzes wel goed waren, of schrijf je bepaalde methoden voor (“maak een moodboard over de doelgroep”; “genereer drie concepten”) en beoordeel je of ze precies gedaan hebben wat je hebt gevraagd?

De keuze lijkt mij duidelijk: methodisch leren werken doe je door zelfstandig keuzes te moeten maken, de ruimte te krijgen om fouten te maken en het nog eens op een nadere manier te proberen, door veel terug te kijken en door vooral in het begin niet teveel afgerekend te worden op resultaten, maar eerder op het aantal serieuze pogingen.

Hoe eerder in de studie je daarmee begint, hoe beter.

De ideeënziekte

Wanneer innovatie moet worden gestimuleerd, treedt vaak het bekende mechanisme in werking: we gaan op zoek naar “ideeën”. Hoe meer ideeën, hoe beter, is het motto. Zo worden we als opleiding Industrieel product Ontwerpen voortdurend bestookt met uitnodigingen voor prijsvragen: “Ideeën voor duurzame mobiliteit!”, brainstormsessies:  “Ideeën voor de ideale haven!” en ontwerpwedstrijden: “Leerzame producten voor kinderen!”.

En dan komen de ideeën; met honderden tegelijk. Modellen, schetsen, presentaties. Deskundige jury’s buigen zich over de ideeën; de ideeën verschijnen in een glimmend boekje of op een website, er kan gestemd worden op je favoriete idee, prijzen voor de beste ideeën worden uitgereikt, de wethouder prijst de creativiteit van de ideeën…

En dan blijft het stil. Vrijwel geen enkel idee blijkt uiteindelijk ook echt te worden uitgevoerd. Het stof dwarrelt neer; het boekje met de beste ideeén belandt in de kast. Tijd voor een nieuwe brainstormsessie dus… Maar geen innovatie.

Wat is er aan de hand?

Zou het kunnen dat er eigenlijk niet zoveel behoefte is aan creatieve ideeën, maar juist aan creatieve problemen? Zou innovatie niet veel meer gebaat zijn bij een creatieve inventarisatie van de oorzaken van de problemen die schreeuwen om een oplossing? En antwoorden op de vraag: “Wat is er nou eigenlijk precies aan de hand; hoe is het probleem ooit ontstaan; wat zou er nog meer aan de hand kunnen zijn; wie zijn er allemaal betrokken bij het ontstaan van het probleem (en de oplossing..!)” Zodat we problemen ook echt op een nieuwe manier kunnen oplossen, ofwel: innovatie bereiken.

Toegegeven, “probleemanalyseprijsvraag” klinkt toch wat minder sexy dan “ontwerpwedstrijd”, maar de resultaten zouden wel een stuk bruikbaarder zijn, want nu weten we precies wat we moeten oplossen. En goede probleemanalyse vergt  minstens evenveel creativiteit, en levert ook minstens even veel plezier op.

Informatievaardigheden vs. onderzoeksvaardigheden

“Onderzoeksvaardigheden” op hbo-niveau overlappen voor een groot deel de misschien vertrouwdere “informatievardigheden”. Wat zijn de overeenkomsten en wat zijn de verschillen?

Pas geleden heb ik gloednieuwe cursus “onderzoeksvaardigheden voor hbo-docenten”, georganiseerd door mijn hogeschool, bijgewoond. Even terzijde: de cursus was binnen de kortste keren volgetekend, bewijs dat het onderwerp enorm leeft onder docenten!
Een interessant onderdeel was het beoordelen van een aantal afstudeerverslagen op de informatievaardigheid van de de student. We gebruikten hiervoor het door Jos van Helvoort van de Haagse Hogeschool ontwikkelde beoordelingsinstrument, (hier zelf s op 1 pagina) waarin je beoordeelt op 7 helder en compact beschreven criteria. Mooi van dit instrument is dat er zowel een beschrijving is gegeven van studentgedrag dat goed aan het criterium voldoet, als gedrag dat dat juist niet doet.

De criteria die van Helvoort noemt, zijn:

1. Oriëntatie op het onderwerp
2. Bronnenoverzicht / literatuurlijst
3. Kwaliteit van de gebruikte primaire informatiebronnen (boeken, artikelen, websites etc.)
4. Bronverwijzingen in de tekst
5. Verwerking van relevante informatie tot nieuwe kennis en / of inzichten
6. (gebruik van) Zoektermen
7. Gebruik van diverse secundaire informatiebronnen

De vetgedrukte criteria worden het belangrijkst geacht en tellen dubbel in de scoringslijst.

Omdat we de rapporten met meerdere deelnemers beoordelen, kregen we een aardig beeld van de mate van overeenstemming tussen de verschillende beoordelaars. De oordelen bleken nog wel eens uiteen te lopen, bij voorbeeld  als het ging om de oriëntatie op het onderwerp (wanneer weet je genoeg?) en kwaliteit van de bronnen (hoe bepaal je of de  bronnen goeg genoeg zijn?). Ook bleek dat je als niet-inhoudsdeskundige toch een redelijk beeld kunt vormen van de informatievaardigheden, maar voorzichtig moet zijn met bepaling van de kwaliteit van de bronnen. Hoe weet je als industrieel ontwerper bijvoorbeeld wat de essentiële informatiebronnen (tijdschriften, onderzoekers, boeken, websites..) in de wereld van de hulpverlening aan zwakbegaafde jongeren zijn?

Met zijn allen waren we het er wel over eens dat je met de scoringslijst een belangrijk deel van de onderzoeksvaardigheden die we van onze studenten zouden verwachten, afdekt, en dat een groot deel van onze zorgen voer het hbo-niveau inderdaad ligt in de kwaliteit van de informatievaardigheid van studenten. Een belangrijk deel, maar natuurlijk niet alles. Hier ontdekken we de verschillen tussen de informatie- en de onderzoeksvaardigheden:

Wat je bijvoorbeeld mist is de kwalitiet van de primaire datavaerzameling: zelf verzamelen van gegevens door observatie, enquêtes en vraaggesprekken. Juist hieraan wordt in standaardwerken over onderzoeksvaardigheden veel aandacht besteed.

Wat je ook beperkt meet is de kritische benadering van en discussie over gevonden informatie. Weliswaar beoordeel je verwerking van gevonden informatie tot nieuwe kennis, maar de mate van kritisch benaderen van de bronnen ontbreekt. Eigenlijk vind ik dit wel bij onderzoeksvaardigheden horen: niet zonder meer alles geloven wat je leest, je altijd blijven afvragen of de gevonden informatie echt wel 100% te vertalen is naar jouw praktijkprobleem en je afvragen waarin en waarom bronnen elkaar soms tegenspreken. En wat betreft de kwaliteit van de bronnen: Van Helvoort lijkt er vanuit te gaan dat je de kwaliteit van bronnen tamelijk absoluut kunt bepalen, maar ik denk dat dat wel wat genuanceerder ligt…

En ten slotte het zoeken naar oplossingen en het beoordelen van de kwaliteit daarvan. Volkomen logisch om dit niet onder “informatievaardigheden” te scharen, maar bij praktijkonderzoek volgens mij wel onmisbaar.

Wat er gebeurt als je je volledig focust op informatievaardigheden ontdekten we in een tweede sessie: het beoordelen van een afstudeerwerkstuk volgens de scriptiebarometer van de Mind Management Academie. Hier zagen we dat er formeel goed was omgegaan met informatie: goede, gevariëerde bronnen gebruikt, keurig geciteerd en verwezen, een mooie literatuurlijst, etc., maar op de scriptiebarometer kwamen we niet verder dan een 0 (nul)! Probleem: er was niets met de informatie gedaan; er was geen discussie, geen nieuwe inzichten (ook een probeelm bij de informatievaardigheden), geen primaire dataverzameling, geen toepassing in de praktijk…

Kortom: informatievaardigheden zijn belangrijk, maar bij onderzoeksvaardigheden komt nog heel wat meer kijken.

Vijf afstudeerders en hun onderzoek

Het afgelopen semester was ik afstudeerbegeleider van Emiel, Roel, Anne, Steven en Tomas, studenten industrieel product ontwerpen (IPO). Daarbij had ik me voorgenomen om ze verder te helpen in de onderzoekskwaliteit van hun afstuderen; verder in elk geval dan de meeste IPO-studenten normaal gesproken komen. Die betere kwaliteit zocht ik in het beter analyseren van de afstudeervraag, het scherper formuleren van het op te lossen probleem, een sterkere focus op het probleem en een degelijker bewijsvoering voor de vraag of het probleem daadwerkelijk opgelost is.

Even vooraf: dit verslag is, om wille van de leesbaarheid, voor de betrokkenen misschien een wat simpele, en misschien niet altijd even positieve beschrijving. Hopelijk wordt al lezend duidelijk dat de knelpunten die aan het licht kwamen, vooral voortkomen uit omissies in het studieprogramma, en zelden uit gebrek aan motivatie of talent van de studenten zelf!

Het werd een spannend avontuur voor ons allemaal, waarin al snel bleek dat we aan het vechten waren tegen de “opvoeding” die we studenten de drieënhalf jaar daarvoor hadden gegeven. Blijkbaar hadden we studenten uitstekend getraind in het snel en pragmatisch verzinnen van oplossingen voor willekeurig welk probleem in een zo kort mogelijke tijd. Bij IPO leren we studenten productideeën uit te werken in produceerbare ontwerpen in de vorm van CAD-tekeningen en prototypes, en dat is dus wat studenten graag zo snel en zo goed mogelijk willen doen. Na een korte analyse van het bestaande product, wat concurrenten en af en toe wat bestaande octrooien, doken zij stuk voor stuk zo snel mogelijk achter een wit vel papier, om direct heel veel oplossingen voor allerlei deelproblemen die je bij het ontwerpen van een product altijd tegenkomt, te verzinnen. Maar juist die aanpak, die door veel van onze stagebedrijven wordt gewaardeerd, bleek nu het onderzoeksvermogen van diezelfde studenten in de weg te staan.

Na een paar indringende gesprekken met de studenten en hun bedrijfsbegeleiders (die vaak ook nog overtuigd moesten worden van het nut van een wat verdergaande analyse..) heb ik ze zover gekregen om het schetsboek nog even opzij te leggen, en eerst nog wat testjes te doen met gebruikers van het product, nog even indringend en kritisch met de opdrachtgever te praten, af en toe een boek te raadplegen en hier en daar te besluiten dat bepaalde opgezochte informatie eigenlijk niet relevant voor de ontwerpvraag was. Zo kwamen we in elk geval tot wat meer afgebakende en met feiten onderbouwde ontwerpopgaven, waar student, bedrijf en ikzelf het over eens waren.

Op naar de volgende horde: gefocused blijven op het probleem. Dat bleek lastig; de meeste studenten konden de verleiding niet weerstaan om allerlei zaken die niets met het hoofdprobleem te maken hadden, te snel te willen oplossen. Er werden bijvoorbeeld al productieproblemen opgelost, terwijl nog helemaal niet duidelijk was hoe het product een hygiënischer uitstraling (in dit geval het hoofdprobleem) zou moeten krijgen.

Volgende knelpunt lag bij de verificatie: als er eenmaal een oplossing voor het hoofdprobleem was gevonden die mogelijk zou werken, dan hebben de meeste studenten de neiging om het eisenprogramma erbij te pakken, een “V” te zetten bij eisen waar het ontwerp waarschijnlijk wel aan voldoet, en een “X” waar dat nog niet zo is. Door de onderzoeksbril bezien, is dit natuurlijk niet genoeg. Eigenlijk begint het praktijkonderzoek nu pas echt: er is een oplossing; nu in de praktijk kijken of die werkt. Testen dus in de echte wereld. Hier was de tijd voor de meeste studenten het grote knelpunt; ontwerpen van een beetje product kost nu eenmaal tijd, zelfs als je die niet besteedt aan het zoeken van irrelevante informatie en het beantwoorden van niet gestelde vragen. Aan het echte bewijzen of iets werkt komen de meeste studenten niet toe.

De laatste hobbel was de verslaglegging. Bij het bekijken van de conceptverslagen bleek vaak het hoofdprobleem als sneeuw voor de zon uit het verhaal verdwenen; belangrijke tests en interviews die een uitstekend beeld van het ontwerpprobleem gaven waren weggestopt in een bijlage; belangrijke beslissingen over welk probleem wel en welk niet op te lossen, waren niet vermeld in het verslag; de slimme oplossing voor het hoofdprobleem sneeuwde onder in de bespreking van onbelangrijke details; de evaluatie van het resultaat besloeg nog geen half a4-tje…

Gelukkig lijkt het, een week voor het afstuderen met een stapel dikke rapporten op mijn bureau, allemaal best goed te komen met mijn afstudeerders. Maar de meest voor de hand liggende conclusie durf ik al te trekken: als je het onderzoeksgehalte (of het kritisch-analytisch gehalte?) van je afstudeerderwerk serieus neemt, is het absoluut te laat als je studenten daar pas in het laatste semester mee confronteert. Al in jaar 1 moet je beginnen met analyseren van problemen en verifiëren van oplossingen. Eerst bij kleinschalige ontwerpproblemen, geleidelijk opbouwend naar complexere ontwerpvragen.

Een andere voorzichtige conclusie is, dat een semester eigenlijk te kort is om vanuit een vage ontwerpopgave naar een getest eindproduct te komen. Dat betekent dat je óf eerder met het analyseren van de ontwerpvraag moet beginnen, óf de eis moet laten vallen dat er een uitgewerkt (beroeps)product moet worden opgeleverd. Hierover moeten we de discussie binnen de opleiding dringend voeren…

Op zoek naar “de onderzoekende hbo-er”

Wat is dat, een “‘onderzoekende hbo-er”?

Hopelijk toch  meer dan iemand die aan het eind van zijn/haar studie nog snel even een onderzoek uitvoert volgens het stappenplan uit de afstudeerhandleiding. Maar wat dan wel?

• … een praktisch probleemoplosser die op een analytische manier het probleem onderzoekt, voordat hij naar oplossingen gaat zoeken?
• … een kenniswerker die weet waar hij betrouwbare informatie vindt en hiermee verstandig omgaat?
• … een kritische student die alle theorie en methoden die hij voorgeschoteld krijgt, bediscussieert en kritisch tegen het licht houdt?
• … een innovatieve praktijkwerker die in zijn beroepspraktijk voortdurend op zoek is naar dingen die beter kunnen?
• ….

De afgelopen tijd heb ik het erover gehad met lectoren, docenten, studenten, onderwijskundige adviseurs en hogeschoolstrategen. Ik heb cursussen gevolgd, boeken en artikelen gelezen, workshops bijgewoond en eindeloos gegoogled. Ik heb handreikingen en handleidingen geschreven… Maar ik ben er nog niet uit.

Hetzelfde lijkt het geval bij mijn collega’s. Wat je tegenkomt als je zoekt naar “hbo-onderzoek” zijn vooral de criteria voor “groot” onderzoek dat door lectoren en kenniskringen wordt uitgevoerd. Daarmee samenhangend natuurlijk ook de discussie van een paar jaar terug over de vraag of hbo-ers zich überhaupt wel moeten inlaten met onderzoek. Die discussie lijkt inmiddels geluwd; de praktijkgerichtheid van hbo-onderzoek lijkt inmiddels ook door de universitaire wereld te worden geaccepteerd en heel af en toe zelfs gewaardeerd.

Maar waar ik als docent naar op zoek ben, zijn criteria voor onze studenten: wanneer voldoen zij aan de Europese bachelor-criteria, ofwel de Dublin descriptoren? Wat moeten ze daarvoor leren? Waar precies ligt de grens “Dublin-proof” en “niet Dublin-proof”?

En als wij dat niet weten, hoe kunnen we dan bepalen of wat een student doet, goed genoeg is. Hoe leggen we ze dat vooraf uit? Hoe toon je als opleiding aan dat je genoeg aan onderzoeksvaardigheden doet?

Een paar boeken, zoals “Onderzoeksvaardigheden voor docenten” van Miriam Losse en “Creatieve Actie Methodologie” van Paul Delnooz helpen ons een stuk op weg, maar de dicussie op het web is nog wat mager.

Vandaar ook deze blog, waarmee ik verder hoop te komen in de invulling van die ene, magische Dublin descriptor waar het bij onderzoeksvaardigheden van hbo-ers grotendeels op lijkt neer te komen:

Oordeelsvorming

Is in staat om relevante gegevens te verzamelen en interpreteren (meestal op het vakgebied) met het doel een oordeel te vormen dat mede gebaseerd is op het afwegen van relevante sociaal-maatschappelijke, wetenschappelijke of ethische aspecten.

Ik zie uit naar jullie reacties en discussie!

Mark Smit

Rotterdam, juni 2011