Door Wim Casteels, Laura Herrewijn en Ellen De Bruyne
We leven in een tijdperk waarin digitale toepassingen sterk in opmars zijn. Dit gaat gepaard met de generatie van enorme hoeveelheden data over het gebruik van deze tools. Deze data bevatten heel wat informatie en kunnen ingezet worden om gebruikers te ondersteunen. Zo bieden streaming platformen zoals Netflix bijvoorbeeld gepersonaliseerde filmsuggesties aan, terwijl Google relevantere websites voorstelt op basis van je zoekgeschiedenis.
Ook het onderwijs investeert aanzienlijk in digitalisering en online leerplatformen zoals Smartschool of Blackboard, die inmiddels in bijna alle onderwijsinstellingen zijn geïmplementeerd. Deze platformen genereren daarom ook veel data over het leerproces. We stelden daarom de vraag: hoe kunnen we deze data gebruiken om studenten ook effectiever te begeleiden?
De toegevoegde waarde van dashboards
In 2019 startten we met het LAP!-project (Learning Analytics @ AP) om deze vraagstukken te exploreren. Het hoofddoel was om de meerwaarde van learning analytics te onderzoeken binnen de context van onze hogeschool. Zo onderzochten we de toegevoegde waarde van een dashboard dat verborgen inzichten uit data visualiseert. Daarnaast onderzochten we of we op basis van de data kunnen voorspellen hoe succesvol studenten zullen zijn en of er mogelijk behoefte is aan extra ondersteuning. In dit artikel gaan we wat dieper in op deze voorspellende analyses.
Binnen de IT-systemen zijn er aanzienlijke hoeveelheden datagegevens beschikbaar over de studenten. Een eerste vraag was: welke van deze gegevens zijn relevant voor het bepalen van studiesucces? Om dit te onderzoeken, analyseerden we historische data van de periode 2013-14 tot 2020-2021. We onderzochten of er relaties bestaan tussen bepaalde variabelen en het behalen van studiesucces. Hiervoor moesten we natuurlijk bepalen wat studiesucces voor ons betekent, aangezien het op verschillende manieren geïnterpreteerd kan worden. We kozen daarom om te concentreren op eerstejaars bachelorstudenten. We gebruiken als indicator voor studiesucces de vraag of zij zich al dan niet opnieuw inschrijven voor het volgende academiejaar en dus de opleiding continueren.
Voorspellen van studie-uitval bij eerstejaarsstudenten
Wat hebben we geleerd? Gemiddeld gezien ligt het uitvalpercentage over alle bacheloropleidingen rond de 30%. Er bestaat een duidelijke relatie tussen het aantal studiepunten waarvoor studenten zich inschrijven en het gemiddelde uitvalpercentage. Dit verband wordt weergegeven in Figuur 1, waarbij studenten worden ingedeeld in drie categorieën:
- zij die zich inschrijven voor 60 studiepunten in het eerste jaar (het reguliere programma),
- studenten die minder dan 60 studiepunten opnemen,
- degene die meer dan 60 studiepunten opnemen.
De rode balken in de figuur geven het aantal studenten in elke categorie weer, terwijl de blauwe punten het gemiddelde uitvalpercentage tonen (waarbij de stippellijn het algemeen gemiddelde van 30% vertegenwoordigt). Uit de gegevens blijkt dat studenten die zich voor minder studiepunten inschrijven een grotere kans hebben om uit te vallen (ongeveer 50%), ten opzichte van studenten die meer studiepunten opnemen (ongeveer 20%).
Daarnaast stelden we nog een ander verband vast met betrekking tot het moment van inschrijving en de kans op uitval (zie Figuur 2). Studenten die zich ruim voor aanvang van het academiejaar inschreven, vertonen gemiddeld een lagere kans op uitval dan studenten die zich pas na aanvang van het academiejaar inschreven.
Deze analyse liet ons toe om de variabelen te identificeren die het grootste effect hebben op studie-uitval. Op basis hiervan konden we vervolgens een machine learning-model ontwikkelen en trainen met behulp van de historische data, waarmee we nu kunnen voorspellen wat de kans is dat een student zal uitvallen. Dit model kan vervolgens worden toegepast op nieuwe studentengegevens om de uitvalkans te berekenen. Om het model praktisch bruikbaar te maken voor bijvoorbeeld studentenbegeleiders is het belangrijk dat het model niet als een ‘black box’ functioneert: het is belangrijk dat de studentenbegeleider weet hoe het model tot een voorspelling komt. Hierdoor kunnen ze zelf een inschatting maken en deze informatie gebruiken bij hun terugkoppeling naar studenten.
Om deze transparantie te bereiken, wordt er bij de voorspellingen duidelijk aangegeven wat het effect is van de variabelen. In Figuur 3 wordt bijvoorbeeld een dergelijke voorspelling getoond, inclusief de invloed van de verschillende parameters. In de weergave heeft de nieuwe student een kans van ongeveer 120% meer om uit te vallen dan het gemiddelde. Dit wordt voornamelijk veroorzaakt door het beperkte aantal studiepunten dat de student heeft opgenomen (11) en doordat dat de inschrijving pas na de start van het academiejaar heeft plaatsgevonden. Aan de andere kant heeft de keuze voor een bachelor in de Elektromechanica en het feit dat de student afkomstig is van een technische secundaire school een (weliswaar beperkte) positieve invloed op de kans op uitval.
Conclusie
Ons onderzoek toont hoe we op basis van beschikbare data voorspellingen kunnen maken over het al dan niet slagen van studenten. Deze voorspellingen kunnen van waarde zijn voor studentenbegeleiders, die hierdoor de mogelijkheid krijgen om hun begeleiding meer op maat te maken.
Toch kunnen we enkele belangrijke kanttekeningen maken. Het model is uitsluitend gebaseerd op vaststaande profielgegevens van studenten en kan daarom geen suggesties bieden over relevante interventies. Daarnaast houdt het machine learning-model geen rekening met het daadwerkelijke leerproces en/of traject van de studenten. Tijdens het LAP!-project bleek het uitdagender dan verwacht om relevante data te verkrijgen uit de IT-systemen die het leerproces registreren. Deze gegevens worden namelijk in eerste instantie niet verzameld met als doel het leerproces vast te leggen, maar eerder ter ondersteuning van IT-systemen en praktische processen zoals het digitale leerplatform en de studentenadministratie. Om een dieper inzicht te verkrijgen in het leerproces en betrouwbare voorspellingen te kunnen doen over studiesucces, lijkt het daarom noodzakelijk om aanvullende parameters te meten en te verzamelen. Dit kunnen we bijvoorbeeld realiseren door middel van regelmatige bevragingen.
Verder onderzoek zal zich specifiek richten op de inzet van AI om automatisch het gebruik van het digitale leerplatform door studenten in kaart te brengen. Als je meer informatie wenst over dit onderzoek, kan je de webpagina van het AI4UX-project raadplegen.
We presenteerden deze onderzoeksresultaten tijdens de International Technology, Education and Development (INTED) Conferentie in Valencia in 2023. Uitgebreidere details zijn gepubliceerd in de conferentieproceedings.
Referenties
W. Casteels, L. Herrewijn, E. De Bruyne (2023). AN EXAMPLE TOWARDS THE RESPONSIBLE USE OF AI FOR HIGHER EDUCATION: EXPLAINABLE STUDENT DROPOUT PREDICTIONS, INTED2023 Proceedings, pp. 4330-4336.
