Learning analytics nog onvolwassen onderwerp: een concreet voorbeeld

Door een blogpost van Wilfred Rubens werd ik geattendeerd op een position paper van Norm Friesen. Hij schrijft over learning analytics, dat door Wilfred Rubens een onvolwassen onderwerp wordt genoemd.
Ik ben het met hem eens dat het onderwerp nog een ontwikkeling door te maken heeft. Kennisnet besteedt hier aandacht aan het onderwerp. En de overheid heeft het onderwerp ook op het vizier, al is het alleen maar omdat het gepersonaliseerd leren beter mogelijk maakt. Learning analytics is een veelbelovende ontwikkeling waardoor zinvol gebruik gemaakt kan worden van technologie voor leren.

Norm Friesen hanteert een model waarin de functies en rollen van learning analytics beschreven worden. Zie bijgaand figure 1.) De data worden gegenereerd aan de leerlingzijde en vinden vervolgens hun weg naar gebruik door de school of de leraar om het leerproces te optimaliseren. De student zelf krijgt feedback van het systeem door een eigen dashboard of hij krijgt feedback die de leraar op basis van de data geeft. De data wordt verzameld op drie verschillende niveaus.
1. Transcript data indicating previous performance
2. Inventories of preferences
3. Online course activity
Daarna worden ze geanalyseerd en via specifieke dashboards doorgezet naar verdere betrokkenen.

In het model bewandelen de data drie paden. Eén pad gaat van de leerling naar de leraar waardoor (door de leraar) betere feedback geformuleerd kan worden. De andere twee paden leiden naar de program advisor en de executive. In het Nederlandse basisonderwijs zou de laag van program advisor vertegenwoordigd worden door de educatieve uitgever van de methode of degene die op de school verantwoordelijk is voor de beslissingen over welke methode wordt aangeschaft en hoe die wordt gebruikt. De executive is de directeur van de school of de bovenschools verantwoordelijke voor het onderwijsbeleid, denk ik.

Bij het 'lezen' van dit model heb ik de behoefte om het een en ander voor mezelf concreet te maken. Als voorbeeld kan ik daarvoor de software van Ambrasoft nemen. Ambrasoft is methode-onafhankelijke software voor taal en rekenen voor de groepen 3 t/m 8. Noordhoff is de uitgever en werkt samen met Cito. De software wordt (webbased) ontsloten via het portaal www.mijnklas.nl. Binnen het programma is een leerlingdashboard beschikbaar en zijn er ook allerlei leerlingrapporten samen te stellen aan de achterkant van het systeem door de leraar. Het gaat hierbij uitsluitend om 'course data'. De gegevens die vastgelegd worden bestaan uit behaalde resultaten (scoren van goed/fout) op online oefeningen, het aantal werkmomenten en het (voorlopige) eindniveau.

Hieronder ter illustratie een (gefingeerd) voorbeeld van het leerlingdashboard dat Ambrasoft biedt. De leerling kan dit in zijn beginscherm zelf opvragen en op basis daarvan zien wat zijn niveau is op de verschillende onderdelen. Of dit effectieve feedback is in het kader van het optimaliseren van het leerproces valt te betwijfelen. Maar het is een begin. Het geeft in ieder geval een stand van zaken weer (summatieve feedback). Het zou mooi zijn als het systeem in de toekomst omgebouwd kan worden naar een meer formatievere vorm van feedback.

Hieronder staat een voorbeeld van data die de leraar uit het systeem kan halen. Het is een rapport van een specifiek onderdeel, in dit geval vakgebied rekenen, onderdeel cijferen. Iedere kleur is een leerling. Het aantal werkmomenten is afgezet tegen het tot dan toe behaalde niveau. Mogelijkheden om deze dataset te verbeteren zouden de volgende zijn:
- de bestede tijd door de leerling per oefening weergeven
- duidelijker zijn over wat het behaalde niveau inhoudt. Wellicht differentiëren naar bekende moeilijkheden in het domein (lenen bij het buurgetal in dit geval bijvoorbeeld.)
- niet alleen het aantal werkmomenten noemen, maar ook een mogelijkheid om de tijdstippen waarop gewerkt is weergeven. (Hierbij zou het ook handig zijn om de leerlingen thuis toegang te geven. Dat is op dit moment helaas niet mogelijk. Een gemiste kans in het kader van effectief gebruik van ict als je het mij vraagt.)

Of de huidige data uit het systeem van Ambrasoft leiden tot betere feedback door de leraar, waag ik te betwijfelen. Daarvoor is de dataset misschien te beperkt. Maar ook hier geldt: het is een begin.

Even terug naar het paper van Norm Friesen. Zijn model geeft een goed beschrijvend referentiekader waardoor scholen en uitgevers hun gebruik van datasets voor het geven van feedback kunnen verbeteren.
Dat het onderwerp onvolwassen is, laat dit concrete voorbeeld mijn inziens duidelijk zien. Maar tegelijkertijd laat het voorbeeld wel zien dat er al vormen van learning analytics zijn en dat de gegenereerde datasets te verbeteren en uit te breiden zijn. Dat biedt perspectief voor de toekomst van dit onderwerp.