Hoe Cisco-gegevenswetenschappers CommonLit hielpen bij het innoveren van feedback van docenten voor beter leren

gepubliceerd 10-12-22

Ingezonden door Cisco Systems, Inc.

studenten aan een ronde tafel, elk op een laptop.  Daarachter een groot uitschuifbaar projectiescherm met daarop een presentatie.

De Transformational Tech-serie belicht Cisco’s non-profitsubsidies die technologie gebruiken om het leven van individuen en gemeenschappen te transformeren.

Het lees- en rekenbegrip van leerlingen gaat achteruit. De Amerikaanse „Nations Scorecard“, gebaseerd op langetermijnscores, vastgelegd door de National Association of Education Progress (NAEP) en analyse door het National Bureau of Economic Research (NEBR), toont de grootste gemiddelde scoredaling bij lezen sinds 1990, en de allereerste scoredaling in wiskunde. Deze daling komt van analyse van testgegevens van meer dan twee miljoen studenten in 10.000 scholen in 49 staten.

Er kan en zal meer worden gedaan om de implicaties van een grotere prestatie voor alle studenten, en in het bijzonder studenten uit achtergestelde districten, aan te pakken. Om een ​​academisch herstel te stimuleren, hebben we innovatieve klaslokaaloplossingen zoals CommonLit nodig om leraren en hun leerlingen in de klaslokalen van vandaag te ondersteunen.

CommonLit, de non-profitorganisatie van Cisco, richt zich al jaren op hun missie om studenten te helpen betere lezers en schrijvers te worden. Ze zijn succesvol geweest in hun aanpak: door studenten online toegang te geven tot leesmateriaal, opdrachten en toetsen, en door docenten hulpmiddelen te geven, zoals dashboards die laten zien waar kinderen misschien worstelen met bepaalde vaardigheden.

„CommonLit biedt programma’s die volledig interactief zijn en alles hebben wat docenten en studenten nodig hebben, net als een leesprogramma in een doos.“ Agnes Malatinszky, Chief Operating Officer bij CommonLit legt uit.

Hun zeer boeiende annotatietool, gelanceerd in juli 2019, stelt docenten in staat om relevante en realtime feedback te geven aan studenten. Maar uit onderzoek blijkt dat het ontvangen van tijdige feedback leidt tot betere leerresultaten. Het team van CommonLit wilde dus manieren vinden om hun annotatietool effectiever te maken voor leraren om te gebruiken.

Dus twee jaar geleden, met steun van de Cisco Foundation, kwam CommonLit naar de datawetenschappers van Cisco, die vrijwilligerswerk doen bij AI for Good, om hen te helpen de gebruiksinformatie van de Annotation Tool te beoordelen en manieren te vinden om de Annotation Tool te optimaliseren door middel van machine learning (ML). docenten en studenten beter op elkaar aansluiten.

Samenwerken en teruggeven

Bij Cisco hebben we een bewezen staat van dienst in het ondersteunen van non-profitorganisaties via onze strategische subsidies voor sociale impact, samen met een sterke cultuur van teruggeven. Cisco’s AI for Good-programma brengt deze waarden samen door Cisco-datawetenschapstalent te verbinden met non-profitorganisaties, zoals CommonLit, die niet over de middelen beschikken om AI/ML te gebruiken om hun doelen te bereiken.

Dit gemeenschappelijke project van CommonLit en AI for Good werd geleid door datawetenschapper Kirtee Yadav, die ook als doelkampioen diende, wat betekent dat ze het project van begin tot eind leidde om het succes van het project te verzekeren. Andere leden van het project waren onder meer technisch leider Sampann Nigam en teamleden, William Bickelmann, Bob Lapcevic, Aakriti Saxena, Sree Yadavalli en Tana Franko.

„Dit CommonLit-project was een goede gelegenheid voor de datawetenschappers van Cisco om een ​​goed doel te helpen met hun unieke vaardigheden“, aldus Kirtee Yadav, productmanager klantervaring bij Cisco. „Ik greep deze kans omdat het me de kans bood om nieuwe vaardigheden te leren terwijl ik een impact heb op deze non-profit.“

De hiaten vinden door middel van datawetenschap

Meerdere onderzoeken hebben aangetoond dat hoe meer feedback kinderen krijgen en hoe sneller ze deze ontvangen na het voltooien van een opdracht, hoe meer interactie ze hebben en leren van de inhoud. Toch hebben veel docenten vaak niet de tijd om gedetailleerde gepersonaliseerde feedback te geven.

CommonLit daagde AI for Good datawetenschappers uit om uit te zoeken hoe dat probleem kan worden verbeterd of opgelost. Het eerste wat het AI for Good-team deed, was kijken hoe de machine learning-modellen van Cisco de Annotation Tool konden aanpassen, stroomlijnen of verbeteren, zodat docenten efficiënter feedback konden geven aan studenten. Door resultaten van verzamelde gegevens ontdekten ze dat docenten slechts feedback konden geven op gemiddeld twee procent van de opmerkingen van studenten.

“Op basis van onze analyse van de [CommonLit] data”, zegt Sampann Nigam, data science-leider bij Cisco en tech lead bij het AI for Good-team, “we ontdekten dat feedback van docenten de betrokkenheid verhoogt. Daarom hebben we een AI-model gemaakt om docenten feedbackopties aan te bevelen.”

De door datawetenschap gebouwde oplossing

Na maanden van onderzoek en hard werken heeft het team van AI for Good een oplossing voor natuurlijke taalverwerking (NLP) gebouwd om docenten met beperkte bandbreedte te helpen feedback te geven aan meer leerlingen. Via NLP genereert de verbeterde annotatietoepassing drie voorgestelde feedbackzinnen met de toegevoegde optie van feedback in vrije vorm.

„De feedback is ontworpen om eruit te zien als directe feedback van docenten, maar in plaats daarvan is het een tool die feedbackopties biedt, die docenten met één klik kunnen kiezen en naar studenten kunnen sturen“, redeneerde Kirtee. „Uiteindelijk heeft AI for Good CommonLit geholpen om de feedbacklus van hun studentenleraren te verbeteren.“

Sampann beschreef ons het technische proces: Het AI for Good-team bouwde de frasevoorspellingsoplossing met behulp van het BERT-model (Bi-directionele Encoder Representations from Transformers) en free-form feedbackvoorspelling, met behulp van een T5-model. Datawetenschappers hebben het BERT-model getraind (verfijnd) door de verstrekte dataset van geannoteerde teksten en studentnotities als functieset en de feedbackzinnen als labels te gebruiken.

„Naast het genereren van een reeks zinnen als voorgestelde feedback, hebben we besloten om feedback in vrije vorm te geven,“ zei Sampann. „Deze modellen maken gebruik van transfer learning, een gespecialiseerd machine learning-proces.“

Bewijs van succes

Meer dan een miljoen leraren gebruiken CommonLit op meer dan 80.000 scholen. In het herfstsemester van 2019, slechts enkele maanden na de lancering, hadden meer dan 603.000 studenten de annotatietool gebruikt, waarmee ze 3.210.156 annotaties en 5.029.973 hoogtepunten maakten. Het is dus geen verrassing dat de Annotation Tool, met zijn onlangs verbeterde natuurlijke taalverwerking, in het eerste jaar zeer nuttig is gebleken – bijna 2,5 miljoen annotaties werden geregistreerd.

„Een hulpmiddel voor onderwijstechnologie zoals CommonLit zou een leraar in de klas nooit kunnen vervangen, maar we kunnen hun tijd effectiever maken.“ Agnes zei: “De manier waarop we denken over machine learning en natuurlijke taalverwerkingstools, zoals wat is ontwikkeld voor de Annotation Tool, is om het werk van leraren zo gemakkelijk mogelijk te maken. We kunnen hun werk gemakkelijker maken. We kunnen ze een duwtje geven in de richting van best practices.”

Deze op datawetenschap gerichte samenwerking omvatte een team van tien AI for Good datawetenschapsvrijwilligers en meer dan 200 uur van hun tijd besteed aan onderzoek, analyse en probleemoplossing om met succes een op natuurlijke taal gebaseerde annotatietool te bouwen.

Het team van AI for Good werkt samen met CommonLit aan mogelijkheden om hun Feedback aanbeveling AI-model als open source vrij te geven, zodat de onderwijsgemeenschap hiervan kan profiteren.

“Cisco is al een paar jaar een partner voor ons. Ze hebben een aantal van ons meest innovatieve werk rond de technologie ondersteund”, legt Agnes uit. „En werken met het Cisco AI for Good-team was een unieke ervaring die het meest geavanceerde werk van onze organisatie vooruit heeft geholpen.“

Lees meer over onze samenwerking met CommonLit.

Bekijk hier de originele inhoud.

Cisco Systems, Inc.  logo

Cisco Systems, Inc.

.

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert