ChatGPT och bedömning
Sedan ChatGPT släpptes för allmänheten i november ifjol har det arrangerats massvis med olika seminarier, fortbildningar, paneldebatter och inlägg gällande hur lärare kan tänka kring elevernas möjlighet att “fuska” med hjälp av ChatGPT. Min egen syn är att vi behöver anamma dessa verktyg och ta in dem i studerandes arbete men det kan innebära att vi behöver tänka till hur vi planerar vår undervisning. ChatGPT är bara ett av hundratals verktyg som använder generativ AI men jag väljer att utgå från ChatGPT eftersom det är det verktyget som diskuteras mest just i denna stund. Jag väljer att utgå från studerande på tredje stadiet men principerna är de samma oavsett vilket stadium du arbetar i. Ersätt bara studerande med elev och justera nivån enligt elevens nivå.
Vi har under våren hört och läst så många skickliga talare kring ämnet att jag tyvärr inte kan referera till exakt vem jag lånat idéer av eller som gett mig tankeställare men framför allt kommer mycket av innehållet från diskussioner med mina ack så kunniga kolleger på CLL, i första hand Roland Träskelin och Mia Skog. Linda Mannila hör till en av dem som medverkat i månget evenemang jag deltagit i och från henne har jag garanterat fått tankeställare och idéer. Tankarna är inte alltid mina egna utan jag försöker bara sammanställa detta inför planeringen av hösten för att stöda dig oavsett vilket stadium du jobbar i.
Gemensamma spelregler
Det första som behöver göras vid inledningen av en ny kurs eller period är att tillsammans med studerande diskutera vilka ramarna är. För att alla ska stå på samma utgångsläge krävs det först att ni tillsammans diskuterar om vilka verktyg som ni har tillgång till eller som studerande använder med privata konton. Det finns en missuppfattning om att studerande redan har kunskap i hur ChatGPT fungerar, redan behärskar prompts och redan använder det för allt möjligt i och utanför studierna. I flera diskussioner har det framkommit att så inte är fallet utan det handlar om enstaka studerande som lärt sig använda verktygen på egen hand medan andra tycks ha helt bommat möjligheten. Det som behöver tas upp i diskussionen om gemensamma spelregler är bland annat följande:
Vilka verktyg har vi tillgång till, hur fungerar inloggningen och vad ser studerande att man kunde göra med verktyget? Prova tillsammans med studerande. Diskutera hur referenser och pålitligheten fungerar. I vilken mån kan du lita på materialet som kommer från ChatGPT?
Har ni riktlinjer på organisationsnivå gällande användningen av generativ AI? Skall t.ex. studerande ange om de har använt ChatGPT, får ChatGPT användas i examinationsuppgifter eller avhandlingar? Hur granskas och hanteras brott mot riktlinjerna?
Hur förväntar du som lärare att studerande ska använda ChatGPT? Skall det användas för att skapa nytt material, laborera med texter eller som stöd vid provläsning? Skall studerande använda ChatGPT som skrivstöttare (ett bra begrepp som jag hörde Annette Kronholm använda)? Förväntningar hänger ihop med tillgång till verktyg.
Att försöka förbjuda AI-verktyg anser jag vara problematiskt på flera nivåer. Primärt eftersom studerande kommer att behöva färdigheter i att kunna arbeta med dessa verktyg i framtiden oavsett deras kommande studier eller yrkesliv, och behöver därmed lära sig dem, men därtill innebär ett förbud även att vi behöver kunna träffsäkert granska huruvida en studerande brutit mot våra regler eller ej. Det pågår en tävling som bäst mellan generativa AI-verktyg och verktyg för att granska huruvida material är AI-genererat. Redan nu är dessa granskningsverktyg inte alltid pålitliga och i takt med att AI-verktygen utvecklas och studerande lär sig använda dem bättre kommer granskningsverktygen säkerligen att få det ännu tuffare. Det finns även en missuppfattning om att du kan klistra in en text i ChatGPT och att den då skulle kunna säga huruvida den skrivit texten eller inte. ChatGPT ger ett svar men svaret är inte pålitligt. Du bör utgå från att du inte med 100% säkerhet kan fastställa huruvida studerande använt AI-verktyg och studerande hittar också denna information. Av denna orsak rekommenderar jag i stället att ni kommer överens om spelregler och visar tillit till studerande.
Granska lärandemålen - utgå från verben
Oavsett vilket stadium vi arbetar i baserar sig all undervisning på någon form av lärandemål. Våra läroplaner är uppbyggda enligt Blooms reviderade taxonomi där progressionen går från att kunna minnas något till att kunna skapa något. Det är just verben i dina lärandemål du ska ta fasta på och det är verbet i målet som oftast säger hur studerande skall arbeta, och därmed vilka produkter de kan förväntas skapa samt vilka bedömningssituationer du skall skapa. Här nedan klumpar jag grovt ihop olika verb som ofta används i lärandemål så att vi går löst enligt Blooms reviderade taxonomi, från lättare till svårare, och ger lite tips på uppgifter/produkter studerande kan utföra där ChatGPT oftast inte är ändamålsenligt eller ens skulle fixa det. Du kommer att märka att ju tuffare uppgiften är desto mindre nytta har studerande av ChatGPT. Det gäller att granska verben och överväga vilka bedömningsformer som du använder. Kanske du märker att dina mål möjliggör andra bedömningsformer?
Minnas, känna igen, förklara, redogöra för, benämna…
Det här är den lägsta nivån i Blooms reviderade taxonomi och denna nivå fixar ofta ChatGPT redan nu med bravur. Det handlar för dig som lärare om att skapa bedömningssituationer där studerande inte har möjlighet att använda ChatGPT i själva bedömningssituationen. ChatGPT kan dock vara en enorm resurs för studerandes förberedande arbete inför bedömningssituationen.
Studerande:
svarar på självrättande förhör eller quizzar (t.ex. Microsoft Forms eller whiteboard.fi)
deltar i muntliga förhör
skriver prov med eller utan tillgång till stödmaterial, källor eller luntlappar
redogör för sin begreppsförståelse i form av ett video- eller ljudklipp utan manus
deltar i Kahoots eller liknande verktyg
visar sitt kunnande genom flashcards
förklarar begrepp muntligt
Förstå, tolka, bedöma, presentera, klassificera, exemplifiera, sammanfatta, förklara, jämföra…
På denna nivå börjar vi närma oss sådant där vi kanske förväntar oss att studerande skall skapa material och då finns det större möjligheter för studerande att använda ChatGPT i själva bedömningssituationen. Beroende på spelreglerna ni kommit överens om kan t.ex. studerande använda ChatGPT som verktyg för att skapa grunden till ett videomanus, laborera med text, skapa grunder till presentationer osv. Hela grundtanken bör vara att studerande måste kunna förklara sina slutsatser med egna ord under vägens gång och i slutet av processen. De kanske kan använda ChatGPT i förarbetet men inte i själva prestationen. Bedömningssätten nedan är sådana där studerande kan använda ChatGPT i förberedelseskedet men i själva slutprodukten är det studerande själv som behöver prestera.
Studerande:
sorterar eller rangordnar innehåll enligt olika kriterier (i grupp eller enskilt, kan göras både analogt eller digitalt)
skapar och håller presentationer (i smågrupper, i form av video eller inför hel grupp)
gör en videopitch kring ett tema (hook - presentation - problem - slutsats - call to action)
gör en fysisk eller digital poster samt presenterar sina slutsatser muntligt
gör mindmaps samt presenterar sina slutsatser
gör flödescheman
gör tidslinjer
Tillämpa, använda, diskutera, relatera, applicera…
Härifrån framåt kommer det att bli mer knepigt för studerande att förlita sig på ChatGPT eftersom fokuset inte längre ligger lika tungt på innehåll utan det ska kunna sättas i en kontext. ChatGPT kan användas för delar av förarbetet, t.ex. som ett verktyg för att ta fram innehåll, skapa struktur, laborera med texter osv. men kontexten kommer studerande att behöva stå för själv. Ju mer specifik och individuell kontexten är desto knepigare blir det för ChatGPT eftersom den inte känner till studerandes specifika kontext.
Studerande:
Skapar textdokument där studerande beskriver hur temat relaterar till en personlig kontext
skapar ett poddavsnitt innehållande kort introduktion till temat, diskussion kring personliga tillämpningar och slutsatser (grupper på tre)
skapar en video där studerande med stödord redogör för hur temat relaterar till en viss konkret kontext
deltar i grupparbeten där fokus ligger på att skapa koncensus kring mångfacetterade teman och kontexter
gör digitala eller analoga posters kring hur ett tema påverkar vår vardag
gör en inlärningsportfolio i form av en videologgbok
gör videoguider eller tutorials
Analysera, organisera, argumentera
Undersökningar och analyser är något som är synnerligen fallspecifikt och konkret. ChatGPT har beroende på tema liten eller ingen insikt i den specifika kontexten och är således inte till mycket hjälp när det kommer till själva grovarbetet. Däremot kan ChatGPT användas både i planerings- och rapporteringsskedet för att sammanfatta information, föreslå upplägg, putsa till texter, hjälpa till med definitioner och annat liknande.
Studerande:
utför laborationer och rapporterar sina resultat
gör fallstudier och rapporterar sina resultat
skapar poddavsnitt där fokuset ligger på att ta fasta på en pågående debatt och granska de olika argumenten
gör videointervjuer med sakkunniga och summerar slutledningar
skriver debattinlägg och motiverar sin ståndpunkt
gör videorecensioner
spelar in händelser i videoformat och analyserar dessa utgående från ett specifikt perspektiv
Värdera, kontrollera, kritisera
Nu börjar det bli riktigt knepigt för ChatGPT att kunna ta sig an lärandemålen, speciellt ju mer du styr in dem på en viss kontext. Visst kan studerande fortsättningsvis använda ChatGPT som stöd med material och texter men för att skapa själva resultaten krävs studerandes egna färdigheter.
Studerande:
använder analysverktyg för att granska verksamhet och presenterar sina slutledningar
gör konkreta undersökningar, relaterar dessa till litteratur och presenterar resultat
tar ställning i en pågående debatt genom att redogöra för sina tankar i t.ex. ett videoklipp
gör konkreta handlingsplaner eller strategier inklusive prioriteringar
Arrangerar och deltar i paneldebatter
gör poddar där deras egna värderingar och insikter gällande temat diskuteras
Skapa, generera, producera, planera, genomföra
Översta nivån av taxonomin består av att studerande förväntas skapa olika produkter eller genomföra handlingar. Här bör man tänka AI-verktyg som stöd vid planering och kommunikation men själva handlandet måste studerande själv stå för fortsättningsvis. Här styr ditt ämne och innehåll ganska mycket vilka uppgifter studerande kan förväntas göra men jag listar några exempel här nedan.
Studerande:
gör påverkningskampanjer i t.ex. social media inklusive videon, memes och texter
skapar planer och presenterar dessa t.ex. till beslutsfattare
skapar dramatiseringar eller rollspel
skapar visuell konst
skapar skönlitterära verk
producerar videoprodukter där ett tema behandlas från flera aspekter och en koncensus eller lösning presenteras
skapar fysiska eller digitala produkter eller prototyper
gör simuleringar och presenterar resultat och insikter
skapa musik med ett budskap
skapar spel eller animationer
Avhandlingar
Den kanske tuffaste kategorin produkter studerande kan skapa under sin studietid är avhandlingar och jag tänkte ägna några stycken specifikt för dessa här avslutningsvis. Beroende på hur era riktlinjer ser ut kan användningen av ChatGPT i avhandlingsarbete redan vara styrd på en organisationsnivå men observera att granskning av huruvida en studerande använt verktyget är lite problematiskt. Det pågår för övrigt en debatt även i vetenskapliga tidsskrifter kring hur de ska tänka gällande generativ AI. Om vi ser på den traditionella dispositionen av en avhandling har studerande störst potentiell nytta av ChatGPT när det kommer till introduktionen, bakgrunden, teorin och delvis metodkapitlet. Resultatredovisningen och diskussionen innehåller data som ingen AI har tillgång till eftersom det är studerandes egna analys som är i fokus.
I nuläget fixar inte ChatGPT vetenskapliga referenser utan hittar helt enkelt på dem vartefter. Bing Chat ger referenser men verkar ha svårt med att kunna ta ställning till källans trovärdighet och ger heller inte vetenskapliga referenser. I introduktionskapitlet skulle säkert Bing i nuläget kunna rama in en pågående debatt i media t.ex. men inte koppla an denna till forskningsartiklar. Sakteligen kommer säkerligen dörrarna öppnas för AI-verktygen till forskningsrön och den dagen t.ex. Google Bard får tillgång till alla abstrakt från Google Scholar så öppnas många nya möjligheter för forskare. I nuläget betyder det dock att även om själva texten till vissa delar kan skrivas av ChatGPT så måste studerande själv stå för referenserna.
Hur kan man då tänka gällande bedömning av avhandlingar? I korthet kan vi inte garantera att all text är skriven av studerande men å andra sidan har vi kanske aldrig kunnat göra det med 100% säkerhet innan heller. Studerande kan ha haft en förälder eller en kompis att hjälpa till redan förr. Kontrollpunkterna under vägens lopp blir viktigare.
Studerande bör kunna förklara varför de t.ex. valt en viss metod gentemot en annan och motivera sina val under seminarier och i handledningssammanhang.
De bör kunna sammanfatta de stora teoretiska perspektiven och grunda sina forskningsfrågor. Detta kan göras t.ex. som smågruppsdiskussioner men det kan löna sig för dig att hålla öronen lite extra på spänn under dessa samt under handledningsträffar.
Mognadsprovet efter avhandlingen blir den sista kontrollpunkten helt som förr där studerande bör vara förberedd att redogöra för sina val och resultat.
Gör bedömningen transparent och rättvis
Som du kanske märkt kan du vara tvungen att planera om delar av din undervisning och de prov på kunnande du bedömer. Här kommer några generella tips gällande bedömningen som du kan behöva hålla i åtanke:
Använd anonymiserade modeller eller matriser. Flertalet produkter som jag nämner ovan är sådana som kan vara lite knepiga att bedöma om du och studerande saknar en tydlig målsättning om vad ett bra slutresultat är. Hur bedömer du t.ex. ett poddavsnitt? Bedömningsmatriser där du stakar ut progressionen vad gäller innehåll, upplägg och tekniskt utförande kan vara en väg att gå. En annan tanke är att erbjuda studerande ett eller flera modellexemplar samt diskutera vad som skiljer dem åt.
Spjälk upp bedömningen under kursens eller sekvensens gång. Summativ bedömning behöver nödvändigtvis inte göras i slutet av kursen eller sekvensen ifall innehållet eller färdigheterna som övas går att dela upp i flera faser. Detta ger också studerande större möjligheter att påverka sitt slutvitsord i ett tidigare skede av lärprocessen.
Formativa kontrollstationer under processens gång - slutvitsordet skall inte vara en överraskning för studerande. Genom att använda t.ex. lärandematriser och kamratrespons på utkast ger du studerande möjlighet att se och korrigera potentiella svagheter i sina produkter. De centrala frågorna handlar om var eleven är nu i sin lärprocess, vart eleven är på väg samt vad som behöver övas på för att nå dit. Den formativa bedömningen behöver inte dokumenteras.
Bedömningen skall vara mångsidig står det i läroplanen för den grundläggande utbildningen och oavsett stadium är det viktigt att alla studerande får möjlighet att visa sitt kunnande på olika sätt. Observera att summativ bedömning inte automatiskt betyder prov eller tentamen. Summativ bedömning sker i slutet av ett moment och skall dokumenteras men själva produkten kan vara av olika slag.
För att summera kort så märker du kanske att god planering är a och o vilket även gällde i tiderna innan ChatGPT. Det är två saker jag önskar att du tagit till dig av denna text där den första är att det inte handlar om huruvida studerande får, eller inte får använda ChatGPT. Det handlar i stället om i vilket skede av lärprocessen och i vilket syfte de kan använda ChatGPT och andra verktyg. ChatGPT kan vara en enorm resurs för att förbättra studerandes produkter men produkterna måste fortsättningsvis vara studerandes egna. Den andra delen jag önskar att du reflekterar om är vilka sorters bedömningssituationer du arrangerar för dina studerande samt att du baserar dessa på lärandemålet så att vi faktiskt bedömer det som studerande förväntas kunna.
Stort tack för dig som orkat ända till slut i denna text och om du har feedback, tankar eller kommentarer är det bara att kommentera här nedan eller skicka en röksignal via andra forum. Vi och jag kommer att lära oss mycket under de kommande åren när vi behöver ta oss an nya verktyg men det kan vara bra att börja tänka till redan nu.