Försvåra och upptäck otillåten användning av AI

AI är under ständig och snabb utveckling och det är nödvändigt att fortlöpande följa utvecklingen. Här följer några råd och förslag, som har sorterats i två kategorier:

sådana som kan genomföras ganska snabbt och okomplicerat, även av en enskild lärare, och som kretsar kring själva formuleringen av skriftliga hemuppgifter
sådana som kräver en större översyn av examinationspraxis, och som kan innebära mer omfattande och resurskrävande åtgärder

Allra sist kommer några rader om möjligheten att använda AI-verktyg för att spåra texter som skapats av AI-verktyg.

Tre övergripande rekommendationer kan vara särskilt viktiga:

Fokusera på kvalitet, inte på fusk! Satsa på åtgärder som verkligen höjer kvaliteten på examinationen för alla studenter, och som inte primärt handlar om att förhindra fusk från ett fåtal.
Arbeta även förebyggande! De enskilda förslagen här nedanför behöver alla kompletteras av sådant bredare, förebyggande arbete som beskrivs på föregående sida!
Arbeta samlat och kollegialt! Detta är inte ett område där allt ansvar kan läggas på enskilda lärare. Det behövs rutiner, stöd från ledning och administration, kollegial diskussion och systematiskt erfarenhetsutbyte.

1) Formulering av hemuppgifter

Följande två råd är relativt okomplicerade att genomföra, och handlar om hur skriftliga hemuppgifter formuleras.

2) Översyn av examinationspraxis

Flera av följande förslag bygger på mer eller mindre omfattande inslag av återkoppling eller uppföljning. Det säger sig självt att detta kräver resurser och här behöver varje ämne, institution eller program göra en egen bedömning av vad som är rimligt – men på en del kurser behöver det inte vara omöjligt att flytta mer lärartid till återkoppling.

Observera i samtliga fall att det inte är tillåtet att införa nya examinationsformer på en kurs om de inte omfattas av formuleringarna i gällande kursplan, så detta är en process som kan ta förhållandevis lång tid.

Förslagen

Ställ krav på att också kortare texter ska innehålla referenser

Börja med att se över instruktionerna för hemtentor, PM, uppsatser m.m. och ställ krav på att även kortare texter ska vara försedda med fullständiga, korrekt utförda källhänvisningar till använd litteratur, som ska placeras inne i texten, i omedelbar anslutning till de ställen där de är relevanta. Betona i instruktionerna att referenserna utgör en del av svaret som också kommer att bedömas och vid behov följas upp.

Lyckligtvis handlar ju inte detta krav i grund och botten om att få hjälp att få syn på eventuellt fusk. I själva verket är det bara bra att studenterna tidigt får lära sig att belägga resonemang med noggranna referenser, och inser vilken central roll denna del av det akademiska hantverket spelar för att kunna föra ett vetenskapligt samtal.

AI-verktygen har ofta - än så länge, bilden förändras snabbt – svårt att producera tillräckligt exakta och relevanta referenser. Svaren från t.ex. ChatGPT (som ju inte ska förväxlas med en sökmotor, utan är ett verktyg för att generera begriplig text utifrån givna instruktioner) är inte alls transparenta, vilket medför att det är svårt och mödosamt att försöka fuska genom att lägga till referenser manuellt, i efterhand, till ett AI-genererat svar. Verktygen kan hitta på fullkomligt falska referenser, men även när referenserna verkligen leder till sidor på nätet och artiklar som verkligen existerar (Perplexity kan leverera sådana), är de påfallande oprecisa och saknar t.ex. nödvändiga sidhänvisningar. För lärarna kan just undermåliga eller märkliga referenser förhållandevis enkelt ge en vink om att en inlämnad hemtenta åtminstone behöver följas upp närmare, på lämpligt sätt, men även om allt ser bra ut bör man ha som vana att ta några stickprov för att kolla referenserna (och naturligtvis ska studenterna känna till att man kommer att göra det).

Instruktionerna behöver inte heller stanna vid att enbart kräva referenser:

Inkludera t.ex. i uppgiften att studenterna ska motivera urvalet av källor, som de refererar till
Ni kan också be studenten att utförligare diskutera innehållet i de källor som de refererar till.

Naturligtvis är detta inte en lösning på alla problem, eftersom inte alla skriftliga hemuppgifter lämpar sig för att späckas med referenser, utan kan behöva andra lösningar.[Tillbaka]

Ställ frågor där svaret helt eller delvis ska baseras eller tillämpas på lokala, specifika kontexter

Formulera uppgifter där studenterna i sitt svar utifrån kurslitteratur m.m. ska analysera eller på annat sätt relatera till aktiviteter som har ägt rum på just den aktuella kursen, eller be dem att basera eller tillämpa resonemang i svaret på specifika situationer eller omständigheter som inte gärna kan vara kända för ett AI-verktyg.[Tillbaka]

Se över vilka mål som examineras genom hemuppgifter och ändra eventuellt examinationsform

Valet av lämpliga examinationsformer görs normalt utifrån kursmålen, och för vissa typer av mål är hemuppgifter inte den bäst lämpade examinationsformen. Hemuppgifter bör t.ex. ha mindre fokus på kunskapsfrågor, utan istället ställa höga krav på metod och färdigheter, som att kunna välja ut och motivera vilken information eller vilket källmaterial som är relevant för att svara på uppgiften, och på självständig, kritisk analysförmåga. Börja alltså för säkerhets skull med att se över er examinationspraxis. Kanske finns det hemuppgifter som det är helt rimligt att ersätta med salstentor, eller där examinationen istället kan ske i samband med någon annan form av aktivitet?[Tillbaka]

Muntlig examination?

Ett alternativ som bör övervägas är muntlig tentamen. Det kan naturligtvis verka oöverstigligt, rent tidsmässigt, men det går ofta att examinera några studenter i taget – och det tar också mycket tid att konstruera skriftliga tentafrågor, och att rätta högar av skrivningar. Brytpunkten där det inte tar längre tid att genomföra en serie muntliga tentor behöver inte alls ligga orealistiskt långt borta – och ibland kan en muntlig tenta göra studenternas kunskaper mer rättvisa. Observera att gällande kursplaner kan behöva justeras om inte muntlig examination är angiven som möjlig examinationsform!

Om man överväger muntlig tentamen är det klokt att först diskutera i lärarkollegiet, men därefter också i institutionsstyrelsen och andra organ där studentrepresentanter finns med, vilka riktlinjer som ska gälla vid examinationen så att den genomförs på ett rättssäkert och rättvisande sätt. Vid muntlig examination är det särskilt viktigt att det finns klart uttryckta betygskriterier, som är kända av studenterna i förväg, och som kan hjälpa lärarna att formulera adekvata frågor. Framför allt är det viktigt att tidigt i kursen informera studenterna om vad som gäller och hur examinationen kommer att gå till, för muntlig examination upplevs av många studenter som extremt stressande. I UKÄ:s Rättssäker examination föreslås också att muntlig examination kan dokumenteras för att underlätta eventuell omprövning.

Ett alternativ är att låta den muntliga examinationen vara steg 2 av en examination vars första steg är inlämningen av en skriftlig uppgift. Det ger det muntliga examinationstillfället en stramare struktur. Här nedanför beskrivs två sådana scenarier.[Tillbaka]

Återkoppla på versioner av uppgiften

Uppsatser av typ examensarbeten växer så gott som alltid fram som en serie versioner, som diskuteras enskilt eller i grupp med studenterna. Inom ramen för en sådan process, där texterna växer fram gradvis och deras utformning diskuteras och justeras löpande blir det svårare att försöka klara sig med AI-genererade texter. Alla uppgifter är förstås inte tillräckligt omfattande för att göra en sådan större process motiverad – men även på många mindre PM-uppgifter så skulle inslag av versionsdiskussioner göra att det blir svårare att stå för en text som man inte själv skrivit.

En möjlighet är att låta den typen av diskussioner helt eller delvis föras genom någon form av kamratåterkoppling – i sig ett viktigt lärmoment. Särskilt på moment som ligger tidigt i utbildningarna kan det då vara viktigt att förse studenterna med någon typ av stödmaterial och exempel som förklarar vad det är viktigt att fråga om.

Vare sig versionsdiskussioner sker med lärare eller medstudenter är det förstås centralt att de inte genomförs och uppfattas som ett kontrollinstrument mot fusk, utan utgör en del av undervisningen, och ett stöd för studenterna. Om de samtidigt gör det mindre attraktivt att fuska, så är det en god bieffekt.[Tillbaka]

Överväg stegvis examination

Alla hemuppgifter utgörs inte av löpande text. Svar som till stora delar utgörs av mer formelartad text, som programkod eller matematiska eller andra formler, kan t.ex. inte på samma sätt förses med referenser. Här finns kanske två vägar att gå: antingen att trots allt flytta examinationen till någon form av salsbaserad, övervakad tentamen (se längre ned på denna sida), eller att konsekvent lägga resurser på en muntlig återkoppling, då läraren träffar studenten – ensam, eller i smågrupper – och för en diskussion kring svaren, där studenterna muntligt behöver motivera och förklara sina val. Naturligtvis måste studenterna i detta fall då få veta i förväg att examinationen inte är avslutad förrän efter detta andra, muntliga steg: återkopplingen ges i detta fall inom ramen för själva examinationen. Kontrollera att detta medges inom ramen för kursplanens formuleringar om examinationssätt.

Detta kräver naturligtvis resurser i lärartid – och det behöver inte alls vara dåligt att omfördela lärartid från undervisning före examinationen till återkoppling på inlämnat arbete! Att lärarna har för lite tid till återkoppling, och/eller att återkoppling ibland inte uppmärksammas tillräckligt av studenterna, fastän den hör till de mest värdefulla inslagen i undervisningen, är tyvärr ett klassiskt problem.[Tillbaka]

Använd universitetets skrivsalar på nya sätt

Universitetets tentamenslokaler står relativt ofta tomma. Genom att öppna skrivsalarna vissa dagar för självständigt skrivande kan vi utnyttja de möjligheter som finns att kontrollera tillgången till nätbaserade hjälpmedel i viss eller fullständig omfattning. Verktygen finns för att låta studenten komma på en självvald tidpunkt till skrivsalen under öppettiden, och skriva på flera olika sätt:

Med låsta datorer där studenterna loggar in som på en ordinarie tenta och får en viss begränsad tid att skriva med hjälp av tillåtna medhavda resurser (Böcker, föreläsningsanteckningar eller liknande) och vitlistade, tillåtna nätresurser.
Som ovan men med möjlighet för studenten att återkomma vid flera tillfällen till skrivsalen och få en ny inloggning i samma uppgift med hjälp av tentavakten. Här kan alltså uppgiften färdigställas över loppet av flera dagar, men fortfarande i en kontrollerad miljö.
Med öppna datorer där studenten har fullständig tillgång till allt på nätet, och medhavda resurser, men då med begränsade möjligheter att samarbeta med andra studenter. Möjligheten att logga studentens besökta webbsidor bör undersökas, eftersom en helt öppen dator även öppnar för chattrum och sociala medier.

I samtliga fall där en uppgift ska lämnas in så gäller då att det skrivna ska lämnas in från skrivsalen. Detta kan kontrolleras eftersom en andra inloggning på samma uppgift måste göras med assistans av en tentamensvakt som släpper in studenten med ett administratörslösenord. Det är alltså inte möjligt för studenten att påbörja ett arbete i skrivsalen och färdigställa det vid ett senare tillfälle från annan plats med det här upplägget. Däremot är det möjligt för studenten att återkomma till skrivsalen och få en ny inloggning med hjälp av tentavaktens administratörslösen.

En inlämningsuppgift kan alltså konfigureras för studenten på flera olika sätt:

Som en uppgift som ska färdigställas under en begränsad, men flexibelt placerad tidsrymd. Inställningar kan göras så att studenten får en viss tid att skriva från det att hen påbörjar uppgiften, men tidpunkten för start kan väljas av studenten.
Som en uppgift som kan färdigställas under flera sittningar. Studenten kan i det här fallet återvända till skrivsalen en annan dag eller tid och fortsätta sitt arbete. Studenten är inte bunden till en viss dator eller en viss skrivsal för detta. Uppgiften kan påbörjas exempelvis på Bergsbrunnagatan och fortsättas på Råbyvägen, däremot kan studenten inte logga in på egen hand hemifrån eller från annan datorsal på universitetet.

För att diskutera vilka möjligheter som finns, kontakta tentamensamordning@uadm.uu.se [Tillbaka]

Kan vi få nya verktyg som spårar AI-genererat material?

Redan nu har det genomförts försök för att se om AI-verktyg kan användas för att kontrollera om en text har genererats genom AI. Flera verktyg finns tillgängliga, bl.a. har OpenAI släppt sin egen AI Text Classifier. Den är dock inte perfekt: den fångar inte upp alla AI-genererade texter, den kan också felaktigt klassificera autentiska texter som skrivna med hjälp av AI, och endast små förändringar i en AI-genererad text kan räcka för att den ska klara sig igenom granskningen.

Säkert kommer även dessa verktyg att utvecklas, men än så länge finns inget som låter lärarna göra kontroller av detta slag systematiskt, utan det blir i så fall stickprovskontroll, och till sist måste det ändå vara lärarens bedömning som avgör, precis som vid träffar i textmatchningssystemen. Eftersom teknikutvecklingen är så snabb är det säkrast att inte sätta sin lit enbart till tekniska lösningar. Att istället utveckla själva examinationen är en mer långsiktigt hållbar lösning, som också kan medföra andra, kvalitativa fördelar för studenternas lärande.[Tillbaka]