Lærerhverdag #24: Vurdering og vurderingsverktøy

Bare så du er advart: dette blir en litt lang bloggpost. Før du avskriver den med tl;dr, kommer en kort oppsummering her:
Jeg ønsker meg et bedre verktøy for vurdering og til å synliggjøre dialogen mellom lærer og elev om faglig utviklig og vurdering enn det LMSene tilbyr i dag. Jeg ser på et par alternativer, Google Docs og Evernote, og skriver hva jeg egentlig ønsker meg.

1. Problemet
Jeg ønsker meg en arena eller et verktøy som gjør det enkelt å fokusere på elevens utvikling innenfor ulike (grupper av) kompetansemål i fagene. Da må kommentarene knyttet til målene komme i fokus, ikke karakterene over tid. LMSet burde vært et perfekt sted å lage noe slikt, men vurderingsmodulen i ItsLearning har kun fokus på karakterer (regner til og med ut (i stri med en omtrent fem år gammel forskrift) ut gjennomsnitt av oppnådde karakterer - skjerpings!) og SkoleArena er et mararitt når det gjelder brukergrensesnitt. I tillegg er det akkurat like lite egnet for bruken jeg ønsker. Det er fryktelig synd at de ordinære plattformene ikke er egnet, for de har fordeler knyttet til datasikkerhet og brukerstyring.

2. Google Docs
En mulighet er å opprette et regneark i Google docs som jeg deler med eleven det gjelder. Da kan jeg lage en kolonne per gruppe av mål/hvert hovedområde etc og rader med vurderingssituasjoner (type vurdering og dato, og så fylle inn kontinuerlig. Eleven kan også skrive inn egenvurderinger knyttet til målene. Skjemaet kan f.eks se slik ut:

Ulempene er at elever strengt tatt ikke har lov til å opprette en Google-konto før de er 18 år, at Google ikke er krystallklare på eierskap på data, at opplysningene ligger lagret på servere utenfor Norge/EU og at lokal synkronisering ikke er lettvint.

3. Evernote
Jeg har også sett på om notatverktøyet Evernote kan gjøre susen. Igjen ser jeg at det kan gjøre mye, men ikke riktig alt. Her er fremgangsmåten (forutsetter at du premium-konto, koster noen hundringser i året, og at alle elevene har en gratis konto) og fordelene:
Opprett en ny notatblokk for et par elever. Dra den ene av dem oppå den andre for å lage en stack. Deretter oppretter du nye blokker inni stacken for alle elevene i gruppa. Hver an blokkene deler du med den enkelte eleven. Denne prosessen krever at du kjenner brukeridentiteten til alle elevene etter at de har opprettet kontoer (tar 15 minutter å samle inn og 30 minutter å opprette og dele). Dermet har du en egen mappe som bare du og eleven har tilgang til. For at eleven skal lunne skrive i mappa, må du ha premiumkonto og bestemme at eleven skal ha skrivetilgang.
I denne mappa kan eleven legge til nye notater (besvarelser, innleveringer, lekser, +++) og se og redigere alle dokumenter du legger ut. Det samme kan du: hvis elevene legger inn f.eks. en besvarelse, kan du redigere og kommentere, også - og dette er viktig - i form av en eller flere lydinnspilling(er). Jeg kunne tekt meg enda større fleksibilitet, men den er ikke verst. Når jeg gir en sluttkommentar på de ulike kompetansene/målene som er målt, kan den lett klippes ut og limes inn i et eget notat der jeg samler alle disse, likt det som er vist over.

Dette fyller mange av behovene mine, og har av en rekke grunner færre ulemper enn Gdocs. Jeg skulle ønske det var lettere å legge det samme dokumentet i mange notatblokker, men det må kopieres inn et om gangen. Det er heller ikke mulig å duplisere blokker. Det kunne også vært kjekt om det var mulig å legge til video (i tillegg til lyd og stillbilde) eller ta skjermopptak, men det er det ikke. Muligheten for å legge inn lyd i notater er derimot gunstig. Både for elever med lese-skrive-vansker og i de tilfellene da det er vanskelig å skrive en god, kortfattet forklaring, er det supert å kunne spille inn en kort lydkommentar, f.eks. etter et vellykket eller mislykket avsnitt, en tabell, et bilde etc.

Notatsamling

Etter hvert vil man altså ha samlet en rekke vurderingsprodukter med løpende vurdering (det er også mulig å spille inn fagsamtalen og legge der, ta opptak av muntlige presentasjoner etc) og et eget dokument der alle vurderingene er samlet kronologisk, og der det er lett å peke på fremgang eller andre tendenser. Eleven kan selv legge inn kommentarer, arbeider i prosess, egenvurderinger eller logger. Notatblokkene synkroniseres og lagres lokalt, og kan nås både på web, gjennom mobilapp og eget program på pc/mac.

Det tas backup av notatene slik at elevene ikke får mulighet til å "tukle" med dem uten at det synes. Det er også mulig å ta en backup for sikkerhets skyld. Hvis man vil være sikker, er det mulig å lage en egen delt blokk der elevene bare har lesetilgang, der man samler alle sluttvurderingene og oversikten over undervegsvurderinger - da er man sikker på at ingenting går tapt.

Eksempel på besvarelse med innlagte skriftlige og muntlige kommentarer.

4. What I really really want
Selv om både Google docs og Evernote tilbyr bedre løsninger enn jeg har funnet i LMSene, har begge noen negative sider. For det første er det et spørsmål om lagring og datasikkerhet. Et annet problem er at disse løsningene vil være forbeholdt spesielt interesserte - selv om grensesnittet er overkommelig, krever det et visst pågangsmot å prøve det ut, og det er fort gjort å trå feil når en skal holde styr på lesing, redigering, invitasjon etc. i x antall notatblokker. Dessuten synes jeg det er læringsplattformenes ikke bare jobb, men kanskje til og med hovedoppgave å ta seg av dette. Jeg ønsker meg et LMS som sømløst løser alle utfordringene.

I vurderingsmodulen ligger alle navnene på elevene i faget, og du kan selv legge eller hente inn mål og eventuelle kriterier og lage en overkommelig oversikt. Der kan man også opprette nye vurderinger av ulik art, enten for å levere inn eller redigere direkte. Når eleven skal vurderes eller egenvurdere, gjøres det i besvarelsen, men sluttkommentaren overføres til oversikten med et klikk. Dermed henger oversikten og besvarelsene sammen, og elev og lærere ser enkelt hvordan progresjonen er innenfor de ulike målene. Det er mulig det ikke er helt enkelt å se for seg dette, men her er noen enkle skjermbilder som viser hvordan informasjonen om læring kan hentes ut:

Elevenes kompetanse innen ulike mål vist i en vurderingssutuasjon. Alle
etiketter er klikkbare for å få opp andre visninger eller gå til konkrete
vurderingsoppgaver/vurderinger.

Elevens progresjon innenfor ulike mål gjennom ulike vurderinger.

Oversikt for læreren over alle elevenes utvikling innen et bestemt
mål/gruppe mål over tid. Nyttig for videre planlegging/oppfølging. 

I et system som dette kan vurderinger brukes systematisk for å tilpasse undervisningen, involvere eleven i læringen og skape sammenheng i undervisningen. I tillegg er alt grundig dokumentert og kan lett bruke ifm fagsamtaler.

Noen som vil gi meg noe sånt til jul? Inntil jeg får dette, må jeg se hva jeg får til med Evernote. Det ser i alle fall ut til å være det beste alternativet for meg akkurat nå. Hva med deg?

Lærerhverdag #22 - IKT, klasseledelse og vurdering

16. august var jeg på Nordahl Grieg vgs utenfor Bergen og holdt to innlegg, det ene om IKT i klasserommet og det andre om (bedre) vurderingspraksis. Under ligger slidene som jeg brukte der. Hvis du er interessert kan jeg også legge ut en versjon med presentasjonsnotatene.

Ikt i klasserommet – dos and don’ts

View more presentations from Bjørn Græsli.

Vurdering, læring og ikt

View more presentations from Bjørn Græsli.

Lærerhverdag #21 - Ordenskarakter

Order & Chaos, av ~Oryctes~, cc: by-nc-sa

Jeg har etter hvert oppdaget at jeg ikke liker vurderingen av orden. I dag skiller vi mellom G, Ng og Lg, og i praksis skal det en del til å bli satt ned til Ng. Og om karakteren Ng skulle dukke opp på vitnemålet, vet jeg at mange skoler og arbeidsgivere rynker på nesen og enten ignorerer søknaden eller gjør ekstra undersøkelser. Konsekvensen er at karakteren G er en gigantisk sekk av alt fra verdens mest pliktoppfyllende ordensmennesker og en den ganske sløve slabbedasker som sliter grundig med å holde styr på både det ene og det andre. Dette kan umulig være særlig tilfredsstillende og er ekstra problematisk når faglig innsats er dyttet over til orden og adferd (noe jeg egentlig synes er bra). Men med den tredelte vurderingsskalaen er det i praksis lite spillerom for å signalisere hvem som virkelig har god orden og innsats og hvem som gjør såvidt nok. Jeg vil at det skal lønne seg å gjøre en innsats og at det skal synes på vitnemålet. En G i dag sier lite.

Dagens ordens- og adferdssystem er basert på negativ korreks. Det gjør noe med hvordan vi ser på elevene. Vi ser etter negative ting, mens spesielt positive holdninger og handlinger ikke gir uttelling. Å følge opp skolearbeidet presist og nøyaktig gis samme vurdering som omtrentlig og tilstrekkelig. Flid får samme vurdering som slurv. Å strekke seg etter perfeksjon gis samme vurdering som å gjøre akkurat nok. Dette er verken rettferdig eller stimulerende, og det gir fremtidige arbeidsgivere upresis informasjon.

Hvorfor kan ikke orden/innsats og adferd gis en mer finmasket vurdering? Om vi beholder Lg, Ng og G og plusser på med Mg og ev. Sg, eller gir andre merkelapper (1-6 e.l.) er lite viktig. Det er ingen grunn til at vi ikke kan lage gode kjennetegn for karakterer også på dette området.

Hvert år har jeg mange elever som ikke vurderes rettferdig i forhold til hverandre på grunn av dette systemet, og jeg har venskelig for å se noen god grunn til ikke å gjøre noe med det. Synspunkt og innspill mottas med takk.

Lærerhverdag #20 - vurdering for læring/mål og kriterier

Her er Prezi-presentasjonen jeg laget ifm. lokal samling i satsingen vurdering for læring.

https://prezi.com/secure/539fc2c4e0deaf77f39a8d120cb000f35ea27568/

Denne presentasjonen viser hovedsakelig en del tips til hvordan vi kan koble på elevene i begynnelsen av undervisningsøkter ved å jobbe med mål og kriterier.

Lærerhverdag #19 - prøve med alle hjelpemidler (på nytt)

Dette har jeg vært innom før, men dette er et eksempel fra samfunnsfag. Elevene får bruke alle hjelpemidler (inkludert kommunikasjon) unntatt på to deloppgaver. Det gjør det mulig å finne svar på konkrete detaljer, ev spørre en medelev, men det er såpass mye å gjøre at dette i praksis vil begrense seg. Elevene som har oversikt over fagstoff og har brukt tiden i timene godt, vil ha gode forutsetninger for å gjøre det godt. De som baserer seg på å måtte slå opp mye, rekker ikke alt.

For å unngå dårlig kildebruk, er alle oppgavene knyttet til noe konkret - et sitat, en tekst, en graf, en tabell eller en påstand. Slik blir det "umulig" å klippe og lime - det er da også selvsagt ikke lov.

Hver oppgave er utstyrt med en beskrivelse av et godt svar og en omtrentlig tidsangivelse for å signalisere omtrent hva som forventes og å sende elevene i rett retning. Slik er det forståelsen av målene som blir vurdert, ikke evnen til å dekode mer eller mindre krypriske oppgavetekster. Jeg tvinges også til å tenke nøye gjennom på forhånd hva jeg faktisk er ute etter i svaret. Flere ganger ender jeg med å forkaste oppgaver eller å justere dem, etter å ha sett at de er upresise eller måler feil kompetanse når jeg skal beskrive et godt svar.

Når forutsetningene er slik, er det mulig å gjøre kompetansemålene mer relevante også i vurderingssammenheng. Vurderingen blir mer virkelighetsvær og kan i større grad gjøres mer kompleks. Slik opplever jeg at jeg i større grad kan vurdere den reelle forståelsen, ikke bare hukommelse.

Det finnes sikkert andre måter å få til dette på, men denne synes jeg fungerer godt. Det er selvsagt fritt fram å bruke hele eller deler av oppgavene for den som måtte ha lyst til det. Hvis du har tanker om denne prøveformen eller innspill til hvordan spørsmålene kan forbedres, er det flott om du fyrer av noen ord i kommentarfeltet under.

Lærerhverdag #16 - norskfaget

Jeg skrev en tekst om hva jeg mener er feil med norskfaget og hva som kan gjøre det bedre i blaget Norsklæreren nr 1-2011. Teksten er lagt ut på LNUs blogg her.

Lærerhverdag #7 - vurdering med nettilgang

Inspirert av det danske forsøket med eksamen med full nettilgang og mitt eget ønske om å gi elevene så gode muligheter som mulig for å vise hva de kan, prøvde jeg å lage en heldagsprøve i hovedmål der elevene fikk tilgang til internett, men med beskjed om at kommunikasjon ikke er tillatt (for det er fortsatt en individuell prøve - full tilgang til alt er mulig å se for seg, men innebærer en rekke prinsippielle spørsmål som jeg ikke har gode nok svar på). Sanksjonen hvis det blir oppdaget at de bruker verktøy for kommunikasjon var bortvisning fra prøven og anmerkninger - lite å trakte etter, med andre ord, men ettersom vi fortsatt er i læringsfasen med undervegsvurdering var det liten grunn til å gjøre det. Såvidt jeg kunne se var det heller ingen som utnyttet denne muligheten.

MrJava CC: BY-NC-SA

Fordelene med å legge opp prøvesituasjonen på denne måten er mange, men det er selvsagt også reelle og potensielle utfordringer som det er interessant å reflektere over (og samle seg erfaringer om). Dette er også relevant for muligheten for å kjøre skriftlige eksamener etter samme prinsipp.

En gjennomgang av alle reelle og potensielle fordeler og utfordringer ved å ha slike hjelpemidler kan  jeg tenke meg å komme tilbake til en annen gang. Her vil jeg bare kort skissere gjennomgøringen og de mest relevante fordelene og utfordringene.

Oppgavene laget jeg i Google Sites (vi bruker Google Apps på skolen) og kan sees her for interesserte. Besvarelsene ble levert i ItsLearning. Tilbakemeldingene undervegs og i etterkant var overveiende positive. Elevene opplevde det som befriende å stå fritt til å finne og bruke kilder de kjente fra før og/eller passet deres argumentasjon. Det er også enklere og raskere å bruke sitat, referanser og bilder i teksten.

For min del var det befriende og krevende på samme tid å forholde seg til denne oppgaveformen. Befriende fordi jeg kunne stille andre typer spørsmål og (selv om jeg ikke utnyttet dette fullt ut denne gangen) involvere flere sjangre, inkludert sammensatte tekster. Reklamer, musikkvideoer, kortfilmer, tidslinjer, visualiseringer, videoer av forsøk, kart og diverse annet interaktivt innhold blir plutselig tilgjengelig både for lærer og elever. Krevende fordi jeg må designe oppgaver som lar elevene vise ulike kompetanser og som ikke gjør det mulig og/eller attraktivt å kopiere eller benytte ulovlige hjelpemidler.

Jeg har stor tro på at dette er en farbar veg å gå som en av flere mulige vurderingsformer. Hver vurderingssituasjon har sitt særpreg og egner seg for vurdering av ulike ferdigheter og kompetanser. Denne er skolebasert og gjør derfor muligheten for innblanding fra foreldre og andre mindre. Samtidig åpner den for mulighetene nevnt over. Spørsmålet om juks er der selvsagt, men vil i stor grad vær ubetydelig i undervegsvurdering. Det vil også hjelpe at vi understreker at all undervegsvurdering handler om øving, mestring og å skaffe grunnlag for videre målsetting og arbeid. Jeg tar selvsagt høyde for forskjeller mellom fag, selv om jeg i min relative uvitenhet tror det kan være mulig å benytte flere og åpnere vurderingsformer i de fleste fag.

Jeg tror vi har kommet et stykke når:
- elevene ikke opplever det som stressende med vurdering
- elevene opplever mange ulike vurderingsformer
- elevene opplever at vurderingsformene ligner arbeidsformene som i sin tur ligner arbeidsformer i livet ellers
- elevene kan vise kompetanse også i ferdigheter og metoder, ikke bare faginnhold

Lærerhverdag #5 - vurdering av innsats?

Søndag formiddag gikk med til å diskutere vurdering på Twitter. Ikkeno' merkelig med den setningen. Utgangspunktet var en artikkel i Aftenposten der det ble problematisert at innsats ikke teller med i vurderingen i fag og at det fører til at "det eneste som betyr noe, er formaliserte tester og prøver". Kirsti Slettevoll korrigerte betimelig dette på Twitter: "Det er kompetansemålene som er grunnlag for karaktersetting". Dette er viktig, for det at innsasts i seg selv ikke teller i sluttvurderingen betyr ikke av prøver og tester er alt som betyr noe. Det er fullt mulig å legge opp til vurderingssituasjoner som krever jevn innsats av elevene; mappevurdering, logg, prosjekter osv.

Bilde: Yish CC-BY-NC-SA

Henning Fjørtoft ilte til og kom med betimelige poengteringer: "Alle gyldige bevisformer for kompetanse teller, men antall håndsopprekninger/svar osv. er ikke gyldig bevis for kompetanse" og "Viktig at #vurdering skjer på mange måter, ikke bare prøver pga validitet i vurderingen". Altså: innsats i seg selv (om det enn kan være både ønskelig, hyggelig og positivt) er ikke noe mål på faglig kompetanse. Du kan være en røver i matte uten å rekke opp hånda en eneste gang. Er man da en dårligere eller dårligere matematiker enn en med middels evner og stor innsats? Skal den aktive 4-eren og den inaktive 6-eren møtes på samme karakter?

Det store spørsmålet er hva innsats egentlig er et mål på. Trynefaktor? Motivasjon? Personlighet? Læringsstil? Vilje? Og ikke minst: hvordan vi måler det? Hva slags innsats er synlig? Hva slags innsats legger læreren merke til? Hvordan skiller vi aktiv deltakelse fra markeringsbehov? (Edit: Jeg ser i etterkant at Henning Lund skriver godt om dette på bloggen sin). Faktum er at Kunnskapsløftet setter et vanntett skott mellom innsats målt etter uklare kriterier og fagkarakteren. Dårlig innsats skal gi utslag på karakteren i orden og adferd i form av anmerkninger for manglende deltakelse i timene, manglende innleveringer osv.

Diskusjonen under Aftenpostens artikkel viser at dette spørsmålet er egnet til å lokke fram mye rart fra både nåtidige og tidligere lærere og elever. Den avslører misforståelser, motvilje, dårlig praksis og feiltolkinger. Kulturjournalist Joachim Lund i Aftenposten går så langt som å si at fjerningen av innsats som komponent i vurderingen er "å rendyrke en brutal vinnerkultur". Han ønsker seg lærere som "verdsetter hederlig innsats, gode holdninger, real oppførsel og fellesskapstenkning". Men er det virkelig vurderingen av innsats som har ivaretatt dette?

Her er mitt problem:
- hvis frykten for dårlig karakter er årsaken til innsats i form av håndsopprekning og lekselesing - hva slags læring er det?
- hvis vi må holde fagkarakteren som gissel for å skape (tilsynelatende) faglig engasjement - hva sier det om undervisningen?
- hvis elevene får sitte på FaceTube hele timene - hva sier det om klasseledelsen?
- hvis elevene kan lese seg opp til prøven kvelden før og likevel gjøre det bra - hva sier det om oppgavene?

Hvis man mener at innsats/motivasjon osv er viktige faktorer å få kartlagt, må man komme på banen med tydelige krav og kriterier. En mulig løsning er å innføre en egen vurdering i dette på tvers av fagene (som orden/oppførsel) der alle faglærerne kommer med sin vurdering - da slipper man mye av trynefaktor-problematikken, samtidig som en får synliggjort arbeidsinnsats.
Men det viktigste er likevel følgende:
- å skape læringssituasjoner som gjør det interessant og attraktivt å følge med og bidra
- å lage vurderingssituasjoner som krever aktiv deltakelse og faglig innsats over tid for å vise kompetanse
- å lage vurderingssituasjoner som krever refleksjon og vurderingsevne, ikke bare gjengivelse av fakta

Det vi ønsker oss er elever med ekte engasjement som involverer seg aktivt i egen læringsprosess ut fra vitebegjærlighet. Som Leif er jeg ikke flink nok til å lage rammer for at alle elevene skal komme dit. Men jeg tror ikke gjeninnføringen av et ullent innsats-begrep er vegen å gå. Det er derimot hardt arbeid for å involvere elevene, gi dem reell innflytelse innenfor tydelige rammer og å hjelpe dem å gjøre læringen relevant for seg selv.

Vurdering av noe

I etterkant av LNUs landskonferanse, en diskusjon i etterkant av Henning Fjørtofts kurs på jobben min og tanker jeg har gjort meg om vurdering av tekster, fikk jeg lyst til å skrive noen ord om (primært) skjønnlitterære og sammensatte tekster. Hvordan skal vi vurdere disse. Vi har selvsagt den verktøykassa vi alltid har hatt: hva sise og hvordan sies det? I tillegg har vi den vanskelig beskrivbare komponenten som er sakens kjerne: magefølelesen - om teksten fungerer - om teksten berører/engasjerer - noe.

Det er gode grunner til å stille spørsmål ved om dette er noe som bør med i vurderingen - han det operasjonaliseres? Kan det bli objektivt? Er det rimelig å forvente at elevene kan forholde seg til slik taus kunnskap? Kan det læres bort? Fra et vurderingsståsted vil det være gunstig å unngå det slik at vi kan holde oss til det observerbare, objektive og beskrivelige. Er sjangertrekkene der? Er det brukt virkemidler? Svarer eleven på oppgaven? Er grammatikken slik vi ønsker? Det er nok å ta tak i og beherske.

Men er det ikke reduktivt å definere tekst som en gruppe konkrete elementer som skal settes sammen som lego? Er ikke det å utelate kanskje den viktigste kvaliteten ved en tekst - om den kommuniserer godt? Om den berører, engasjerer, aktiviserer, motiverer, ryster eller irriterer? Det er ikke vanskelig å se for seg tekster der alle komponentene er på plass, men som likevel ikke er gode. Og motsatt: gnistrende gode tekster som bryter med alt vi forventer. Bør ikke denne dimensjonen med? Og kan den i så fall gjøres til en objektiv størrelse?

Kan det være at vi må leve med at kreative tekster i skolen måles etter kvaliteter og kompetanser som ikke lar seg rubrisere eller beskrive på noen meningsfull måte? Går det an å få en god karakter hvis du skriver korrekte tekster - men uten nerve? Jeg erkjenner gjerne at jeg ofte mangler ord i møte med elever som har skrevet tekster: joda, det er mye bra der, faktisk lite å sette fingeren på, men likevel -. Noe mangler. En glød, en nerve, en intensitet, et engasjement. Noe. For en vil tekstens pathos være ypperlig, for en annen kvalmende. Er pathos kvantifiserbart?

Noen er fortellere, formidlere, andre i mindre grad. Hvis denne dimensjonen av tekster skal vurderes, har jeg vanskelig for å se noen veg til objektiv vurdering. Det er ikke mulig å få alle til å enes om hvilken bok som er årets, tiårets eller hundreårets beste. Og enda verre er det å beskrive presist hva som gjør at Don Quixote er bedre enn Prosessen eller at Askildsen skriver bedre noveller enn Lønn. Noe er det. Men hva?

Tanker, anyone?