lørdag 5. november 2011

Lærerhverdag #24: Vurdering og vurderingsverktøy

Bare så du er advart: dette blir en litt lang bloggpost. Før du avskriver den med tl;dr, kommer en kort oppsummering her:
Jeg ønsker meg et bedre verktøy for vurdering og til å synliggjøre dialogen mellom lærer og elev om faglig utviklig og vurdering enn det LMSene tilbyr i dag. Jeg ser på et par alternativer, Google Docs og Evernote, og skriver hva jeg egentlig ønsker meg.

1. Problemet
Jeg ønsker meg en arena eller et verktøy som gjør det enkelt å fokusere på elevens utvikling innenfor ulike (grupper av) kompetansemål i fagene. Da må kommentarene knyttet til målene komme i fokus, ikke karakterene over tid. LMSet burde vært et perfekt sted å lage noe slikt, men vurderingsmodulen i ItsLearning har kun fokus på karakterer (regner til og med ut (i stri med en omtrent fem år gammel forskrift) ut gjennomsnitt av oppnådde karakterer - skjerpings!) og SkoleArena er et mararitt når det gjelder brukergrensesnitt. I tillegg er det akkurat like lite egnet for bruken jeg ønsker. Det er fryktelig synd at de ordinære plattformene ikke er egnet, for de har fordeler knyttet til datasikkerhet og brukerstyring.

2. Google Docs
En mulighet er å opprette et regneark i Google docs som jeg deler med eleven det gjelder. Da kan jeg lage en kolonne per gruppe av mål/hvert hovedområde etc og rader med vurderingssituasjoner (type vurdering og dato, og så fylle inn kontinuerlig. Eleven kan også skrive inn egenvurderinger knyttet til målene. Skjemaet kan f.eks se slik ut:

Ulempene er at elever strengt tatt ikke har lov til å opprette en Google-konto før de er 18 år, at Google ikke er krystallklare på eierskap på data, at opplysningene ligger lagret på servere utenfor Norge/EU og at lokal synkronisering ikke er lettvint.

3. Evernote
Jeg har også sett på om notatverktøyet Evernote kan gjøre susen. Igjen ser jeg at det kan gjøre mye, men ikke riktig alt. Her er fremgangsmåten (forutsetter at du premium-konto, koster noen hundringser i året, og at alle elevene har en gratis konto) og fordelene:
Opprett en ny notatblokk for et par elever. Dra den ene av dem oppå den andre for å lage en stack. Deretter oppretter du nye blokker inni stacken for alle elevene i gruppa. Hver an blokkene deler du med den enkelte eleven. Denne prosessen krever at du kjenner brukeridentiteten til alle elevene etter at de har opprettet kontoer (tar 15 minutter å samle inn og 30 minutter å opprette og dele). Dermet har du en egen mappe som bare du og eleven har tilgang til. For at eleven skal lunne skrive i mappa, må du ha premiumkonto og bestemme at eleven skal ha skrivetilgang.
I denne mappa kan eleven legge til nye notater (besvarelser, innleveringer, lekser, +++) og se og redigere alle dokumenter du legger ut. Det samme kan du: hvis elevene legger inn f.eks. en besvarelse, kan du redigere og kommentere, også - og dette er viktig - i form av en eller flere lydinnspilling(er). Jeg kunne tekt meg enda større fleksibilitet, men den er ikke verst. Når jeg gir en sluttkommentar på de ulike kompetansene/målene som er målt, kan den lett klippes ut og limes inn i et eget notat der jeg samler alle disse, likt det som er vist over.

Dette fyller mange av behovene mine, og har av en rekke grunner færre ulemper enn Gdocs. Jeg skulle ønske det var lettere å legge det samme dokumentet i mange notatblokker, men det må kopieres inn et om gangen. Det er heller ikke mulig å duplisere blokker. Det kunne også vært kjekt om det var mulig å legge til video (i tillegg til lyd og stillbilde) eller ta skjermopptak, men det er det ikke. Muligheten for å legge inn lyd i notater er derimot gunstig. Både for elever med lese-skrive-vansker og i de tilfellene da det er vanskelig å skrive en god, kortfattet forklaring, er det supert å kunne spille inn en kort lydkommentar, f.eks. etter et vellykket eller mislykket avsnitt, en tabell, et bilde etc.

Notatsamling
Etter hvert vil man altså ha samlet en rekke vurderingsprodukter med løpende vurdering (det er også mulig å spille inn fagsamtalen og legge der, ta opptak av muntlige presentasjoner etc) og et eget dokument der alle vurderingene er samlet kronologisk, og der det er lett å peke på fremgang eller andre tendenser. Eleven kan selv legge inn kommentarer, arbeider i prosess, egenvurderinger eller logger. Notatblokkene synkroniseres og lagres lokalt, og kan nås både på web, gjennom mobilapp og eget program på pc/mac.

Det tas backup av notatene slik at elevene ikke får mulighet til å "tukle" med dem uten at det synes. Det er også mulig å ta en backup for sikkerhets skyld. Hvis man vil være sikker, er det mulig å lage en egen delt blokk der elevene bare har lesetilgang, der man samler alle sluttvurderingene og oversikten over undervegsvurderinger - da er man sikker på at ingenting går tapt.

Eksempel på besvarelse med innlagte skriftlige og muntlige kommentarer.

4. What I really really want
Selv om både Google docs og Evernote tilbyr bedre løsninger enn jeg har funnet i LMSene, har begge noen negative sider. For det første er det et spørsmål om lagring og datasikkerhet. Et annet problem er at disse løsningene vil være forbeholdt spesielt interesserte - selv om grensesnittet er overkommelig, krever det et visst pågangsmot å prøve det ut, og det er fort gjort å trå feil når en skal holde styr på lesing, redigering, invitasjon etc. i x antall notatblokker. Dessuten synes jeg det er læringsplattformenes ikke bare jobb, men kanskje til og med hovedoppgave å ta seg av dette. Jeg ønsker meg et LMS som sømløst løser alle utfordringene.

I vurderingsmodulen ligger alle navnene på elevene i faget, og du kan selv legge eller hente inn mål og eventuelle kriterier og lage en overkommelig oversikt. Der kan man også opprette nye vurderinger av ulik art, enten for å levere inn eller redigere direkte. Når eleven skal vurderes eller egenvurdere, gjøres det i besvarelsen, men sluttkommentaren overføres til oversikten med et klikk. Dermed henger oversikten og besvarelsene sammen, og elev og lærere ser enkelt hvordan progresjonen er innenfor de ulike målene. Det er mulig det ikke er helt enkelt å se for seg dette, men her er noen enkle skjermbilder som viser hvordan informasjonen om læring kan hentes ut:
Elevenes kompetanse innen ulike mål vist i en vurderingssutuasjon. Alle
etiketter er klikkbare for å få opp andre visninger eller gå til konkrete
vurderingsoppgaver/vurderinger.

Elevens progresjon innenfor ulike mål gjennom ulike vurderinger.

Oversikt for læreren over alle elevenes utvikling innen et bestemt
mål/gruppe mål over tid. Nyttig for videre planlegging/oppfølging. 
I et system som dette kan vurderinger brukes systematisk for å tilpasse undervisningen, involvere eleven i læringen og skape sammenheng i undervisningen. I tillegg er alt grundig dokumentert og kan lett bruke ifm fagsamtaler.

Noen som vil gi meg noe sånt til jul? Inntil jeg får dette, må jeg se hva jeg får til med Evernote. Det ser i alle fall ut til å være det beste alternativet for meg akkurat nå. Hva med deg?

11 kommentarer:

  1. Skjønner hva du sier her. Jeg ville ha brukt Google-verktøyene til alt unntatt selve innleveringen av oppgavene. Der ville jeg ha kjørt en DSpace-installasjon og løst det som et institusjonelt arkiv. Tror det er vanskelig å få en "one size - fits all" løsning. Det har lett for å bli uheldige kompromisser - eller skivebom, sånn som Fronter..

    SvarSlett
  2. Takk for tilbakemelding! DSpace er interessant, men det er kanskje vanskelig å koble innleveringene til vurderingene? Google er absolutt ok, men jeg synes muligheten for muntlig tilbakemelding ville vært fin. Kun lagring i skyen og (formell) 18-årsgrense er ulemper. LMSene sine forsøk på å dekke alt fra grunnskole til universitet er helt sikkert årsaken til "skivebommen" som du sier. Problemet er etter min oppfatning at den ene størrelsen er lite fleksibel og strengt tatt ikke tilpasset den nye læreplanen. Hvis en (som meg) ikke gir karakterer, er vurderingsboka i f.eks. ItsLearning helt meningsløs.

    SvarSlett
  3. Du omgår en del av ulempene du nevner i Google Docs ved å melde skolen inn i "Google Apps for Education". Da tar skolen over ansvaret for brukerne og du slipper Googles aldersgrense, det er ingen reklame (hverken mot elever eller lærere) og Google lover at du er den eneste eieren av dataene du legger inn og at de aldri skal kikke på dem eller kjøre dem igjennom analyse- eller reklamemaskinen. Det eneste du ikke får er G+ hvor Google krever at du er 18 år uansett, så vi på Harestad skole får ikke integrert G+ mot vår Google Apps-kontoer (ikke de ansattes heller...).

    SvarSlett
  4. @posts Det har du rett i og jeg vurderte å ta det med. Dette krever imidlertid (som du sider) at skolen overtar, så det er ikke noe den enkelte lærer kan ta i bruk. Hvis skolen er villig, er imidlertid dette et godt alternativ (selv om det mangler muligheten for å legge inn lyd i dokumenter). Det er i alle fall liten tvil om at hvis Google bestemte seg for å lage noe konkret i LMS-retning, så er det godt på veg til noe som kan fungere godt.

    SvarSlett
  5. Interessant posting.

    Jeg har ofte hatt faglige diskusjoner om "hva slags web-verktøy ville gjort mest nytte for lærere i Norge for minst investering i utvikling", og et slikt vurderingsverktøy virker som en opplagt kandidat. Særlig ettersom både læreplanene (Grep) og brukerkontoer finnes lagret på en strukturert måte, noe som gjør at det å lage noe slikt mer ville gått ut på å integrere systemer som finnes, enn å finne opp noe nytt.

    Men siden dette er så nyttig: Hvorfor har ikke LMSene implementert dette allerede selv?

    SvarSlett
  6. Takk for innspill, Harald! Langt og ikke tilstrekkelig gjennomarbeidet svar følger.

    Vel, jeg har en teori. Jeg tror det henger sammen med tre ting spesielt.
    1) Det er i praksis ingen konkurranse på LMS-markedet (joda, både Fronter og ItsL, men de er relativt like og bedriver stillingskrig). Ettersom de aller fleste bruker, og har brukt i en del år, Extens, så sitter det langt inne å bytte til et LMS som ikke har støtte for Extens. Det betyr at det i praksis er to selskapet som fullstendig dominerer markedet, et marked som er såpass lite at det er forbundet med ganske stor risiko å gjøre store endringer i et produkt som selger uansett. Det finnes selvsagt alternativer som Moodle, men man må vel bare innrømme at mange åpne løsninger krever en del fikling og risikoen for nedetid gjør at mange kvier seg.

    2) Dagens LMSer ble påbegynt for en del år siden nå og oppdateringer skjer basert på en eksisterende struktur. Radikale endringer virker fremmedgjørende. Det betyr at ett eneste LMS skal dekke behovene for både 1. klassinger og mastergradsstudenter...

    3) Etterspørsel. vis man kikker på ItsLearning sin forslagskasse http://itslearning.accept-ideas.com/, er det ikke lett å finne noe som ligner det jeg snakker om. ItsLearning sin siste oppdatering, f.eks. inneholdt svar på flere av de høyest etterspurte endringene i den portalen. Ingen av de tingene var på min topp 10-liste. Jeg tror rett og slett ikke at en slik vurderingsmodul det etterspørres i særlig grad, litt fordi mange bruker og foretrekker å forholde seg til karakterer, prøver etc etter tradisjonell modell og litt fordi det ikke er så mange som orker å si hva de ønsker. Mange har et svært avmålt forhold til sitt LMS - de bruker det når de kan/må, men mest fordi det er det skolen/fylket har inngått avtale med. Jeg må jo innrømme at jeg heller ikke har lagt inn ønske i denne portalen, litt fordi det er vanskelig å legge fram en slik endring på en måte som gjør at den blir "stemt frem" i systemet, litt fordi det tar en del tid, men mest fordi jeg ikke tror den blir implementert (av ovenstående grunner).

    Derfor tror jeg et nytt LMS eller en frittstående plattform/plug-in/whatever er løsningen. Jeg har lyst til å få utviklet en prototype - det er lettere å vise hvordan det kan se ut da. Målet er å få vurderingsdialog til å bli enkelt, læringsstøttende og intuitivt, ikke en orgie i klikk og lite systematikk som det er i dag. Jeg kan skrive om alternativer til jeg blir blå, men før det blir enkelt både å administrere og bruke vil det aldri bli brukt av særlig mange.

    SvarSlett
  7. Dette var interessant! Jeg har jobbet på u-trinn, og delte konstant din frustrasjon. Såpass ble det for min del, at jeg skifta beite for å se om det var mulig å gjøre noe med. Jobber nå i Norsk Nettskole, hvor vi utvikler en LMS som inneholder nettopp det du beskriver. Om ikke identisk, så i tråd med prinsippene. Jeg vet det egentlig bryter mot god forumetikette å skulle nevne noe man selv jobber med, men likevel. Dette er et personlig engasjement, såpass at også sjefen må roe meg ned i blant.

    PedIT brukes av enkelte skoler spredt rundt i landet. Globalskolen, fjernundervisning for norske elever i utlandet med 1300 elever, også.

    Vi er langt mindre enn feks ITL og fronter. Men det gir oss noen fordeler. Vi som arbeider med PedIT er pedagoger. Vi utvikler aldri noe som ikke er grunnfestet i det vi mener er god pedagogikk. I PedIT lager vi arbeidsplaner, oppgaver, lekser, styrte forumsdiskusjoner, samarbeidsrom, m.m. Alt kan selvsagt knyttes opp mot kompetansemålene, slik at disse fremkommer også ved vurdering. Vi har stor tro på lærerens evne til å selv vurdere elevens kompetanse, ut fra gitte vurderingskriterier ift kompetansemålene. Derfor ingen "autosummering" av karakterer. All vurdering kan hentes ut i en rapport når det måtte være ønskelig.

    Siden vi i utgangspunktet er et firma for fjernundervisning (siden 1999) så har et mål vært å fange elementer fra den sosiale webben og bruke den som støtte for læring, i trygge omgivelser. Dette ser vi at også fungerer utmerket inn mot ordinær stedsbasert skole!

    En professor ved et universitet i Canada uttalte følgende: "I think you are worlds ahead of many of us in our theory and manner of connecting with students online."

    Vurderingsverktøyet har vi nettopp lansert. Ikke komplett enda. Men ideene har vi, og en del skoler er nå i gang med å teste ut vår første versjon. Jeg sitter inne med haugevis av ideer for videreutvikling, som jeg presser på for å realisere så snart det lar seg gjøre. Får vi det på plass, så blir dokumentasjon på undervisning og vurdering en lek. Tidsbesparing og kvalitetsheving i ett jafs.

    Som nevnt, i forhold til mange ting når vi ikke ITL eller fronter til knærne. Men akkurat når det gjelder kvalitative vurderingsverktøy, effektive nettbaserte virkemidler for å fremme gode læringsprosesser, samt pedagogisk bruk av prinsipper fra sosial web, så ligger vi med PedIT langt foran.

    Det var herlig å se en lærer endelig setter ord på det de aller fleste tenker, eller burde tenke. Læreryrket er blitt så hektisk at det dessverre ikke lengre er rom for kreative tanker og drøftinger rundt de utfordringer som ligger der. Kanskje spesielt ift hvordan på best mulig måte finne gode systemer for effektiv vurdering, som ikke går på bekostning av kvalitet. Den gode pedagogiske samtalen, som burde finne sted i skolen, blir ofte erstattet av konfliktløsing, tidkrevende rapportering, være hobbypsykolog for både elever og foreldre, m.m. Hvis det er tid til overs bør det også planlegges litt undervisning.

    Jeg vil tilbake til skolen, det er der jeg egentlig hører hjemme. Men jeg drar ikke tilbake uten at jeg har med meg et verktøy som på en suveren måte slår sammen en haug av prosesser:
    - Detaljplanlegging av undervisning, konkret knytta opp mot delmål
    - Digitale lekser til emnet opprettes (hvorfor plager vi fortsatt elevene med tunge sekker, når de likevel bare skal lese s.23-25 og svare på tre oppgaver?)
    - Direkte tilpasning til alle uten å løfte en finger for det (opplestfunksjon, multimedia, ulike måter å besvare oppgaver/aktiviteter på)
    - Vurdering knyttet direkte opp mot den planlagte undervisningen, uansett om det er muntlig fremføring eller skriftlig arbeid
    - Enkel måte å hente ut underveisvurdering i alle fag, til bruk i karaktersetting og foreldresamtaler
    - Dokumentasjon fortløpende, som lagres i LMS’en
    - Osv!!

    Mulighetene er enorme, og PedIT støtter det aller meste av dette allerede. Uten at det trenger bety enorme investeringer i utstyr. Bærbar PC eller IPad med nettilgang er nok.

    SvarSlett
  8. @Jens Magnus:
    Takk for innspill! Spennende at noen jobber med dette! Jeg prøver en demo anytime :-)

    SvarSlett
  9. Denne kommentaren har blitt fjernet av forfatteren.

    SvarSlett
  10. Interessant bloggpost som vi har registrert og lagt inn i basen med ideinnspill. Det hadde vært bra med noen skjermbilder med mer reelle data (ikke elevenes navn selvfølgelig.)Legg gjerne inn dette i ideportalen som du referer til.

    NB! En viktig detalj. Det er mulig å slå av utregning av gjennomsnitt i karakterboken/vurderingsoversikten. Se instillingene. Denne muligheten ble lagt inn i itslearning for lenge siden, men det fungerte slik at lærere kunne se gjennomsnitt selv om elevene ikke kunne se det. Siden lærerne kunne se gjennosnittet antok mange lærere at elevene elevene fremdeles ville se dette og vi fikk mange tilbakemeldinger om å fjerne gjennomsnittutregningen. Vi gjorde derfor en ny oppdatering i mars slik at det er mer tydelig hvem som ser hva. Se http://itslearning.com/public/blog/?BlogYear=2011&BlogMonth=3&BlogWeek=-1.

    SvarSlett
  11. @Morten: Først: takk for innspill og kudos for å ta hard og surmaget kritikk av eget produkt på en sporty måte.

    Jeg tar en viss selvkritikk for ikke å vite at gjennomsnitt kan skrus av, men hvis det ikke av er default, burde det være det. Dette punktet berører likevel i liten grad mitt hovedanliggende i bloggposten.

    Jeg har lagt ønsket om skjermbilder inn på todo-lista, men slike skjermbilder vil altså ble av en reserveløsning for systemet jeg virkelig ønsker meg.

    SvarSlett