Digitale tester er kommet for å bli, og utgjør etter min mening et meget viktig verktøy i lærerens digitale/pedagogiske verktøykasse. Lærere har nå mulighet for å enkelt lage digitale tester (typisk i læringsplattformen) som rettes automatisk.
Vi er flere kollegaer ved Institutt for informatikk og e-læring ved NTNU som jobber med digitale tester i FoU-sammenheng. Digitale tester byr på muligheter såvel som utfordringer.
På denne siden finner du informasjon om hva en digital test er og hvorfor dette er et spennende fagfelt, noen nyttige ressurser, informasjon om kurs jeg har holdt, informasjon om et fag som gir 6 studiepoeng for interesserte lærere, testverktøyet Evatest DigiTEST, og en liste over FoU-resultater.
Innhold på denne siden
Hvorfor digitale tester?: En kort forklaring. Hvorfor bruke tester? Utfordringer. Pedagogisk bruk. Hva jobber vi med? Hvilken forståelse har vi av digitale tester?
Nyttige ting jeg har laget: Metatest om it´s learning og testverktøyet, stoff jeg har skrevet om digitale tester, videopresentasjoner og liknende som kan være nyttig for lærere og andre med interesse for digitale tester.
Presentasjoner: Liste over kurs og foredrag jeg har holdt om digitale tester
Kunnskap om digitale tester blir stadig mer relevant for lærere på alle utdanningsnivåer. Spørsmål i en digital test kan typisk være i form av flervalg (multiple choice), men ikke nødvendigvis. Testverktøyene støtter stadig flere spørsmålstyper, både ja/nei, flervalg, finn par, interaktive typer, fyll inn det som mangler, korte fritekstsvar og til og med helt åpne spørsmål (fritekst). Begrepet "digital test" er derfor mer beskrivende enn "flervalgstest". Inntil 2008 brukte vi ved det som den gang var HiST for øvrig begrepet "automatisert test", men på grunn av at dette er et lite beskrivende navn, og at næringslivet tenker på det å teste robustheten av programvare automatisk, byttet vi til det mer dekkende "digital test".
Digitale tester kan brukes formativt (læring) og summativt (vurdering). En digital test kan brukes for å øke læringen, motivere til læring og teste kunnskap. Stadig flere benytter slike tester for å styrke læringsprosessen underveis - kanskje på grunn av tilgjengeligheten til gode verktøy i LMS-systemene? Muligheten for effektivisering, gjenbruk og en objektiv, automatisk retting, gjør at mange prøver å benytte flervalgsspørsmål som sluttvurdering (eksamen). Det er liten tvil om at det å lage spørsmål og tester av høyt kvalitet er en ikke-triviell oppgave, så her må en trå forsiktig. Jeg har skrevet mye om digitale tester og holdt en rekke kurs, seminarer og konferansebidrag om særlig formativ bruk. Du kan se konkrete eksempler på presentasjoner og kursopplegg lenger nede på denne siden.
Mange lærere ønsker å jobbe med et LMS (it´s learning, Fronter, Moodle, ...). Disse har etterhvert relativt gode testverktøy, og åpner for en rekke muligheter for pedagogisk gode opplegg. Spørsmålene for lærere er mange: Hvordan kan digitale tester brukes pedagogisk - i undervisningen - for å best mulig støtte opp under de gode læringsprosessene? Dette er et kjempeviktig spørsmål som jeg har jobbet mye med. Hvordan kan en lærer lage gode tester av høy kvalitet og/eller pedagogisk verdi, og bruke disse på en riktig måte? Hva skal til av informasjon i forkant av en test? Hvordan beregne poeng? Hvilke fallgruver fins? Er det mulig å klatre oppover i Blooms taksonomi, slik at en ikke bare tester på faktakunnskap, men også på forståelse, evne til å resonnere og anvende teori i praksis? Er Blooms taksonomi relevant for skoleverket etter Kunnskapsløftet? Hvordan kan tester gi bedre motivasjon og gi økt læring? Er det mulig med individtilpasning av lærestoff, og hvilken rolle spiller digitale tester for å oppnå det? Hvordan kan en implementere, gjennomføre og bruke kompetansekartlegging? Sist men ikke minst: Hva bør et testverktøy støtte av funksjonalitet?
Gjennom det 3-årige store HiST-prosjektet "SELP" (Stort e-Læringsprosjekt, ferdig juni 2006) og flere etterfølgende prosjekter, har vi ved HiST lært mye om bruk av digitale tester. Jeg har brukt min FoU-tid til å utforske mange interessante temaer med hovedfokus på pedagogisk og kreativ bruk av digitale tester. I tillegg har vi jobbet lenge med: Hva bør et testverktøy støtte av funksjonalitet? Det er spennende å jobbe med problematikken rundt digitale tester, og for å få ekstra godt innblikk i problematikken, har vi utviklet et verktøy kalt Evatest DigiTEST (verktøyet het tidligere Evatest, men byttet i 2008 navn til DigiTEST). Systemet utvikles gjennom studentprosjekter i programmeringsfag og sommerjobber (dataingeniørstudenter). Det er veldig lærerikt å utvikle et testverktøy. Da kan vi også bestemme funksjonaliteten helt og holdent, og teste ut nye teorier i praksis. Det er også lett å implementere støtte for funksjonalitet vi ser det er behov for i et godt verktøy, for eksempel formativ bruk av tester, gjenbruk av spørsmål (spørsmålsbanker) og liknende. Du kan lese mer om våre tanker om et digitalt testverktøy lenger nede på denne siden.
Vi har også prøvd å spre kunnskap om digitale tester (flervalgstester) gjennom flere interne seminarer på HiST. Undtertegnede har bidratt på en rekke seminarer og konferanser, og holder også en del kurs (2-timers, 3-timers og heldags). Interessen er veldig stor, særlig i skoleverket (grunn- og videregående skole).
29.-30.mai 2006 arrangerte vi ved HiST "Nasjonal konferanse om bruk av automatiserte tester i læringsprosessen". Det var veldig stor interesse med en rekke ulike aktører tilstede. Vi har lagt ut presentasjonene og programmet.
Jeg har holdt en del skreddersydde kurs om bruk av digitale tester. Ved å dele erfaringer får en som regel nyttige innspill tilbake, eller nye interessante problemstillinger og idéer. Forhåpentligvis får publikum valuta også. Kursene holdes i regi av forskningsstiftelsen TISIP. Vil du ha tilbud om et opplegg (kurs, seminar, konferansebidrag e.l.), så bare ta kontakt.
Her er eksempel på en agenda for et seminar på 4-7 timer. Jeg er veldig fleksibel med tanke på innhold:
Kompetansekartlegging
Hvorfor bruke digitale tester
Gode tester: teori og praksis (gode spørsmål, eksempler, fallgruver, spørsmålstyper, tips og triks til testverktøy)
Gruppearbeid: prøv i praksis, bli kjent med testverktøyet og anvend teorien (minst 2 timer må avsettes til en slik økt hvis den skal inngå)
Pedagogisk bruk av digitale tester, en rekke kreative eksempler
Aktivitet + tankekart, diskusjon
Flere eksempler, blant annet "mot helhetlige undervisningsopplegg"
Her er et eksempel på en presentasjon som brukes som utgangspunkt når jeg gjennomgår blokken om "gode tester". Dette er altså et utdrag av en mye større presentasjon, men det gir et visst inntrykk av tema, dybde og stil. Tips: Vis i fullskjerm for bedre kvalitet!
I et kursopplegg vil teori og pedagogisk forankring avveksles med konkrete eksempler, gruppearbeider og diskusjon. Se også listen av kurs og presentasjoner nederst på denne siden.
Nettbasert fag (6 studiepoeng) for lærere: Pedagogisk bruk av digitale tester
I 2007 utviklet HiST og Høgskolen i Telemark et nettbasert fag på 6 studiepoeng for lærere som ønsker å lære mer om digitale tester. Faget var myntet på lærere i både UH-sektoren og skoleverket. Nå har dette faget blitt videreutviklet til MOOC-en "IKT i læring" (15 studiepoeng) som har adresse http://bit.ly/mooclagkonto
I forbindelse med NUV-prosjektet i 2007 utviklet vi også et nettsted med ressurser, en wikibasert kunnskapsbase og eksempler på tester og spørsmål.
Dersom du heller kunne tenke deg et kortere kurs (heldags/halvdags) for deg og dine kollegaer om samme tema, så se avsnittet om kurs.
Jarle Larsen og undertegnede (Svend Andreas Horgen) har vært pådrivere i utviklingen av et eget testverktøy med navn "Evatest". Nå bidrar også Bjørn Klefstad og Geir Maribu i arbeidet. I 2008 endret vi navn på produktet til DigiTEST. Gjennom studentprosjekter, hovedprosjekter og sommerjobber har studenter programmert et test-verktøy som begynner å ta form. Vi har veiledet og kommet med krav til funksjonalitet.
Gjennom arbeidet med Evatest DigiTEST har vi lært mye om digitale tester langt utover et programmeringsteknisk perspektiv. Det er mange hensyn å ta for å kunne lage gode tester. Vi ser på det som en stor utfordring å implementere funksjonalitet som gjør det enkelt for læreren å lage gode tester. Det er også viktig at verktøyet kan støtte læreren i de viktige faser av testens livssyklus. Her er noen hint om hva vi legger vekt på:
Oversiktlig måte for å lage spørsmål og tester.
Studenter skal kunne ta tester på en intuitiv måte, og lett finne fram under en test med for eksempel 100 spørsmål ved å flagge usikre spørsmål, sortere ut besvarte o.l.
Mulighet for spørsmålsgrupper og avansert randomisering.
Automatisk beregning av poengsum.
Mulighet for å flagge spørsmål under en test. Slik kan studenten/eleven lett gå tilbake til de spørsmål som er vanskelige. Flagging må være diskret, konsistent og lett å forstå for den som tar testen.
Enkel og brukervennlig måte å rette fritekstsspørsmål for læreren.
Mulighet for å endre poenggrenser, korrekt svar og liknende i ettertid.
Støtte for å sette karaktergrenser og justere karakter i ettertid. Testverktøyet må foreta de vanskelige, matematiske kalkulasjonene, ikke læreren!
Visuell god statistikk over et testresultat, både for lærer og student.
Støtte for flere språk i brukergrensesnittet (lett å bytte mellom norsk, engelsk, svensk, ...)
Avansert spørsmålsbank, må kunne deles mellom kollegaer og gjøres søkbar. Det er mange mange muligheter for å lage en god spørsmålsbank, og det kan gjøres mer eller mindre avansert og omfattende.
Mulighet til å benytte matematiske tegn (for eksempel formulert med Latex) slik at en kan lage tester for fag som matematikk, kjemi, fysikk, musikk, biologi og så videre.
Mulighet for å sette inn en beskrivende tekst innimellom spørsmålene, for eksempel mellom nr 5 og 6. Da kan en for eksempel midt i en test komme med et case som de neste spørsmålene bygger på. Dette er noe lærere ofte ønsker å gjøre.
En metabeskrivelse av et spørsmål kan av og til være hensiktsmessig, for eksempel hva læreren har tenkt med dette spørsmålet, læremål etc.
Antall spørsmål per side bør kunne settes. I mange verktøy må en velge mellom 1 spørsmål per side eller alle på en side. Det er ofte ønskelig å gruppere etter tema mer fleksibelt, for eksempel: 3 spørsmål på side 1, så 7 spørsmål, så 1, så 2, så 1 og så 4. Dette er mulig i LMS-systemet Moodle, og er veldig hendig også fra et pedagogisk perspektiv.
Mulighet for å lage tester som er kriteriebaserte. Gitt en pool, bør lærer kunne lage en test på 1 minutt som en vet blir god nok, ved å sette smarte kriterier. For eksempel: Denne testen skal ha 10 spørsmål av kategori vanskelig, så 5 lette av et subsett på 25 lette som tilhører kategorien "sikkerhet", deretter 3 spørsmål som studenten tidligere har fått men har svart feil på, så 5 spørsmål hvor eksterne stimuli som for eksempel bilde/lyd/video benyttes som del av spørsmålet, og til slutt 10 tilfeldige spørsmål fra hele fagområdet "programmering". Tenk om læreren kunne sette opp slike tester på 1 minutt!!! Evt. la studentene selv angi kriterier og få en automatisk generert test på sparket...
Det må være mulig å slette valgt alternativ fra ethvert spørsmål. I mange systemer er det slik at når en radioknapp velges, så har man valgt. Da er det for sent å snu om og svare "blankt".
Mulighet for å abonnere på varsling per e-post av ulik grad, for eksempel når noen har tatt en test som må rettes manuelt. Først da sikres effektivitet og rask tilbakemelding. Også RSS-varsling bør vurderes.
Mulighet for å sette opp at resultatet/tilbakemeldingen vises først når en har oppnådd en viss poenggrense. Dette er helt nødvendig i forbindelse med formativt bruk (tipset tilhører kollega Geir M). I for eksempel it´s learning kan en vise tilbakemelding, men da vises denne uansett poengsum.
I tillegg bør en kunne angi at ulike tilbakemeldinger skal vises ved ulike poengsummer, på en enkel måte. Typisk: Hvis studenten har mindre enn 50%, gis en tilbakemelding, med anbefaling om nyttig lærestoff å jobbe med. Mellom 50% og 75% fører til en annen tilbakemelding, mens over 75% gir en tredje tilbakemelding. Tilbakemeldingene kan selvsagt inneholde tekst, lenker og ressurser.
Mulighet for læreren å generere utvidede løsningsforslag med kommentarer til spørsmålene, som aktiveres på bestemt tidspunkt/etter oppfylte kriterier
Enda bedre statistikk og rapporter. Detaljer er viktige. Trender er informative. God statistikk er selvsagt en viktig forutsetning for kvalitet og analyse i ettertid.
Kontroll er et nøkkelord - læreren må kunne forutse resultatet av sine innstillinger. Forhåndsvisning og demo-kjøringer som viser konsekvensen av nåværende innstillinger er viktige.
Mulighet for å kjøre en test-simulering. Typisk: Verktøyet fyller automatisk ut noen svar helt tilfeldig, og læreren kan se på besvarelsene og statistikken. Slik kan læreren lettere oppdage om det er noe i testen som kan forbedres. En slik generering av resultatsett kan også være nyttig i forbindelse med utprøving og testing av nye spørsmålstyper.
Kommentar-modus: Hva om en vil ha eksplisitte tilbakemeldinger fra studenter på kvaliteten på spørsmålene, eller vil gi mulighet til å utdype svarene sine med fritekst? Da kan misforståelser fanges opp, og spørsmålene kan mye lettere forbedres i forkant av neste runde. Egentlig er dette en essensiell funksjon for kvalitetsbevisste lærere, og den kan også gi bedre læring i forbindelse med formative tester (det å måtte begrunne sitt svar er smart, også for en flervalgsbasert test)
Mulighet for å åpne opp digitale tester opp for omverdenen. Hvorfor skal bare studenter/elever som tar et fag, få ta en test?
Transformasjon av spørsmål. Det å lage spørsmål med for eksempel 2 alternativer, er vel og bra. Disse gir også et godt grunnlag for å lage nye spørsmål med for eksempel 3 alternativer. Hvordan kan det gjøres på en enkel måte? Jo, en kan ta utgangspunkt i andre spørsmålstyper og transformere til nye spørsmålstyper...
Distraktør-tipset: Svein Magne Sirnes har skrevet en bok om flervalgsprøver. Der har han et interessant tips: Ved å kjøre et spørsmål som fritekst, fanger en opp noen svar som er riktige, men også en del gale svar. De svarene som er gale og som går igjen, vil naturlig nok være gode distraktører (altså alternativer som er gale) i et flervalgsspørsmål. Oppgaven med å lage gode spørsmål kan derfor behjelpes ved å først kjøre testen som fritekst, og så plukke ut gale svar og gjøre disse om til et flervalgsspørsmål. Dette bør et skikkelig testverktøy ha støtte for...
Optisk lesing: Det er en fordel om en kan lage tester digitalt, la studentene ta testene fysisk på papir, og så scanne inn svarark og lese disse optisk for automatisk retting og etterbehandling igjen (puh). Støtte for optisk lesing integreres i DigiTEST sommeren 2008.
Eget grensesnitt hvor studentene kan lage sine egne tester. Det er enorm læring i å lage egne tester, og det gir også læreren et fint utgangspunkt til å bruke slike spørsmål i egne tester...
Opplasting og enkel administrasjon av ressurser/filer som knyttes til spørsmål (for å lett kunne stille spørsmål på høyere nivåer i Bloom's taksonomi).
Bruk av hint på en smart måte, passer bra for formativt bruk. Typisk: Totalt 3 hint tilgjengelig på denne testen, alle spørsmål har hint, men bare 3 kan brukes. Eller: Du mister ett poeng for hvert hint du bruker, men kan bruke hint på alle spørsmål hvor det står "bruk hint".
Kategorisering av spørsmål (for å si at vanskelige spørsmål gir 3 poeng) er naturlig, men hva med tagging? Hvordan skal læreren finne fram i en bank på 1000 spørsmål? Tagging er et viktig redskap i mange Web 2.0-teknologier, og kan passe bra også i en spørsmålsbank?
QTI/IMS import og eksport (Question and Test Interoperability) slik at en kan ta spørsmål inn og ut mellom ulike systemer.
Jeg har enda flere forslag og ønsker, men vil ikke avsløre alt på en gang...
Kan du bruke dette? Jeg har brukt en Creative Commons lisens som på norsk heter "Navngivelse-Ikkekommersiell-Del på samme vilkår", og du står dermed fritt til å bruke ressursene i henhold til denne CC-lisensen: This work by Svend Andreas Horgen is licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 Norway License. I korte trekk går det ut på at du kan bruke denne ressursen selv, spre til andre og til og med endre/videreutvikle hvis du vil det. Betingelsen er at du skal opplyse at dette originalt er laget av Svend Andreas Horgen, og henvise til denne siden: http://iie.ntnu.no/~svendand/FoU/
Jeg har laget en del ressurser som kan være nyttig for lærere og andre som jobber med digitale tester. Du vil se både digitale tester som du kan laste inn i LMS-systemet ditt, annet nyttig stoff knyttet til digitale tester og liknende.
Forstå digitale tester
Cheat Sheet - Jukseark over spørmsålstyper i testverktøyet i it´s learning med tips og konkrete eksempler. Utskriftsvennlig (2 A4-ark).
Eksempel på oppgavetekst der studentene skal lage sin egen test.
Temahefte på 40 A4-sider: Pedagogisk bruk av digitale tester skrevet i forbindelse med et internt HiST-prosjekt (IT-Ped, 2007-2008).
Disse kan du importere inn i it´s learning. Bilder, spørsmålstekst, alternativer og riktig svar skal bli med, siden all informasjonen ligger i en rekke xml-filer inne i zip-filene. (Det er mulig du kan importere inn i Fronter, men det har jeg ikke prøvd). Gjør slik for å importere inn i it´s learning: Lag en ny test, gå til arkfanen "spørsmål" og velg "importer" og velg "IMS QTI". Da kan du laste opp ønsket zip-fil.
Merk: Dersom du vil bruke test nr 2, må du først sette opp testen din til å bruke "tilbakemelding på alternativnivå" (og i tillegg ha navigasjon "kun fremover") før du importerer zip-filen.
Film om å eksportere
Det tar tid å lage digitale tester (flervalgstester). Det gir mening å dele det en har laget med andre. Mange testverktøy følger en standard som heter IMS/QTI og som gjør det mulig å eksportere tester ut av et verktøy og inn i et annet. Filmen viser hvordan en test kan tas ut fra en site i it´s learning og inn i en annen site, slik at lærere kan samarbeide og dele på tvers av institusjoner. I tillegg forklares hva zip-filen som brukes under eksporten inneholder, det vil si hvordan QTI standarden fungerer overordnet.
Foredrag
Se eksempel på foredrag lenger nede på denne siden (seksjonen om kurs og seksjonen om vitenskapelige presentasjoner).
Her er en oversikt over kurs, konferansebidrag og relevante arbeider for å spre kunnskap om digitale tester. Kurs holdes i regi av forskningsstiftelsen TISIP. Vil du ha kurs, så bare ta kontakt.
04. juni 2014: Webinar for HiST, ca 25 deltakere.
29. okt 2013: Foredrag om digitale tester på Begeistringskonferansen for Vestfold Fylkeskommune, i Larvik. Ca 75 tilhørere.
19. sep 2013: Foredrag om digitale tester nettbasert (2 timer) for Austevoll maritime fagskole. Ca 30 tilhørere.
15. mars 2012: Foredrag om digitale tester i parallellsesjon (1 time) på konferansen "Dei gode døma" i Bergen/Flesland. Holdt også sesjon om vurdering sammen med Bjørn Helge Græsli senere på dagen.
26. januar 2012: Pedagogisk bruk av digitale testar - og bruk av digitale testar i LMS. Samling i Oslo i regi av NDLA (2 timer i plenum).
16. mars 2011: Automatisert medstudentvurdering. NVU-konferansen 2011, Steinkjer (20 min i plenum, egentlig ikke om digitale tester men vurdering generelt).
3. februar 2011: Digitale tester (for innlæring, for repetisjon, som arbeidskrav, studentgenererte). Tilbakemelding, PLEAZZE, Oslo (30 min i plenum).
1. juni 2010: Parallellsesjon om formativ bruk av digitale tester på BI sin inspirasjonsdag i Oslo (1 time).
20. mai 2010: I dybden på digitale tester (gode spørsmål og formativt bruk) for Sandvika vgs. ca 3 timer. Ca 20 deltakere.
8. apr 2010: Foredrag om digitale tester i parallellsesjon (1,5 time) på konferansen "Dei gode døma" i Bergen/Flesland.
4. jan 2010: Heldagskurs om klasseledelse med vekt på vurdering (digitale tester). Teori, praktisk økt og diskusjon. Trysil vgs. Ca 40 deltakere.
22. sep 2009: Heldagskurs om digitale tester, Hordaland fylkeskommune. Ca 30 deltakere.
19. jun 2009: Deler av en 3 timer lang økt om LMS handlet om digitale tester. Universitetet i Stavanger.
22. apr 2009: 1 time foredrag om "Digitale testar", Lærande Nettverk og Digitalt Skulesamarbeid i Sogn og Fjordane.
24. mar 2009: 3 timer (del 2 av heldagskurs) for lærere om "Pedagogisk bruk av it´s learning", Steinkjer. ca 20 deltakere. Del 1 handlet om pedagogisk bruk av it´s learning.
11. feb 2009: 3 timersøkt om digitale tester i teori og praksis på Kongsbergkonferansen 2009, Kongsberg (deltok i 2 sammenhengende parallellsesjoner).
29. jan 2009: Halvdagsseminar om pedagogisk bruk av bruk av digitale tester, superbrukere i Bergensområdet.
5. jan 2009: Heldagsseminar om pedagogisk bruk av digitale tester, Oppegård vgs. Ca 45 deltakere.
24. nov 2008: Foredrag om pedagogisk bruk av digitale tester, NLM-konferanse på Gardermoen. Ca 50 tilhørere.
11. nov 2008: 2,5 timer om bruk av digitale tester, Lærende nettverk i Bergen. Ca 25 deltakere.
14. okt 2008: 2 timer om bruk av digitale tester, IKT-forum i Drammen. Ca 75 deltakere.
14. aug 2008: Heldagsseminar om bruk av digitale tester, Nadderud vgs. Ca 45 deltakere.
10. jun 2008: Heldagskurs med teori og praksis, Gardermoen. ca 20 deltakere (samarbeid mellom TISIP og it´s learning). Last ned presentasjonen.
8. apr 2008: Pedagogisk bruk av tester - plenumsforedrag på it´s learning sin brukerkonferanse i Bergen. Ledet workshop (2,5 timer) for høgere utdanning.
Paperet "Pedagogical use of multiple choice tests - students create their own tests". Akseptert til konferansen "Informatics Education Europe II Conference - ACM", etter blind review. 29-30 November 2007, Thessaloniki, Hellas.
Presentasjon i Thessaloniki som PDF.
Fullstendig paper (7 sider). Publisert i "Proceedings of IEEII 2007", side 386-392. ISBN 978-960-89629-3-4 (tilgjengelig på web).
Se evt. abstract (3 sider)
8. mai 2006: Presentasjon av EVATEST på Knytkalaset under den store nordiske konferansen Netlearning 2006 (Ronneby, Sverige) Abstract (Jarle Larsen)
Presentasjon under Knytkalaset: kl 10-12 (Greta Hjertø, Jarle Larsen, Svend Andreas Horgen)
2. des 2005: EDUCA 2005 (verdens største e-læringskonferanse, Berlin, Tyskland, 30.nov-2.des 2005) Improving the Quality of Online Tests and Assessments (Presentert av Svend Andreas Horgen) Abstract - "call for paper" sendt inn mars 2005, akseptert juli 2005. Publisert på side 338-341 i "Book of Abstracts": ISBN: 3-9808909-9-6
Kan du bruke dette? Jeg har brukt en Creative Commons lisens som på norsk heter "Navngivelse-Ikkekommersiell-Del på samme vilkår", og du står dermed fritt til å bruke ressursene i henhold til denne CC-lisensen: This work by Svend Andreas Horgen is licensed under a Creative Commons Attribution-Noncommercial-Share Alike 3.0 Norway License. I korte trekk går det ut på at du kan bruke denne ressursen selv, spre til andre og til og med endre/videreutvikle hvis du vil det. Betingelsen er at du skal opplyse at dette originalt er laget av Svend Andreas Horgen, og henvise til denne siden: http://iie.ntnu.no/~svendand/FoU/