Bacheloroppgave 2018
Studium: Dataingeniør

Tittel - norsk: Gjenkjenning av håndskrevne matematiske symboler og uttrykk Tittel - engelsk: Recognition of handwritten mathematical symbols and expressions			Oppgave nr.: 10
Oppgavestiller: NTNU, Institutt for lærerutdanning
	Kontaktperson: Trygve Solstad, Hermund Torkildsen, Tore Forbregd
	Telefon: 73412594; 73412778	E-postadresse: trygve.solstad@ntnu.no; hermund.a.torkildsen@ntnu.no; tore.a.forbregd@ntnu.no
	Postadresse: Institutt for lærerutdanning, NTNU, 7491, Trondheim
Studenter: Even Dalen, Håvard Langdal, Torkil Solheim
Veileder ved NTNU: Ole Christian Eidheim
Sammendrag: I denne oppgaven utforsket vi forskjellige tilnærminger for å gjenkjenne håndskrevne matematiske symboler og uttrykk. Å tolke forskjellige håndskrifter har historisk sett vært en vanskelig oppgave, men har i de siste årene blitt lettere å utforske på grunn av forbedringer i maskinvare og programvare for maskinlæring. Hensikten med oppgaven er å lage en modul som kan tolke matematiske tegn og uttrykk. Vi har laget et eksempelsystem som viser hvordan vår modul kan integreres inn i et uavhengig system. Kombinert tilbyr vår modul og dette eksempelsystemet nødvendig funksjonalitet spesifisert av oppgaven. Gjennom vårt arbeid har vi utforsket metoder for hvordan vi best kan behandle dataen både før og etter klassifisering. Arbeidet kan grovt deles inn i to deler, der den ene ser på bildedata (med konvolusjonelle nettverk), mens den andre ser på sekvensiell data (med tilbakevendende nettverk). En kombinasjon av begge metoder ga det beste resultatet og er brukt i den endelige modellen. Abstract in English: In this thesis we researched different approaches for recognizing handwritten mathematical symbols and expressions. Interpreting different typographic styles has historically been a challenging task, however, recent improvements in both hardware and software for machine learning have made the task more approachable. The purpose of the assignment was to create a module which interprets mathematical symbols and expressions. We created an example system to display how our module can be integrated into an independent system. Combined, the module and example system provide the complete functionality as specified by our project owners. Through our research, we explored different methods in pre- and post-processing of digital handwriting in order to best classify mathematical expressions. Our two approaches were to process drawings into images (using convolutional networks) and interpreting raw trace data (using recurrent networks). The combination of both approaches gave the best result and is the architecture used in our final model.
Når ikke annet er avtalt, eier studenter selv den IPR (immaterielle rettigheter) de skaper som en del av studier/studieopphold ved IDI Anvendt Informasjonsteknologi (AIT). Alle resultater er åpent tilgjengelig. Opphavsretten reguleres av Åndsverksloven. Avtaler som inngås mellom IDI AIT og studenter skal som minimum sikre instituttet rett til å bruke generert IPR til utdannings- og forskningsformål. IDI AIT skal også motta en vurderingskopi av arbeidet inkludert eventuell kildekode. Marker med kryss det som gjelder denne oppgaven:
	Normalsituasjonen: Studentene har selv alle rettigheter knyttet til resultatet fra bacheloroppgaven, med de unntak som er beskrevet over.
	Oppdragsgiveren har rettighetene og kan utnytte produktet kommersielt og videreutvikle produktet/metoden. Instituttet vil ikke utnytte produktet kommersielt, men vil kunne arbeide videre med den grunnlagskompetansen som er vunnet gjennom prosjektet, som beskrevet over.
X	Resultatene fra arbeidet legges ut som OpenSource iht lisens MIT (Se http://creativecommons.no/lisenser og https://opensource.org/licenses/MIT).
	Bacheloroppgaven (det skriftlige arbeidet) skal være undergitt utsatt offentliggjøring i ____ (maks 3) år.