Slik utviklet vi en maskinlæringsmodell med bildegjenkjenning for Landbruksdirektoratet

Snart lanserer Landbruksdirektoratet (Ldir) endelig et nytt elektronisk og digitalt reinmerkeregister, hvilket er høyt etterspurt av brukerne. Utviklingen av produktet er det Visma Consulting som står for. Visma har en stor gruppe med utviklere hos Ldir som jobber med ulike prosjekter. Dette prosjektet har vært utviklet av  sommerstudenter, nyutdannede og en prosjektgruppe som jobber fast hos Ldir. 

I denne artikkelen kan du lese mer om hvordan tre nyutdannede fra traineeprogrammet Nytt Krutt jobbet på intensivprosjektet “Bildgjenkjenning av reinmerker” i fem uker før produktet ble sendt videre til den faste prosjektgruppen på Ldir. I prosjektet har de sett på hvordan man kan gjenkjenne eiere av reinsdyr ved hjelp av å bruke maskinlæring på øremerker. 

Sjekk ut hva vi jobber med hos Landbruksdirektoratet her. 

Bildegjenkjenning av reinmerker

Det er en tradisjonsrik prosess å merke reinsdyr ved å skåre snitt i reinsdyrører for å identifisere reineier. Hver reineier har nemlig sitt eget øremerke som alle hans/hennes rein merkes med. Ettersom det finnes tusener av ulike øremerker og mange ligner, er identifisering av reinmerker i dag en tungvint prosess. Derfor så Visma på muligheten for å gjøre denne identifiseringen mye enklere for alle parter. 

Prosjektet startet som et sommerprosjekt for seks sommerstudenter hvor hovedmålet var å detektere eiere av reinsdyrører ved hjelp av maskinlæring. I løpet av bare seks uker hadde studentene allerede utviklet en nettside hvor man enten kunne laste opp bilde av reinsdyrørene eller tegne rett inn i nettsiden, for deretter å få opp en resultatliste med mulige eiere. 

Høres det spennende ut å jobbe med slike prosjekter? Vi ser etter flere nyutdannende IT-konsulenter. 

Bildene under viser noe av det som ble utviklet de seks ukene. Først kan man velge om man har ett eller begge ørene å søke på. Deretter kan du velge om du vil tegne direkte i nettsiden eller laste opp et bilde. Etter å ha tegnet/lastet opp bildet trykker man søk og får opp en liste med resultater. Resultatlisten kan også filtreres på diverse parametere. 

Dessverre går seks uker fort, og produktet ble ikke helt leveringsklart. Da var det fint at tre nyansatte i NK-21 kunne ta opp arbeidet og jobbe intensivt med det i fem uker. Hovedmålet med disse fem ukene var å generere mer data som kunne brukes i maskinlæringsmodellen ettersom mengden data av øremerker fra før var begrenset. 

Først ble pix2pix Generative adversarial networks (GAN) utforsket som en mulighet for å produsere mer data, men resultatet ble dessverre ikke godt nok. 

Etter et kjekt tips fra en kollega endte de nyutdannede IT-konsulentene opp med å bruke processing for å generere mer data ut fra allerede eksisterende data. Dette ble da brukt til å finne hvor i bildet snittene befant seg ved å sammenligne med et øremerke uten snitt. Disse områdene ble markert i rødt (1) og man kunne da videre finne de områdene som kun hadde røde eller hvite naboer og fjerne disse pikslene (2). Da sitter man igjen med en rød kant langsmed hele øret og man kunne videre finne hvor alle snittene startet og sluttet (3) og til slutt lage flere utgaver av et slikt bilde ved å kun gi alle punktene en viss grad av tilfeldighet for hvor de tegnes (4). 

Etter datagenerering med processing ble det til slutt over 1 million bilder, og dermed mer enn nok data for å trene opp nye maskinlæringsmodeller. Det beste resultatet fikk vi da det ble brukt 200 bilder av hvert øremerke hvor modellen traff blink i 80% av tilfellene og fant korrekt øremerke blant seks mest sannsynlig merker i 93% av tilfellene.

Sjekk ut alle prosjektene vi jobber med hos Landbruksdirektoratet her. 

Teamet fikk prøve ulike roller

Prosjektet var ekstremt lærerikt og spennende ettersom man fikk prøvd seg på veldig mange teknologier og fikk være borti veldig mange ulike roller man kan ha i et utviklingsteam. 

Det ble rotert på hvem som fungerte som prosjektleder og scrum-master, hvem som jobbet med frontend, hvem som jobbet med backend og hvem som jobbet med maskinlæring. Av teknologier ble det brukt gitLab, Jira, java med spring boot, javascript med react redux, Azure blob storage og Azure ML. 

Bilde: Nora Pålsrud, Gaute Lunde og Carina Rutledal fra NK-21 som jobbet på prosjektet:

Demo-presentasjon etter endt intensivprosjekt

Veien videre

Etter endt intensivprosjektperiode fortsatte én av de tre Nytt Krutt’erne fast på prosjekt for Ldir og har siden fått jobbe videre med applikasjonen. På “reinmerke”-prosjektet hos Ldir jobbes det nå både med en PWA (nettside som man kan laste ned og bruke offline) for en innsynsløsning og en nettside for saksbehandlere hvor man kan registrere og søke opp reinmerker. Det er et team på fire utviklere, en UX-designer og en prosjektleder som har det ekstremt hyggelig i lag, og som ser frem til å nyte varmere dager på takterrassen hos Ldir i tiden fremover.