Mis lendab, aga ei ole lind – tehisintellekt näeb ja teab
#000000
Muinsuskaitseamet on üks Eesti kultuuriasutustest, kes krattide rakendamisel olulist kasu näeb. Eelmisel aastal tegi STACC koos ametiga museaalide säilitamise krati Sälli (loe lähemalt siit), kus andmeteadlaste poolt loodud tehisintellekt aitab muuseumite töötajatel jälgida vanu esemeid, mille eest peab säilimiseks erilist hoolt kandma. Eduka koostöö jätkuna käivitati museaalide kirjeldamise kratt Folli prototüübi arendus.
#000002
Muinsuskaitseameti soov oli automatiseerida digitaalsete objektide kirjeldamist läbi pildituvastustehnoloogiate ja tõsta seeläbi ka museaalide kirjelduste kvaliteeti.
#000004
Muuseumide infosüsteemiga MuIS töötab ligikaudu 200 inimest, kes tegelevad igapäevaselt museaalide kirjeldamisega. Kirjeldatakse nii uusi sissetulevaid museaale, kui retrospektiivselt juba ammu muuseumikogusse võetud museaale. MuISi andmebaasi on jõutud kanda 3,7 miljoni museaali kirjeldused, millest üle 1 miljoni on varustatud kujutisega.
#000005
Päevas suudab üks inimene kirjeldada maksimaalselt 20-30 museaali. Näiteks 2019. aastal jõuti 60 muuseumis kirjeldada 214 000 museaali. Samas on kirjelduste kvaliteet ebaühtlane ja see raskendab kultuuripärandi laialdast kasutamist.
#000006
Digitaalarhiivi DIGAR lisandub aastas keskmiselt 1 milj. lehekülge digitaalset ainest. See sisaldab hulgaliselt pildimaterjali, mida hetkel pildi tasemel ei kirjeldata ja ei ole kasutajale seeläbi üldse kontekstist lähtuvalt otsitav.
#000007
Kuidas saab kratiga museaale kirjeldada?
#000008
Kratiprojekti jooksul testisid STACCi andmeteadlased mitmeid masinnägemise lahendusi muuseumide pildikogude peal, et leida mudelid, mida on antud kontekstis mõistlik rakendada. Masinnägemine on hetkel väga kiiresti arenev tehisintellekti valdkond, mis keskendub piltide analüüsile ja nendest kasuliku info eraldamisele. Masinnägemise meetodid võimaldavad pildikogudele läheneda erinevatest vaatenurkadest. Näiteks on võimalik automaatselt ära määrata ära pildi tüüp (kas tegemist on foto, maali, postkaardi, dokumendi või millegi muuga), tuvastada ära pildil leiduvad objektid, maastik ja inimesed ning lugeda välja pildil leiduvad tekstid. Enamasti tuleb iga nimetatud ülesande jaoks erinevat tehisintellekti mudelit kasutada. Kui kombineerida kokku hulk selliseid mudelid, ongi võimalik ehitada kratt, mis suudab väga mitmekülgselt muuseumide kogusid kirjeldada.
#000009
Folli ennustab objekte ja asukohti
#000010
Folli projekti käigus testiti erinevaid segmenteerimismudeleid. Segmenteerimismudel analüüsib pilti ja proovib ennustada pildi igale pikslile sobivat kategooriat (mida see piksel kujutab?). Seega aitab mudel määrata MIS on pildil ja KUS see asub. Joonisel 1 on näide segmenteerimismudeli tehtud ennustustest. On näha, et mudel suudab päris hästi ära tunda pildi põhielemendid: inimesed, taevas, hooned ja loodus. Siiski tuleb arvestada, et ka tehisintellekt on oma võimetelt piiratud ja võib teha vigu. Joonisel 2 on pilt Russalkast, kus kuju tiibade tõttu määrab tehisintellekt selle 59% tõenäosusega linnuks. Seetõttu on väga oluline, et inimesed tehisintellekti ennustusi hindavad ja tõlgendavad. Ilma järelkontrollita ei saa sellist tööd veel täielikult robotitele usaldada.
#000011
Joonis 1. Näide tõhusast segmenteerimisest – taevas, hooned, taimed, inimesed jms on kõrge täpsusastmega eristatud.
#000012
Folli projekti teiseks eksperimendiks oli piltide sorteerimine ja klasterdamine. Sorteerimismudelile anti ülesanne analüüsida korraga tervet pildikogu ja paigutada visuaalselt sarnased pildid ühte gruppi ning sarnased grupid lähestikku. Peale sorteerimist moodustas mudel kõikidest piltidest suure “pildipilve”. Tegemist on põneva viisiga, kuidas suuri pildikogusid visualiseerida ja kategoriseerida. Joonisel 3 on näide, kus Ajaloomuuseumi kogusid uurides on mudel kokku viinud pildid tsepeliinidest ja joonisel 4 grupp jõulukaartidega Digitaalarhiivi kogust. Kuna mudel ise otsustab, mida kokku sorteerida ja mida mitte, siis ei tea kunagi täpselt, millised pildiklastrid moodustavad. Huvitav näide on pildil 5, kus mudel on otsustanud kokku panna pildid suuskadest, aialippidest, hauakividest ja rivis seisvatest sõduritest. Tõenäoliselt leidis mudel, et kõigil nendel piltidel esinevad korduvad vertikaalsed elemendid (rivi).
#000014
Joonis 3. Lendab, aga ei ole lind? Folli klasterdab sisu järgi – pildid on andmebaasis käsitsi tähistatud, kui tseppeliin, tsepeliin, õhulaev, Graf Zeppelin jne., mis teeb täieliku ülevaate saamise keeruliseks.
#000015
Leheküljel saab ise uurida ühte sellist pildipilve, kus on üle 250 000 pildi, mis on kokku kogutud erinevate muuseumite pildikogudest. Vaata, milliseid ühisjooni klastrites leiad?
#000018
Müra eristamine väärtuslikest andmetest ilma andmeteadlaste abita muutub üha raskemaks. STACC on aastate jooksul teinud edukaid koostööprojekte nii riigi- kui erasektoriga suurettevõtetest iduettevõteteni. Lahenduste otsimine probleemidele ja uute võimaluste leidmine väga erinevates valdkondades on meie andmeteadlaste kirg.
#000020