Tekoäly tunnistaa kuvia osa 3: Everypixel tunnistaa mainiosti

Microsoft, Google ja Apple tunnistavat kuvia muiden lisätoimintoina. Entä yritys, joka on erikoistunut valokuvien tunnistamiseen (ja jopa kuvan hienouden arviointiin, mutta siitä toisessa kirjoituksessa)?

Everypixel on kehittänyt kuvantunnistusta esimerkiksi kuvapankkien käyttöön. Koneellinen arviointi säästää aikaa ja auttaa ohittamaan huonoimmat kuvat.

Sivulla https://www.everypixel.com/aesthetics on palvelu, johon voi lähettää omia kuvia sen analysoitavaksi. Peruskuva ei tuota palvelulle ongelmia:

Everypixel tunnistaa jopa koiran rodun.

Toisella sivulla nähdään kunkin luokituksen varmuustaso:

Luokitusten varmuustaso: 98 % varmuudella tämä on koira.

Luokitukset ovat lähes kaikki oikeita, tosin koira ei varsinaisesti ole pentu (22 %) eikä istu (23 %). Everypixel tunnistaa koiran jopa pelkästä kirsusta (varmuus 92 %):

Kirsu paljastaa koiran.

Silmä riittää jopa rodun tunnistamiseen:

Silmä paljastaa koiran ja jopa noutajan.

Toinen käännettyjen palojen testikuva on ohjelmalle liikaa, mutta toinen samantapainen riitti tunnistukseen. Tässä se epäonnistunut versio:

Mikä tässä on kirjekuorta ja bisnestä?

16 ruudun palapeli ei hämää tunnistusta:

Koira 16 palassa.

36 palasta tunnistetaan vielä koira, mutta 49 palaa on jo tekoälyllekin liikaa:

Eläin ja lemmikki se on, mutta muusta ei ole tietoa.

Silmien ja kirsun peittäminen tuottaa yllättäviä tuloksia:

Nyt menee liian vaikeaksi!

Tekoälyn mielestä kuvassa on kyllä koira, mutta se taitaa olla pelkkä arvaus, sillä muut luokitukset ovat internet (!), länsimainen valkoihoinen ihminen, ihmiskäsi, miehet sekä terveydenhuolto ja lääkitys.

Rodun tunnistus on yllättävän hyvä:

German Shepherd - yes!

Hieman yllättäviä luokituksia ovat kodittomuus ja koditon eläin. Tätä koiraa ei liioin voi sanoa enää pennuksi.

Tunnistus yllättää pomeraanin kohdalla:

Pomeranian - indeed!

Osumatarkkuus ei kuitenkaan ole ihan niin hyvä kuin aluksi vaikuttaa, sillä myös toinen koira tuottaa saman tuloksen:

Tämä ei kylläkään ole pomeraani.

Everypixel osoittaa, että parhaimmillaan tekoälyn tunnistuskyky yllättää -- mutta silti taustalta paistaa tekoälyn matematiikka, eikä virheiltä voida välttyä. 

Tekoäly tunnistaa kuvia osa 2: Google Photos ja Apple

Google Photos ja Applen Kuvat -palvelu tunnistavat kuvien sisältöä, joten kuvien haku onnistuu vaikka ei olisi nimennyt kuviaan eikä kirjoittanut niihin metatietoja. Kuvantunnistus on tullut palveluihin kuin varkain, eivätkä kaikki ole edes huomanneet koko hienoa ominaisuutta.

Googlen palvelussa on vain hakukenttä, johon haettava termi kirjoitetaan. Olin ladannut Googlen ja Applen palveluihin kasan vanhoja valokuvia ja ihmettelin, kun Google löysi kuvia ällistyttävän tehokkaasti. Vasta sitten huomasin, että haku kohdistuu automaattisesti myös avainsanoihin, tiedostonimiin ja jpeg-tiedostojen sisään kirjoitettuihin otsikoihin, joten testin koirakuvat piti tyhjentää ensin metadatasta ja lähettää sen jälkeen uudelleen.

Google tunnisti ongelmitta kaikki helpot koirakuvat.

Näyttävät koirilta ja ovatkin.

Testisarjan muokatut kuvat tuottivat tällaisen tuloksen:

Nämä kaikki näyttävät koirilta.

Googlen tekoäly tunnisti neliömäiset palapelit, mutta ei käännettyjä paloja, pelkkää kirsua tai silmää eikä kuvaa, missä silmät oli peitetty kirsun lisäksi. Myös kohinalla ja tahallisella epäterävyydellä muokatut koirakuvat tunnistuivat oikein.

Googlen sanavarastossa on myös termi koiranpentu, joka tuotti välillä yllättäviä tuloksia. Koira tulkittiin pennuksi koosta riippumatta, kunhan sen asento oli leikkisä (vrt. viimeinen kuva):

Koiranpentu on oma hakusanansa.

Ilmeisesti kuvantunnistus toimii pilvessä taustalla, koska tunnistus alkoi toimia jopa vuorokausien viiveellä ja edellytti myös selaimen ikkunan sulkemista. Tuloksena oli paljon muitakin havaintoja, mutta niistä ehkä toisessa kirjoituksessa.

Applen vastaava toiminto on testaamisen kannalta helpompi, koska iPhonen Kuvat-sovellus erottelee tulokset kriteerin mukaan: sijaintitiedot, tiedostonimet, kuviin itse lisätyt avainsanat sekä tekoälyn antama luokitus (kategorita) erottuvat tuloksista helposti. Kuvat antaa myös listan tunnistamistaan samantyyppisistä kategorioista, mistä voi olla hyötyä haun määrittelyssä.

Yllättäen haku antoi erilaisia tuloksia Mac Air -läppärillä ja iPhone 11 Pro -puhelimella. Windowsin selaimella iCloudin Kuvat antaa selata kuvia, mutta siinä ei ole hakutoimintoa lainkaan. Erillinen Windows iCloud-sovellus saattaisi näin tehdä, sitä en kokeillut.

Macissä hakukenttään kirjoitettu kissa näyttää joukon automaattisen luokittelun kategorioita:

Kissa-aiheisia kategorioita.

Jostain syystä monet kategoriat ovat suomen taivutusmuodoissa ("Kissaeläimen"), mikä kertoo jonkinlaisesta konekäännöksestä.

Kuvassa alkaa varmaan kiinnostaa, mikä on se yksi kissa, joka ei kuulu Kissaeläimen kategoriaan. Se paljastuu vertailemalla hakutuloksia keskenään. Ensin Kissa:

Kissa-haun tulokset.

Ja sitten Kissaeläimen:

Yksi kuva enemmän.

Kahdesta lähes identtisestä kissakuvasta vain toinen on luokiteltu kissaksi, molemmat kissaeläimiksi. Tutkimattomia ovat tekoälyn tiet.

Koira-haku antaa tällaisen tuloksen:

Macin koira-hakusana.

Tuloksia on vähemmän kuin Googlen listassa. Ensimmäinen kuva näyttää koiralta, mutta on itse asiassa vuohi. Palapelikuvia algoritmi ei tunnista lainkaan.

iPhonessa haku antaa erilaisia tuloksia. Teksti "indeksoidaan" näkyi sinnikäästi kuvien alareunassa, joten ilmeisesti hakutoiminto analysoi kuvat paikallisesti eikä pilvessä. Sellainen ratkaisu tuntuu oudolta.

Kissaeläin-haku antaa tällaisia tuloksia:

Kissaeläimet iPhonessa.

Myös koira-haun tulokset ovat erilaiset kuin Mac Air -koneessa.

Koiratulosten alku.

Listan lopusta löytyvät tutut testikuvat, myös 4x4 ruudukko (mutta ei isompia).

Koiratulosten loppu.

Tekoälyhaku toimii niin hyvin, että siitä on aidosti hyötyä. Joskus tulokset suorastaan yllättävät. Kannattaa kokeilla, millaisia tuloksia omasta kuva-arkistosta löytyy!

Seuraavassa kirjoituksessa kokeilussa parempi analysoija.

Bixby-kuvahaku on vielä lelu

Uudessa Samsung S8 -puhelimessa tulee olemaan Bixby-niminen assistentti, joka vastaa Applen Siriä ja Microsoftin Cortanaa. Bixby ei kuitenkaan valmistunut ajoissa, joten uusissa S8-puhelimessa on vasta sen kuvahakuja tekevä versio.

Kamerasovelluksesta pääsee helposti kuvahakuun, jossa Bixby etsii kuvasta tunnistettavia elementtejä.

Bixby ja Geisha

Bixby löytää Pinterest-sivuilta samantapaisia kuvia, mutta ne eivät kerro itse Geishasta mitään. Suklaapatukka on helpompi tunnistaa:

Tupla muistuttaa kansainvälisiä suklaapatukoita.

Pinterestistä löytyy mm. Snickers-patukka. Ei kovin hyödyllistä tämäkään. Kokeillaanpa kukkia, joiden tunnistaminen suomalaiselle perusmiehelle olisi vaikeaa:

Bixby ei tunnista orvokkia.

Bixby löytää kukkia, mutta ei tunnista kohdetta orvokiksi. No, Volkswagenin logo on ainakin helppo löytää, etenkin kun tunnistusta vielä autetaan rajaamalla sormella näytöltä kohteen alue:

Bingo - se on Volkswagen!

Tulosikkunassa näkyy muitakin kategorioita, kuten seinäkelloja:

Volkswagen ja seinäkellot.

Espresso House -kahvilan logo ei osu lainkaan:

Olisiko tämä spiraali?

Jos Bixby tunnistaa kuvasta tekstiä, se erottelee tekstin ja tarvittaessa lähettää sen käännettäväksi Googlelle. Ei mitään uutta tässä, Googlen oma kääntäjä tekee ihan saman. Itse asiassa Googlen kuvahaku toimi vähintään yhtä hyvin iPhone 4-mallissa jo vuonna 2011.

Mutta on sentään jotain, missä Bixbystä on hyötyä: viinipullot. Pikainen testi Alkossa todisti Bixbyn olevan melkoinen sommelier. Pullot eivät kuitenkaan saa olla rivissä vierekkäin, vaan haluttu kohde pitää ottaa erilleen muista -- ja silloin Bixby tarjoaa kuvan ja tekstin lisäksi myös Viini-vaihtoehdon:

Tämähän on viiniä.

Bixby hakee tietoja ko. viinistä:

Viinitiedot tulevat Vivino -nettipalvelusta.

Toisessa, kalliimman viinin esimerkissä näkyy tietojen loppupää:

Tämä viini on Top 10 % -joukossa.

Kuvailutekstit ovat melko suppeita ja englanninkielisiä, vaikka väliotsikot ovatkin suomeksi. Suora haku Alkon nettisivulta antaisi suomalaiselle ostajalle paremmat taustatiedot.

Kokeilujen perusteella Bixbyn kuvahaku on vielä lelu-asteella. Kehitys on kuitenkin nopeaa ja Google esitteli juuri omaa Google Lens -hakua, jonka pitäisi olla huomattavasti kehittyneempi. Palataan asiaan, kun se on kenen tahansa kokeiltavissa.