Aivoaallot valjastettiin robottien opettamiseen – näin erikoinen kokeilu toimii

Kalifornialaisessa varastossa kerätään robottien koulutusdataa pelaamalla Jengaa aivoaaltoja mittaava laite päässä. Encordin ja Zander Labsin kokeilussa ei lueta ajatuksia eikä ohjata robottia suoraan mielellä, vaan EEG-signaaleista etsitään videota täydentäviä vihjeitä ihmisen reaktioista.

Kun Andrew Ceja irrottaa puupalikkaa huojuvasta Jenga-tornista, kamera tallentaa hänen näkökenttänsä ja anturit mittaavat samaan aikaan hänen aivojensa sähköistä toimintaa. Tavoitteena on kerätä tietoa, jonka avulla robotit voisivat joskus oppia ihmisen työskentelystä nykyistä enemmän.

Koe järjestetään tekoälyn koulutusdataan erikoistuneen Encordin tiloissa San Leandrossa Kaliforniassa. TechCrunchin mukaan Ceja kuuluu yhtiön robottikouluttajiin, joita Encord kutsuu piloteiksi.

Hankkeen erikoisin osa on saksalaisen neuroteknologiayhtiön Zander Labsin valmistama EEG-laite. Sen avulla Encord yrittää selvittää, voiko ihmisen aivotoiminta tuoda robottien koulutusdataan sellaista tietoa, jota kamerat, liikeanturit ja sanalliset kuvaukset eivät tavoita.

Aivoista etsitään reaktioita, ei kokonaisia ajatuksia

EEG eli elektroenkefalografia mittaa päänahalle asetettujen elektrodien avulla aivojen sähköistä toimintaa. Mittaus on kajoamaton, mutta sen tuottama signaali ei ole selkokielinen selostus ihmisen mielestä.

Käytännössä järjestelmä etsii datasta ennalta opetettuja ja tilannesidonnaisia malleja. Zander Labsin tavoitteena on päätellä niiden avulla esimerkiksi virheen havaitsemista, aikomusta, yllätystä, keskittymistä ja henkistä kuormitusta.

Tätä lähestymistapaa kutsutaan passiiviseksi aivo-tietokonerajapinnaksi. Käyttäjän ei tarvitse tietoisesti antaa koneelle käskyä, vaan järjestelmä pyrkii havaitsemaan tehtävän aikana itsestään syntyviä reaktioita.

Ajatus ei ole täysin uusi. Tutkimuksissa on jo vuosien ajan hyödynnetty virheeseen liittyviä aivovasteita, joita voi syntyä, kun ihminen huomaa oman, toisen ihmisen tai robotin tekemän virheen. Tällaisesta signaalista voidaan rakentaa koneelle epäsuoraa palautetta.

Encordin kokeilussa kyse ei silti ole valmiista tuotteesta tai osoitetusta läpimurrosta. Yhtiöt aikovat ensin rakentaa aivoaalloilla merkittyä aineistoa, käyttää sitä asiakkaiden robottimalleissa ja mitata, parantaako lisätieto todella niiden suorituskykyä.

Pelkkä video näyttää liikkeen mutta ei sen vaikeutta

Fyysisellä tekoälyllä tarkoitetaan järjestelmiä, joiden täytyy havaita ympäristönsä ja toimia siinä. Tällaisia ovat esimerkiksi varastorobotit, humanoidirobotit, kuljetusrobotit ja koneet, joiden pitäisi käsitellä tavallisia esineitä ihmisen kaltaisella joustavuudella.

Kielimallit voitiin kouluttaa valtavilla verkosta kerätyillä teksti- ja kuva-aineistoilla. Robottien kohdalla vastaavaa valmista aineistoa on paljon vähemmän, sillä tarkka fyysinen toiminta pitäisi tallentaa useista kuvakulmista sekä yhdistää liikkeisiin, voimiin, ympäristöön ja tehtävän lopputulokseen.

Ensimmäisen persoonan video voi näyttää, mihin ihminen katsoo ja miten hänen kätensä liikkuvat. Se ei kuitenkaan suoraan kerro, oliko liike helppo, havaitsiko ihminen virheen, epäröikö hän kahden vaihtoehdon välillä tai yllättikö esineen käyttäytyminen hänet.

Aivoaktiivisuuden määrä voisi Zander Labsin neurotieteilijän Lukas Gehrken mukaan auttaa mallien kehittäjiä tunnistamaan vaikeat hetket. Robotti voisi käyttää kevyempää toimintamallia rutiinitehtävään ja ottaa tehokkaamman, enemmän laskentaa vaativan mallin käyttöön silloin, kun tilanne näyttää edellyttävän tarkempaa päättelyä.

Tämä on vielä tavoite, ei osoitettu käytännön hyöty. Ensin pitää todistaa, että mitattu aivosignaali liittyy juuri robotille merkitykselliseen tilanteeseen eikä esimerkiksi koehenkilön liikkeeseen, väsymykseen tai ympäristön häiriöön.

Robotteja koulutetaan kahdenlaisella ihmistyöllä

Encord kerää niin sanottua egosentristä aineistoa työntekijöistä, jotka kuvaavat tehtäviä päässään olevalla kameralla. Tallenteita voidaan täydentää muilla kuvakulmilla ja antureilla, jotta malli näkee mahdollisimman tarkasti, miten ihminen käsittelee esineitä.

Toinen tärkeä aineistolähde syntyy teleoperoinnista eli robotin etäohjauksesta. Yhtiön tiloissa käytetään esimerkiksi kahden robottikäsivarren järjestelmiä, joissa ihminen liikuttaa yhtä käsivartta ja toinen toistaa liikkeen.

TechCrunchin vierailun aikana piloteilla oli tehtävinään muun muassa kahvin kaatamista mukeihin, pokerimerkkien pinoamista sekä verkkokaapelien kytkemistä palvelimen taakse. Arkisilta kuulostavat tehtävät ovat robotille vaikeita, koska pienikin virhe otteessa, voimassa tai asennossa voi kaataa pinon, läikyttää nesteen tai estää liittimen osumisen paikalleen.

Ihmiskäden taitavuus on hankala jäljitellä myös mekaanisesti. Robotin tarttujassa on yleensä vähemmän liikkuvia niveliä ja vähemmän tuntoaistia kuin ihmisen sormissa, joten onnistunut liike vaatii sekä hyvää laitteistoa että tarkkaa tilannetietoa.

Encord kokeilee lisäksi kyynärvarteen kiinnitettäviä antureita, jotka mittaavat lihasten sähköisiä signaaleja. Niiden avulla yhtiö haluaa muodostaa tarkemman kolmiulotteisen kuvan käden asennosta silloinkin, kun kaikki sormet eivät näy videolla.

Tärkein työ voi olla datan selittämistä

Pelkkä tallenne ei vielä kerro tekoälylle, mitä videolla tapahtuu. Siksi Encord lisää aineistoon tiheitä merkintöjä, kuten kuvauksia siitä, että oikea käsi kiristää pulttia tai tarttuja siirtää tietyn esineen paikasta toiseen.

Encordin robottioppimisesta vastaava Vineeth Velmurugan arvioi tällaisen tarkasti kuvaillun aineiston olevan yksittäisten taitojen opetuksessa jopa sata kertaa arvokkaampaa kuin heikosti jäsennelty ensimmäisen persoonan video. Hänen mukaansa sen tuottaminen maksaa noin 20 kertaa enemmän, joten luvut ovat yhtiön oma arvio datan hyötysuhteesta eivätkä yleispätevä tutkimustulos.

Velmuruganin mukaan fyysisen tekoälyn seuraava suuri pullonkaula on juuri todellisen maailman harjoitusaineisto. Hän arvioi läpimurtoon tarvittavan jopa noin viisi kertaa YouTuben videomäärää vastaavan aineiston, mutta tällaisen luvun käytännön merkitys riippuu ratkaisevasti tallenteiden laadusta, tehtävien vaihtelusta ja merkintöjen tarkkuudesta.

Verkkotekstiä voitiin kerätä valtavia määriä suhteellisen pienin kustannuksin. Fyysinen data täytyy sen sijaan usein tuottaa tarkoitusta varten tiloissa, joissa ihmiset, robotit, kamerat ja anturit tekevät samaa tehtävää yhä uudelleen erilaisissa tilanteissa.

Tämä muuttaa myös tekoälyalan taloutta. Harjoitusaineiston valmistamisesta voi muodostua oma liiketoimintansa, jossa arvokkainta ei välttämättä ole mahdollisimman suuri määrä videota vaan oikeanlainen yhdistelmä kuvaa, liikettä, voimaa, lihassignaalia, aivotoimintaa ja tarkkoja merkintöjä.

EEG:n arkikäyttöön liittyy vielä suuria rajoituksia

Päänahan läpi mitattu aivosignaali on heikko ja altis häiriöille. Silmien räpäytykset, kasvojen ja niskan lihasten toiminta, elektrodien liikkuminen sekä ympäristön sähköinen kohina voivat sekoittua varsinaiseen EEG-aineistoon.

Signaalit vaihtelevat myös ihmisten välillä ja samalla ihmisellä eri päivinä. Laboratoriossa tunnistettu kuvio ei siksi välttämättä siirry sellaisenaan kiireiseen varastoon, liikkuvaan työntekijään tai kokonaan uuteen tehtävään.

Juuri liikkuminen tekee robottidatan keräämisestä vaikeamman käyttökohteen kuin paikallaan tehtävä koe. Jos ihminen kurottaa, kääntää päätään ja jännittää käsivarttaan, järjestelmän on erotettava toisistaan aivojen toiminta ja muun kehon tuottamat sähköiset sekä mekaaniset häiriöt.

Hyötyä ei myöskään ratkaise se, pystyykö luokitin tunnistamaan yksittäisen reaktion valvotussa kokeessa. Olennaista on, parantaako tämä merkintä robotin toimintaa uusissa tilanteissa enemmän kuin pelkkä video, liikedata ja tavallinen ihmisen antama palaute.

Jos aivodataa ryhdytään keräämään laajassa mittakaavassa työntekijöiltä, myös suostumus, käyttötarkoitus, säilytys ja pääsynhallinta vaativat selkeät säännöt. Kyse ei ehkä ole ajatusten lukemisesta, mutta aineisto liittyy silti ihmisen kognitiivisiin ja fysiologisiin reaktioihin.

Aivoaallot voivat olla yksi lisäkerros, eivät taikaratkaisu

Encordin kokeilu näyttää, kuinka pitkälle robottiyhtiöt ovat valmiita menemään paremman koulutusdatan saamiseksi. Teksti, video ja simulaatiot eivät yksin riitä, jos koneen on opittava käsittelemään epätasaisia, liukkaita, taipuvia ja helposti rikkoutuvia esineitä todellisessa maailmassa.

Parhaassa tapauksessa EEG voisi kertoa mallille automaattisesti, missä kohdassa ihmiskouluttaja huomasi ongelman tai joutui käyttämään tavallista enemmän henkistä työtä. Se voisi auttaa kohdistamaan datan merkinnän, mallin laskentatehon ja myöhemmät harjoituskierrokset juuri vaikeisiin hetkiin.

Heikommassa tapauksessa aivosignaali osoittautuu liian meluisaksi, yksilölliseksi tai kalliiksi suhteessa saavutettuun hyötyyn. Siksi kokeen tärkein seuraava vaihe ei ole suuremman kuulokemäärän hankkiminen vaan vertailu, jossa sama robottimalli koulutetaan EEG-merkintöjen kanssa ja ilman niitä.

Aivoaaltojen mittaaminen tekee asetelmasta näyttävän, mutta robotiikan todellinen haaste pysyy hyvin konkreettisena: kone tarvitsee valtavan määrän laadukasta tietoa siitä, miten ihmiset näkevät, liikkuvat, korjaavat virheitään ja onnistuvat fyysisissä tehtävissä. EEG voi täydentää tätä kokonaisuutta, mutta vasta tulokset näyttävät, onko siitä robotille enemmän apua kuin hälyä.