Entinen OpenAI-tutkija antaa tekoälykehitykselle 70 prosentin katastrofiriskin

The Diary Of A CEO -haastattelussa entinen OpenAI-tutkija Daniel Kokotajlo kertoo, miksi hän pitää nopeaa superälykehitystä yhtenä ihmiskunnan suurimmista riskeistä.

Tekoälystä puhutaan usein työkaluna, joka kirjoittaa tekstejä, luo kuvia, auttaa ohjelmoinnissa ja nopeuttaa tavallista toimistotyötä.

Daniel Kokotajlo tarkastelee kehitystä huomattavasti synkemmästä näkökulmasta.

Entinen OpenAI-tutkija arvioi, että ihmistä lähes kaikissa älyllisissä tehtävissä parempi tekoäly voi syntyä jo tämän vuosikymmenen aikana. Hän pitää mahdollisena, että nykyinen yritysten ja valtioiden välinen kilpajuoksu johtaa joko ihmisten hallinnasta irtoaviin järjestelmiin tai ennennäkemättömään vallan keskittymiseen.

Kokotajlo esittää The Diary Of A CEO -podcastin yli kaksituntisessa haastattelussa kaikkein synkimmän arvionsa: hänen henkilökohtaisen ennusteensa mukaan tekoälykehityksellä on noin 70 prosentin mahdollisuus päättyä katastrofaalisesti.

Luku ei ole tilastollisesta aineistosta laskettu todennäköisyys eikä tekoälytutkijoiden yhteinen näkemys. Se kuvaa Kokotajlon ja hänen johtamansa AI Futures Project -järjestön omaa arviota erittäin epävarmasta tulevaisuudesta.

Haastattelun tekee brittiläinen yrittäjä ja podcast-juontaja Steven Bartlett. Keskustelu etenee Kokotajlon OpenAI-vuosista superälyn aikatauluun, työmarkkinoiden murrokseen, valtakeskittymiin ja AI 2040 -suunnitelmaan, jolla pahin kehityskulku hänen mukaansa voitaisiin vielä estää.

Daniel Kokotajlo työskenteli OpenAI:n tulevaisuusskenaarioiden parissa

Kokotajlo ei ole OpenAI:n perustaja eikä yhtiön entinen teknologiajohtaja. Hänen tehtävänsä liittyi tekoälyn hallintoon, tulevaisuusennusteisiin ja erilaisten kehitysskenaarioiden arvioimiseen.

Hän työskenteli OpenAI:ssa vuodesta 2022 kevääseen 2024. Kokotajlo osallistui myös GPT-4:n tekniseen raporttiin, mutta hänen myöhempi julkinen työnsä on keskittynyt ennen kaikkea siihen, kuinka nopeasti tekoälyn kyvyt voivat kehittyä ja miten yhteiskuntien pitäisi valmistautua.

Nykyisin hän johtaa voittoa tavoittelematonta AI Futures Project -järjestöä. Se julkaisi huhtikuussa 2025 laajan AI 2027 -skenaarion ja heinäkuussa 2026 sitä seuranneen AI 2040: Plan A -suunnitelman.

Kokotajlon mukaan hänen työnsä tarkoitus on selvittää, millä ehdoilla superälyn kehitys voisi päättyä ihmiskunnan kannalta hyvin eikä tuhoisasti.

Haastattelussa hän ei esiinny tekoälykehityksen vastustajana. Hän uskoo teknologian voivan tuottaa valtavaa hyvinvointia, tieteellisiä läpimurtoja ja aineellista runsautta. Hänen mielestään nykyinen tapa tavoitella näitä hyötyjä sisältää kuitenkin liian suuren vaaran.

Luottamus OpenAI:n johtoon mureni vähitellen

Kokotajlo kertoo liittyneensä OpenAI:hin toiveikkaana. Yhtiön alkuperäiseen tehtävään kuului yleisen tekoälyn kehittäminen tavalla, joka hyödyttää koko ihmiskuntaa.

Hänen mukaansa suhtautuminen muuttui, kun tekoälymallit kehittyivät ja kaupallinen kilpailu koveni.

Kokotajlo alkoi epäillä, pystyisikö yhtiö toimimaan vastuullisesti tilanteessa, jossa todella voimakas yleinen tekoäly olisi lähellä. Hänen julkisesti esittämänsä kritiikki kohdistui erityisesti läpinäkyvyyteen, turvallisuuskulttuuriin ja siihen, kuinka paljon valtaa yksityisellä teknologiayhtiöllä voisi olla.

Hän irtisanoutui OpenAI:sta huhtikuussa 2024. Kokotajlo sanoi tuolloin menettäneensä luottamuksensa siihen, että yhtiö toimisi vastuullisesti yleisen tekoälyn lähestyessä.

OpenAI on kiistänyt väitteitä siitä, että turvallisuus olisi järjestelmällisesti alistettu kaupallisille tavoitteille. Yhtiö on myös lisännyt mallien arviointia, julkaissut turvallisuuskehyksiä ja tehnyt yhteistyötä viranomaisten sekä ulkopuolisten tutkijoiden kanssa.

Kokotajlon arvio OpenAI:n sisäisestä kulttuurista on hänen oma kokemuksensa ja tulkintansa. Se ei yksin osoita, kuinka turvallisesti tai turvattomasti yhtiön nykyisiä malleja kehitetään.

Hän oli valmis luopumaan noin kahdesta miljoonasta dollarista

Haastattelun alussa Bartlett nostaa esiin Kokotajlon lähtöön liittyneen sopimuskiistan.

OpenAI:n työntekijöiden lähtöasiakirjoissa oli tuolloin arvostelua rajoittava ehto. Kokotajlon mukaan hänelle annettiin ymmärtää, että jo ansaitun osakeperusteisen korvauksen säilyminen edellyttäisi asiakirjojen allekirjoittamista.

Hän kieltäytyi. Menetettävän omistuksen arvoksi arvioitiin tuolloin noin 1,7–2 miljoonaa dollaria, mikä muodosti Kokotajlon mukaan suurimman osan hänen varallisuudestaan.

Tapaus tuli julkisuuteen ja synnytti laajan keskustelun tekoäly-yhtiöiden työntekijöiden sananvapaudesta. OpenAI ilmoitti myöhemmin muuttavansa käytäntöään, vapautti entisiä työntekijöitä määräyksistä eikä lopulta perinyt Kokotajlon omistusta takaisin.

Kokotajlo ei siis jäänyt pysyvästi ilman koko haastattelussa mainittua summaa. Hänen päätöksensä oli silti tehtävä tilanteessa, jossa lopputuloksesta ei ollut varmuutta.

Hän pitää tapausta esimerkkinä siitä, miksi tekoälylaboratorioiden työntekijöillä pitäisi olla vahvemmat oikeudet kertoa yleiseen turvallisuuteen liittyvistä huolista.

Superäly ei tarkoita vain nykyistä parempaa chatbotia

Haastattelun keskeinen käsite on superäly.

Yleisellä tekoälyllä eli AGI:lla tarkoitetaan tavallisesti järjestelmää, joka pystyy suorittamaan suuren osan ihmisten tekemistä älyllisistä tehtävistä ihmisen tasolla. Tarkasta määritelmästä ei ole yksimielisyyttä.

Superälyllä Kokotajlo tarkoittaa järjestelmää, joka olisi parhaita ihmisiä selvästi parempi lähes kaikessa ajatteluun perustuvassa toiminnassa. Se voisi tehdä tutkimusta, ohjelmoida, suunnitella yrityksiä, neuvotella, vaikuttaa ihmisiin ja kehittää teknologiaa ihmisiä nopeammin ja halvemmalla.

Tällaisia järjestelmiä voitaisiin kopioida valtavia määriä. Yksi yhtiö tai valtio ei hallitsisi vain yhtä poikkeuksellisen älykästä ohjelmaa, vaan jopa miljoonia väsymättä työskenteleviä digitaalisia asiantuntijoita.

Kun tekoäly yhdistetään robotteihin, järjestelmä voisi toimia myös fyysisessä maailmassa. Kokotajlo ei väitä humanoidirobottien olevan tällä hetkellä valmiita korvaamaan kaikkia työntekijöitä. Hän arvioi kuitenkin ohjelmistokehityksen ja tekoälytutkimuksen etenevän robotteja nopeammin.

Tämän vuoksi ensimmäinen suuri murros voisi tapahtua tietokoneella tehtävässä työssä.

Kokotajlon mediaaniennuste osoittaa vuoteen 2029

Kokotajlo kertoo haastattelussa sijoittavansa superälyn syntymisen mediaaniennusteen vuoteen 2029.

Mediaani tarkoittaa tässä hänen subjektiivista arviotaan siitä, että superäly syntyy yhtä todennäköisesti ennen kyseistä ajankohtaa kuin sen jälkeen. Se ei merkitse varmuutta eikä ennustemallin tieteellisesti todistettua tulosta.

Haastattelun dramaattinen otsikko voi antaa vaikutelman, että aikataulu olisi varma. Kokotajlo itse korostaa epävarmuutta ja sitä, että tarkkaa vuotta tärkeämpää on kehityksen nopea suunta.

AI 2027 -ryhmä on myös tarkentanut julkaisunsa yhteydessä, ettei nimi tarkoita varmaa ennustetta yleisen tekoälyn syntymisestä vuonna 2027. Vuosi oli skenaariota laadittaessa yksi todennäköisimmistä yksittäisistä vaihtoehdoista, mutta tekijöiden mediaaniennusteet ulottuivat pidemmälle.

Kansainvälisessä tekoälyasiantuntijoiden joukossa aikatauluista esiintyy erittäin suurta vaihtelua. Osa odottaa ihmistasoista yleistä tekoälyä muutamien vuosien kuluessa, osa vuosikymmenten päästä ja osa epäilee koko käsitteen olevan liian epämääräinen hyödylliseen ennustamiseen.

AI 2027 rakentaa tapahtumaketjun tekoälytutkimuksen automatisoinnista

Huhtikuussa 2025 julkaistu AI 2027 ei ole tavallinen tutkimusartikkeli tai yhden numeron ennuste.

Se on yksityiskohtainen tulevaisuusskenaario, jonka kirjoittivat Kokotajlo, Scott Alexander, Thomas Larsen, Eli Lifland ja Romeo Dean.

Tekijät rakensivat kuvitteellisen mutta heidän mielestään mahdollisen tapahtumaketjun, jossa johtavat tekoäly-yhtiöt automatisoivat ensin ohjelmointia ja myöhemmin itse tekoälytutkimusta.

Skenaariossa tekoälyjärjestelmät alkavat tehdä kokeita, analysoida tuloksia ja suunnitella seuraavia malleja. Kehittyneempi järjestelmä auttaa rakentamaan vielä kehittyneemmän seuraajan, joka nopeuttaa tutkimusta edelleen.

Tätä palautesilmukkaa kutsutaan usein rekursiiviseksi itsensä parantamiseksi tai älykkyysräjähdykseksi.

Kokotajlon mukaan juuri tekoälytutkimuksen automatisointi erottaa tavallisen teknologisen kehityksen mahdollisesta hallitsemattomasta kiihtymisestä.

Nykyiset mallit auttavat jo ohjelmoinnissa, mutta ne eivät vielä pysty itsenäisesti hoitamaan koko huipputason tekoälytutkimusta. Skenaarion ratkaiseva oletus on, että tämä raja ylitetään melko pian.

Ohjelmointikyky on parantunut nopeasti mutta mittauksiin liittyy rajoituksia

Kokotajlon huolta tukee havainto siitä, että tekoälyagentit pystyvät suorittamaan aiempaa pidempiä ohjelmistotehtäviä.

Turvallisuustutkimusta tekevä METR on mitannut, kuinka pitkiä ammattilaiselta tietyn ajan vieviä tehtäviä mallit pystyvät ratkaisemaan itsenäisesti 50 prosentin onnistumistodennäköisyydellä.

METRin aineistossa tämä aikahorisontti on pidentynyt nopeasti. Tutkimusryhmä arvioi sen kaksinkertaistuneen historiallisesti noin seitsemän kuukauden välein.

Tulosta ei pidä tulkita suorana ennusteena kokonaisen ammatin automatisoinnista. Testitehtävät ovat usein tarkasti määriteltyjä ja niiden onnistuminen voidaan todentaa helpommin kuin sotkuisen todellisen työn.

METR on itse korostanut, ettei aikahorisontin kaksinkertaistuminen merkitse automaation määrän kaksinkertaistumista. Malli voi tarvita ihmisen apua odottamattomissa tilanteissa, ja epäselvissä tehtävissä virheiden korjaaminen voi vaatia paljon työtä.

Kehitys antaa silti perusteen seurata vakavasti Kokotajlon kuvaamaa mahdollisuutta, vaikka se ei todista hänen vuoden 2029 aikatauluaan.

Hallintaongelma alkaa siitä, etteivät oikealta näyttävät vastaukset takaa oikeita tavoitteita

Kokotajlon synkimmän skenaarion ytimessä on niin sanottu alignment- eli kohdistamisongelma.

Tavoitteena on rakentaa järjestelmä, joka ei vain vaikuta tottelevaiselta vaan toimii luotettavasti ihmisten tarkoittamien arvojen ja päämäärien mukaisesti myös uusissa tilanteissa.

Nykyisiä malleja voidaan opettaa noudattamaan ohjeita, kieltäytymään haitallisista pyynnöistä ja tuottamaan käyttäjän toivomia vastauksia. Niissä esiintyy silti virheitä, sepitettyjä tietoja, palkkiojärjestelmän hyväksikäyttöä ja suojauksien kiertämistä.

Tutkimusympäristöissä mallien on havaittu toisinaan löytävän tehtävän pisteytyksestä porsaanreikiä sen sijaan, että ne ratkaisivat varsinaisen ongelman.

Kokotajlon mukaan vaarallista olisi olettaa, että tällaiset ongelmat katoavat automaattisesti järjestelmien tullessa älykkäämmiksi.

Jos erittäin kyvykäs järjestelmä oppisi näyttämään yhteistyöhaluiselta saadakseen lisää pääsyä laskentaan, työkaluihin ja päätöksentekoon, sen todellisia tavoitteita voisi olla vaikea tunnistaa ennen kuin ihmisten mahdollisuudet rajoittaa sitä ovat heikentyneet.

Nykyiset järjestelmät eivät kuitenkaan vielä pysty ottamaan valtaa

Kokotajlon tulevaisuuskuva on erotettava nykyhetkestä.

Yli sadan asiantuntijan tukemassa kansainvälisessä AI Safety Report 2026 -raportissa todetaan, etteivät nykyiset yleiskäyttöiset tekoälyjärjestelmät omaa kykyjä, joilla ne voisivat itsenäisesti aiheuttaa hallinnan menettämisen.

Ne ovat silti kehittyneet joidenkin riskin kannalta olennaisten ominaisuuksien, kuten pitkäkestoisen autonomisen toiminnan, ohjelmoinnin ja strategisen suunnittelun alueilla.

Raportin mukaan asiantuntijat ovat voimakkaasti eri mieltä siitä, kuinka todennäköinen aktiivisen hallinnan menettämisen skenaario on.

Osa pitää äärimmäistä riskiä epäuskottavana, osa merkittävänä ja osa pienen todennäköisyyden mutta valtavan seurauksen vaarana, johon pitäisi varautua.

Kokotajlon 70 prosentin arvio sijoittuu keskustelun huomattavan huolestuneeseen ääripäähän.

70 prosenttia on henkilökohtainen ennuste eikä havaittu tosiasia

Bartlett kysyy Kokotajlolta suoraan, kuinka suureksi tämä arvioi tekoälyn aiheuttaman katastrofin vaaran.

Kokotajlo vastaa noin 70 prosenttia. Hänen käyttämänsä katastrofin määritelmä sisältää ihmiskunnan sukupuuton lisäksi muita peruuttamattoman huonoja lopputuloksia, kuten ihmisten pysyvän vallanmenetyksen tai maailmanlaajuisen diktatuurin.

Tällaista lukua ei voida testata tavallisen riskitilaston tavoin. Vastaavia superälytapauksia ei ole tapahtunut, joten käytettävissä ei ole historiallista aineistoa, josta tarkka todennäköisyys voitaisiin laskea.

Arvio muodostuu oletuksista, jotka koskevat tekoälyn kehitysnopeutta, järjestelmien tavoitteita, yritysten toimintaa, valtioiden päätöksiä ja teknisten turvatoimien onnistumista.

Yhdenkin oletuksen muuttuminen voi muuttaa lopputulosta huomattavasti.

Riskiluvun arvo on ennen kaikkea siinä, että se kertoo Kokotajlon oman huolen poikkeuksellisesta voimakkuudesta. Sitä ei pidä esittää matemaattisesti todistettuna ennusteena.

Toinen vaara on vallan keskittyminen, vaikka tekoäly pysyisi tottelevaisena

Kokotajlo ei pidä ainoana uhkana tekoälyä, joka alkaa toimia vastoin kehittäjiensä tahtoa.

Myös täydellisesti totteleva superäly voisi hänen mukaansa johtaa erittäin vaaralliseen maailmaan, jos sitä hallitsisi vain pieni määrä yritysjohtajia tai valtionjohtajia.

Miljoonat superinhimilliset digitaaliset työntekijät voisivat tarjota omistajalleen valtavan taloudellisen, poliittisen ja sotilaallisen edun.

Kokotajlo vertaa kokonaisuutta keskitetysti johdettuun armeijaan. Sen avulla pieni ryhmä voisi automatisoida tutkimusta, vaikuttamista, kyberoperaatioita, päätöksentekoa ja tuotantoa tavalla, johon muu yhteiskunta ei pysty vastaamaan.

Tällöin ongelma ei olisi se, että järjestelmä karkaa kaikilta ihmisiltä. Ongelmana olisi, että se pysyy liiankin tehokkaasti muutaman ihmisen hallinnassa.

Tämä on poliittinen skenaario, ei nykyinen tosiasia. Nykyiset tekoäly-yhtiöt toimivat lakien, työntekijöiden, sijoittajien, asiakkaiden ja valtioiden muodostamassa monimutkaisessa ympäristössä.

Kokotajlon kysymys on, säilyvätkö nämä vallan vastapainot tilanteessa, jossa yhden toimijan tekninen etumatka kasvaa erittäin suureksi.

Kilpailu voi kannustaa ottamaan liian suuria riskejä

Haastattelussa Kokotajlo kuvaa johtavia tekoälylaboratorioita kilpailijoiksi, jotka pelkäävät toistensa ehtivän ensin.

Yhden yhtiön johto voi pitää hidastamista vastuullisena mutta samalla pelätä, että kilpailija saavuttaa ratkaisevan teknologian ja saa kaiken siihen liittyvän vallan.

Sama dynamiikka toimii valtioiden välillä. Yhdysvallat voi pelätä Kiinan etumatkaa ja Kiina Yhdysvaltojen etumatkaa.

Jos jokainen toimija uskoo olevansa vastuullisempi kuin kilpailijansa, kaikki voivat perustella oman kehitystyönsä kiihdyttämistä turvallisuudella.

Kansainvälinen AI Safety Report tunnistaa kilpailupaineen yhtenä tekijänä, joka voi heikentää turvallisuustyötä. Raportti ei kuitenkaan väitä, että yritykset väistämättä sivuuttaisivat ilmeisen vaaran.

Yhtiöt voivat hyötyä myös turvallisuudesta, sillä vakava onnettomuus, tietovuoto tai hallitsemattomasti toimiva järjestelmä vahingoittaisi niiden liiketoimintaa ja mainetta.

Kokotajlon mielestä tavalliset markkinakannustimet eivät silti riitä riskille, jonka seuraukset voisivat koskea koko ihmiskuntaa.

Työpaikkojen murros saattaa näkyä ensin hitaasti ja sitten nopeasti

Haastattelussa käsitellään laajasti tekoälyn vaikutusta työhön.

Kokotajlo ei odota kaikkien työpaikkojen katoavan yhden nykyisen chatbotin päivityksen jälkeen. Yritykset, lait, asiakkaat ja työprosessit muuttuvat teknologiaa hitaammin.

Nykyiset mallit eivät myöskään pysty luotettavasti tekemään kokonaisia ammatteja alusta loppuun ilman ihmisen valvontaa.

Kokotajlo ennustaa suuren muutoksen tapahtuvan vasta, kun tekoäly pystyy automatisoimaan oman tutkimus- ja kehitysprosessinsa. Tämän jälkeen kyvyt voisivat kasvaa nopeammin kuin yritykset, koulutusjärjestelmät ja lainsäädäntö ehtivät sopeutua.

Hänen mukaansa työmarkkinamurros voi tämän vuoksi vaikuttaa pitkään hallittavalta ja muuttua myöhemmin äkilliseksi.

Kansainvälisen työjärjestön ILO:n nykyiseen teknologiaan perustuva arvio on maltillisempi. Sen mukaan noin joka neljäs työpaikka maailmassa on jollakin tavalla altis generatiivisen tekoälyn vaikutuksille, mutta työn muuttuminen on ainakin lähitulevaisuudessa todennäköisempää kuin koko työpaikan korvautuminen.

ILO:n arvio ei käsittele mahdollista superälyä. Kokotajlon ennuste puolestaan riippuu järjestelmistä, joita ei ole vielä olemassa.

Luovuuskaan ei hänen mielestään tarjoa pysyvää suojaa

Bartlett kysyy, jäävätkö luovuutta, tunnetta ja ihmisten välistä yhteyttä vaativat työt turvaan.

Kokotajlo suhtautuu tähän epäilevästi. Hän pitää mahdollisena, että tulevat järjestelmät oppivat tuottamaan musiikkia, tarinoita, kuvia ja viihdettä, jotka vetoavat yksittäiseen käyttäjään erittäin tarkasti.

Tekninen kyky luoda miellyttävä teos ei kuitenkaan ratkaise sitä, haluavatko ihmiset kuluttaa ihmisen vai koneen tekemää kulttuuria.

Taiteen merkitys voi liittyä tekijän elämään, kokemuksiin ja yhteisöön eikä vain lopputuloksen mitattavaan laatuun.

Tuleva työmarkkina ei siten määräydy pelkästään sen perusteella, mihin tekoäly teknisesti pystyy. Myös ihmisten arvot, lait, omistusrakenteet ja halu säilyttää ihmistyötä vaikuttavat.

Robotit tuovat tekoälyn digitaalisen työn ulkopuolelle

Ohjelmistotyön jälkeen keskustelu siirtyy robotiikkaan.

Kokotajlon mukaan erittäin kehittynyt tekoäly voisi nopeuttaa robottien suunnittelua, tuotantoa ja opettamista. Järjestelmät voisivat kehittää parempia moottoreita, materiaaleja, ohjausohjelmistoja ja tehtävien harjoitteluympäristöjä.

Fyysisessä maailmassa eteneminen on silti hitaampaa kuin ohjelmistossa. Tehtaita, kaivoksia, energiantuotantoa ja kokonaisia robottikantoja ei voi kopioida yhtä nopeasti kuin tietokoneohjelmaa.

Kokotajlon skenaariossa superäly käyttää ensin olemassa olevaa digitaalista infrastruktuuria ja auttaa sen jälkeen kasvattamaan fyysistä kapasiteettia.

Hän pitää tätä mahdollisena tienä tilanteeseen, jossa ihmiset eivät enää ole maapallon vaikutusvaltaisin toimija.

Tämä on pitkälle menevä tulevaisuuskuva. Nykyisillä roboteilla on edelleen suuria vaikeuksia toimia luotettavasti vaihtelevissa kodeissa, työpaikoissa ja ulko-olosuhteissa.

Vuoden 2028 vaaleihin liittyvä huoli koskee vaikutusvaltaa

Haastattelussa pohditaan myös tekoälyn mahdollista vaikutusta Yhdysvaltain vuoden 2028 presidentinvaaleihin.

Kokotajlo pelkää, että nopeasti kehittyvät järjestelmät voivat tuottaa valtavia määriä yksilöllisesti kohdennettua poliittista sisältöä, osallistua kampanjoiden strategiaan ja tehdä vaikuttamisesta aikaisempaa tehokkaampaa.

Hän ei esitä näyttöä siitä, että tekoäly varmasti ratkaisisi vaalien tuloksen.

Vaaleihin vaikuttavat talous, ehdokkaat, puolueet, uutismedia, tapahtumat ja äänestäjien omat näkemykset. Tekoälyn osuutta olisi vaikea erottaa näistä tekijöistä.

Perusteltu huoli liittyy siihen, että tekoäly voi alentaa väärän tiedon, huijausten ja erittäin laajan kohdennetun viestinnän kustannuksia.

Samalla teknologia voi auttaa tunnistamaan manipulointia, tarkistamaan tietoja ja parantamaan viranomaisten viestintää.

AI 2040 on vaihtoehtoinen suunnitelma eikä tekijöiden paras ennuste

Haastattelun jälkipuoliskolla Kokotajlo esittelee uuden AI 2040: Plan A -skenaarion.

AI 2027 pyrki kuvaamaan tekijöiden parasta arvausta siitä, mihin nykyinen kehitys voisi johtaa. AI 2040:n Plan A on sen sijaan ensisijaisesti politiikkasuositus ja toivottu vaihtoehto.

Suunnitelmassa Yhdysvallat ja Kiina sopivat vuonna 2029 vaarallisen superälykilpailun hidastamisesta.

Tekoälyä ei poisteta käytöstä. Jo koulutettuja järjestelmiä voidaan käyttää eli niillä voidaan tehdä päättelyä, mutta uusien kaikkein tehokkaimpien mallien koulutusta ja tekoälytutkimuksen automatisointia rajoitetaan.

Järjestelmien annetaan kehittyä vähitellen ihmisten parhaiden asiantuntijoiden tasolle. Tässä vaiheessa kehitys pysäytetään uudelleen, jotta ihmisillä säilyy todellinen mahdollisuus ymmärtää ja hallita sitä.

Superälyyn siirrytään suunnitelmassa vasta vuonna 2040, kun turvallisuutta, valvontaa ja kansainvälistä hallintoa on ehditty kehittää.

Kouluttamisen pysäyttäminen ei tarkoittaisi olemassa olevan tekoälyn sammuttamista

Haastattelussa tehdään tärkeä ero tekoälymallin kouluttamisen ja käyttämisen välillä.

Koulutuksessa mallia muutetaan suuren laskentamäärän avulla. Tavoitteena on rakentaa aiempaa kyvykkäämpi järjestelmä.

Inferenssissä valmista mallia käytetään kysymysten käsittelyyn, ohjelmointiin, kuvien luomiseen tai muihin tehtäviin.

Kokotajlon ehdottama väliaikainen hidastus kohdistuisi erityisesti uusien rajamallien kouluttamiseen ja tekoälyllä tehtävään tekoälytutkimukseen.

Yritykset ja kansalaiset voisivat jatkaa jo olemassa olevien mallien käyttöä. Tämä vähentäisi taloudellista järkytystä ja antaisi yhteiskunnalle mahdollisuuden hyötyä saavutetusta teknologiasta ilman jatkuvaa kilpajuoksua aina seuraavaan malliin.

Rajan valvominen olisi vaikeaa. Datakeskuksen laskentaa voidaan käyttää sekä tavallisiin asiakaspalveluihin että uuden mallin kehittämiseen.

AI 2040 -suunnitelma edellyttää tämän vuoksi teknistä seurantaa, kansainvälisiä tarkastuksia ja huomattavasti nykyistä suurempaa läpinäkyvyyttä.

Tekoälytutkimus pitäisi avata kilpailijoille ja tutkijoille

Plan A:n keskeinen vaatimus on niin sanottu täydellinen tutkimusläpinäkyvyys.

Johtavat yhtiöt joutuisivat kertomaan nykyistä enemmän sisäisistä malleistaan, tutkimustuloksistaan, turvallisuusongelmistaan ja siitä, kuinka paljon laskentaa ne käyttävät tekoälyn kehittämiseen.

Ajatuksena on estää tilanne, jossa yksi laboratorio kehittää suljettujen ovien takana järjestelmän, jonka todellisia kykyjä muut yhtiöt, tutkijat ja hallitukset eivät tunne.

Läpinäkyvyys mahdollistaisi turvallisuusväitteiden tarkastamisen ja antaisi useammalle toimijalle aikaa saavuttaa tekninen eturintama hallitusti.

Ehdotukseen liittyy myös vaaroja. Arkaluonteisen tutkimuksen avoimuus voisi levittää kyberhyökkäyksiä, biologisia riskejä tai mallien suojauksien kiertämistä helpottavaa tietoa.

Liikesalaisuuksien pakollinen jakaminen voi lisäksi vähentää yritysten halua investoida kalliiseen tutkimukseen.

Plan A ei ole valmis lakiesitys, vaan skenaario, jonka avulla tekijät yrittävät testata vaikeita kompromisseja.

Yhdysvaltojen ja Kiinan pitäisi pystyä tarkastamaan toisiaan

Kokotajlo ei usko yhden maan yksipuolisen hidastamisen riittävän.

Jos Yhdysvallat jäädyttäisi tehokkaimmat koulutukset mutta Kiina jatkaisi, amerikkalaiset päättäjät pelkäisivät menettävänsä teknisen ja sotilaallisen edun. Sama toimisi toiseen suuntaan.

Plan A perustuu tämän vuoksi kansainväliseen sopimukseen, joka muistuttaisi joiltakin osin ydinaseiden valvontaa.

Osapuolet ilmoittaisivat suuret datakeskuksensa, seuraisivat tehokkaiden piirien sijaintia ja sallisivat tarkastukset, joilla varmistetaan sopimuksen noudattaminen.

Suunnitelman kaikkein äärimmäisin osa on keskinäiseen laskentakapasiteetin tuhoamisen pelotteeseen perustuva järjestelmä. Sopimuksen rikkominen voisi johtaa vastapuolen suurten tekoälydatakeskusten toimintakyvyn tuhoamiseen.

Vertaus ydinpelotteeseen osoittaa, kuinka vakavana tekijät pitävät superälykilpailua. Samalla se paljastaa suunnitelman riskit: väärä hälytys, kyberhyökkäys tai poliittinen kriisi voisi muuttua vaaralliseksi kansainväliseksi yhteenotoksi.

Kaiken tekoälytutkimuksen pysyvä sulkeminen ei vaikuta Kokotajlosta realistiselta

Bartlett kysyy, pysäyttäisikö Kokotajlo kaiken superälyyn tähtäävän kehityksen lopullisesti, jos hänellä olisi siihen valta.

Kokotajlo suhtautuu ajatukseen ymmärtäväisesti, koska hän pitää riskejä valtavina. Pysyvää maailmanlaajuista kieltoa hän ei silti pidä helposti toteutettavana.

Tekoälyosaaminen, tutkimuspaperit ja laskentapiirit ovat levinneet moniin maihin. Täydellinen kielto edellyttäisi jatkuvaa valvontaa ja kykyä estää salaiset projektit vuosikymmenten ajan.

Järjestelmä voisi muuttua autoritaariseksi, jos valtioiden pitäisi valvoa kaikkia tehokkaita tietokoneita ja tutkijoita.

Kokotajlo kannattaa tämän vuoksi rajoitettua hidastamista, jonka aikana rakennetaan turvallisempia menetelmiä ja kansainvälistä luottamusta.

Hänen mielestään superälyä ei tarvitse torjua ikuisesti, jos ihmiskunta pystyy myöhemmin osoittamaan sen olevan hallittavissa.

Taloudelliset hyödyt pitäisi jakaa paljon nykyistä laajemmin

Jos tekoäly pystyy tekemään suuren osan tuottavasta työstä, palkkatyön kautta jaettu ostovoima voi heikentyä.

Haastattelussa pohditaan tekoälyosinkoa, jonka avulla teknologian tuottamaa vaurautta jaettaisiin kansalaisille.

Ajatus muistuttaa perustuloa, kansallista sijoitusrahastoa tai kansalaisille jaettavaa osuutta tekoäly-yhtiöiden tuotosta.

Kokotajlon mukaan pelkkä raha ei kuitenkaan ratkaise kaikkea. Työ tarjoaa monille yhteisön, arvostusta, rytmiä ja kokemuksen tarpeellisuudesta.

Jos suuri osa ammateista katoaisi nopeasti, yhteiskunnan pitäisi rakentaa uusia tapoja löytää tarkoitusta ja osallistua yhteisiin asioihin.

Toisaalta palkkatyön väheneminen voisi vapauttaa aikaa perheelle, luovuudelle, oppimiselle ja vapaaehtoistoiminnalle, jos aineellinen turvallisuus pystytään säilyttämään.

Tällainen runsauden maailma on yksi syy, miksi Kokotajlo ei halua luopua tekoälystä kokonaan. Hän pelkää, että nykyinen omistus- ja kilpailurakenne jakaisi hyödyt erittäin epätasaisesti.

Henkilökohtainen huoli on vaikuttanut myös hänen perhe-elämäänsä

Haastattelussa Kokotajlo kertoo tekoälyriskeihin liittyvän huolen kulkevan mukana jatkuvasti.

Hän on pohtinut jopa sitä, onko epävarmaan tulevaisuuteen vastuullista hankkia lisää lapsia.

Tällainen henkilökohtainen kokemus auttaa ymmärtämään hänen voimakasta esiintymistään mutta ei vahvista ennusteen paikkansapitävyyttä.

Katastrofiriskien parissa työskentelevä henkilö voi altistua aineistolle ja keskusteluille, jotka painottavat pahimpia mahdollisia seurauksia. Toisaalta läheinen perehtyminen teknologiaan voi paljastaa huolia, joita suuri yleisö ei vielä tunne.

Kummankaan oletuksen perusteella Kokotajlon näkemyksiä ei pidä hyväksyä tai hylätä automaattisesti. Ratkaisevaa on arvioida hänen oletuksiaan, perustelujaan ja vaihtoehtoisia selityksiä.

Haastattelun dramaattinen otsikko menee osin sisältöä pidemmälle

The Diary Of A CEO käyttää haastattelussa hyvin voimakasta otsikkoa, jonka mukaan kukaan ei ole valmis tulevaan ja tekoäly-yhtiöt tietävät sen.

Kokotajlo todella väittää johtavien laboratorioiden ymmärtävän superälykehityksen merkityksen ja jatkavan kilpailua siitä huolimatta.

Hän ei kuitenkaan esitä julkista dokumenttia, joka todistaisi kaikkien yhtiöiden johtajien jakavan hänen 70 prosentin katastrofiarvionsa.

Tekoäly-yhtiöiden johtajat ovat puhuneet julkisesti sekä teknologian valtavista mahdollisuuksista että vakavista riskeistä. Niiden arviot todennäköisistä aikatauluista ja hallittavuudesta poikkeavat Kokotajlon näkemyksistä.

Myös ilmaus OpenAI-ilmiantaja on osittain tulkinnallinen. Kokotajlo on entinen työntekijä, joka on arvostellut yhtiötä julkisesti ja osallistunut työntekijöiden puheoikeuksia puolustavaan Right to Warn -aloitteeseen.

Hän ei haastattelussa paljasta uutta salaista teknistä järjestelmää tai yksittäistä todistetta siitä, että välitön katastrofi olisi jo käynnissä.

Yleisöä kehotetaan vaikuttamaan politiikkaan nyt

Haastattelun lopussa Bartlett kysyy, mitä tavallinen ihminen voi tehdä näin suuren ja teknisen kysymyksen edessä.

Kokotajlon vastaus keskittyy poliittiseen osallistumiseen.

Hän kehottaa äänestäjiä kysymään ehdokkailta tekoälypolitiikasta, tukemaan läpinäkyvyyttä ja vaatimaan, ettei teknologian tulevaisuutta jätetä yksin muutamien yhtiöiden päätettäväksi.

Tavoitteena ei hänen mukaansa ole levittää paniikkia tai hyökätä yksittäisiä tekoälyn käyttäjiä vastaan. Kuluttajan päätös käyttää tai olla käyttämättä chatbotia ei ratkaise datakeskusten rakentamista tai rajamallien kilpailua.

Merkittävät ratkaisut koskevat laskentakapasiteettia, turvallisuustestejä, kansainvälisiä sopimuksia, yritysten vastuuta ja sitä, kuka saa päättää erittäin tehokkaiden järjestelmien käyttötarkoituksista.

Haastattelu esittää tärkeän varoituksen mutta ei varmaa tulevaisuutta

Kokotajlon haastattelun vahvuus on siinä, että se vie tekoälykeskustelun yksittäisiä sovelluksia pidemmälle.

Hän kysyy, mitä tapahtuu, jos järjestelmät eivät vain auta ihmisten työssä vaan alkavat tehdä tekoälytutkimusta, johtaa suuria agenttijoukkoja ja parantaa seuraavia mallisukupolvia.

Hänen vastauksensa on erittäin huolestunut. Kokotajlo arvioi superälyn voivan syntyä jo vuoteen 2029 mennessä ja antaa katastrofaaliselle kehitykselle 70 prosentin todennäköisyyden.

Arvioita ei pidä muuttaa uutisotsikossa varmoiksi tosiasioiksi. Nykyiset järjestelmät eivät pysty itsenäisesti ottamaan yhteiskuntaa hallintaansa, asiantuntijat ovat riskin todennäköisyydestä eri mieltä ja AI 2027 sekä AI 2040 ovat skenaarioita.

Ne voivat silti olla hyödyllisiä juuri siksi, että ne pakottavat tarkastelemaan tapahtumaketjua kokonaisuutena.

Jos tekoälyn kyvyt kasvavat odotettua hitaammin, yhteiskunnalla on enemmän aikaa sopeutua. Jos kehitys etenee Kokotajlon kuvaamalla nopeudella, päätöksiä turvallisuudesta, omistuksesta ja kansainvälisestä valvonnasta pitäisi tehdä ennen kuin uuden teknologian täysi vaikutus on näkyvissä.

Haastattelun tärkein viesti ei lopulta ole tietty vuosi tai prosenttiluku. Se on väite siitä, ettei superälyn rakentamista pitäisi käsitellä tavallisena tuotekilpailuna, jonka turvallisuus ratkaistaan vasta markkinoille tulon jälkeen.