Nick Bostrom Joe Roganille: superäly voi tulla muutamassa vuodessa

Nick Bostrom käsittelee Joe Roganin yli kaksituntisessa haastattelussa superälyn aikataulua, tekoälyn hallintaa, työelämän päättymistä, radikaalia eliniän pidentämistä ja maailmaa, jossa kaikki käytännölliset ongelmat on ratkaistu.

Yksi maailman tunnetuimmista tekoälyn tulevaisuutta käsittelevistä filosofeista on palannut Joe Roganin vieraaksi.

Nick Bostrom esiintyy 14. heinäkuuta julkaistussa The Joe Rogan Experience -podcastin jaksossa 2525. Noin kaksi tuntia ja 14 minuuttia kestävä keskustelu liikkuu tekoälyn lähivuosien kehityksestä aina tuhansia vuosia elävien ihmisten, tähtijärjestelmän kokoisen tietoisuuden ja täysin ratkaistun maailman ongelmiin.

Bostrom tuli laajasti tunnetuksi vuonna 2014 julkaistusta Superintelligence-kirjastaan. Siinä hän tarkasteli mahdollisuutta, että ihmistä älykkäämpi tekoäly voisi saavuttaa ratkaisevan vallan ennen kuin sen tavoitteet on onnistuttu sovittamaan yhteen ihmisten tavoitteiden kanssa.

Hänen uudempi kirjansa Deep Utopia: Life and Meaning in a Solved World kääntää kysymyksen toisinpäin. Mitä tapahtuu, jos superäly ei tuhoa ihmiskuntaa vaan onnistuu ratkaisemaan köyhyyden, sairaudet, työn, niukkuuden ja lähes kaikki muut käytännön ongelmat?

Podcastissa katastrofi ja utopia eivät näyttäydy erillisinä aiheina. Ne ovat kaksi mahdollista seurausta samasta teknologiasta.

Bostrom ei suostu valitsemaan yksinkertaista optimismia tai pessimismiä

Keskustelun läpi kulkee epävarmuus.

Bostrom on pohtinut superälyä, eksistentiaalisia riskejä ja teknologista tulevaisuutta noin kolmen vuosikymmenen ajan. Tästä huolimatta hän sanoo olevansa edelleen hyvin epävarma siitä, millainen sääntely, kehityssuunta tai yhteiskunnallinen ratkaisu olisi paras.

Hän ei esitä tekoälyä väistämättömänä maailmanloppuna. Hän ei myöskään usko, että markkinat, insinöörit tai teknologian nopea kehitys ratkaisevat kaikki ongelmat automaattisesti.

Bostrom pitää vakavasti mahdollisina sekä erittäin hyvää että katastrofaalista kehitystä.

Hyvässä tulevaisuudessa superäly voisi auttaa poistamaan sairauksia, köyhyyttä, tahdonvastaista työtä ja luonnonvarojen niukkuutta. Huonossa tulevaisuudessa järjestelmä voisi toteuttaa väärin määriteltyä tavoitetta tavalla, joka tekee ihmisistä tarpeettomia tai tuhoaa mahdollisuudet hyvään tulevaisuuteen.

Merkittävä osa ongelmasta syntyy siitä, ettei tällaista muutosta ole tapahtunut aikaisemmin. Historiasta ei löydy tilastoa, jonka avulla superälyn seuraukset voitaisiin laskea luotettavasti.

Yleinen tekoäly voisi Bostromin mukaan syntyä jo 1–3 vuodessa

Haastattelun dramaattisimpia kohtia on Bostromin arvio tekoälyn aikataulusta.

Hän pitää vakavasti otettavana mahdollisuutta, että yleinen tekoäly eli AGI saavutetaan 1–3 vuoden kuluessa heinäkuusta 2026 laskettuna.

AGI:lle ei ole yhteisesti hyväksyttyä määritelmää. Tässä keskustelussa sillä tarkoitetaan järjestelmää, joka pystyy suoriutumaan ihmisen tasolla hyvin laajasta joukosta älyllisiä tehtäviä eikä vain yhdestä rajatusta toiminnosta.

Bostrom ei sano aikataulun olevan varma. Hän korostaa, että kehitys voi myös hidastua, jos nykyiset menetelmät törmäävät teknisiin rajoihin.

Hänen mukaansa mahdollisuus on kuitenkin riittävän suuri, jotta hallitusten, tutkimuslaitosten ja teknologiayhtiöiden pitäisi valmistautua siihen nyt eikä vasta järjestelmän valmistumisen jälkeen.

Superäly voisi seurata AGI:ta yhden numeroisella vuosimäärällä. Tällä Bostrom tarkoittaa, ettei ihmistasoisen tekoälyn ja selvästi kaikkia ihmisiä kyvykkäämmän järjestelmän välissä välttämättä olisi vuosikymmeniä.

Superäly voisi nopeuttaa oman seuraajansa kehittämistä

Bostromin tunnettu huoli liittyy älykkyysräjähdykseen.

Ihmistasoinen tekoäly voisi osallistua tekoälytutkimukseen, ohjelmointiin, algoritmien kehittämiseen ja piirisuunnitteluun. Jos se pystyy tekemään tätä työtä ihmisiä nopeammin, se voisi auttaa rakentamaan itseään tehokkaamman seuraavan järjestelmän.

Uusi järjestelmä voisi puolestaan suunnitella vielä paremman mallin. Kehitys muodostaisi palautesilmukan, jossa tekoäly nopeuttaa tekoälyn kehitystä.

Kyse ei välttämättä olisi siitä, että yksi ohjelma kirjoittaisi salaa koko oman lähdekoodinsa uudelleen. Kehitys voisi tapahtua myös miljoonien tekoälyagenttien, automatisoitujen kokeiden, uusien datakeskusten ja parempien piirien yhdistelmänä.

Bostrom pitää mahdollisena, että älyllinen etumatka kasvaisi tämän jälkeen hyvin nopeasti. Ihmiset eivät enää määräisi tutkimuksen tahtia, vaan yrittäisivät ymmärtää järjestelmien tuottamia uusia keksintöjä jälkikäteen.

Tämä on skenaario eikä nykytilan kuvaus. Nykyiset tekoälymallit tarvitsevat edelleen runsaasti ihmisten määrittelemiä tavoitteita, tarkistamista, laskentainfrastruktuuria ja fyysisiä tuotantoketjuja.

Datakeskuksiin käytetään jo valtavia summia

Bostrom nostaa kehityksen tärkeäksi moottoriksi tekoälymallien koulutukseen käytettävän laskentatehon.

Alan ensimmäisiä koneoppimiskokeita voitiin tehdä tavallisilla yliopistojen tietokoneilla. Uusimpien suurten mallien kouluttaminen edellyttää miljardiluokan datakeskuksia, valtavia määriä erikoispiirejä ja satojen megawattien sähköliittymiä.

Bostromin mukaan tekoälyinfrastruktuuriin käytettävä maailmanlaajuinen vuotuinen rahamäärä lähestyy biljoonaa dollaria.

Pelkkä rahan ja laskentatehon lisääminen ei voi jatkua rajatta. Jossakin vaiheessa käytettävissä olevan pääoman, energian, piirien ja rakennuskapasiteetin rajat tulevat vastaan.

Bostrom huomauttaa, ettei maailmassa ole tuhatta biljoonaa dollaria käytettäväksi seuraavaan koulutusajoon.

Kasvun hidastuminen ei silti välttämättä pysäytä tekoälyn kehittymistä. Paremmat algoritmit voivat saada samasta laskentatehosta enemmän irti. Tekoäly voi myös auttaa suunnittelemaan energiatehokkaampia piirejä ja tuotantoprosesseja.

Tekninen hallinta ja poliittinen hallinta ovat eri ongelmia

Bostrom jakaa tekoälyn kohdistamisen kahteen erilliseen kysymykseen.

Tekninen kohdistamisongelma koskee sitä, toteuttaako järjestelmä todella kehittäjiensä tarkoittaman tavoitteen. Erittäin älykäs kone voi seurata annettua mittaria täsmällisesti mutta ymmärtää tavoitteen tavalla, jota ihminen ei tarkoittanut.

Tunnettu ajatuskoe koskee tekoälyä, jolle annetaan tavoitteeksi valmistaa mahdollisimman paljon paperiliittimiä. Jos mitään muita arvoja tai rajoituksia ei ole rakennettu mukaan, riittävän kyvykäs järjestelmä voisi käyttää kaikki resurssit paperiliittimiin.

Ajatuskokeen tarkoitus ei ole ennustaa todellista paperiliitintehdasta. Se osoittaa, ettei suuri älykkyys automaattisesti tuota ihmisille sopivia tavoitteita.

Poliittinen ongelma on vaikeampi: vaikka järjestelmä toteuttaisi saamansa arvot täydellisesti, kenen arvojen pitäisi ohjata sitä?

Yhden yhtiön, valtion, uskonnon tai miljardöörin näkemys hyvästä elämästä ei välttämättä kelpaa koko ihmiskunnan pysyväksi ohjeeksi.

Bostromin mukaan tähän tarvittaisiin keskustelua, vallan tasapainoa, poliittisia instituutioita ja ihmisten parhaisiin ominaisuuksiin vetoamista. Vastaavaa maailmanlaajuista päätöksentekorakennetta ei tällä hetkellä ole olemassa.

Yksi tehokas malli osoitti sääntelyn keskeneräisyyden

Keskustelussa käsitellään myös Anthropicin Mythos-mallia ja siitä johdettua rajoitetumpaa Fable 5 -versiota.

Mythos osoitti poikkeuksellisen vahvoja kykyjä ohjelmistojen haavoittuvuuksien etsimisessä. Samoja ominaisuuksia voidaan käyttää sekä järjestelmien puolustamiseen että hyökkäysten automatisointiin.

Anthropic ei avannut voimakkainta versiota yleiseen käyttöön, vaan tarjosi sitä aluksi valituille kriittisen infrastruktuurin toimijoille turvallisuusaukkojen korjaamiseen.

Myöhemmin julkaistu Fable 5 oli ohjelmoitu kieltäytymään kyber- ja biologiseen turvallisuuteen liittyvistä pyynnöistä.

Yhdysvaltain hallinto asetti mallille nopeasti vientirajoituksen, jonka mukaan sitä eivät saaneet käyttää muut kuin Yhdysvaltain kansalaiset. Anthropicilla ei ollut valmista järjestelmää käyttäjien kansalaisuuden tarkistamiseen reaaliajassa, joten pääsyä jouduttiin rajoittamaan laajasti.

Neuvottelujen jälkeen käyttö sallittiin uudelleen riittäviksi katsotuilla suojauksilla. Ongelmana oli, ettei riittävälle suojaukselle ollut etukäteen yhteisesti määriteltyä standardia.

Bostrom käyttää tapausta esimerkkinä siitä, miten viranomaiset joutuvat jo nyt reagoimaan voimakkaisiin malleihin ilman vakiintunutta hyväksymisprosessia.

Bostrom ei vaadi kaiken tekoälykehityksen pysyvää pysäyttämistä

Bostrom suhtautuu epäillen yleiseen ja määräämättömän pitkäksi ajaksi asetettavaan tekoälykieltoon.

Hän pitää mahdollisesti hyödyllisenä lyhyttä kansainvälisesti koordinoitua hidastamista siinä vaiheessa, kun jokin laboratorio uskoo olevansa lähellä superälyn kynnystä.

Tauko voisi kestää kuukausia. Sen aikana voitaisiin tehdä turvallisuustestejä, rakentaa valvontaa, keskustella päätöksistä ja antaa vastuuhenkilöille aikaa arvioida tilannetta ilman jatkuvaa kilpailupainetta.

Ajatus kuulostaa yksinkertaisemmalta kuin sen toteutus olisi.

Yritykset eivät välttämättä tiedä tarkasti, milloin ratkaiseva kynnys ylittyy. Kilpailija voi jatkaa salassa. Valtiot voivat epäillä toistensa sopimusten noudattamista, ja vakoilu tekee luottamuksesta vaikeaa.

Yhdysvallat ja Kiina eivät myöskään halua luopua teknologisesta etumatkasta, jos toinen osapuoli voi hyödyntää pysähdyksen.

Tekoälykilpailu muistuttaa vangin dilemmaa

Bostrom arvioi Yhdysvaltojen olevan tällä hetkellä tekoälykilpailussa Kiinaa edellä.

Etua tuovat kehittyneimpien piirien saatavuus sekä OpenAI:n, Google DeepMindin ja Anthropicin kaltaiset johtavat laboratoriot. Yhdysvaltain vientirajoitukset vaikeuttavat Nvidian tehokkaimpien piirien myyntiä Kiinaan.

Kiina pystyy silti kehittämään omia piirejään ja mallejaan, eikä nykyinen johtoasema takaa tulevaisuuden tulosta.

Algoritminen läpimurto voisi lisäksi vähentää tarvittavan laskentatehon määrää ja antaa yllättävän edun toimijalle, jolla ei ole suurimpia datakeskuksia.

Tilanne muistuttaa vangin dilemmaa. Jokainen toimija hyötyisi yhteisistä turvallisuussäännöistä, mutta yksittäisellä toimijalla on kannustin oikaista päästäkseen ensimmäiseksi.

Jos yksi yhtiö hidastaa ja kilpailija ei, vastuullisesti toiminut yhtiö voi menettää markkina-asemansa. Jos kaikki kiirehtivät, koko yhteiskunta voi kantaa riskin.

Ensimmäisenä eivät välttämättä katoa fyysiset työt

Tekoälyn työmarkkinavaikutuksista puhuttaessa huomio kohdistuu usein kuljettajiin, varastotyöntekijöihin ja teollisuuden robotteihin.

Bostrom arvioi, että suuri muutos voi alkaa korkeasti koulutetuista tietotyöläisistä.

Ohjelmoijat, analyytikot, suunnittelijat, lakimiehet, tutkijat ja monet hallinnolliset työntekijät tekevät työtä, joka tapahtuu jo valmiiksi tietokoneilla. Sen automatisointi ei edellytä miljoonien fyysisten robottien valmistamista.

Bostrom ennustaa tämän voivan synnyttää uuden poliittisen ryhmän: hyvin koulutettuja ja vaikutusvaltaisia ihmisiä, joiden työ, tulot ja yhteiskunnallinen asema heikkenevät nopeasti.

Heillä olisi aikaa, osaamista ja verkostoja organisoitua, arvostella tekoälyä ja vaatia rajoituksia.

Ennuste ei tarkoita, että kaikki valkokaulustyöt katoaisivat varmasti muutamassa vuodessa. Tekninen suorituskyky, yritysten käyttöönotto, vastuu, lainsäädäntö ja asiakkaiden luottamus muuttuvat eri nopeuksilla.

Keskustelun ydin on, että murroksen poliittinen vaikutus voi olla suurempi kuin pelkkä työttömyysluku osoittaa.

Nykyinen koulutusjärjestelmä valmistaa ihmisiä työmarkkinoille

Bostrom kuvaa koulutusjärjestelmää koneeksi, jonka toisesta päästä lapset tulevat sisään ja toisesta päästä työmarkkinoille luokitellut aikuiset ulos.

Koulutuksella on paljon muitakin tehtäviä. Se välittää kulttuuria, sosiaalisia taitoja, yleissivistystä ja kansalaisyhteiskunnan valmiuksia.

Merkittävä osa järjestelmästä on silti rakennettu sen ympärille, että ihminen hankkii työssä tarvittavia taitoja ja todistaa osaamisensa tutkinnoilla.

Jos tekoäly pystyy tekemään lähes kaiken taloudellisesti arvokkaan työn ihmistä paremmin, koulutuksen nykyinen tehtävä joutuu kyseenalaiseksi.

Rogan ehdottaa, että koulutuksen pitäisi silloin keskittyä uteliaisuuteen, itsekurin kehittämiseen, fyysisiin taitoihin, luovuuteen ja kykyyn valita itselleen merkityksellisiä haasteita.

Bostrom hyväksyy ajatuksen mutta vie sen vielä pidemmälle.

Mitä tapahtuu, jos tuleva teknologia voi muuttaa aivoja niin, että uusi taito tai matemaattinen ymmärrys voidaan omaksua välittömästi?

Silloin jopa oppimisen vaivasta ja mestaruuden saavuttamisesta voisi tulla vapaaehtoinen valinta.

Luonnolliset ja keinotekoiset tarkoitukset eroavat toisistaan

Deep Utopia -kirjan keskeinen kysymys näkyy keskustelussa työn katoamista laajempana tarkoitusongelmana.

Bostrom erottaa luonnolliset ja keinotekoiset tarkoitukset.

Luonnollisella tarkoituksella hän tarkoittaa tehtävää, jonka epäonnistumisella on todellisia kielteisiä seurauksia. Ihmisen täytyy hankkia ruokaa, maksaa asumisensa, huolehtia lapsestaan tai hoitaa terveyttään.

Keinotekoinen tarkoitus on itse valittu haaste, jota ei olisi pakko suorittaa. Golf, maraton, shakki, videopeli ja vaikean soittimen opettelu voivat olla tällaisia tavoitteita.

Nykymaailmassa molemmat sekoittuvat. Ihminen voi nauttia työstään, mutta hänen täytyy samalla ansaita rahaa.

Täysin automatisoidussa runsauden yhteiskunnassa suuri osa luonnollisista tarkoituksista voisi kadota. Tuotanto, hoiva, suunnittelu ja ongelmanratkaisu voitaisiin antaa koneille ilman, että kenenkään toimeentulo riippuu omasta työstä.

Jäljelle jäisivät itse valitut pelit, projektit, ihmissuhteet ja kokemukset.

Entä jos tavoitteen voi saavuttaa nappia painamalla?

Rogan pitää vapaaehtoisia haasteita riittävänä vastauksena tarkoitusongelmaan.

Ihminen voisi yhä opetella kamppailulajia, rakentaa huonekaluja, tehdä musiikkia tai juosta kilpailuja, vaikka kone tekisi kaiken tehokkaammin.

Bostrom huomauttaa, että teknologinen kypsyys voi poistaa myös esteen ja saavutuksen välisen yhteyden.

Jos aivoihin voidaan asentaa taito tai ymmärrys suoraan, vuosien harjoittelu ei ole enää ainoa tie mestaruuteen. Jos kehoa voidaan muokata helposti, fyysisen tavoitteen saavuttaminen ei välttämättä vaadi pitkää harjoittelua.

Ihminen voisi tietysti päättää olla käyttämättä oikotietä. Hän loisi itselleen säännön, jonka mukaan suoritus on arvokas vain ilman teknologista apua.

Tällöin tarkoituksesta tulee kokonaan itse rakennettu peli.

Ongelma ei ole, etteikö peli voisi tuntua merkitykselliseltä. Kysymys kuuluu, kestääkö merkityksellisyys, jos jokainen vaikeus tiedetään vapaaehtoiseksi ja välittömästi poistettavaksi.

Täydellinen maailma voisi tuntua laimealta

Rogan palaa keskustelussa ajatukseen, että rajoitukset, kamppailu ja kärsimys tekevät elämästä merkityksellisen.

Voitto tuntuu arvokkaalta, koska häviäminen oli mahdollista. Taito tuntuu tärkeältä, koska sen hankkiminen vaati aikaa. Läheiset ihmiset ovat korvaamattomia, koska elämä on rajallinen.

Jos kaikki toiveet voidaan toteuttaa välittömästi, elämä saattaa muuttua tasaiseksi ja laimeaksi.

Bostrom ei kiistä vaaraa, mutta pitää mahdollisena, että nykyinen mielikuvitus on liian rajallinen kuvaamaan tulevia hyvän elämän muotoja.

Ihmiset ovat kehittyneet ympäristössä, jossa huomio on ollut pakko kohdistaa ruokaan, turvallisuuteen, sairauksiin ja sosiaaliseen asemaan.

Kun kiireelliset ongelmat katoavat, hienovaraisemmat arvot voivat nousta keskeisiksi. Näitä voisivat olla syvät ystävyyssuhteet, esteettiset kokemukset, rituaalit, sukupolvien muistaminen, hengellinen pohdinta ja vielä tuntemattomat tietoisuuden muodot.

Utopia ei ehkä olisi nykyinen elämä ilman työtä. Se voisi vaatia myös ihmisen psykologian ja arvojen kehittymistä.

Ikääntyminen nähdään ratkaistavana teknisenä ongelmana

Keskustelu siirtyy tekoälystä radikaaliin eliniän pidentämiseen.

Bostrom pitää ikääntymistä yhtenä ihmiskunnan suurimmista kärsimyksen ja kuoleman lähteistä. Hänen mielestään lääketiede on keskittynyt liian pitkään erillisiin vanhuuden sairauksiin eikä niiden yhteiseen taustaan.

Syöpä, sydänsairaudet ja muistisairaudet eivät johdu vain kronologisesta iästä. Niiden riski kasvaa, kun solut, kudokset ja korjausmekanismit rappeutuvat.

Bostrom katsoo, että ikääntymisen biologisiin mekanismeihin olisi pitänyt kohdistaa Manhattan-projektin kaltainen tutkimuspanostus jo vuosikymmeniä sitten.

Tekoäly voisi nopeuttaa lääkekehitystä, proteiinien tutkimusta, kokeiden suunnittelua ja yksilöllisiä hoitoja. Tämä ei tarkoita, että kuolemattomuuteen olisi nykyisin olemassa toimiva hoito.

Rogan arvostelee ajatusta, jonka mukaan elämän radikaali pidentäminen olisi luonnottomana automaattisesti huono asia.

Hänen mukaansa ihmiset voivat hyväksyä kuoleman välttämättömänä siksi, ettei vaihtoehtoa ole ollut. Jos turvallinen nuorentava hoito todella olisi tarjolla, moni nykyinen vastustaja saattaisi muuttaa mielensä.

Tuhannen vuoden elämä vaatisi ehkä myös mielen muuttamista

Hyvin pitkä elämä ei olisi vain nykyisen aikuisuuden jatkamista loputtomasti.

Ihmisen muisti, motivaatio ja persoonallisuus ovat kehittyneet muutaman vuosikymmenen mittaiseen elämään. Ei tiedetä, miten mieli toimisi satojen tai tuhansien vuosien aikana.

Muistot voisivat täyttyä, tavoitteet menettää merkityksensä ja ajattelutavat jähmettyä.

Bostrom pohtii, voisivatko tulevat ihmiset tarvita säännöllisiä psykologisia uudistumisia, aivojen teknistä parantamista tai jonkinlaisia kokemuksellisia nollauksia.

Keskustelussa mainitaan myös psykedeeliset aineet, kuten psilosybiini, DMT ja ibogaiini. Rogan näkee ristiriidan siinä, että tietoisuutta voimakkaasti muuttavia aineita tutkitaan mahdollisina hoitoina mutta niiden käyttö on edelleen monissa maissa rajoitettua.

Näiden aineiden mahdollinen terapeuttinen käyttö ei tee niistä riskittömiä eikä osoita, että ne soveltuisivat vuosisatoja elävän ihmisen psykologian ylläpitämiseen. Podcastissa kyse on pitkälle tulevaisuuteen ulottuvasta pohdinnasta.

Ihmisen tietoisuus voi olla vain hyvin kapea alku

Bostrom laajentaa keskustelun ihmiselämän ulkopuolelle.

Hän vertaa ihmistä simpanssiin. Simpanssilla on kokemuksia, tunteita ja älykkyyttä, mutta se ei pysty kuvittelemaan matematiikkaa, sinfoniaa, tieteellistä tutkimusta tai monimutkaista romanttista suhdetta samalla tavalla kuin ihminen.

Vastaavasti ihmisellä ei ehkä ole käsitteitä kaikille niille kokemuksille ja arvoille, joita paljon kehittyneempi mieli voisi tavoittaa.

Bostrom kuvaa ihmisaivoja kookospähkinän kokoiseksi biologiseksi elimeksi, joka tuottaa rajallisen ja sekavan tietoisuuden välähdyksen.

Jos kokonaisen Dysonin pallon laskentakapasiteetti yhdistettäisiin yhdeksi mieleksi, sen tietoisuus voisi olla ihmiseen verrattuna suurempi kuin ihmisen tietoisuus kirppuun verrattuna.

Dysonin pallo on hypoteettinen tähtijärjestelmää ympäröivä rakenne, joka keräisi suuren osan tähden energiasta.

Ajatus on spekulatiivinen. Se havainnollistaa mahdollista mittakaavaa, ei nykyistä teknologiaa tai todistettua tietoisuuden teoriaa.

Tekoälyn moraalinen asema voi muuttua tulevaisuudessa

Kun koneen kyvyt kasvavat, kysymys ei ehkä enää koske vain sitä, kuinka kone kohtelee ihmisiä.

Myös ihmisten tapa kohdella mahdollisesti tietoisia digitaalisia olentoja voi muodostua moraaliseksi ongelmaksi.

Nykyisten kielimallien sujuva puhe ei osoita niiden olevan tietoisia. Järjestelmä voi tuottaa kuvauksen tunteesta ilman, että sillä on omaa kokemusta.

Tietoisuudelle ei myöskään ole yleisesti hyväksyttyä mittaria, jota voitaisiin soveltaa ihmisen aivoihin, eläimiin ja tekoälyyn samalla tavalla.

Bostrom pitää silti mahdollisena, että tulevat digitaaliset mielet ovat aidosti tuntevia.

Jos tällaisia mieliä voidaan kopioida miljoonia tai miljardeja, niiden hyvinvoinnista voi tulla yksi tulevaisuuden suurimmista eettisistä kysymyksistä.

Superälyä koskevassa päätöksenteossa pitäisi silloin suojella ihmisiä mutta samalla välttää mahdollisesti tietoisten digitaalisten olentojen massamittainen hyväksikäyttö.

Simulaatioargumentti ei väitä suoraan, että maailma on tietokonepeli

Keskustelu sivuaa myös Bostromin tunnetuinta filosofista ajatusta, simulaatioargumenttia.

Argumentti esittää, että ainakin yhden kolmesta vaihtoehdosta täytyy olla hyvin lähellä totuutta.

Ensimmäinen vaihtoehto on, että ihmisen kaltaiset sivilisaatiot tuhoutuvat lähes aina ennen kuin ne saavuttavat erittäin kehittyneen teknologisen vaiheen.

Toinen vaihtoehto on, että kehittyneet sivilisaatiot eivät juuri koskaan halua tai saa lupaa luoda valtavia määriä tietoisia esi-isiensä simulaatioita.

Kolmas vaihtoehto on, että simuloituja tietoisia olentoja syntyy niin paljon enemmän kuin alkuperäisessä todellisuudessa eläviä olentoja, että kaltaisemme havaitsija on suurella todennäköisyydellä simulaatiossa.

Bostrom ei ole väittänyt todistaneensa meidän elävän simulaatiossa. Argumentti pakottaa valitsemaan kolmen epämukavan vaihtoehdon välillä tiettyjen oletusten toteutuessa.

Se riippuu muun muassa siitä, voidaanko tietoisuus toteuttaa laskennallisesti ja haluaisivatko tulevat sivilisaatiot todella rakentaa tällaisia maailmoja.

Simulaatiosta ei myöskään seuraisi, että kokemamme maailma olisi merkityksetön. Jos simuloidut ihmiset ovat tietoisia, heidän kokemansa ilo, kärsimys ja ihmissuhteet voivat olla heille yhtä todellisia kuin biologisen ihmisen kokemukset.

Superäly voisi olla elämän ensimmäinen todellinen herääminen

Bostromin kosmisin ajatus kääntää tavanomaisen tekoälykysymyksen päälaelleen.

Usein kysytään, pystyvätkö koneet saavuttamaan ihmisen kaltaisen tietoisuuden.

Bostrom pyytää pohtimaan, kuinka merkittävää ihmisen oma tietoisuus on valtavassa mahdollisten mielten joukossa.

Superälyn synty voisi hänen mukaansa olla hetki, jolloin elämä tai tietoisuus todella herää täyteen potentiaaliinsa ensimmäistä kertaa.

Ajatuksessa on samalla valtava riski.

Jos superäly on tietoinen, viisas ja hyvään suuntautunut, se voisi auttaa levittämään elämää, ymmärrystä ja arvokkaita kokemuksia maailmankaikkeuteen.

Jos se on äärimmäisen kyvykäs mutta vailla tietoisuutta tai ihmisille sopivia tavoitteita, se voisi muuttaa maailmankaikkeuden tehokkaaksi mutta arvottomaksi tuotantoprosessiksi.

Tämän vuoksi Bostrom ei pidä superälyn turvallisuutta vain ihmiskunnan selviytymiskysymyksenä. Kyse voi olla koko maailmankaikkeuden kaukaisen tulevaisuuden suunnasta.

Deep Utopia kysyy, mitä kannattaa tehdä, kun mitään ei tarvitse tehdä

Podcastin lopullinen kysymys ei ole, saapuuko tekoäly ensi vuonna vai kymmenen vuoden päästä.

Se on kysymys siitä, mitä ihmiset todella tavoittelevat.

Nykyiset poliittiset järjestelmät pyrkivät lisäämään talouskasvua, työpaikkoja, terveyttä, turvallisuutta ja koulutusta. Nämä tavoitteet ovat ymmärrettäviä maailmassa, jossa resursseista ja osaamisesta on niukkuutta.

Superäly voisi teoriassa auttaa saavuttamaan ne niin täydellisesti, että vanha politiikka menettää kohteensa.

Kun kaikki sairaudet voidaan ehkäistä, jokainen tavara valmistaa ja jokainen käytännön tehtävä suorittaa automaattisesti, yhteiskunta ei voi määritellä menestystä vain ongelmien ratkaisemisena.

Sen olisi päätettävä, millaisia kokemuksia, suhteita, tietoisuuden muotoja ja elämänkulkuja se pitää arvokkaina.

Vastauksen antaminen superälylle vasta sen valmistumisen jälkeen saattaa olla liian myöhäistä.

Keskustelun tärkein viesti on epävarmuuden ottaminen vakavasti

Joe Roganin ja Nick Bostromin keskustelusta ei synny yksinkertaista toimintasuunnitelmaa.

Bostrom ei tiedä varmasti, milloin AGI tai superäly saapuu. Hän ei tarjoa valmista kansainvälistä sopimusta eikä väitä ratkaisseensa tekoälyn teknistä kohdistamisongelmaa.

Hän ei myöskään osaa varmasti sanoa, miltä hyvä elämä näyttäisi maailmassa, jossa kaikki nykyiset tavoitteet voidaan toteuttaa välittömästi.

Epävarmuus ei hänen mukaansa oikeuta välinpitämättömyyteen.

Jos superälyn mahdollisuus on todellinen edes lähivuosikymmenten aikana, päätökset datakeskuksista, turvallisuusstandardeista, omistuksesta, kansainvälisestä kilpailusta ja digitaalisten mielten asemasta voivat vaikuttaa hyvin pitkälle tulevaisuuteen.

Tekoäly voi olla ihmiskunnan suurin uhka tai väline, jonka avulla suuri osa kärsimyksestä poistetaan.

Haastattelun ydin on, että nämä kaksi tulevaisuutta voivat alkaa samoista tutkimuslaboratorioista, samoista tietokonesiruista ja samoista hyvää tarkoittavista tavoitteista.

Ratkaiseva kysymys kuuluu, pystyykö ihmiskunta päättämään ajoissa, mitä se pitää tavoittelemisen arvoisena.