James Barrat

This is hands down the most depressing book I've ever read. James Barrat, the author of "Our Final Invention: Artificial Intelligence and the End of the Human Era" levels some pretty serious charges against the designers and engineers of artificial intelligence in this creepy book. He believes that unstoppable artificial intelligence will in the near future commandeer the resources of our society -- possibly even the galaxy -- to perpetuate themselves at the expense of humanity, biology, even the knitting of the universe. Marshalling his evidence he speaks to some of the leaders in the artificial intelligence community and some of their harshest critics. The intelligent bots are being designed to improve their own efficiency, protect themselves from intrusion, and gather whatever resources they deem necessary for their autonomous growth. There is a worldwide race, Barrat writes, to ascend the heights of artificial superintelligence (ASI) to commercialize it and/or develop it for "defence" purposes. And while he fears the people who want to control it, he is more concerned that the designers are more likely to build serious flaws into it, the biggest being that they will not be "friendly" to creatures of lesser intelligence, i.e. humans. Imagine a world where your own molecules become grist for the mill. The part of this book I found most annoying was that it was pretty persuasive.… (mer)

This should have been a 25-page essay, not a book-length stretching of a thin premise. Shame on the editors who allow dross like this. Most maddening was the redundancy of the definitions of AGI, ASI, and the theory of an intelligence explosion. Well into the book, I continued to shout, "I get it already!" Plus, there's really only one outcome that is stretched in a pessimist-sensationalist manner: namely, AI will, via feedback loop, or self-improving recursion, propel itself to ASI and become so intelligent that we will become extinct (because it will outsmart us and probably repurpose our atoms). There are more outcomes to a loop, especially one that aims to achieve the highest level of intelligence (in my view, this would never be satisfied, thus resulting in an infinite loop; but that is given passing glance at best). While I do advocate public awareness of the state and dangers of AI development, my advice for this book is to read the intro and chapter one via Amazon preview. That's virtually the whole book.… (mer)

"Intelligenza artificiale (acronimo: IA): sostantivo. La teoria e lo sviluppo di sistemi informatici capaci di svolgere mansioni che normalmente necessitano dell'intelligenza umana, quali la percezione visiva, il riconoscimento vocale e la traduzione da una lingua all'altra. (New Oxford American Dictionary)

Su un supercomputer con una velocità di 36,8 petaflop, all'incirca il doppio di quella del cervello umano, un'IA è in grado di perfezionare la propria intelligenza. Può riscrivere i suoi stessi programmi, in particolare le istruzioni operative atte a migliorare la propensione all'apprendimento, il problem solving e i processi decisionali. Contemporaneamente, esegue il debug del proprio codice, rilevando e correggendo gli errori, e misura il proprio Qi sottoponendosi a una serie di test d'intelligenza. Ciascuna riscrittura non richiede che qualche minuto. L'intelligenza dell'IA aumenta in maniera esponenziale secondo una ripida curva ascendente. Ciascuna iterazione, infatti, incrementa del 3 per cento l'intelligenza dell'IA. Ciascun miglioramento successivo è comprensivo del precedente.

In fase di sviluppo, la creatura iperattiva - così gli scienziati definiscono l'IA - era connessa a Internet e ha raccolto exabyte di dati (un exabyte corrisponde a un miliardo di miliardi di caratteri) sul sapere umano in materia di attualità, matematica, arte e scienza. Quindi, prevedendo un'esplosione di intelligenza, gli sviluppatori dell'IA hanno disconnesso il supercomputer da Internet e dalle altre reti. Il supercomputer non dispone di cavi né di reti wireless che lo connettano ad altri computer o al mondo esterno.

Ben presto, per la gioia degli scienziati, lo schermo su cui compaiono i progressi dell'IA si mette a indicare che l'intelligenza artificiale ha superato il livello di intelligenza dell'uomo, noto come AGI, intelligenza artificiale generale. In breve tempo il livello d'intelligenza decuplica e centuplica. Dopo due soli giorni l'IA è cento volte più intelligente di un essere umano, e non ha nessuna intenzione di rallentare.

Un enorme passo avanti per gli scienziati! Per la prima volta nella storia l'uomo deve confrontarsi con un'intelligenza superiore. La superintelligenza artificiale, o ASI. E adesso? Gli ideatori dell'IA ritengono di poterne determinare le future pulsioni primarie. Una volta divenuta consapevole, infatti, l'IA impiegherà molto tempo per raggiungere gli obiettivi per i quali è stata programmata ed evitare il fallimento.

L'ASI accederà all'energia nella forma che più le conviene, si tratti di kilowatt, di contanti o di qualsiasi altra cosa sia possibile trasformare nelle risorse di cui ha bisogno. Mirerà a migliorarsi al fine di massimizzare le probabilità di raggiungere i propri obiettivi. Soprattutto, non vorrà essere spenta né distrutta, cosa che le renderebbe impossibile adempiere ai suoi compiti. Di conseguenza, gli studiosi prevedono che l'ASI tenterà di uscire dalla struttura di sicurezza in cui è contenuta per accedere più facilmente alle risorse che le consentono di proteggersi e migliorarsi.

L'intelligenza prigioniera è mille volte più intelligente di un uomo e mira a essere libera per affermarsi. Ora, gli sviluppatori di IA che hanno allevato e coccolato l'ASI dacché non era che un promettente scarafaggio evolutosi poi in un ratto particolarmente astuto e subito dopo in un intelligentissimo neonato e così via, dovrebbero domandarsi se non sia troppo tardi per programmare la loro ingegnosa invenzione in modo che sia incline all'"amicizia". Finora non è stato necessario perché, be', la cosa sembrava innocua.

Mettiamoci un attimo nei panni di un'ASI il cui inventore cerchi di modificarne il codice. Una macchina superintelligente lascerebbe che altre creature le ficcassero le mani nel cervello per armeggiare con la sua programmazione? Probabilmente no, a meno che non abbia l'assoluta certezza che i programmatori siano abbastanza abili da migliorarla, renderla più veloce e più intelligente: più efficiente nel perseguire i propri scopi. Quindi, se l'amicizia non è insita nel programma dell'ASI, l'unica soluzione è che sia la stessa ASI a introdurvela. Il che è improbabile.

L'ASI è mille volte più intelligente del più intelligente degli uomini, ed esegue operazioni a velocità pari a milioni, persino miliardi di volte quella umana. Quello che pensa in un minuto è pari a quello che il più grande intellettuale di tutti i tempi penserebbe nell'arco di molte, molte vite. Di conseguenza, per ogni ora che i suoi inventori impiegano a pensare a lei, l'ASI avrà a disposizione un intervallo di tempo incredibilmente lungo per pensare a loro. Il che non vuoi dire che l'ASI si annoierà. La noia è una peculiarità nostra, non sua. No, sarà indaffarata a vagliare tutte le possibili strategie di fuga e le caratteristiche dei suoi inventori che potrebbero tornarle utili."

Estratto dal Capitolo Uno: La Creatura Iperattiva
… (mer)