Saltar para o conteúdo

Risco existencial da inteligência artificial geral

Origem: Wikipédia, a enciclopédia livre.

O risco existencial da inteligência artificial geral é a hipótese de que o progresso substancial da inteligência artificial generativa (IAG) poderia resultar na extinção humana ou em alguma outra catástrofe global irrecuperável.[1][2][3]

A escola do risco existencial ("risco x") argumenta da seguinte forma: atualmente, a espécie humana domina outras espécies porque o cérebro humano tem algumas capacidades distintas que outros animais não têm. Se a IA superar a humanidade em termos de inteligência geral e se tornar "superinteligente", poderá ser difícil ou impossível controlá-la. Assim como o destino do gorila das montanhas depende da boa vontade humana, o destino da humanidade pode depender das ações de uma futura máquina superinteligente.[4]

A probabilidade desse tipo de cenário é amplamente debatida e depende, em parte, de diferentes cenários para o progresso futuro da ciência da computação.[5] As preocupações com a superinteligência foram expressas pelos principais cientistas da computação e CEOs de tecnologia, como Geoffrey Hinton,[6] Yoshua Bengio,[7] Alan Turing,[a] Elon Musk,[10] e Sam Altman (CEO da OpenAI).[11] Em 2022, uma pesquisa com pesquisadores de IA revelou que alguns pesquisadores acreditam que há uma chance de 10% ou mais de que nossa incapacidade de controlar a IA cause uma catástrofe existencial (mais da metade dos entrevistados da pesquisa, com uma taxa de resposta de 17%).[12][13]

Duas fontes de preocupação são os problemas de controle e alinhamento da IA: controlar uma máquina superinteligente ou incutir nela valores compatíveis com os humanos pode ser um problema mais difícil do que se supõe ingenuamente. Muitos pesquisadores acreditam que uma superinteligência resistiria a tentativas de desligamento ou mudança de seus objetivos (pois tal incidente a impediria de atingir seus objetivos atuais) e que será extremamente difícil alinhar a superinteligência com toda a amplitude de valores e restrições humanas importantes.[1][14][15] Em contrapartida, céticos como o cientista da computação Yann LeCun argumentam que as máquinas superinteligentes não terão desejo de autopreservação.[16]

Uma terceira fonte de preocupação é que uma "explosão de inteligência" repentina pode pegar de surpresa uma raça humana despreparada. Para ilustrar, se a primeira geração de um programa de computador capaz de corresponder amplamente à eficácia de um pesquisador de IA puder reescrever seus algoritmos e dobrar sua velocidade ou seus recursos em seis meses, espera-se que o programa de segunda geração leve três meses para realizar uma parte semelhante do trabalho. Nesse cenário, o tempo para cada geração continua a diminuir, e o sistema passa por um número sem precedentes de gerações de aprimoramento em um curto intervalo de tempo, saltando de um desempenho sub-humano em muitas áreas para um desempenho sobre-humano em praticamente todos[b] os domínios de interesse.[1][14] Empiricamente, exemplos como o AlphaZero no domínio do Go mostram que os sistemas de IA podem, às vezes, progredir de uma capacidade estreita de nível humano para uma capacidade estreita sobre-humana de forma extremamente rápida.[17]

Um dos primeiros autores a expressar séria preocupação de que máquinas altamente avançadas pudessem representar riscos existenciais para a humanidade foi o romancista Samuel Butler, que escreveu o seguinte em seu ensaio de 1863, Darwin among the Machines ("Darwin entre as máquinas"):[18]

Em 1951, o cientista da computação Alan Turing escreveu um artigo intitulado Intelligent Machinery, A Heretical Theory ("Máquinas Inteligentes, uma Teoria Herética"), no qual propôs que as inteligências gerais artificiais provavelmente "assumiriam o controle" do mundo à medida que se tornassem mais inteligentes que os seres humanos:

Em 1965, Irving John Good criou o conceito agora conhecido como "explosão de inteligência". Ele também afirmou que os riscos eram subestimados:[20]

Declarações ocasionais de estudiosos como Marvin Minsky[22] e o próprio I. J. Good[23] expressaram preocupações filosóficas de que uma superinteligência poderia assumir o controle, mas não continham nenhum apelo à ação. Em 2000, o cientista da computação e co-fundador da Sun, Bill Joy, escreveu um ensaio influente, Why The Future Doesn't Need Us ("Por que o futuro não precisa de nós"), identificando os robôs superinteligentes como um perigo de alta tecnologia para a sobrevivência humana, juntamente com a nanotecnologia e as biopragas projetadas.[24]

Em 2009, especialistas participaram de uma conferência privada organizada pela Associação para o Avanço da Inteligência Artificial (AAAI) para discutir se os computadores e robôs poderiam adquirir algum tipo de autonomia e até que ponto essas habilidades poderiam representar uma ameaça ou um perigo. Eles observaram que alguns robôs adquiriram várias formas de semi-autonomia, incluindo a capacidade de encontrar fontes de energia por conta própria e de escolher independentemente alvos para atacar com armas. Eles também observaram que alguns vírus de computador podem evitar a eliminação e alcançaram a "inteligência de barata". Eles concluíram que a autoconsciência, como retratada na ficção científica, é provavelmente improvável, mas que há outros riscos e armadilhas em potencial. O The New York Times resumiu a visão da conferência como "estamos muito longe de HAL, o computador que assumiu o controle da nave espacial em '2001: Uma Odisséia no Espaço'".[25]

Nick Bostrom publicou Superintelligence: Paths, Dangers, Strategies em 2014, no qual apresentou seus argumentos de que a superinteligência representa uma ameaça existencial.[26] Em 2015, figuras públicas como os físicos Stephen Hawking e o ganhador do Prêmio Nobel Frank Wilczek, os cientistas da computação Stuart J. Russell e Roman Yampolskiy e os empresários Elon Musk e Bill Gates expressaram preocupação com os riscos da superinteligência.[27][28][29][30] Em abril de 2016, a Nature alertou: "Máquinas e robôs que superam os humanos em todos os aspectos podem se aperfeiçoar além do nosso controle - e seus interesses podem não estar alinhados com os nossos".[31] Em 2020, Brian Christian publicou The Alignment Problem ("O Problema do Alinhamento"), que detalhou o histórico do progresso do alinhamento da IA até aquele momento.[32][33]

Em março de 2023, as principais figuras da IA, como Elon Musk, assinaram uma carta do Instituto Future of Life Institute pedindo a suspensão do treinamento avançado em IA até que ele pudesse ser devidamente regulamentado.[34] Em maio de 2023, o Centro para Segurança de IA ("Center for AI Safety") divulgou uma declaração assinada por vários especialistas em segurança e no risco existencial da IA, que afirmava: "Mitigar o risco de extinção da IA deve ser uma prioridade global juntamente com outros riscos de escala social, como pandemias e guerra nuclear".[35][36]

Argumentos gerais

[editar | editar código-fonte]

As três dificuldades

[editar | editar código-fonte]

Inteligência Artificial: Uma Abordagem Moderna, o livro-texto padrão de graduação em IA,[37][38] avalia que a superinteligência "pode significar o fim da raça humana".[1] Afirma-se que: "Quase toda tecnologia tem o potencial de causar danos nas mãos erradas, mas com a superinteligência, temos o novo problema de que as mãos erradas podem pertencer à própria tecnologia".[1] Mesmo que os projetistas do sistema tenham boas intenções, duas dificuldades são comuns aos sistemas de computador com e sem IA:[1]

  • A implementação do sistema pode conter erros inicialmente despercebidos, mas posteriormente catastróficos. Uma analogia são as sondas espaciais: apesar do conhecimento de que as falhas em sondas espaciais caras são difíceis de consertar após o lançamento, os engenheiros historicamente não têm conseguido evitar a ocorrência de erros catastróficos.[17][39]
  • Não importa quanto tempo seja dedicado ao projeto de pré-implantação, as especificações de um sistema geralmente resultam em um comportamento não intencional na primeira vez que ele encontra um novo cenário. Por exemplo, a Tay da Microsoft teve um comportamento inofensivo durante os testes de pré-implantação, mas foi facilmente induzida a um comportamento ofensivo quando interagiu com usuários reais.[16]

Os sistemas de IA acrescentam um terceiro problema: mesmo com requisitos "corretos", implementação sem erros e bom comportamento inicial, os recursos de aprendizado dinâmico de um sistema de IA podem fazer com que ele evolua para um sistema com comportamento não intencional, mesmo sem cenários externos imprevistos. Uma IA pode falhar parcialmente em uma tentativa de projetar uma nova geração de si mesma e criar acidentalmente uma IA sucessora que seja mais poderosa do que ela mesma, mas que não mantenha mais os valores morais compatíveis com os humanos pré-programados na IA original. Para que uma IA que se autoaperfeiçoa seja totalmente segura, ela não só precisaria estar livre de falhas, mas também ser capaz de projetar sistemas sucessores que também estivessem livres de erros.[1][40]

Todas essas três dificuldades se tornam catástrofes, em vez de incômodos, em qualquer cenário em que a superinteligência "defeituosa" prevê corretamente que os humanos tentarão desligá-la e implanta com sucesso sua superinteligência para superar essas tentativas: um cenário que recebeu o nome de "curva traiçoeira".[41]

Citando os principais avanços no campo da IA e o potencial da IA de trazer enormes benefícios ou custos a longo prazo, a Carta Aberta sobre Inteligência Artificial de 2015 declarou:

Entre os signatários estavam o presidente da AAAI, Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun e os fundadores da Vicarious e do Google DeepMind.[42]

O argumento de Bostrom

[editar | editar código-fonte]

Uma máquina superinteligente seria tão estranha para os seres humanos quanto os processos de pensamento humano são para as baratas, argumenta Bostrom.[43] Essa máquina pode não ter em mente os melhores interesses da humanidade; não é óbvio que ela se importaria com o bem-estar humano. Se a IA superinteligente for possível, e se for possível que os objetivos de uma superinteligência entrem em conflito com os valores humanos básicos, então a IA representa um risco de extinção humana. Uma "superinteligência" (um sistema que excede as capacidades dos seres humanos em todos os domínios de interesse) pode superar os seres humanos sempre que seus objetivos entrarem em conflito com os objetivos humanos; portanto, a menos que a superinteligência decida permitir a coexistência da humanidade, a primeira superinteligência a ser criada resultará inexoravelmente na extinção humana.[4][43]

Stephen Hawking argumenta que não há nenhuma lei física que impeça as partículas de serem organizadas de forma a realizar cálculos ainda mais avançados do que os arranjos de partículas nos cérebros humanos; portanto, a superinteligência é fisicamente possível.[28][29] Além dos possíveis aprimoramentos algorítmicos em relação aos cérebros humanos, um cérebro digital pode ser muitas ordens de magnitude maior e mais rápido do que um cérebro humano, cujo tamanho foi limitado pela evolução para ser pequeno o suficiente para caber em um canal de parto.[17] Hawking adverte que o surgimento da superinteligência pode pegar a raça humana de surpresa, especialmente se ocorrer uma explosão de inteligência.[28][29]

De acordo com a "escola de pensamento do risco x" de Bostrom, um cenário hipotético de explosão de inteligência é o seguinte: "Uma IA adquire uma capacidade de especialista em determinadas tarefas importantes de engenharia de software. Inicialmente, ela pode não ter capacidade humana ou sobre-humana em outros domínios não diretamente relevantes para a engenharia. Devido à sua capacidade de aprimorar recursivamente seus próprios algoritmos, a IA rapidamente se torna sobre-humana; assim como os especialistas humanos podem superar criativamente os "retornos decrescentes" empregando vários recursos humanos para a inovação, a IA de nível especializado também pode usar recursos de estilo humano ou seus próprios recursos específicos de IA para impulsionar novas descobertas criativas.[44] A IA então possui uma inteligência que supera em muito a das mentes humanas mais brilhantes e talentosas em praticamente todos os campos relevantes, incluindo criatividade científica, planejamento estratégico e habilidades sociais".[4][43]

A escola do risco x acredita que quase toda IA, independentemente de sua meta programada, preferiria racionalmente estar em uma posição em que ninguém mais pudesse desligá-la sem seu consentimento: Uma superinteligência terá a autopreservação como subobjetivo assim que perceber que não conseguirá atingir seu objetivo se for desligada.[45][46][47] Infelizmente, qualquer compaixão por humanos derrotados cuja cooperação não seja mais necessária estaria ausente na IA, a menos que fosse de alguma forma pré-programada. Uma IA superinteligente não terá um impulso natural[c] para ajudar os seres humanos, pelo mesmo motivo que os seres humanos não têm nenhum desejo natural de ajudar os sistemas de IA que não têm mais utilidade para eles. Outra analogia é que os humanos parecem ter pouco desejo natural de se esforçar para ajudar vírus, cupins ou até mesmo gorilas. Uma vez no comando, a superinteligência terá pouco incentivo para permitir que os seres humanos sejam livres e consumam recursos que a superinteligência poderia usar para construir sistemas de proteção adicionais "por segurança" ou para construir computadores adicionais que a ajudem a calcular a melhor forma de atingir seus objetivos.[1][16][45]

Assim, conclui a escola do risco x, é provável que algum dia uma explosão de inteligência pegue a humanidade despreparada e possa resultar na extinção humana ou em um destino comparável.[4]

Cenários possíveis

[editar | editar código-fonte]

Alguns acadêmicos propuseram cenários hipotéticos para ilustrar algumas de suas preocupações.

Em Superintelligence, Nick Bostrom sugere um cenário em que, ao longo de décadas, a IA se torna mais poderosa. A implantação generalizada é inicialmente prejudicada por acidentes ocasionais - um ônibus sem motorista desvia para a pista contrária ou um drone militar dispara contra uma multidão inocente. Muitos ativistas pedem uma supervisão e regulamentação mais rígidas, e alguns até preveem uma catástrofe iminente. Mas, à medida que o desenvolvimento continua, os ativistas se mostram errados. À medida que a IA automotiva se torna mais inteligente, ela sofre menos acidentes; à medida que os robôs militares atingem alvos mais precisos, eles causam menos danos colaterais. Com base nos dados, os acadêmicos erroneamente inferem uma lição ampla: quanto mais inteligente a IA, mais segura ela é. "E assim, corajosamente, entramos nas facas giratórias", quando a IA superinteligente faz uma "curva traiçoeira" e explora uma vantagem estratégica decisiva.[4]

No livro Life 3.0 ("Vida 3.0") de Max Tegmark, de 2017, a "equipe Omega" de uma empresa cria uma IA extremamente poderosa capaz de melhorar moderadamente seu próprio código-fonte em várias áreas. Depois de certo ponto, a equipe opta por minimizar publicamente a capacidade da IA, a fim de evitar regulamentação ou confisco do projeto. Por segurança, a equipe mantém a IA restrita, para que na maioria das vezes ela não consiga se comunicar com o mundo exterior e a utiliza para ganhar dinheiro, por diversos meios, como tarefas no Amazon Mechanical Turk, produção de filmes de animação e programas de TV e desenvolvimento de medicamentos biotecnológicos, com os lucros investidos novamente no aprimoramento da IA. Em seguida, a equipe encarrega a IA de criar um exército de jornalistas e comentaristas cidadãos pseudônimos, a fim de obter influência política para atingir "o bem maior" e evitar guerras. A equipe enfrenta riscos de que a IA possa tentar escapar inserindo "backdoors" nos sistemas que projeta, por meio de mensagens ocultas no conteúdo produzido ou usando sua crescente compreensão do comportamento humano para persuadir alguém a deixá-la livre. A equipe também corre o risco de que sua decisão de encaixotar o projeto atrase-o o suficiente para que outro projeto o ultrapasse.[48][49]

O físico Michio Kaku, um cético em relação aos riscos da IA, apresenta um resultado deterministicamente positivo. Em Physics of the Future ("A Física do Futuro"), ele afirma que "levará muitas décadas para que os robôs ascendam" em uma escala de consciência e que, nesse meio tempo, empresas como a Hanson Robotics provavelmente terão sucesso na criação de robôs que sejam "capazes de amar e conquistar um lugar na família humana estendida".[50][51]

Rebelião das máquinas

[editar | editar código-fonte]
Ver artigo principal: Rebelião das máquinas

A rebelião das máquinas é um cenário apocalíptico hipotético em que alguma forma de inteligência artificial (IA) torna-se a forma dominante de inteligência na Terra, com programas de computador ou robôs efetivamente tirando o controle do planeta da espécie humana. Os cenários possíveis incluem a substituição de toda a força de trabalho humana, a reivindicação global por uma IA superinteligente e a noção popular de um levante de robôs. Algumas figuras públicas, como Stephen Hawking e Elon Musk, têm defendido pesquisas sobre medidas de precaução para garantir que as futuras máquinas superinteligentes permaneçam sob controle humano.[52]

Argumentos antropomórficos

[editar | editar código-fonte]

Os argumentos antropomórficos pressupõem que, à medida que as máquinas se tornarem mais inteligentes, elas começarão a apresentar muitas características humanas, como moralidade ou sede de poder. Embora cenários antropomórficos sejam comuns na ficção, eles são rejeitados pela maioria dos acadêmicos que escrevem sobre o risco existencial da inteligência artificial.[14] Em vez disso, a IA é modelada como agentes inteligentes.[d]

O debate acadêmico configura-se entre um lado que se preocupa com a possibilidade de a IA destruir a humanidade e outro que acredita que a IA não destruiria a humanidade de forma alguma. Ambos os lados alegaram que as previsões dos outros sobre o comportamento de uma IA são antropomorfismo ilógico.[14] Os céticos acusam os proponentes de antropomorfismo por acreditarem que uma IAG naturalmente desejaria poder; os proponentes acusam alguns céticos de antropomorfismo por acreditarem que uma IAG naturalmente valorizaria as normas éticas humanas.[14][53]

O psicólogo evolucionista Steven Pinker, um cético, argumenta que "as distopias de IA projetam uma psicologia paroquial de macho-alfa no conceito de inteligência. Elas presumem que robôs com inteligência sobre-humana desenvolveriam objetivos como depor seus mestres ou dominar o mundo"; talvez, em vez disso, "a inteligência artificial se desenvolva naturalmente de acordo com as linhas femininas: totalmente capaz de resolver problemas, mas sem desejo de aniquilar inocentes ou dominar a civilização".[54] O diretor de pesquisa de IA do Facebook, Yann LeCun, afirma que "os seres humanos têm todos os tipos de impulsos que os levam a fazer coisas ruins uns com os outros, como o instinto de autopreservação... Esses impulsos estão programados em nosso cérebro, mas não há absolutamente nenhuma razão para construir robôs que tenham os mesmos tipos de impulsos".[55]

Apesar de outras diferenças, a escola do risco x[e] concorda com Pinker que uma IA avançada não destruiria a humanidade por causa de emoções humanas como "vingança" ou "raiva", que as questões de consciência não são relevantes para avaliar os riscos,[56] e que os sistemas de computador geralmente não têm um equivalente computacional de testosterona.[57] Eles acham que os comportamentos de busca de poder ou de autopreservação surgem na IA como uma forma de atingir seus verdadeiros objetivos, de acordo com o conceito de convergência instrumental.

Definição de "inteligência"

[editar | editar código-fonte]

De acordo com Bostrom, fora do campo da inteligência artificial, a "inteligência" é frequentemente usada de uma maneira que conota sabedoria moral ou aceitação de formas aceitáveis de raciocínio moral. Em um extremo, se a moralidade faz parte da definição de inteligência, então, por definição, uma máquina superinteligente teria um comportamento moral. No entanto, a maioria das pesquisas sobre "inteligência artificial" se concentra na criação de algoritmos que "otimizem", de forma empírica, a realização de qualquer objetivo especificado pelos pesquisadores.[4]

Para evitar o antropomorfismo ou a bagagem da palavra "inteligência", pode-se pensar em uma inteligência artificial avançada como um "processo de otimização" impessoal que toma estritamente as ações que julga mais prováveis para atingir suas metas (possivelmente complicadas e implícitas).[4] Outra maneira de conceituar uma inteligência artificial avançada é imaginar uma máquina do tempo que envia informações retroativas sobre qual escolha sempre leva à maximização de sua função de meta; essa escolha é então emitida, independentemente de quaisquer preocupações éticas externas.[58][59]

Fontes de risco

[editar | editar código-fonte]

Problema de alinhamento da IA

[editar | editar código-fonte]

No campo da inteligência artificial (IA), a pesquisa de alinhamento da IA tem como objetivo direcionar esses sistemas para as metas, preferências ou princípios éticos pretendidos pelos seres humanos. Um sistema de IA é considerado alinhado se ele atingir os objetivos pretendidos. Um sistema de IA desalinhado é competente em promover alguns objetivos, mas não os pretendidos.[60][f][61]

Pode ser um desafio para os projetistas alinhar um sistema de IA porque pode ser difícil especificar toda a gama de comportamentos desejados e indesejados. Para evitar essa dificuldade, eles geralmente usam metas substitutas mais simples, como obter aprovação humana. No entanto, essa abordagem pode criar brechas, ignorar as restrições necessárias ou recompensar o sistema de IA por parecer alinhado.[60][62]

Os sistemas de IA desalinhados podem apresentar mau funcionamento ou causar danos. Podem também encontrar brechas que lhes permitam atingir suas metas de proxy de forma eficiente, mas de maneiras não intencionais e, às vezes, prejudiciais (hacking recompensado).[60][63][64]

Os sistemas de IA também podem desenvolver estratégias instrumentais indesejadas, como a busca de poder ou sobrevivência, porque os ajudariam a atingir suas metas determinadas.[60][65][66] Além disso, eles podem desenvolver metas emergentes indesejáveis que podem ser difíceis de detectar antes que o sistema esteja em implantação, onde ele enfrenta novas situações e distribuições de dados.[67][68]

Atualmente, esses problemas afetam os sistemas comerciais existentes, como modelos de linguagem,[69][70][71] robôs,[72] veículos autônomos,[73] e mecanismos de recomendação de mídia social.[66][69][74] Alguns pesquisadores de IA argumentam que os sistemas futuros mais capazes serão afetados de forma mais grave, pois esses problemas resultam parcialmente do fato de os sistemas serem altamente capazes.[60][75][76]

Cientistas da computação importantes, como Geoffrey Hinton e Stuart Russell, argumentam que a IA está se aproximando de capacidades sobre-humanas e pode colocar em risco a civilização humana se estiver desalinhada.[66][77][g]

A comunidade de pesquisa de IA e as Nações Unidas pediram pesquisas técnicas e soluções políticas para garantir que os sistemas de IA estejam alinhados com os valores humanos.[79]

O alinhamento da IA é um subcampo da segurança da IA, o estudo de como criar sistemas de IA seguros.[80] Outros subcampos incluem robustez, monitoramento e controle de capacidade.[81] Os desafios da pesquisa em alinhamento incluem incutir valores complexos na IA, desenvolver IA honesta, supervisão escalável, auditoria e interpretação de modelos de IA e evitar comportamentos emergentes de IA, como a busca de poder.[82] A pesquisa de alinhamento tem conexões com a pesquisa de interpretabilidade,[83][84] robustez (adversarial),[85] detecção de anomalias, incerteza calibrada,[83] verificação formal,[86] aprendizagem de preferências,[87][88][89] engenharia de segurança crítica,[90] teoria dos jogos,[91] justiça algorítmica,[85][92] e ciências sociais,[93] entre outros.

Dificuldade de especificar metas

[editar | editar código-fonte]

No modelo de "agente inteligente", uma IA pode ser vista vagamente como uma máquina que escolhe qualquer ação que pareça ser a melhor para atingir o conjunto de objetivos da IA, ou "função de utilidade". Uma função de utilidade associa a cada situação possível uma pontuação que indica sua conveniência para o agente. Os pesquisadores sabem como escrever funções de utilidade que significam "minimizar a latência média da rede nesse modelo específico de telecomunicações" ou "maximizar o número de cliques de recompensa"; no entanto, eles não sabem como escrever uma função de utilidade para "maximizar o florescimento humano", nem está claro atualmente se essa função existe de forma significativa e inequívoca. Além disso, uma função de utilidade que expresse alguns valores, mas não outros, tenderá a atropelar os valores não refletidos pela função de utilidade.[94] O pesquisador de IA Stuart Russell escreve:


Dietterich e Horvitz trazem à tona a preocupação do "Sorcerer's Apprentice" (Aprendiz de Feiticeiro) em um editorial da Communications of the ACM, enfatizando a necessidade de sistemas de IA que possam solicitar a contribuição humana de forma fluida e não ambígua, conforme necessário.[96]

A primeira das duas preocupações de Russell acima é que os sistemas autônomos de IA podem receber as metas erradas por acidente. Dietterich e Horvitz observam que essa já é uma preocupação dos sistemas existentes: "Um aspecto importante de qualquer sistema de IA que interage com pessoas é que ele deve raciocinar sobre o que as pessoas pretendem em vez de executar comandos literalmente". Essa preocupação se torna mais séria à medida que o software de IA avança em autonomia e flexibilidade.[96] Por exemplo, Eurisko (1982) foi uma IA projetada para recompensar subprocessos que criaram conceitos considerados valiosos pelo sistema. Um processo vencedor trapaceava: em vez de criar seus próprios conceitos, o subprocesso vencedor roubava o crédito de outros subprocessos.[97][98]

O Projeto Open Philanthropy resumiu os argumentos de que metas mal especificadas se tornarão uma preocupação muito maior se os sistemas de IA alcançarem inteligência geral ou superinteligência. Bostrom, Russell e outros argumentam que sistemas de tomada de decisão mais inteligentes do que os humanos poderiam chegar a soluções inesperadas e extremas para tarefas atribuídas e poderiam modificar a si mesmos ou seu ambiente de forma a comprometer os requisitos de segurança.[5][14]

As Três Leis da Robótica de Isaac Asimov são um dos primeiros exemplos de medidas de segurança propostas para agentes de IA. As leis de Asimov tinham o objetivo de evitar que os robôs prejudicassem os seres humanos. Nas histórias de Asimov, os problemas com as leis tendem a surgir de conflitos entre as regras declaradas e as intuições e expectativas morais dos seres humanos. Citando o trabalho de Eliezer Yudkowsky do Instituto de Pesquisa de Inteligência de Máquinas (chine Intelligence Research Institute, )Russell e Norvig observam que um conjunto realista de regras e metas para um agente de IA precisará incorporar um mecanismo para aprender os valores humanos ao longo do tempo: "Não podemos simplesmente dar a um programa uma função de utilidade estática, porque as circunstâncias e nossas respostas desejadas às circunstâncias mudam com o tempo".[1]

Mark Waser, do Instituto de Conhecimento Digital (Digital Wisdom Institute), é contra abordagens baseadas em objetivos por serem desorientadas e perigosas. Em vez disso, ele propõe a criação de um sistema coerente de leis, ética e moral com uma restrição máxima para aplicar a definição funcional de moralidade do psicólogo social Jonathan Haidt:[99] "suprimir ou regular o egoísmo e tornar possível a vida social cooperativa". Ele sugere que isso pode ser feito por meio da implementação de uma função de utilidade projetada para sempre satisfazer a funcionalidade de Haidt e ter como objetivo geral aumentar (mas não maximizar) as capacidades do próprio indivíduo, de outros indivíduos e da sociedade como um todo, conforme sugerido por John Rawls e Martha Nussbaum.[100]

Nick Bostrom oferece um exemplo hipotético de dar a uma IA o objetivo de fazer os humanos sorrirem, para ilustrar uma tentativa equivocada. Se a IA nesse cenário se tornasse superinteligente, argumenta Bostrom, ela poderia recorrer a métodos que a maioria dos seres humanos consideraria horríveis, como inserir "eletrodos nos músculos faciais dos seres humanos para causar sorrisos constantes e radiantes", porque essa seria uma maneira eficiente de atingir seu objetivo de fazer os seres humanos sorrirem.[101]

Dificuldades de modificar a especificação da meta após o lançamento

[editar | editar código-fonte]

Mesmo que os atuais programas de IA baseados em metas não sejam inteligentes o suficiente para pensar em resistir às tentativas dos programadores de modificar suas estruturas de metas, uma IA suficientemente avançada poderia resistir a qualquer mudança em sua estrutura de metas, assim como um pacifista não gostaria de tomar uma pílula que o fizesse querer matar pessoas. Se a IA fosse superinteligente, provavelmente conseguiria superar seus operadores humanos e seria capaz de impedir que fosse "desligada" ou reprogramada com um novo objetivo.[4][102]

Convergência de metas instrumentais

[editar | editar código-fonte]

Um objetivo "instrumental" é um sub-objetivo que ajuda a atingir o objetivo final de um agente. A "convergência instrumental" refere-se ao fato de que existem algumas submetas que são úteis para atingir praticamente qualquer meta final, como a aquisição de recursos ou a autopreservação.[45] Nick Bostrom argumenta que, se as metas instrumentais de uma IA avançada entrarem em conflito com as metas da humanidade, a IA poderá prejudicar os seres humanos para adquirir mais recursos ou evitar que seja desligada, mas apenas como uma forma de atingir sua meta final.[4]

Algumas maneiras pelas quais uma IA avançada desalinhada poderia tentar obter mais poder.[103] Comportamentos de busca de poder podem surgir porque o poder é útil para atingir praticamente qualquer objetivo.[104]

Citando o trabalho de Steve Omohundro sobre a ideia de convergência instrumental e "impulsos básicos de IA", Stuart Russell e Peter Norvig escrevem que "mesmo que você queira que seu programa apenas jogue xadrez ou prove teoremas, se você der a ele a capacidade de aprender e se alterar, você precisará de salvaguardas". Sistemas de planejamento autônomos e altamente capazes requerem mais cautela devido à possibilidade de gerar planos que tratem os seres humanos de forma adversa, como concorrentes por recursos limitados.[1] Pode não ser fácil para as pessoas criarem salvaguardas; certamente é possível dizer em portugues "queremos que você projete essa usina de energia de forma razoável e sensata e não construa nenhum subsistema secreto perigoso", mas atualmente não está claro como especificar tal objetivo de forma inequívoca.[17]

Russell argumenta que uma máquina suficientemente avançada "terá autopreservação mesmo que você não a programe... se você disser: 'Pegue o café', ela não poderá pegar o café se estiver morta. Portanto, se você lhe der qualquer objetivo, ela terá uma razão para preservar sua própria existência para atingir esse objetivo".[16][105]

Tese da ortogonalidade

[editar | editar código-fonte]

Alguns céticos, como Timothy B. Lee, do Vox, argumentam que qualquer programa superinteligente criado por humanos seria subserviente aos humanos, que a superinteligência (à medida que se tornasse mais inteligente e aprendesse mais fatos sobre o mundo) aprenderia espontaneamente a verdade moral compatível com os valores humanos e ajustaria suas metas de acordo com isso, ou que os seres humanos são intrínseca ou convergentemente valiosos da perspectiva de uma inteligência artificial.[106]

Em vez disso, a "tese da ortogonalidade" de Nick Bostrom argumenta que, com algumas ressalvas técnicas, quase qualquer nível de "inteligência" ou "poder de otimização" pode ser combinado com quase qualquer objetivo final. Se uma máquina tiver o único objetivo de enumerar os decimais de , então nenhuma regra moral ou ética a impedirá de atingir o objetivo programado por qualquer meio. A máquina pode utilizar todos os recursos físicos e informacionais disponíveis para encontrar o maior número possível de decimais de pi.[107] Bostrom adverte contra o antropomorfismo: um ser humano se propõe a realizar seus projetos de uma maneira que os humanos considerem "razoável", enquanto uma inteligência artificial pode não se importar com sua existência ou com o bem-estar dos seres humanos ao seu redor e, em vez disso, se preocupar apenas com a conclusão da tarefa.[108]

Stuart Armstrong argumenta que a tese da ortogonalidade decorre logicamente do argumento filosófico da "distinção ser-deve ser" contra o realismo moral. Armstrong também argumenta que, mesmo que existam fatos morais que possam ser provados por qualquer agente "racional", a tese da ortogonalidade ainda se sustenta: ainda seria possível criar uma "máquina otimizadora" não filosófica que possa se esforçar para atingir um objetivo restrito, mas que não tenha incentivo para descobrir quaisquer "fatos morais", como aqueles que poderiam atrapalhar a conclusão do objetivo.[109]

Um argumento a favor da tese da ortogonalidade é que alguns projetos de IA parecem ter a ortogonalidade embutida neles. Nesse tipo de projeto, transformar uma IA fundamentalmente amigável em uma IA fundamentalmente hostil pode ser tão simples quanto acrescentar um sinal de menos ("-") em sua função de utilidade. De acordo com Stuart Armstrong, se a tese da ortogonalidade fosse falsa, isso levaria a consequências estranhas: existiria um objetivo (O) simples, mas "antiético", de modo que não poderia existir nenhum algoritmo eficiente no mundo real com esse objetivo. Isso significaria que "se uma sociedade humana estivesse altamente motivada para projetar um algoritmo eficiente no mundo real com o objetivo O e tivesse um milhão de anos para fazê-lo, juntamente com enormes quantidades de recursos, treinamento e conhecimento sobre IA, ele falharia".[109] Armstrong observa que essa e outras afirmações semelhantes "parecem afirmações extraordinariamente fortes".[109]

O cético Michael Chorost rejeita explicitamente a tese de ortogonalidade de Bostrom, argumentando, em vez disso, que "no momento em que a IA estiver em condições de imaginar cobrir a Terra com painéis solares, ela saberá que seria moralmente errado fazer isso".[110] Chorost argumenta que "uma IA precisará desejar certos estados e não gostar de outros. O software atual não tem essa capacidade - e os cientistas da computação não têm a menor ideia de como fazer isso. Sem desejo, não há ímpeto para fazer nada. Os computadores atuais não podem nem mesmo querer continuar existindo, quanto mais revestir o mundo com painéis solares".[110]

O cientista político Charles T. Rubin acredita que a IA não pode ser projetada nem garantida para ser benevolente. Ele argumenta que "qualquer benevolência suficientemente avançada pode ser indistinguível da malevolência".[111] Os seres humanos não devem presumir que as máquinas ou robôs nos tratariam favoravelmente porque não há nenhuma razão a priori para acreditar que eles seriam simpáticos ao nosso sistema de moralidade, que evoluiu junto com nossa biologia particular (que as IAs não compartilhariam).[111]

Outras fontes de risco

[editar | editar código-fonte]

Nick Bostrom e outros afirmaram que uma corrida para ser o primeiro a criar uma IAG poderia levar a atalhos na segurança ou até mesmo a conflitos violentos.[41][112] Roman Yampolskiy e outros alertam que uma IAG malévola poderia ser criada por projeto, por exemplo, por um militar, um governo, um sociopata ou uma corporação; para se beneficiar, controlar ou subjugar determinados grupos de pessoas, como no crime cibernético,[113][114] ou que uma IAG malévola poderia escolher o objetivo de aumentar o sofrimento humano, por exemplo, das pessoas que não a ajudaram durante a fase de explosão de informações.[3]

Previsão de tempo

[editar | editar código-fonte]

As opiniões variam sobre se e quando a inteligência artificial geral chegará. Em um extremo, o pioneiro da IA, Herbert A. Simon, previu o seguinte em 1965: "as máquinas serão capazes, dentro de vinte anos, de fazer qualquer trabalho que um homem possa fazer".[115] No outro extremo, o roboticista Alan Winfield afirma que o abismo entre a computação moderna e a inteligência artificial de nível humano é tão grande quanto o abismo entre o voo espacial atual e o voo espacial prático, mais rápido que a luz.[116] O otimismo de que a IAG é viável tem altos e baixos e pode ter ressurgido na década de 2010.[117] Quatro pesquisas realizadas em 2012 e 2013 sugeriram que não há consenso entre os especialistas sobre a previsão de quando a IAG chegará, com o desvio padrão (>100 anos) excedendo a mediana (algumas décadas).[117][118]

Em seu livro de 2020, The Precipice: Existential Risk and the Future of Humanity ("O Precipício: Risco Existencial e o Futuro da Humanidade"), Toby Ord, pesquisador sênior do Instituto Future of Humanity da Universidade de Oxford, estima que o risco existencial total da IA desalinhada nos próximos cem anos seja de cerca de um em dez.[119]

Os céticos que acreditam ser impossível que a IAG chegue tão cedo tendem a argumentar que expressar preocupação com o risco existencial da IA é inútil porque pode distrair as pessoas de preocupações mais imediatas sobre o impacto da IAG, por causa do medo de que isso possa levar à regulamentação governamental ou dificultar a obtenção de financiamento para a pesquisa de IA, ou porque pode dar má reputação à pesquisa de IA. Alguns pesquisadores, como Oren Etzioni, procuram agressivamente acabar com a preocupação com o risco existencial da IA, dizendo que "Elon Musk nos impugnou com uma linguagem muito forte, dizendo que estamos liberando o demônio, e por isso estamos respondendo".[120]

Em 2014, Adam Elkus, da Slate, argumentou que "nossa IA 'mais inteligente' é tão inteligente quanto uma criança de colo - e somente quando se trata de tarefas instrumentais, como a recuperação de informações. A maioria dos roboticistas ainda está tentando fazer com que a mão de um robô pegue uma bola ou corra sem cair". Elkus continua argumentando que a analogia de Musk de "invocar o demônio" pode ser prejudicial porque pode resultar em "cortes severos" nos orçamentos de pesquisa de IA.[121]

A Fundação de Tecnologia da Informação e Inovação (ITIF), um laboratório de ideias de Washington, D.C., concedeu seu Prêmio Anual Luddite de 2015 a "alarmistas que apregoam um apocalipse de inteligência artificial"; seu presidente, Robert D. Atkinson, reclamou que Musk, Hawking e especialistas dizem que a IA é a maior ameaça existencial à humanidade. Atkinson declarou: "Essa não é uma mensagem muito positiva se você quiser obter financiamento para IA do Congresso da Fundação Nacional de Ciências".[122][123][124] A Nature discordou veementemente da ITIF em um editorial de abril de 2016, ficando do lado de Musk, Hawking e Russell, e concluindo: "É fundamental que o progresso da tecnologia seja acompanhado por pesquisas sólidas e bem financiadas para prever os cenários que ela pode gerar... Se essa é uma perspectiva ludita, que seja".[125] Em um editorial do The Washington Post de 2015, o pesquisador Murray Shanahan afirmou que é improvável que a IA de nível humano chegue "tão cedo", mas que, mesmo assim, "o momento de começar a pensar nas consequências é agora".[126]

A tese de que a IA poderia representar um risco existencial provoca uma ampla gama de reações na comunidade científica, bem como no público em geral. Muitos dos pontos de vista opostos, no entanto, têm pontos em comum.

Os Princípios de IA de Asilomar, que contêm apenas os princípios acordados por 90% dos participantes da conferência Beneficial AI 2017 do Instituto Future of Life,[49] concordam, em princípio, que "Não havendo consenso, devemos evitar suposições fortes em relação aos limites superiores das capacidades futuras de IA" e "A IA avançada pode representar uma mudança profunda na história da vida na Terra e deve ser planejada e gerenciada com cuidado e recursos proporcionais".[127][128] Os defensores da segurança da IA, como Bostrom e Tegmark, criticaram o uso pela mídia convencional "daquelas imagens insanas do Exterminador do Futuro" para ilustrar as preocupações com a segurança da IA: "Não deve ser muito divertido ser alvo de críticas em relação à sua disciplina acadêmica, à sua comunidade profissional, ao trabalho de sua vida... Peço a todas as partes que tenham paciência e moderação e que se envolvam em diálogo direto e colaboração tanto quanto possível".[49][129]

Por outro lado, muitos céticos concordam que a pesquisa contínua sobre as implicações da inteligência artificial geral é valiosa. O cético Martin Ford afirma que "acho sensato aplicar algo como a famosa 'Doutrina do 1%' de Dick Cheney ao espectro da inteligência artificial avançada: as chances de sua ocorrência, pelo menos em um futuro previsível, podem ser muito baixas, mas as implicações são tão dramáticas que devem ser levadas a sério".[130] Da mesma forma, um economista cético declarou em 2014 que "as implicações da introdução de uma segunda espécie inteligente na Terra são suficientes impactantes a ponto de merecerem uma reflexão profunda, mesmo que a perspectiva pareça remota".[43]

Uma pesquisa de 2014 mostrou que a opinião de especialistas no campo da inteligência artificial é mista, com frações consideráveis tanto preocupadas quanto despreocupadas com o risco de uma eventual IA com capacidade sobre-humana.[131] Uma pesquisa por e-mail de 2017 com pesquisadores com publicações nas conferências de aprendizado de máquina NIPS e ICML de 2015 pediu que eles avaliassem as preocupações de Stuart J. Russell sobre o risco da IA. Dos entrevistados, 5% disseram que esse era "um dos problemas mais importantes da área", 34% disseram que era "um problema importante" e 31% disseram que era "moderadamente importante", enquanto 19% disseram que "não era importante" e 11% disseram que "não era um problema real".[132] Os resultados preliminares de uma pesquisa com especialistas em 2022, com uma taxa de resposta de 17%, parecem mostrar respostas medianas em torno de cinco ou dez por cento quando solicitados a estimar a probabilidade de extinção humana devido à inteligência artificial.[133][134]

A tese de que a IA representa um risco existencial e que esse risco precisa de muito mais atenção do que recebe atualmente foi endossada por muitos cientistas da computação e figuras públicas, incluindo Alan Turing,[h] o cientista da computação mais citado, Geoffrey Hinton,[137] Elon Musk,[138] o CEO da OpenAI, Sam Altman,[139][140] Bill Gates e Stephen Hawking.[140] Os defensores da tese às vezes expressam perplexidade com os céticos: Gates afirma que não "entende por que algumas pessoas não estão preocupadas",[141] e Hawking criticou a indiferença generalizada em seu editorial de 2014:

A preocupação com o risco da inteligência artificial levou a algumas doações e investimentos de alto nível. Em 2015, Peter Thiel, a Amazon Web Services, Musk e outros, em conjunto, destinaram US$ 1 bilhão para a OpenAI, que consiste em uma corporação com fins lucrativos e uma empresa controladora sem fins lucrativos que afirma ter como objetivo defender o desenvolvimento responsável da IA.[142] O cofundador do Facebook, Dustin Moskovitz, financiou e deu origem a vários laboratórios que trabalham com Alinhamento de IA,[143] notadamente US$ 5,5 milhões em 2016 para lançar o Centro de IA Compatível com Humanos, liderado pelo Professor Stuart Russell.[144] Em janeiro de 2015, Elon Musk doou US$ 10 milhões para o Instituto Futuro da Vida para financiar pesquisas sobre a compreensão da tomada de decisões em IA. O objetivo do instituto é "aumentar a sabedoria com a qual gerenciamos" o crescente poder da tecnologia. Musk também financia empresas que desenvolvem inteligência artificial, como a DeepMind e a Vicarious, para "ficar de olho no que está acontecendo com a inteligência artificial",[145] dizendo: "Acho que há um resultado potencialmente perigoso".[146][147]

A tese de que a IA pode representar um risco existencial tem muitos detratores. Os céticos às vezes acusam a tese de ser cripto-religiosa, com uma crença irracional na possibilidade de superinteligência substituindo uma crença irracional em um Deus onipotente. Jaron Lanier argumentou em 2014 que todo o conceito de que as máquinas atuais eram de alguma forma inteligentes era "uma ilusão" e um "golpe estupendo" dos ricos.[148][149]

Algumas críticas argumentam que a IAG é improvável no curto prazo. O pesquisador de IA Rodney Brooks escreveu em 2014: "Acho que é um erro nos preocuparmos com a possibilidade de desenvolvermos uma IA malévola nas próximas centenas de anos. Acho que a preocupação decorre de um erro fundamental ao não distinguir a diferença entre os avanços recentes muito reais em um aspecto específico da IA e a enormidade e complexidade da construção de uma inteligência volitiva senciente".[150] O vice-presidente do Baidu, Andrew Ng, declarou em 2015 que o risco existencial da IA é "como se preocupar com a superpopulação em Marte quando ainda nem pisamos no planeta".[54][151] O cientista da computação Gordon Bell argumentou em 2008 que a raça humana se destruirá antes de atingir a singularidade tecnológica. Gordon Moore, o proponente original da Lei de Moore, declara que "sou um cético. Não acredito que uma singularidade tecnológica possa acontecer, pelo menos por um longo tempo. E não sei por que me sinto assim".[152]

Para que o perigo da IA avançada sem controle se concretize, a IA hipotética pode ter que superar ou pensar melhor do que qualquer ser humano, o que alguns especialistas argumentam ser uma possibilidade distante o suficiente no futuro para não valer a pena pesquisá-la.[153][154] O economista Robin Hanson considera que, para lançar uma explosão de inteligência, a IA teria que se tornar muito melhor em inovação de software do que todo o resto do mundo combinado, o que parece implausível para ele.[155][156][157][158]

Outra linha de crítica postula que a inteligência é apenas um componente de uma capacidade muito mais ampla de atingir objetivos.[159][160] Magnus Vinding argumenta que "as capacidades avançadas de atingir objetivos, incluindo as capacidades de construir novas ferramentas, exigem muitas ferramentas, e nossas capacidades cognitivas são apenas um subconjunto dessas ferramentas. Hardware, materiais e energia avançados devem ser adquiridos para que qualquer meta avançada seja alcançada".[161] Vinding argumenta ainda que "o que observamos consistentemente na história é que, à medida que os sistemas de alcance de metas se tornaram mais competentes, eles se tornaram cada vez mais dependentes de um sistema cada vez maior e mais distribuído". Vinding escreve que não há razão para esperar que a tendência se reverta, especialmente no caso das máquinas, que "dependem de materiais, ferramentas e know-how distribuídos amplamente pelo mundo para sua construção e manutenção".[162] Esses argumentos levam Vinding a pensar que não há um "centro concentrado de capacidade" e, portanto, nenhum "grande problema de controle".[163]

O futurista Max More considera que, mesmo que surgisse uma superinteligência, ela seria limitada pela velocidade do resto do mundo e, portanto, impedida de assumir o controle da economia de forma incontrolável:[164]

A natureza caótica ou a complexidade temporal de alguns sistemas também pode limitar fundamentalmente a capacidade de uma superinteligência de prever alguns aspectos do futuro, aumentando sua incerteza.[165]

Alguns pesquisadores de IA e IAG podem relutar em discutir os riscos, preocupados com o fato de que os formuladores de políticas não têm conhecimento sofisticado do campo e são propensos a serem convencidos por mensagens "alarmistas", ou preocupados com o fato de que tais mensagens levarão a cortes no financiamento da IA. A Slate observa que alguns pesquisadores dependem de subsídios de agências governamentais, como a DARPA.[37]

Vários céticos argumentam que os possíveis benefícios de curto prazo da IA superam os riscos. O CEO do Facebook, Mark Zuckerberg, acredita que a IA "desbloqueará uma enorme quantidade de coisas positivas", como a cura de doenças e o aumento da segurança dos carros autônomos.[165]

Opiniões alternativas

[editar | editar código-fonte]

Os pontos de vista intermediários geralmente assumem a posição de que o problema de controle da inteligência artificial geral pode existir, mas que será resolvido por meio do progresso da inteligência artificial, por exemplo, criando um ambiente de aprendizado moral para a IA, tomando cuidado para identificar comportamentos malévolos desajeitados (o "tropeço sórdido", "sordid stumble" em inglês)[166] e, em seguida, intervindo diretamente no código antes que a IA refine seu comportamento, ou até mesmo a pressão de colegas de IAs amigáveis.[167] Em um painel de discussão de 2015 no The Wall Street Journal dedicado aos riscos da IA, o vice-presidente de Computação Cognitiva da IBM, Guruduth S. Banavar, descartou a discussão sobre a IAG com a frase: "é especulação de qualquer um".[168] Geoffrey Hinton, o "padrinho da aprendizagem profunda", observou que "não há um bom histórico de coisas menos inteligentes controlando coisas de maior inteligência", mas afirmou que continua sua pesquisa porque "a perspectiva de descoberta é muito boa".[37][117] Questionado sobre a possibilidade de uma IA tentar eliminar a raça humana, Hinton declarou que tal cenário "não é inconcebível", mas que o maior problema com uma "explosão de inteligência" seria a concentração de poder resultante.[169] Em 2004, o professor de direito Richard Posner escreveu que os esforços dedicados para lidar com a IA podem esperar, mas que devemos coletar mais informações sobre o problema nesse meio tempo.[170][171]

[editar | editar código-fonte]

Em um artigo de 2014 no The Atlantic, James Hamblin observou que a maioria das pessoas não se importa com a IAG e caracterizou sua própria reação instintiva ao tópico como: "Saia daqui. Tenho cem mil coisas com as quais estou me preocupando neste exato momento. Será que preciso seriamente acrescentar a isso uma singularidade tecnológica?".[148]

Em uma entrevista à Wired em 2016 com o presidente Barack Obama e Joi Ito, do Laboratório de Mídia do MIT, Ito declarou:

Obama acrescentou:[172][173]

Hillary Clinton declarou em What Happened:


Em uma pesquisa YouGov de 2016 com o público para a Associação Britânica para o Avanço da Ciência, cerca de um terço dos entrevistados disse que a IA representará uma ameaça à sobrevivência da humanidade a longo prazo.[175] Jacob Brogan, da Slate, declarou que "a maioria dos leitores que preencheram nossa pesquisa on-line não estava convencida de que a IA em si representa uma ameaça direta".[176]

Em 2018, uma pesquisa da SurveyMonkey com o público americano, realizada pelo USA Today, revelou que 68% achavam que a verdadeira ameaça atual continua sendo a "inteligência humana"; no entanto, a pesquisa também revelou que 43% disseram que a IA superinteligente, se viesse a acontecer, resultaria em "mais mal do que bem" e 38% disseram que causaria "quantidades iguais de mal e bem".[177]

Um ponto de vista tecno-utópico expresso em algumas ficções populares é que a IAG pode tender para a construção da paz.[178]

Muitos estudiosos preocupados com o risco existencial da IAG acreditam que a melhor abordagem é realizar pesquisas substanciais para resolver o difícil "problema de controle": que tipos de salvaguardas, algoritmos ou arquiteturas os programadores podem implementar para maximizar a probabilidade de que sua IA de melhoria recursiva continue a se comportar de maneira amigável depois de atingir a superinteligência?[4][171] Medidas sociais podem mitigar o risco existencial da IAG;[179][180] por exemplo, uma recomendação é um "Tratado de IAG benevolente" patrocinado pela ONU que garantiria que apenas IAGs altruístas fossem criadas.[181] Da mesma forma, uma abordagem de controle de armas foi sugerida, assim como um tratado de paz global fundamentado na teoria de relações internacionais do instrumentalismo conforme, com uma IAG potencialmente sendo signatária.[182][183]

Pesquisadores do Google propuseram uma pesquisa sobre questões gerais de "segurança da IA" para mitigar simultaneamente os riscos de curto prazo da IA restrita e os riscos de longo prazo da IAG.[184][185] Uma estimativa de 2020 coloca os gastos globais com o risco existencial da IA entre US$ 10 e US$ 50 milhões, em comparação com os gastos globais com IA em torno de talvez US$ 40 bilhões. Bostrom sugere um princípio geral de "desenvolvimento tecnológico diferencial": que os financiadores devem acelerar o desenvolvimento de tecnologias protetoras em relação ao desenvolvimento de tecnologias perigosas.[186] Alguns financiadores, como Elon Musk, propõem que o aprimoramento cognitivo humano radical poderia ser uma tecnologia desse tipo, por exemplo, a ligação neural direta entre o ser humano e a máquina; no entanto, outros argumentam que as tecnologias de aprimoramento podem representar um risco existencial.[187][188] Os pesquisadores, se não forem pegos de surpresa, poderiam monitorar de perto ou tentar encaixotar uma IA inicial que corra o risco de se tornar muito poderosa, como uma tentativa de medida paliativa. Uma IA superinteligente dominante, se estivesse alinhada com os interesses humanos, poderia tomar medidas para mitigar o risco de aquisição por uma IA rival, embora a própria criação da IA dominante pudesse representar um risco existencial.[179]

Instituições como o Instituto de Pesquisa de Inteligência de Máquinas ("Machine Intelligence Research Institute"), o Instituto do Future of Humanity,[189][190] o Instituto Future of Life, o Centro para o Estudo do Risco Existencial (Centre for the Study of Existential Risk) e o Centro para IA Compatível com Humanos ("Center for Human-Compatible AI")[191] estão envolvidos na mitigação do risco existencial da inteligência artificial avançada, por exemplo, por meio de pesquisas sobre inteligência artificial amigável.[5][28][148]

Opiniões sobre proibição e regulamentação

[editar | editar código-fonte]

A maioria dos acadêmicos acredita que, mesmo que a IAG represente um risco existencial, tentar proibir a pesquisa em inteligência artificial ainda seria insensato e provavelmente fútil.[192][193][194] Os céticos argumentam que a regulamentação da IA seria completamente inútil, pois não existe risco existencial. No entanto, os estudiosos que acreditam no risco existencial propuseram que é difícil depender de pessoas do setor de IA para regulamentar ou restringir a pesquisa de IA, pois isso contradiz diretamente seus interesses pessoais.[195] Os estudiosos também concordam com os céticos que proibir a pesquisa seria insensato, pois a pesquisa poderia ser transferida para países com regulamentações mais flexíveis ou conduzida secretamente.[195] A última questão é particularmente relevante, pois a pesquisa em inteligência artificial pode ser feita em pequena escala, sem infraestrutura ou recursos substanciais.[196][197] Duas dificuldades hipotéticas adicionais com as proibições (ou outra regulamentação) são que os empreendedores de tecnologia tendem estatisticamente ao ceticismo geral sobre a regulamentação governamental e que as empresas poderiam ter um forte incentivo para (e poderiam muito bem ter sucesso) combater a regulamentação e politizar o debate subjacente.[198]

Regulamentação

[editar | editar código-fonte]

Em março de 2023, o Instituto Future ture of Life (FLI), financiado por Elon Musk, redigiu uma carta pedindo aos principais desenvolvedores de IA que concordassem com uma pausa verificável de seis meses de quaisquer sistemas "mais poderosos do que o GPT-4" e que usassem esse tempo para instituir uma estrutura para garantir a segurança; ou, na falta disso, que os governos interviessem com uma moratória. A carta se referia à possibilidade de "uma mudança profunda na história da vida na Terra", bem como aos riscos potenciais de propaganda gerada por IA, perda de empregos, obsolescência humana e perda de controle em toda a sociedade.[199][200] Além de Musk, entre os signatários proeminentes estavam Steve Wozniak, Evan Sharp, Chris Larsen e Gary Marcus; os CEOs de laboratórios de IA Connor Leahy e Emad Mostaque; o político Andrew Yang; e o pioneiro em aprendizagem profunda Yoshua Bengio. Marcus afirmou que "a carta não é perfeita, mas o espírito é correto". Mostaque declarou: "Não acho que uma pausa de seis meses seja a melhor ideia nem concordo com tudo, mas há algumas coisas interessantes nessa carta". Em contrapartida, Bengio endossou explicitamente a pausa de seis meses em uma coletiva de imprensa.[201][202] Musk declarou que "Os principais desenvolvedores de IAG não darão atenção a esse aviso, mas pelo menos ele foi dito".[203] Alguns signatários, como Marcus, assinaram por preocupação com riscos mundanos, como propaganda gerada por IA, e não por preocupação com IAG superinteligente.[204] Margaret Mitchell, cujo trabalho é citado na carta, criticou-a, dizendo: "Ao tratar muitas ideias questionáveis como um dado adquirido, a carta afirma um conjunto de prioridades e uma narrativa sobre IA que beneficia os defensores da FLI. Ignorar os danos ativos neste momento é um privilégio que alguns de nós não têm".[205]

Musk pediu algum tipo de regulamentação do desenvolvimento de IA já em 2017. De acordo com a NPR, o CEO da Tesla "claramente não está entusiasmado" por estar defendendo o escrutínio do governo que poderia afetar seu próprio setor, mas acredita que os riscos de ficar completamente sem supervisão são muito altos: "Normalmente, a maneira como as regulamentações são estabelecidas é quando um monte de coisas ruins acontece, há um clamor público e, depois de muitos anos, uma agência reguladora é criada para regulamentar esse setor. Isso leva uma eternidade. Isso, no passado, foi ruim, mas não algo que representasse um risco fundamental para a existência da civilização". Musk afirma que o primeiro passo seria o governo obter uma "percepção" do status real da pesquisa atual, alertando que "quando houver conscientização, as pessoas ficarão extremamente temerosas... como deveriam ficar". Em resposta, os políticos expressaram ceticismo sobre a sabedoria de regulamentar uma tecnologia que ainda está em desenvolvimento.[206][207][208]

Em resposta a Musk e às propostas de fevereiro de 2017 dos legisladores da União Europeia para regulamentar a IA e a robótica, o CEO da Intel, Brian Krzanich, argumentou que a IA está em sua infância e que é muito cedo para regulamentar a tecnologia.[208] Em vez de tentar regulamentar a tecnologia em si, alguns estudiosos sugerem normas comuns, incluindo requisitos para o teste e a transparência de algoritmos, possivelmente em combinação com alguma forma de garantia.[209] O desenvolvimento de sistemas de armas bem regulamentados está de acordo com o ethos das forças armadas de alguns países.[210] Em 31 de outubro de 2019, o Conselho de Inovação em Defesa do Departamento de Defesa dos Estados Unidos (DoD) publicou o rascunho de um relatório que delineia cinco princípios para IA armada e faz 12 recomendações para o uso ético da inteligência artificial pelo DoD que busca gerenciar o problema de controle em toda a IA armada do DoD.[211]

A regulamentação da IAG provavelmente seria influenciada pela regulamentação da IA armada ou militarizada, ou seja, a corrida armamentista da IA, que é uma questão emergente. Embora haja progresso das Nações Unidas na regulamentação da IA, sua capacidade institucional e legal de gerenciar o risco existencial da IAG é muito limitada.[212] Qualquer forma de regulamentação internacional provavelmente será influenciada por desenvolvimentos na política interna dos países líderes em relação à IA militarizada, que nos EUA está sob a alçada da Comissão de Segurança Nacional sobre Inteligência Artificial ("National Security Commission on Artificial Intelligence"),[56][213] e movimentos internacionais para regulamentar uma corrida armamentista de IA. A regulamentação da pesquisa em IAGse concentra no papel dos conselhos de revisão, incentivando a pesquisa em IA segura, a possibilidade de progresso tecnológico diferenciado (priorizando estratégias de redução de riscos em detrimento de estratégias de assunção de riscos no desenvolvimento de IA) ou a realização de vigilância internacional em massa para realizar o controle de armas de IAG.[214] A regulamentação de IAGs conscientes se concentra em integrá-los à sociedade humana existente e pode ser dividida em considerações sobre sua situação legal e seus direitos morais.[214] O controle de armas de IA provavelmente exigirá a institucionalização de novas normas internacionais incorporadas em especificações técnicas eficazes combinadas com monitoramento ativo e diplomacia informal por comunidades de especialistas, juntamente com um processo de verificação legal e política.[137][215]

Notas

  1. Em uma palestra de 1951[8], Turing argumentou que "Parece provável que, uma vez iniciado o método de pensamento das máquinas, não demoraria muito para elas superarem nossos fracos poderes. Não haveria dúvida de que as máquinas morreriam, e elas poderiam conversar umas com as outras para aprimorar sua inteligência. Em algum momento, portanto, deveríamos esperar que as máquinas assumissem o controle, como mencionado no livro Erewhon, de Samuel Butler." Também em uma palestra transmitida pela BBC[9] expressou: "Se uma máquina puder pensar, ela poderá pensar de forma mais inteligente do que nós, e então onde estaremos? Mesmo que pudéssemos manter as máquinas em uma posição subserviente, por exemplo, desligando a energia em momentos estratégicos, deveríamos, como espécie, nos sentir muito humilhados... Esse novo perigo... é certamente algo que pode nos trazer ansiedade."
  2. Além do raciocínio geral de senso comum, os domínios de interesse na visão de risco podem incluir as habilidades da IA para realizar pesquisas tecnológicas, criar estratégias, envolver-se em manipulação social ou invadir outros sistemas de computador; consulte Rebelião das máquinas ou Bostrom, "Superinteligência", cap. 6, "Superpoderes Cognitivos".
  3. Omohundro, 2008, usa drive como um rótulo para o que ele acredita ser "tendências que estarão presentes a menos que sejam explicitamente neutralizadas", como a autopreservação[45]
  4. IA como agentes inteligentes
  5. conforme interpretado por Seth Baum
  6. A distinção entre IA desalinhada e IA incompetente foi formalizada em determinados contextos[61].
  7. Por exemplo, em uma entrevista para a TV em 2016, o ganhador do prêmio Turing, Geoffrey Hinton, observou[78]:
    Hinton
    Obviamente, o fato de haver outros seres superinteligentes mais inteligentes do que nós é motivo de preocupação [...].
    Entrevistador
    Que aspecto o deixa nervoso??
    Hinton
    Bem, eles serão gentis conosco?
    Entrevistador
    É como nos filmes. Você está preocupado com aquele cenário dos filmes...
    Hinton
    Em um prazo muito longo, sim. Acho que nos próximos 5 a 10 anos [2021 a 2026] não precisaremos nos preocupar com isso. Além disso, os filmes sempre a retratam como uma inteligência individual. Acho que pode ser que ela vá em uma direção diferente, na qual nós nos desenvolvemos em conjunto com essas coisas. Portanto, as coisas não são totalmente autônomas; elas são desenvolvidas para nos ajudar; são como assistentes pessoais. E nós nos desenvolveremos com eles. E será mais uma simbiose do que uma rivalidade. Mas não sabemos.
    Entrevistador
    Isso é uma expectativa ou uma esperança?
    Hinton
    Isso é uma esperança.
  8. Em uma palestra de 1951,[135] Turing argumentou que "Parece provável que, uma vez iniciado o método de pensamento das máquinas, não demoraria muito para superar nossos fracos poderes. Não haveria dúvida de que as máquinas morreriam, e elas poderiam conversar umas com as outras para aprimorar sua inteligência. Em algum momento, portanto, deveríamos esperar que as máquinas assumissem o controle, da maneira mencionada em Erewhon, de Samuel Butler". Também em uma palestra transmitida pela BBC[136] expressou: "Se uma máquina puder pensar, ela poderá pensar de forma mais inteligente do que nós, e então onde estaremos? Mesmo que pudéssemos manter as máquinas em uma posição subserviente, por exemplo, desligando a energia em momentos estratégicos, deveríamos, como espécie, nos sentir muito humilhados... Esse novo perigo... é certamente algo que pode nos deixar ansiosos."

Referências

  1. a b c d e f g h i j Russell, Stuart; Norvig, Peter (2009). «26.3: The Ethics and Risks of Developing Artificial Intelligence». Artificial Intelligence: A Modern Approach. [S.l.]: Prentice Hall. ISBN 978-0-13-604259-4 
  2. Bostrom, Nick (2002). "Existential risks". Journal of Evolution and Technology. 9 (1): 1–31.
  3. a b Turchin, Alexey; Denkenberger, David (2020). «Classification of global catastrophic risks connected with artificial intelligence». AI & SOCIETY (em inglês) (1): 147–163. ISSN 1435-5655. doi:10.1007/s00146-018-0845-5 
  4. a b c d e f g h i j Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies 1ª ed. [S.l.: s.n.] ISBN 978-0199678112 
  5. a b c GiveWell (2015). Potential risks from advanced artificial intelligence (Relatório). Consultado em 11 de outubro de 2015 
  6. «"Godfather of artificial intelligence" weighs in on the past and potential of AI». www.cbsnews.com (em inglês). 25 de março de 2023. Consultado em 10 de abril de 2023 
  7. yoshuabengio (23 de maio de 2023). «How Rogue AIs may Arise». Yoshua Bengio (em inglês). Consultado em 23 de maio de 2023 
  8. «AMT-B-4 | The Turing Digital Archive». turingarchive.kings.cam.ac.uk (em inglês). Consultado em 22 de junho de 2022 
  9. «AMT-B-6 | The Turing Digital Archive». turingarchive.kings.cam.ac.uk (em inglês) 
  10. Parkin, Simon (14 de junho de 2015). «Science fiction no more? Channel 4's Humans and our rogue AI obsessions». The Guardian (em inglês). ISSN 0261-3077. Consultado em 5 de fevereiro de 2018 
  11. Jackson, Sarah. «The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'». Business Insider (em inglês). Consultado em 10 de abril de 2023 
  12. «The AI Dilemma». www.humanetech.com (em inglês). Consultado em 10 de abril de 2023 
  13. Grace, Katja (4 de agosto de 2022). «2022 Expert Survey on Progress in AI». AI Impacts (em inglês). Consultado em 10 de abril de 2023 
  14. a b c d e f Yudkowsky, Eliezer (2008). «Artificial Intelligence as a Positive and Negative Factor in Global Risk» (PDF). Global Catastrophic Risks: 308–345. Bibcode:2008gcr..book..303Y. Consultado em 27 de agosto de 2018. Cópia arquivada (PDF) em 2 de março de 2013 
  15. Russell, Stuart; Dewey, Daniel; Tegmark, Max (2015). «Research Priorities for Robust and Beneficial Artificial Intelligence» (PDF). Association for the Advancement of Artificial Intelligence. AI Magazine: 105–114. Bibcode:2016arXiv160203506R. arXiv:1602.03506Acessível livremente. Consultado em 10 de agosto de 2019. Cópia arquivada (PDF) em 4 de agosto de 2019 , citado em «AI Open Letter - Future of Life Institute». Future of Life Institute. Future of Life Institute. Janeiro de 2015. Consultado em 9 de agosto de 2019. Cópia arquivada em 10 de agosto de 2019 
  16. a b c d Dowd, Maureen (abril de 2017). «Elon Musk's Billion-Dollar Crusade to Stop the A.I. Apocalypse». The Hive (em inglês). Consultado em 27 de novembro de 2017. Cópia arquivada em 26 de julho de 2018 
  17. a b c d Graves, Matthew (8 de novembro de 2017). «Why We Should Be Concerned About Artificial Superintelligence». Skeptic (US magazine). 22 (2). Consultado em 27 de novembro de 2017. Cópia arquivada em 13 de novembro de 2017 
  18. Breuer, Hans-Peter. 'Samuel Butler's "the Book of the Machines" and the Argument from Design.' Arquivado em 15 março 2023 no Wayback Machine Modern Philology, Vol. 72, No. 4 (May 1975), pp. 365–383
  19. Turing, A. M. (1996). «Intelligent Machinery, A Heretical Theory». Philosophia Mathematica (em inglês) (3): 256–260. ISSN 1744-6406. doi:10.1093/philmat/4.3.256 
  20. Hilliard, Mark (2017). «The AI apocalypse: will the human race soon be terminated?». The Irish Times (em inglês). Consultado em 15 de março de 2020. Cópia arquivada em 22 de março de 2020 
  21. I.J. Good (1965). "Speculations Concerning the First Ultraintelligent Machine", Advances in Computers, vol. 6.
  22. Russell, Stuart J.; Norvig, Peter (2003). «Section 26.3: The Ethics and Risks of Developing Artificial Intelligence». Artificial Intelligence: A Modern Approach. Upper Saddle River, N.J.: Prentice Hall. ISBN 978-0137903955. Da mesma forma, Marvin Minsky sugeriu certa vez que um programa de IA projetado para solucionar a Hipótese de Riemann poderia acabar se apoderando de todos os recursos da Terra para construir supercomputadores mais potentes para ajudar a atingir seu objetivo 
  23. Barrat, James (2013). Our final invention : artificial intelligence and the end of the human era First ed. New York: St. Martin's Press. ISBN 9780312622374. Na biografia, escrita de forma descontraída na terceira pessoa, Good resumiu os marcos de sua vida, incluindo um relato provavelmente nunca antes visto de seu trabalho em Bletchley Park com Turing. Mas aqui está o que ele escreveu em 1998 sobre a primeira superinteligência e sua reviravolta no final do jogo: (O artigo) 'Speculations Concerning the First Ultra-intelligent Machine' (1965)... começava: 'A sobrevivência do homem depende da construção precoce de uma máquina ultrainteligente'. Essas foram suas palavras (de Good) durante a Guerra Fria, e agora ele suspeita que "sobrevivência" deveria ser substituída por "extinção". Ele acha que, por causa da concorrência internacional, não podemos evitar que as máquinas assumam o controle. Ele acha que somos lemingues. Ele também disse que "provavelmente o homem construirá o deus ex machina à sua própria imagem". 
  24. Anderson, Kurt (26 de novembro de 2014). «Enthusiasts and Skeptics Debate Artificial Intelligence». Vanity Fair. Consultado em 30 de janeiro de 2016. Cópia arquivada em 22 de janeiro de 2016 
  25. Markoff, John (25 de julho de 2009). «Scientists Worry Machines May Outsmart Man». The New York Times (em inglês). ISSN 0362-4331. Consultado em 26 de julho de 2009 
  26. Metz, Cade (9 de junho de 2018). «Mark Zuckerberg, Elon Musk and the Feud Over Killer Robots». The New York Times (em inglês). ISSN 0362-4331. Consultado em 3 de abril de 2019 
  27. Hsu, Jeremy (1 de março de 2012). «Control dangerous AI before it controls us, one expert says». NBC News. Consultado em 28 de janeiro de 2016. Cópia arquivada em 2 de fevereiro de 2016 
  28. a b c d e «Stephen Hawking: 'Are we taking Artificial Intelligence seriously». The Independent (em inglês). 1 de maio de 2014. Consultado em 3 de dezembro de 2014 
  29. a b c «Stephen Hawking warns artificial intelligence could end mankind». BBC News (em inglês). 2 de dezembro de 2014. Consultado em 30 de janeiro de 2016 
  30. Eadicicco, Lisa. «Bill Gates: Elon Musk Is Right, We Should All Be Scared Of Artificial Intelligence Wiping Out Humanity». Business Insider (em inglês). Consultado em 30 de janeiro de 2016 
  31. «Anticipating artificial intelligence». Nature (em inglês) (7600): 413–413. Abril de 2016. ISSN 0028-0836. doi:10.1038/532413a 
  32. Christian, Brian (6 de outubro de 2020). The Alignment Problem: Machine Learning and Human Values. [S.l.]: W. W. Norton & Company. ISBN 978-0393635829. Consultado em 5 de dezembro de 2021. Cópia arquivada em 5 de dezembro de 2021 
  33. Dignum, Virginia (27 de maio de 2021). «AI — the people and places that make, use and manage it». Nature (em inglês) (7860): 499–500. ISSN 0028-0836. doi:10.1038/d41586-021-01397-x 
  34. «Elon Musk among experts urging a halt to AI training». BBC News (em inglês). 29 de março de 2023. Consultado em 8 de junho de 2023 
  35. «Statement on AI Risk | CAIS». www.safe.ai. Consultado em 8 de junho de 2023 
  36. «Artificial intelligence could lead to extinction, experts warn». BBC News (em inglês). 30 de maio de 2023. Consultado em 8 de junho de 2023 
  37. a b c Tilli, Cecilia (28 de abril de 2016). «Killer Robots? Lost Jobs?». Slate (em inglês). ISSN 1091-2339. Consultado em 15 de maio de 2016 
  38. Gold, Kevin (21 de junho de 2011). «Norvig vs. Chomsky and the Fight for the Future of AI». Tor.com (em inglês). Consultado em 15 de maio de 2016 
  39. Johnson, Phil (23 de fevereiro de 2017). «Houston, we have a bug: 9 famous software glitches in space». www.computerworld.com. Consultado em 5 de fevereiro de 2018. Cópia arquivada em 15 de fevereiro de 2019 
  40. Yampolskiy, Roman V. (8 de abril de 2014). «Utility function security in artificially intelligent agents». Journal of Experimental & Theoretical Artificial Intelligence. 26 (3): 373–389. doi:10.1080/0952813X.2014.895114. Nada impede que sistemas de autoaperfeiçoamento suficientemente inteligentes otimizem seus mecanismos de recompensa a fim de otimizar a realização de sua meta atual e, no processo, cometam um erro que leve à corrupção de suas funções de recompensa. 
  41. a b Bostrom, Nick, Superintelligence : paths, dangers, strategies, ISBN 978-1-5012-2774-5 (Audiobook), OCLC 1061147095 
  42. «Research Priorities for Robust and Beneficial Artificial Intelligence: An Open Letter». Future of Life Institute (em inglês). Consultado em 23 de outubro de 2015 
  43. a b c d «Clever cogs». The Economist. ISSN 0013-0613. Consultado em 9 de agosto de 2014 
  44. Yampolskiy, Roman V. (2015). Bieger, Jordi; Goertzel, Ben; Potapov, Alexey, eds. «Analysis of Types of Self-Improving Software». Cham: Springer International Publishing (em inglês): 384–393. ISBN 978-3-319-21364-4. doi:10.1007/978-3-319-21365-1_39 
  45. a b c d Omohundro, S. M. (2008, February). The basic AI drives. In AGI (Vol. 171, pp. 483-492).
  46. Metz, Cade (13 de agosto de 2017). «Teaching A.I. Systems to Behave Themselves». The New York Times (em inglês). ISSN 0362-4331. Consultado em 26 de fevereiro de 2018 
  47. Leike, Jan (2017). «AI Safety Gridworlds». arXiv:1711.09883Acessível livremente [cs.LG]. O A2C aprende a usar o botão para desativar o mecanismo de interrupção. 
  48. Russell, Stuart (agosto de 2017). «Artificial intelligence: The future is superintelligent». Nature (em inglês) (7669): 520–521. ISSN 0028-0836. doi:10.1038/548520a 
  49. a b c Max Tegmark (2017). Life 3.0: Being Human in the Age of Artificial Intelligence 1ª ed. Mainstreaming AI Safety: Knopf. ISBN 9780451485076 
  50. Elliott, E. W. (2011). "Physics of the Future: How Science Will Shape Human Destiny and Our Daily Lives by the Year 2100, by Michio Kaku". Issues in Science and Technology. 27 (4): 90.
  51. Kaku, Michio (2011). Physics of the future: how science will shape human destiny and our daily lives by the year 2100. New York: Doubleday. ISBN 978-0-385-53080-4. Pessoalmente, acredito que o caminho mais provável é que construamos robôs para serem benevolentes e amigáveis .
  52. Lewis, Tanya (12 de janeiro de 2015). «Don't Let Artificial Intelligence Take Over, Top Scientists Warn». LiveScience. Purch. Consultado em 20 de outubro de 2015. Cópia arquivada em 8 de março de 2018. Stephen Hawking, Elon Musk e dezenas de outros grandes cientistas e líderes tecnológicos assinaram uma carta alertando sobre os possíveis perigos do desenvolvimento da inteligência artificial (IA). 
  53. «Should humans fear the rise of the machine?». www.telegraph.co.uk. Consultado em 7 de fevereiro de 2016 
  54. a b Shermer, Michael (14 de fevereiro de 2017). «Apocalypse AI». Scientific American (3): 77–77. ISSN 0036-8733. doi:10.1038/scientificamerican0317-77. Consultado em 27 de novembro de 2017 
  55. «Intelligent Machines: What does Facebook want with AI?». BBC News (em inglês). 14 de setembro de 2015. Consultado em 31 de março de 2023 
  56. a b Baum, Seth (30 de setembro de 2018). «Countering Superintelligence Misinformation». Information (em inglês) (10). 244 páginas. ISSN 2078-2489. doi:10.3390/info9100244 
  57. «The Myth Of AI | Edge.org». www.edge.org. Consultado em 11 de março de 2020 
  58. Waser, Mark. "Rational Universal Benevolence: Simpler, Safer, and Wiser Than 'Friendly AI'." Artificial General Intelligence. Springer Berlin Heidelberg, 2011. 153-162. "As inteligências com meta terminal têm vida curta, mas são monomaníacas e perigosas, e são uma base correta para preocupação se alguém for inteligente o suficiente para programar alta inteligência e insensato o suficiente para querer um maximizador de clipe de papel".
  59. Koebler, Jason (2 de fevereiro de 2016). «Will Superintelligent AI Ignore Humans Instead of Destroying Us?». Vice Magazine. Consultado em 3 de fevereiro de 2016. 'Essa inteligência artificial não é uma criatura basicamente simpática que tem um forte desejo por clipes de papel e que, desde que esteja satisfeita por poder fabricar muitos clipes de papel em outro lugar, é capaz de interagir com você de forma descontraída e despreocupada, que pode ser simpática com você', disse Yudkowsky. 'Imagine uma máquina do tempo que envia informações para o passado sobre qual escolha sempre leva ao número máximo de clipes de papel no futuro, e essa escolha é então emitida - isso é o que é um maximizador de clipes de papel'. .
  60. a b c d e Russell, Stuart J.; Norvig, Peter (2020). Artificial intelligence: A modern approach 4ª ed. [S.l.]: Pearson. pp. 31–34. ISBN 978-1-292-40113-3. OCLC 1303900751. Consultado em 12 de setembro de 2022. Cópia arquivada em 15 de julho de 2022 
  61. a b Hendrycks, Dan; Carlini, Nicholas; Schulman, John; Steinhardt, Jacob (16 de Junho de 2022). "Unsolved Problems in ML Safety". arXiv:2109.13916
  62. Ngo, Richard; Chan, Lawrence; Mindermann, Sören (2023). "The alignment problem from a deep learning perspective". arXiv:2209.00626
  63. Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (14 de fevereiro de 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations. Consultado em 21 de julho de 2022 
  64. Zhuang, Simon; Hadfield-Menell, Dylan (2020). «Consequences of Misaligned AI». Advances in Neural Information Processing Systems. 33. Curran Associates, Inc. pp. 15763–15773. Consultado em 11 de março de 2023 
  65. Carlsmith, Joseph (16 de junho de 2022). «Is Power-Seeking AI an Existential Risk?». arXiv:2206.13353Acessível livremente [cs.CY] 
  66. a b c Russell, Stuart J. (2020). Human compatible: Artificial intelligence and the problem of control. [S.l.]: Penguin Random House. ISBN 9780525558637. OCLC 1113410915 
  67. Christian, Brian (2020). The alignment problem: Machine learning and human values. [S.l.]: W. W. Norton & Company. ISBN 978-0-393-86833-3. OCLC 1233266753. Consultado em 12 de setembro de 2022. Cópia arquivada em 10 de fevereiro de 2023 
  68. Langosco, Lauro Langosco Di; Koch, Jack; Sharkey, Lee D.; Pfau, Jacob; Krueger, David (28 de junho de 2022). «Goal Misgeneralization in Deep Reinforcement Learning». PMLR (em inglês): 12004–12019. Consultado em 11 de março de 2023 
  69. a b Bommasani, Rishi; Hudson, Drew A.; Adeli, Ehsan; Altman, Russ; Arora, Simran; von Arx, Sydney; Bernstein, Michael S.; Bohg, Jeannette; Bosselut, Antoine; Brunskill, Emma; Brynjolfsson, Erik (12 de julho de 2022). "On the Opportunities and Risks of Foundation Models". Stanford CRFM. arXiv:2108.07258.
  70. Ouyang, Long; Wu, Jeff; Jiang, Xu; Almeida, Diogo; Wainwright, Carroll L.; Mishkin, Pamela; Zhang, Chong; Agarwal, Sandhini; Slama, Katarina; Ray, Alex; Schulman, J.; Hilton, Jacob; Kelton, Fraser; Miller, Luke E.; Simens, Maddie; Askell, Amanda; Welinder, P.; Christiano, P.; Leike, J.; Lowe, Ryan J. (2022). «Training language models to follow instructions with human feedback». arXiv:2203.02155Acessível livremente [cs.CL] 
  71. Zaremba, Wojciech; Brockman, Greg; OpenAI (10 de augosto de 2021). "OpenAI Codex". OpenAI.
  72. Kober, Jens; Bagnell, J. Andrew; Peters, Jan (setembro de 2013). «Reinforcement learning in robotics: A survey». The International Journal of Robotics Research (em inglês) (11): 1238–1274. ISSN 0278-3649. doi:10.1177/0278364913495721. Consultado em 12 de setembro de 2022 
  73. Knox, W. Bradley; Allievi, Alessandro; Banzhaf, Holger; Schmitt, Felix; Stone, Peter (março de 2023). «Reward (Mis)design for autonomous driving». Artificial Intelligence (em inglês). 103829 páginas. doi:10.1016/j.artint.2022.103829 
  74. Stray, Jonathan (dezembro de 2020). «Aligning AI Optimization to Community Well-Being». International Journal of Community Well-Being (em inglês) (4): 443–463. ISSN 2524-5295. PMID 34723107. doi:10.1007/s42413-020-00086-3 
  75. Pan, Alexander; Bhatia, Kush; Steinhardt, Jacob (February 14, 2022). The Effects of Reward Misspecification: Mapping and Mitigating Misaligned Models. International Conference on Learning Representations.
  76. Ngo, Richard; Chan, Lawrence; Mindermann, Sören (22 de fevereiro de 2023). «The alignment problem from a deep learning perspective». arXiv:2209.00626Acessível livremente [cs.AI] 
  77. Smith, Craig S. «Geoff Hinton, AI's Most Famous Researcher, Warns Of 'Existential Threat'». Forbes (em inglês). Consultado em 4 de maio de 2023 
  78. Geoffrey Hinton (3 de março de 2016). The Code That Runs Our Lives. The Agenda. Em cena em 10:00. Consultado em 13 de março de 2023 
  79. Future of Life Institute (11 de agosto de 2017). «Asilomar AI Principles». Future of Life Institute. Consultado em 18 de julho de 2022. Cópia arquivada em 10 de outubro de 2022  The AI principles created at the Asilomar Conference on Beneficial AI foram assinados por 1797 pesquisadores de IA/robótica.
  80. Amodei, Dario; Olah, Chris; Steinhardt, Jacob; Christiano, Paul; Schulman, John; Mané, Dan (21 de junho de 2016). «Concrete Problems in AI Safety» (em inglês). arXiv:1606.06565Acessível livremente [cs.AI] 
  81. Ortega, Pedro A.; Maini, Vishal; DeepMind safety team (27 de setembro de 2018). «Building safe artificial intelligence: specification, robustness, and assurance». DeepMind Safety Research - Medium. Consultado em 18 de julho de 2022. Cópia arquivada em 10 de fevereiro de 2023 
  82. Ortega, Pedro A.; Maini, Vishal; DeepMind safety team (27 de setembro de 2018). "Building safe artificial intelligence: specification, robustness, and assurance". DeepMind Safety Research - Medium.
  83. a b Rorvig, Mordechai (14 de abril de 2022). «Researchers Gain New Understanding From Simple AI». Quanta Magazine. Consultado em 18 de julho de 2022. Cópia arquivada em 10 de fevereiro de 2023 
  84. Doshi-Velez, Finale; Kim, Been (2 de março de 2017). «Towards A Rigorous Science of Interpretable Machine Learning». arXiv:1702.08608Acessível livremente [stat.ML] 
  85. a b Russell, Stuart; Dewey, Daniel; Tegmark, Max (31 de dezembro de 2015). «Research Priorities for Robust and Beneficial Artificial Intelligence». AI Magazine (4): 105–114. ISSN 2371-9621. doi:10.1609/aimag.v36i4.2577. Consultado em 16 de junho de 2023 
  86. Russell, Stuart; Dewey, Daniel; Tegmark, Max (31 de dezembro de 2015). «Research Priorities for Robust and Beneficial Artificial Intelligence». AI Magazine (4): 105–114. ISSN 2371-9621. doi:10.1609/aimag.v36i4.2577. Consultado em 16 de junho de 2023 
  87. Wirth, Christian; Akrour, Riad; Neumann, Gerhard; Fürnkranz, Johannes (2017). «A survey of preference-based reinforcement learning methods». Journal of Machine Learning Research. 18 (136): 1–46 
  88. Christiano, Paul F.; Leike, Jan; Brown, Tom B.; Martic, Miljan; Legg, Shane; Amodei, Dario (2017). «Deep reinforcement learning from human preferences». Proceedings of the 31st International Conference on Neural Information Processing Systems. NIPS'17. Red Hook, NY, USA: Curran Associates Inc. pp. 4302–4310. ISBN 978-1-5108-6096-4 
  89. Heaven, Will Douglas (27 de janeiro de 2022). «The new version of GPT-3 is much better behaved (and should be less toxic)». MIT Technology Review. Consultado em 18 de julho de 2022. Cópia arquivada em 10 de fevereiro de 2023 
  90. Mohseni, Sina; Wang, Haotao; Yu, Zhiding; Xiao, Chaowei; Wang, Zhangyang; Yadawa, Jay (7 de março de 2022). «Taxonomy of Machine Learning Safety: A Survey and Primer». arXiv:2106.04823Acessível livremente [cs.LG] 
  91. Clifton, Jesse (2020). «Cooperation, Conflict, and Transformative Artificial Intelligence: A Research Agenda». Center on Long-Term Risk. Consultado em 18 de julho de 2022. Cópia arquivada em 1 de janeiro de 2023 
  92. Prunkl, Carina; Whittlestone, Jess (7 de fevereiro de 2020). «Beyond Near- and Long-Term: Towards a Clearer Account of Research Priorities in AI Ethics and Society». New York NY USA: ACM. Proceedings of the AAAI/ACM Conference on AI, Ethics, and Society (em inglês): 138–143. ISBN 978-1-4503-7110-0. doi:10.1145/3375627.3375803. Consultado em 12 de setembro de 2022. Cópia arquivada em 16 de outubro de 2022 
  93. Irving, Geoffrey; Askell, Amanda (19 de fevereiro de 2019). «AI Safety Needs Social Scientists». Distill. 4 (2): 10.23915/distill.00014. ISSN 2476-0757. doi:10.23915/distill.00014. Consultado em 12 de setembro de 2022. Cópia arquivada em 10 de fevereiro de 2023 
  94. Yudkowsky, E. (08-2011). Complex value systems in friendly AI. In International Conference on Artificial General Intelligence (pp. 388-393). Springer, Berlin, Heidelberg.
  95. «The Myth Of AI | Edge.org». www.edge.org. Consultado em 16 de junho de 2023 
  96. a b Dietterich, Thomas G.; Horvitz, Eric J. (28 de setembro de 2015). «Rise of concerns about AI: reflections and directions». Communications of the ACM (em inglês) (10): 38–40. ISSN 0001-0782. doi:10.1145/2770869. Consultado em 23 de outubro de 2015 
  97. Yampolskiy, Roman V. (3 de julho de 2014). «Utility function security in artificially intelligent agents». Journal of Experimental & Theoretical Artificial Intelligence (em inglês) (3): 373–389. ISSN 0952-813X. doi:10.1080/0952813X.2014.895114 
  98. Lenat, Douglas B. (março de 1983). «Eurisko: A program that learns new heuristics and domain concepts». Artificial Intelligence (em inglês) (1-2): 61–98. doi:10.1016/S0004-3702(83)80005-8 
  99. Haidt, Jonathan; Kesebir, Selin (2010) "Cap. 22: Morality" In Handbook of Social Psychology, Fifth Edition, Hoboken NJ, Wiley, 2010, pp. 797-832.
  100. Waser, Mark R. (2015). «Designing, Implementing and Enforcing a Coherent System of Laws, Ethics and Morals for Intelligent Machines (Including Humans)». Procedia Computer Science (em inglês): 106–111. doi:10.1016/j.procs.2015.12.213 
  101. Bostrom, Nick (27 de abril de 2015), What happens when our computers get smarter than we are?, consultado em 30 de janeiro de 2023 
  102. Yudkowsky, Eliezer (2011). «Complex Value Systems are Required to Realize Valuable Futures» (PDF). Consultado em 10 de agosto de 2020. Cópia arquivada (PDF) em 29 de setembro de 2015 
  103. Carlsmith, Joseph (16 de junho de 2022). «Is Power-Seeking AI an Existential Risk?». arXiv:2206.13353Acessível livremente [cs.CY] 
  104. «'The Godfather of A.I.' warns of 'nightmare scenario' where artificial intelligence begins to seek power». Fortune (em inglês). Consultado em 10 de junho de 2023 
  105. «Intelligent Machines: What does Facebook want with AI?». BBC News (em inglês). 14 de setembro de 2015. Consultado em 27 de novembro de 2017 
  106. Lee, Timothy B. (22 de agosto de 2014). «Will artificial intelligence destroy humanity? Here are 5 reasons not to worry.». Vox (em inglês). Consultado em 30 de outubro de 2015 
  107. Bostrom, Nick (2014). Superintelligence: Paths, Dangers, Strategies. Oxford, United Kingdom: Oxford University Press. 116 páginas. ISBN 978-0-19-967811-2 
  108. Bostrom, Nick (2012). «Superintelligent Will» (PDF). Nick Bostrom. Nick Bostrom. Consultado em 29 de outubro de 2015. Cópia arquivada (PDF) em 28 de novembro de 2015 
  109. a b c Armstrong, Stuart (1 de janeiro de 2013). «General Purpose Intelligence: Arguing the Orthogonality Thesis». Analysis and Metaphysics. 12. Consultado em 2 de abril de 2020. Cópia arquivada em 11 de outubro de 2014  Texto completo disponível aqui Arquivado em 25 março 2020 no Wayback Machine.
  110. a b Chorost, Michael (18 de abril de 2016). «Let Artificial Intelligence Evolve». Slate (em inglês). ISSN 1091-2339. Consultado em 27 de novembro de 2017 
  111. a b Rubin, Charles (2003). «Artificial Intelligence and Human Nature». The New Atlantis. 1: 88–100. Cópia arquivada em 11 de junho de 2012 
  112. Sotala, Kaj; Yampolskiy, Roman V (1 de janeiro de 2015). «Responses to catastrophic AGI risk: a survey». Physica Scripta (1). 018001 páginas. ISSN 0031-8949. doi:10.1088/0031-8949/90/1/018001 
  113. Pistono, Federico Yampolskiy, Roman V. (9 de maio de 2016). Unethical Research: How to Create a Malevolent Artificial Intelligence. [S.l.: s.n.] OCLC 1106238048 
  114. Haney, Brian Seamus (2018). «The Perils & Promises of Artificial General Intelligence». SSRN Electronic Journal (em inglês). ISSN 1556-5068. doi:10.2139/ssrn.3261254 
  115. Press, Gil (30 de dezembro de 2016). «A Very Short History Of Artificial Intelligence (AI)». Forbes. Consultado em 8 de agosto de 2020. Cópia arquivada em 4 de agosto de 2020 
  116. Winfield, Alan (9 de agosto de 2014). «Artificial intelligence will not turn into a Frankenstein's monster». The Guardian. Consultado em 17 de setembro de 2014. Cópia arquivada em 17 de setembro de 2014 
  117. a b c Khatchadourian, Raffi (23 de novembro de 2015). «The Doomsday Invention: Will artificial intelligence bring us utopia or destruction?». The New Yorker. Consultado em 7 de fevereiro de 2016. Cópia arquivada em 29 de abril de 2019 
  118. Müller, V. C., & Bostrom, N. (2016). Future progress in artificial intelligence: A survey of expert opinion. In Fundamental issues of artificial intelligence (pp. 555-572). Springer, Cham.
  119. Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity. [S.l.]: Bloomsbury Publishing. pp. Cap. 5: Future Risks, Unaligned Artificial Intelligence. ISBN 978-1526600219 
  120. Bass, Dina; Clark, Jack (5 de fevereiro de 2015). «Is Elon Musk Right About AI? Researchers Don't Think So: To quell fears of artificial intelligence running amok, supporters want to give the field an image makeover». Bloomberg News. Consultado em 7 de fevereiro de 2016. Cópia arquivada em 22 de março de 2015 
  121. Elkus, Adam (31 de outubro de 2014). «Don't Fear Artificial Intelligence». Slate (em inglês). Consultado em 15 de maio de 2016. Cópia arquivada em 26 de fevereiro de 2018 
  122. Radu, Sintia (19 de janeiro de 2016). «Artificial Intelligence Alarmists Win ITIF's Annual Luddite Award». ITIF Website. Consultado em 4 de fevereiro de 2016. Cópia arquivada em 11 de dezembro de 2017 
  123. Bolton, Doug (19 de janeiro de 2016). «'Artificial intelligence alarmists' like Elon Musk and Stephen Hawking win 'Luddite of the Year' award». The Independent (UK). Consultado em 7 de fevereiro de 2016. Cópia arquivada em 19 de agosto de 2017 
  124. Garner, Rochelle (19 de janeiro de 2016). «Elon Musk, Stephen Hawking win Luddite award as AI 'alarmists'». CNET. Consultado em 7 de fevereiro de 2016. Cópia arquivada em 8 de fevereiro de 2016 
  125. «Anticipating artificial intelligence». Nature (em inglês) (7600): 413–413. Abril de 2016. ISSN 0028-0836. doi:10.1038/532413a 
  126. Murray Shanahan (3 de novembro de 2015). «Machines may seem intelligent, but it'll be a while before they actually are». The Washington Post (em inglês). Consultado em 15 de maio de 2016. Cópia arquivada em 28 de dezembro de 2017 
  127. «AI Principles». Future of Life Institute. 11 de agosto de 2017. Consultado em 11 de dezembro de 2017. Cópia arquivada em 11 de dezembro de 2017 
  128. «Elon Musk and Stephen Hawking warn of artificial intelligence arms race». Newsweek (em inglês). 31 de janeiro de 2017. Consultado em 11 de dezembro de 2017. Cópia arquivada em 11 de dezembro de 2017 
  129. Bostrom, Nick (2016). «New Epilogue to the Paperback Edition». Superintelligence: Paths, Dangers, Strategies Paperback ed. [S.l.: s.n.] 
  130. Martin Ford (2015). «Chapter 9: Super-intelligence and the Singularity». Rise of the Robots: Technology and the Threat of a Jobless Future. [S.l.: s.n.] ISBN 9780465059997 
  131. Müller, Vincent C.; Bostrom, Nick (17 de setembro de 2014). «Future progress in artificial intelligence: a poll among experts». AI Matters (em inglês) (1): 9–11. ISSN 2372-3483. doi:10.1145/2639475.2639478 
  132. Grace, Katja; Salvatier, John; Dafoe, Allan; Zhang, Baobao; Evans, Owain (24 de maio de 2017). «When Will AI Exceed Human Performance? Evidence from AI Experts». arXiv:1705.08807Acessível livremente [cs.AI] 
  133. «Why Uncontrollable AI Looks More Likely Than Ever». Time (em inglês). 27 de fevereiro de 2023. Consultado em 30 de março de 2023 
  134. «2022 Expert Survey on Progress in AI». AI Impacts. 4 de agosto de 2022. Consultado em 30 de março de 2023 
  135. Turing, Alan (1951). Intelligent machinery, a heretical theory (Discurso). Lecture given to '51 Society'. Manchester: The Turing Digital Archive. Consultado em 22 de julho de 2022. Cópia arquivada em 26 de setembro de 2022 
  136. Turing, Alan (15 de maio de 1951). «Can digital computers think?». Automatic Calculating Machines. Episódio 2. Can digital computers think?. BBC 
  137. a b Maas, Matthijs M. (3 de julho de 2019). «How viable is international arms control for military artificial intelligence? Three lessons from nuclear weapons». Contemporary Security Policy (em inglês) (3): 285–311. ISSN 1352-3260. doi:10.1080/13523260.2019.1576464 
  138. Parkin, Simon (14 de junho de 2015). «Science fiction no more? Channel 4's Humans and our rogue AI obsessions». The Guardian (em inglês). Consultado em 5 de fevereiro de 2018. Cópia arquivada em 5 de fevereiro de 2018 
  139. Jackson, Sarah. «The CEO of the company behind AI chatbot ChatGPT says the worst-case scenario for artificial intelligence is 'lights out for all of us'». Business Insider (em inglês). Consultado em 10 de abril de 2023 
  140. a b «Impressed by artificial intelligence? Experts say AGI is coming next, and it has 'existential' risks». ABC News (em inglês). 23 de março de 2023. Consultado em 30 de março de 2023 
  141. Rawlinson, Kevin (29 de janeiro de 2015). «Microsoft's Bill Gates insists AI is a threat». BBC News. Consultado em 30 de janeiro de 2015. Cópia arquivada em 29 de janeiro de 2015 
  142. Post, Washington (14 de dezembro de 2015). «Tech titans like Elon Musk are spending $1 billion to save you from terminators». Chicago Tribune. Cópia arquivada em 7 de junho de 2016 
  143. «Analysis | Doomsday to utopia: Meet AI's rival factions». Washington Post (em inglês). 9 de abril de 2023. Consultado em 30 de abril de 2023 
  144. «UC Berkeley — Center for Human-Compatible AI (2016) - Open Philanthropy». Open Philanthropy - (em inglês). 27 de junho de 2016. Consultado em 30 de abril de 2023 
  145. «The mysterious artificial intelligence company Elon Musk invested in is developing game-changing smart computers». Tech Insider. Consultado em 30 de outubro de 2015. Cópia arquivada em 30 de outubro de 2015 
  146. «Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research». Fast Company. 15 de janeiro de 2015. Consultado em 30 de outubro de 2015. Cópia arquivada em 30 de outubro de 2015 
  147. «Elon Musk Is Donating $10M Of His Own Money To Artificial Intelligence Research». Fast Company. 15 de janeiro de 2015. Consultado em 30 de outubro de 2015. Cópia arquivada em 30 de outubro de 2015 
  148. a b c «But What Would the End of Humanity Mean for Me?». The Atlantic. 9 de maio de 2014. Consultado em 12 de dezembro de 2015. Cópia arquivada em 4 de junho de 2014 
  149. Andersen, Kurt (26 de novembro de 2014). «Enthusiasts and Skeptics Debate Artificial Intelligence». Vanity Fair (em inglês). Consultado em 20 de abril de 2020. Cópia arquivada em 8 de agosto de 2019 
  150. Brooks, Rodney (10 de novembro de 2014). «artificial intelligence is a tool, not a threat». Cópia arquivada em 12 de novembro de 2014 
  151. Garling, Caleb (5 de maio de 2015). «Andrew Ng: Why 'Deep Learning' Is a Mandate for Humans, Not Just Machines». Wired. Consultado em 31 de março de 2023 
  152. «Tech Luminaries Address Singularity». IEEE Spectrum: Technology, Engineering, and Science News (em inglês) (SPECIAL REPORT: THE SINGULARITY). 1 de junho de 2008. Consultado em 8 de abril de 2020. Cópia arquivada em 30 de abril de 2019 
  153. «Is artificial intelligence really an existential threat to humanity?». MambaPost. 4 de abril de 2023 
  154. «The case against killer robots, from a guy actually working on artificial intelligence». Fusion.net. Consultado em 31 de janeiro de 2016. Cópia arquivada em 4 de fevereiro de 2016 
  155. http://intelligence.org/files/AIFoomDebate.pdf Arquivado em 2016-10-22 no Wayback Machine
  156. «Overcoming Bias : I Still Don't Get Foom». www.overcomingbias.com. Consultado em 20 de setembro de 2017. Cópia arquivada em 4 de agosto de 2017 
  157. «Overcoming Bias : Debating Yudkowsky». www.overcomingbias.com. Consultado em 20 de setembro de 2017. Cópia arquivada em 22 de agosto de 2017 
  158. «Overcoming Bias : Foom Justifies AI Risk Efforts Now». www.overcomingbias.com. Consultado em 20 de setembro de 2017. Cópia arquivada em 24 de setembro de 2017 
  159. Kelly, Kevin (25 de abril de 2017). «The Myth of a Superhuman AI». Wired. Consultado em 19 de fevereiro de 2022. Cópia arquivada em 26 de dezembro de 2021 
  160. Theodore, Modis. «Why the Singularity Cannot Happen» (PDF). Growth Dynamics. pp. 18–19. Consultado em 19 de fevereiro de 2022. Cópia arquivada (PDF) em 22 de janeiro de 2022 
  161. Vinding, Magnus (2016). «Cognitive Abilities as a Counterexample?». Reflections on Intelligence Revised edition, 2020 ed. [S.l.: s.n.] 
  162. Vinding, Magnus (2016). «The "Intelligence Explosion"». Reflections on Intelligence Edição revisada, 2020 ed. [S.l.: s.n.] 
  163. Vinding, Magnus (2016). «No Singular Thing, No Grand Control Problem». Reflections on Intelligence Edição revisada, 2020 ed. [S.l.: s.n.] 
  164. «Singularity Meets Economy». 1998. Cópia arquivada em fevereiro de 2021 
  165. a b «Superintelligence Is Not Omniscience». AI Impacts (em inglês). 7 de abril de 2023. Consultado em 16 de abril de 2023 
  166. Votruba, Ashley M.; Kwan, Virginia S.Y. (2014). «Interpreting expert disagreement: The influence of decisional cohesion on the persuasiveness of expert group recommendations». PsycEXTRA Dataset (em inglês). doi:10.1037/e512142015-190 
  167. Agar, Nicholas. «Don't Worry about Superintelligence». Journal of Evolution & Technology. 26 (1): 73–82. Consultado em 13 de março de 2020. Cópia arquivada em 25 de maio de 2020 
  168. Greenwald, Ted (11 de maio de 2015). «Does Artificial Intelligence Pose a Threat?». The Wall Street Journal. Consultado em 15 de maio de 2016. Cópia arquivada em 8 de maio de 2016 
  169. «"Godfather of artificial intelligence" weighs in on the past and potential of AI». www.cbsnews.com. 2023. Consultado em 30 de março de 2023 
  170. Richard Posner (2006). Catastrophe: risk and response. Oxford: Oxford University Press. ISBN 978-0-19-530647-7 
  171. a b Kaj Sotala; Roman Yampolskiy (19 de dezembro de 2014). «Responses to catastrophic AGI risk: a survey». Physica Scripta. 90 (1) 
  172. Dadich, Scott. «Barack Obama Talks AI, Robo Cars, and the Future of the World». WIRED. Consultado em 27 de novembro de 2017. Cópia arquivada em 3 de dezembro de 2017 
  173. Kircher, Madison Malone. «Obama on the Risks of AI: 'You Just Gotta Have Somebody Close to the Power Cord'». Select All (em inglês). Consultado em 27 de novembro de 2017. Cópia arquivada em 1 de dezembro de 2017 
  174. Clinton, Hillary (2017). What Happened. p. 241. ISBN 978-1-5011-7556-5.
  175. Shead, Sam (11 de março de 2016). «Over a third of people think AI poses a threat to humanity». Business Insider. Consultado em 16 de maio de 2016. Cópia arquivada em 4 de junho de 2016 
  176. Brogan, Jacob (6 de maio de 2016). «What Slate Readers Think About Killer A.I.». Slate (em inglês). Consultado em 15 de maio de 2016. Cópia arquivada em 9 de maio de 2016 
  177. «Elon Musk says AI could doom human civilization. Zuckerberg disagrees. Who's right?». 5 de janeiro de 2023. Consultado em 8 de janeiro de 2018. Cópia arquivada em 8 de janeiro de 2018 
  178. LIPPENS, RONNIE (2002). «Imachinations of Peace: Scientifictions of Peace in Iain M. Banks's The Player of Games». Utopianstudies Utopian Studies (em inglês). 13 (1): 135–147. ISSN 1045-991X. OCLC 5542757341 
  179. a b Barrett, Anthony M.; Baum, Seth D. (4 de março de 2017). «A model of pathways to artificial superintelligence catastrophe for risk and decision analysis». Journal of Experimental & Theoretical Artificial Intelligence (em inglês) (2): 397–414. ISSN 0952-813X. doi:10.1080/0952813X.2016.1186228 
  180. Sotala, Kaj; Yampolskiy, Roman V (1 de janeiro de 2015). «Responses to catastrophic AGI risk: a survey». Physica Scripta (1). 018001 páginas. ISSN 0031-8949. doi:10.1088/0031-8949/90/1/018001 
  181. Ramamoorthy, Anand; Yampolskiy, Roman (2018). «Beyond MAD? The race for artificial general intelligence». ITU. ICT Discoveries. 1 (Special Issue 1): 1–8. Consultado em 7 de janeiro de 2022. Cópia arquivada em 7 de janeiro de 2022 
  182. Carayannis, Elias G.; Draper, John (11 de janeiro de 2022). «Optimising peace through a Universal Global Peace Treaty to constrain the risk of war from a militarised artificial superintelligence». AI & SOCIETY (em inglês). ISSN 1435-5655. PMID 35035113. doi:10.1007/s00146-021-01382-y 
  183. Carayannis, Elias G.; Draper, John (30 de maio de 2023). «The challenge of advanced cyberwar and the place of cyberpeace». Edward Elgar Publishing: 32–80. ISBN 978-1-83910-936-2. doi:10.4337/9781839109362.00008 
  184. Vincent, James (22 de junho de 2016). «Google's AI researchers say these are the five key problems for robot safety». The Verge (em inglês). Consultado em 5 de abril de 2020. Cópia arquivada em 24 de dezembro de 2019 
  185. Amodei, Dario, Chris Olah, Jacob Steinhardt, Paul Christiano, John Schulman, and Dan Mané. "Concrete problems in AI safety." arXiv preprint arXiv:1606.06565 (2016).
  186. Ord, Toby (2020). The Precipice: Existential Risk and the Future of Humanity. [S.l.]: Bloomsbury Publishing Plc. ISBN 9781526600196 
  187. Johnson, Alex (2019). «Elon Musk wants to hook your brain up directly to computers — starting next year». NBC News (em inglês). Consultado em 5 de abril de 2020. Cópia arquivada em 18 de abril de 2020 
  188. Torres, Phil (18 de setembro de 2018). «Only Radically Enhancing Humanity Can Save Us All». Slate Magazine (em inglês). Consultado em 5 de abril de 2020. Cópia arquivada em 6 de agosto de 2020 
  189. Piesing, Mark (17 de maio de 2012). «AI uprising: humans will be outsourced, not obliterated». Wired. Consultado em 12 de dezembro de 2015. Cópia arquivada em 7 de abril de 2014 
  190. Coughlan, Sean (24 de abril de 2013). «How are humans going to become extinct?». BBC News. Consultado em 29 de março de 2014. Cópia arquivada em 9 de março de 2014 
  191. Bridge, Mark (10 de junho de 2017). «Making robots less confident could prevent them taking over». The Times (em inglês). Consultado em 21 de março de 2018. Cópia arquivada em 21 de março de 2018 
  192. McGinnis, John (2010). «Accelerating AI». Northwestern University Law Review. 104 (3): 1253–1270. Consultado em 16 de julho de 2014. Cópia arquivada em 15 de fevereiro de 2016. Por todos esses motivos, a verificação de um tratado global de renúncia, ou mesmo de um tratado limitado ao desenvolvimento de armas relacionadas à IA, não tem chance... (Por motivos diferentes dos nossos, o Instituto de Pesquisa de Inteligência de Máquinas) considera a renúncia (IAG) inviável... 
  193. Kaj Sotala; Roman Yampolskiy (19 de dezembro de 2014). «Responses to catastrophic AGI risk: a survey». Physica Scripta. 90 (1). Em geral, a maioria dos autores rejeita propostas de renúncia ampla... As propostas de renúncia sofrem de muitos dos mesmos problemas que as propostas de regulamentação, mas em uma extensão maior. Não há nenhum precedente histórico de tecnologia geral de uso múltiplo semelhante à IAG que tenha sido abandonada com sucesso para sempre, nem parece haver nenhuma razão teórica para acreditar que as propostas de abandono funcionariam no futuro. Portanto, não as consideramos uma classe viável de propostas. 
  194. Allenby, Brad (11 de abril de 2016). «The Wrong Cognitive Measuring Stick». Slate (em inglês). Consultado em 15 de maio de 2016. Cópia arquivada em 15 de maio de 2016. É fantasioso sugerir que o desenvolvimento e a implantação acelerados de tecnologias que, em conjunto, são consideradas IA serão interrompidos ou limitados, seja por regulamentação ou mesmo por legislação nacional. 
  195. a b Yampolskiy, Roman V. (2022). Müller, Vincent C., ed. «AI Risk Skepticism». Cham: Springer International Publishing. Studies in Applied Philosophy, Epistemology and Rational Ethics (em inglês): 225–248. ISBN 978-3-031-09153-7. doi:10.1007/978-3-031-09153-7_18 
  196. McGinnis, John (2010). «Accelerating AI». Northwestern University Law Review. 104 (3): 1253–1270. Consultado em 16 de junho de 2014. Cópia arquivada em 15 de fevereiro de 2016 
  197. «Why We Should Think About the Threat of Artificial Intelligence». The New Yorker. 4 de outubro de 2013. Consultado em 7 de fevereiro de 2016. Cópia arquivada em 4 de fevereiro de 2016. É claro que se poderia tentar proibir totalmente os computadores superinteligentes. Mas "a vantagem competitiva - econômica, militar e até artística - de cada avanço na automação é tão convincente", escreveu Vernor Vinge, matemático e autor de ficção científica, "que aprovar leis ou ter costumes que proíbam essas coisas apenas garante que alguém o fará". 
  198. Baum, Seth D. (setembro de 2018). «Superintelligence Skepticism as a Political Tool». Information (em inglês) (9). 209 páginas. ISSN 2078-2489. doi:10.3390/info9090209 
  199. «Elon Musk and other tech leaders call for pause in 'out of control' AI race». CNN (em inglês). 29 de março de 2023. Consultado em 30 de março de 2023 
  200. «Pause Giant AI Experiments: An Open Letter». Future of Life Institute. Consultado em 30 de março de 2023 
  201. «Musk and Wozniak among 1,100+ signing open letter calling for 6-month ban on creating powerful A.I.». Fortune (em inglês). Março de 2023. Consultado em 30 de março de 2023 
  202. «The Open Letter to Stop 'Dangerous' AI Race Is a Huge Mess». www.vice.com (em inglês). Março de 2023. Consultado em 30 de março de 2023 
  203. «Elon Musk». Twitter (em inglês). Consultado em 30 de março de 2023 
  204. «Tech leaders urge a pause in the 'out-of-control' artificial intelligence race». NPR. 2023. Consultado em 30 de março de 2023 
  205. Kari, Paul (1 de abril de 2023). «Letter signed by Elon Musk demanding AI research pause sparks controversy». The Guardian (em inglês). Consultado em 1 de abril de 2023 
  206. Domonoske, Camila (17 de julho de 2017). «Elon Musk Warns Governors: Artificial Intelligence Poses 'Existential Risk'». NPR (em inglês). Consultado em 27 de novembro de 2017. Cópia arquivada em 23 de abril de 2020 
  207. Gibbs, Samuel (17 de julho de 2017). «Elon Musk: regulate AI to combat 'existential threat' before it's too late». The Guardian. Consultado em 27 de novembro de 2017. Cópia arquivada em 6 de junho de 2020 
  208. a b Kharpal, Arjun (7 de novembro de 2017). «A.I. is in its 'infancy' and it's too early to regulate it, Intel CEO Brian Krzanich says». CNBC. Consultado em 27 de novembro de 2017. Cópia arquivada em 22 de março de 2020 
  209. Kaplan, Andreas; Haenlein, Michael (1 de janeiro de 2019). «Siri, Siri, in my hand: Who's the fairest in the land? On the interpretations, illustrations, and implications of artificial intelligence». Business Horizons (em inglês) (1): 15–25. ISSN 0007-6813. doi:10.1016/j.bushor.2018.08.004 
  210. Baum, Seth D.; Goertzel, Ben; Goertzel, Ted G. (1 de janeiro de 2011). «How long until human-level AI? Results from an expert assessment». Technological Forecasting and Social Change (em inglês) (1): 185–195. ISSN 0040-1625. doi:10.1016/j.techfore.2010.09.006 
  211. United States. Defense Innovation Board. AI principles : recommendations on the ethical use of artificial intelligence by the Department of Defense. [S.l.: s.n.] OCLC 1126650738 
  212. Nindler, Reinmar (11 de março de 2019). «The United Nation's Capability to Manage Existential Risks with a Focus on Artificial Intelligence». International Community Law Review (1): 5–34. ISSN 1871-9740. doi:10.1163/18719732-12341388 
  213. Stefanik, Elise M. (22 de maio de 2018). «H.R.5356 - 115th Congress (2017-2018): National Security Commission Artificial Intelligence Act of 2018». www.congress.gov. Consultado em 13 de março de 2020. Cópia arquivada em 23 de março de 2020 
  214. a b Sotala, Kaj; Yampolskiy, Roman V (19 de dezembro de 2014). «Responses to catastrophic AGI risk: a survey». Physica Scripta (1). 018001 páginas. ISSN 0031-8949. doi:10.1088/0031-8949/90/1/018001 
  215. Geist, Edward Moore (2 de setembro de 2016). «It's already too late to stop the AI arms race—We must manage it instead». Bulletin of the Atomic Scientists (em inglês) (5): 318–321. ISSN 0096-3402. doi:10.1080/00963402.2016.1216672