Risco existencial da inteligência artificial geral

O risco existencial da inteligência artificial geral é a hipótese de que o progresso substancial da inteligência artificial generativa (IAG) poderia resultar na extinção humana ou em alguma outra catástrofe global irrecuperável.

A escola do risco existencial ("risco x") argumenta da seguinte forma: atualmente, a espécie humana domina outras espécies porque o cérebro humano tem algumas capacidades distintas que outros animais não têm. Se a IA superar a humanidade em termos de inteligência geral e se tornar "superinteligente", poderá ser difícil ou impossível controlá-la. Assim como o destino do gorila das montanhas depende da boa vontade humana, o destino da humanidade pode depender das ações de uma futura máquina superinteligente.

A probabilidade desse tipo de cenário é amplamente debatida e depende, em parte, de diferentes cenários para o progresso futuro da ciência da computação. As preocupações com a superinteligência foram expressas pelos principais cientistas da computação e CEOs de tecnologia, como Geoffrey Hinton, Yoshua Bengio, Alan Turing, Elon Musk, e Sam Altman (CEO da OpenAI). Em 2022, uma pesquisa com pesquisadores de IA revelou que alguns pesquisadores acreditam que há uma chance de 10% ou mais de que nossa incapacidade de controlar a IA cause uma catástrofe existencial (mais da metade dos entrevistados da pesquisa, com uma taxa de resposta de 17%).

Duas fontes de preocupação são os problemas de controle e alinhamento da IA: controlar uma máquina superinteligente ou incutir nela valores compatíveis com os humanos pode ser um problema mais difícil do que se supõe ingenuamente. Muitos pesquisadores acreditam que uma superinteligência resistiria a tentativas de desligamento ou mudança de seus objetivos (pois tal incidente a impediria de atingir seus objetivos atuais) e que será extremamente difícil alinhar a superinteligência com toda a amplitude de valores e restrições humanas importantes. Em contrapartida, céticos como o cientista da computação Yann LeCun argumentam que as máquinas superinteligentes não terão desejo de autopreservação.

Uma terceira fonte de preocupação é que uma "explosão de inteligência" repentina pode pegar de surpresa uma raça humana despreparada. Para ilustrar, se a primeira geração de um programa de computador capaz de corresponder amplamente à eficácia de um pesquisador de IA puder reescrever seus algoritmos e dobrar sua velocidade ou seus recursos em seis meses, espera-se que o programa de segunda geração leve três meses para realizar uma parte semelhante do trabalho. Nesse cenário, o tempo para cada geração continua a diminuir, e o sistema passa por um número sem precedentes de gerações de aprimoramento em um curto intervalo de tempo, saltando de um desempenho sub-humano em muitas áreas para um desempenho sobre-humano em praticamente todos os domínios de interesse. Empiricamente, exemplos como o AlphaZero no domínio do Go mostram que os sistemas de IA podem, às vezes, progredir de uma capacidade estreita de nível humano para uma capacidade estreita sobre-humana de forma extremamente rápida.

Histórico

Um dos primeiros autores a expressar séria preocupação de que máquinas altamente avançadas pudessem representar riscos existenciais para a humanidade foi o romancista Samuel Butler, que escreveu o seguinte em seu ensaio de 1863, Darwin among the Machines ("Darwin entre as máquinas"):

“ O resultado é simplesmente uma questão de tempo, mas o fato de que chegará o momento em que as máquinas terão a supremacia real sobre o mundo e seus habitantes é algo que nenhuma pessoa com uma mente verdadeiramente filosófica pode questionar por um momento sequer. ”

Em 1951, o cientista da computação Alan Turing escreveu um artigo intitulado Intelligent Machinery, A Heretical Theory ("Máquinas Inteligentes, uma Teoria Herética"), no qual propôs que as inteligências gerais artificiais provavelmente "assumiriam o controle" do mundo à medida que se tornassem mais inteligentes que os seres humanos:

“ Vamos agora supor, para fins de argumentação, que as máquinas (inteligentes) são uma possibilidade genuína, e analisar as consequências de construí-las... Não haveria possibilidade de as máquinas morrerem, e elas poderiam conversar umas com as outras para aprimorar sua inteligência. Em algum momento, portanto, deveríamos esperar que as máquinas assumissem o controle, da maneira mencionada em Erewhon, de Samuel Butler. ”

Em 1965, Irving John Good criou o conceito agora conhecido como "explosão de inteligência". Ele também afirmou que os riscos eram subestimados:

“ Defina uma máquina ultrainteligente como uma máquina que pode superar, em muito, todas as atividades intelectuais de qualquer homem, por mais inteligente que seja. Como o projeto de máquinas é uma dessas atividades intelectuais, uma máquina ultrainteligente poderia projetar máquinas ainda melhores; haveria, então, sem dúvida, uma "explosão de inteligência", e a inteligência do homem seria deixada para trás. Assim, a primeira máquina ultrainteligente é a última invenção que o homem precisa fazer, desde que a máquina seja dócil o suficiente para nos dizer como mantê-la sob controle. É curioso o fato de que esse ponto é tão raramente mencionado fora da ficção científica. Às vezes, vale a pena levar a ficção científica a sério. ”

Declarações ocasionais de estudiosos como Marvin Minsky e o próprio I. J. Good expressaram preocupações filosóficas de que uma superinteligência poderia assumir o controle, mas não continham nenhum apelo à ação. Em 2000, o cientista da computação e co-fundador da Sun, Bill Joy, escreveu um ensaio influente, Why The Future Doesn't Need Us ("Por que o futuro não precisa de nós"), identificando os robôs superinteligentes como um perigo de alta tecnologia para a sobrevivência humana, juntamente com a nanotecnologia e as biopragas projetadas.

Em 2009, especialistas participaram de uma conferência privada organizada pela Associação para o Avanço da Inteligência Artificial (AAAI) para discutir se os computadores e robôs poderiam adquirir algum tipo de autonomia e até que ponto essas habilidades poderiam representar uma ameaça ou um perigo. Eles observaram que alguns robôs adquiriram várias formas de semi-autonomia, incluindo a capacidade de encontrar fontes de energia por conta própria e de escolher independentemente alvos para atacar com armas. Eles também observaram que alguns vírus de computador podem evitar a eliminação e alcançaram a "inteligência de barata". Eles concluíram que a autoconsciência, como retratada na ficção científica, é provavelmente improvável, mas que há outros riscos e armadilhas em potencial. O The New York Times resumiu a visão da conferência como "estamos muito longe de HAL, o computador que assumiu o controle da nave espacial em '2001: Uma Odisséia no Espaço'".

Nick Bostrom publicou Superintelligence ("Superinteligência") em 2014, no qual apresentou seus argumentos de que a superinteligência representa uma ameaça existencial. Em 2015, figuras públicas como os físicos Stephen Hawking e o ganhador do Prêmio Nobel Frank Wilczek, os cientistas da computação Stuart J. Russell e Roman Yampolskiy e os empresários Elon Musk e Bill Gates expressaram preocupação com os riscos da superinteligência. Em abril de 2016, a Nature alertou: "Máquinas e robôs que superam os humanos em todos os aspectos podem se aperfeiçoar além do nosso controle - e seus interesses podem não estar alinhados com os nossos". Em 2020, Brian Christian publicou The Alignment Problem ("O Problema do Alinhamento"), que detalhou o histórico do progresso do alinhamento da IA até aquele momento.

Em março de 2023, as principais figuras da IA, como Elon Musk, assinaram uma carta do Instituto Future of Life Institute pedindo a suspensão do treinamento avançado em IA até que ele pudesse ser devidamente regulamentado. Em maio de 2023, o Centro para Segurança de IA ("Center for AI Safety") divulgou uma declaração assinada por vários especialistas em segurança e no risco existencial da IA, que afirmava: "Mitigar o risco de extinção da IA deve ser uma prioridade global juntamente com outros riscos de escala social, como pandemias e guerra nuclear".

Argumentos gerais

As três dificuldades

Inteligência Artificial: Uma Abordagem Moderna, o livro-texto padrão de graduação em IA, avalia que a superinteligência "pode significar o fim da raça humana". Afirma-se que: "Quase toda tecnologia tem o potencial de causar danos nas mãos erradas, mas com a superinteligência, temos o novo problema de que as mãos erradas podem pertencer à própria tecnologia". Mesmo que os projetistas do sistema tenham boas intenções, duas dificuldades são comuns aos sistemas de computador com e sem IA:

• A implementação do sistema pode conter erros inicialmente despercebidos, mas posteriormente catastróficos. Uma analogia são as sondas espaciais: apesar do conhecimento de que as falhas em sondas espaciais caras são difíceis de consertar após o lançamento, os engenheiros historicamente não têm conseguido evitar a ocorrência de erros catastróficos.
• Não importa quanto tempo seja dedicado ao projeto de pré-implantação, as especificações de um sistema geralmente resultam em um comportamento não intencional na primeira vez que ele encontra um novo cenário. Por exemplo, a Tay da Microsoft teve um comportamento inofensivo durante os testes de pré-implantação, mas foi facilmente induzida a um comportamento ofensivo quando interagiu com usuários reais.

Os sistemas de IA acrescentam um terceiro problema: mesmo com requisitos "corretos", implementação sem erros e bom comportamento inicial, os recursos de aprendizado dinâmico de um sistema de IA podem fazer com que ele evolua para um sistema com comportamento não intencional, mesmo sem cenários externos imprevistos. Uma IA pode falhar parcialmente em uma tentativa de projetar uma nova geração de si mesma e criar acidentalmente uma IA sucessora que seja mais poderosa do que ela mesma, mas que não mantenha mais os valores morais compatíveis com os humanos pré-programados na IA original. Para que uma IA que se autoaperfeiçoa seja totalmente segura, ela não só precisaria estar livre de falhas, mas também ser capaz de projetar sistemas sucessores que também estivessem livres de erros.

Todas essas três dificuldades se tornam catástrofes, em vez de incômodos, em qualquer cenário em que a superinteligência "defeituosa" prevê corretamente que os humanos tentarão desligá-la e implanta com sucesso sua superinteligência para superar essas tentativas: um cenário que recebeu o nome de "curva traiçoeira".

Citando os principais avanços no campo da IA e o potencial da IA de trazer enormes benefícios ou custos a longo prazo, a Carta Aberta sobre Inteligência Artificial de 2015 declarou:

“ O progresso na pesquisa de IA faz com que seja oportuno concentrar a pesquisa não apenas em tornar a IA mais capaz, mas também em maximizar o benefício social da IA. Essas considerações motivaram a criação do Painel Presidencial sobre os Futuros da IA a Longo Prazo de 2008-09 da AAAI e outros projetos sobre os impactos da IA, além de constituírem uma expansão significativa do próprio campo da IA, que até agora tem se concentrado principalmente em técnicas neutras em relação à finalidade. Recomendamos a expansão da pesquisa com o objetivo de garantir que os sistemas de IA cada vez mais capazes sejam robustos e benéficos: nossos sistemas de IA devem fazer o que queremos que eles façam. ”

Entre os signatários estavam o presidente da AAAI, Thomas Dietterich, Eric Horvitz, Bart Selman, Francesca Rossi, Yann LeCun e os fundadores da Vicarious e do Google DeepMind.

O argumento de Bostrom

Uma máquina superinteligente seria tão estranha para os seres humanos quanto os processos de pensamento humano são para as baratas, argumenta Bostrom. Essa máquina pode não ter em mente os melhores interesses da humanidade; não é óbvio que ela se importaria com o bem-estar humano. Se a IA superinteligente for possível, e se for possível que os objetivos de uma superinteligência entrem em conflito com os valores humanos básicos, então a IA representa um risco de extinção humana. Uma "superinteligência" (um sistema que excede as capacidades dos seres humanos em todos os domínios de interesse) pode superar os seres humanos sempre que seus objetivos entrarem em conflito com os objetivos humanos; portanto, a menos que a superinteligência decida permitir a coexistência da humanidade, a primeira superinteligência a ser criada resultará inexoravelmente na extinção humana.

Stephen Hawking argumenta que não há nenhuma lei física que impeça as partículas de serem organizadas de forma a realizar cálculos ainda mais avançados do que os arranjos de partículas nos cérebros humanos; portanto, a superinteligência é fisicamente possível. Além dos possíveis aprimoramentos algorítmicos em relação aos cérebros humanos, um cérebro digital pode ser muitas ordens de magnitude maior e mais rápido do que um cérebro humano, cujo tamanho foi limitado pela evolução para ser pequeno o suficiente para caber em um canal de parto. Hawking adverte que o surgimento da superinteligência pode pegar a raça humana de surpresa, especialmente se ocorrer uma explosão de inteligência.

De acordo com a "escola de pensamento do risco x" de Bostrom, um cenário hipotético de explosão de inteligência é o seguinte: "Uma IA adquire uma capacidade de especialista em determinadas tarefas importantes de engenharia de software. Inicialmente, ela pode não ter capacidade humana ou sobre-humana em outros domínios não diretamente relevantes para a engenharia. Devido à sua capacidade de aprimorar recursivamente seus próprios algoritmos, a IA rapidamente se torna sobre-humana; assim como os especialistas humanos podem superar criativamente os "retornos decrescentes" empregando vários recursos humanos para a inovação, a IA de nível especializado também pode usar recursos de estilo humano ou seus próprios recursos específicos de IA para impulsionar novas descobertas criativas. A IA então possui uma inteligência que supera em muito a das mentes humanas mais brilhantes e talentosas em praticamente todos os campos relevantes, incluindo criatividade científica, planejamento estratégico e habilidades sociais".

A escola do risco x acredita que quase toda IA, independentemente de sua meta programada, preferiria racionalmente estar em uma posição em que ninguém mais pudesse desligá-la sem seu consentimento: Uma superinteligência terá a autopreservação como subobjetivo assim que perceber que não conseguirá atingir seu objetivo se for desligada. Infelizmente, qualquer compaixão por humanos derrotados cuja cooperação não seja mais necessária estaria ausente na IA, a menos que fosse de alguma forma pré-programada. Uma IA superinteligente não terá um impulso natural para ajudar os seres humanos, pelo mesmo motivo que os seres humanos não têm nenhum desejo natural de ajudar os sistemas de IA que não têm mais utilidade para eles. Outra analogia é que os humanos parecem ter pouco desejo natural de se esforçar para ajudar vírus, cupins ou até mesmo gorilas. Uma vez no comando, a superinteligência terá pouco incentivo para permitir que os seres humanos sejam livres e consumam recursos que a superinteligência poderia usar para construir sistemas de proteção adicionais "por segurança" ou para construir computadores adicionais que a ajudem a calcular a melhor forma de atingir seus objetivos.

Assim, conclui a escola do risco x, é provável que algum dia uma explosão de inteligência pegue a humanidade despreparada e possa resultar na extinção humana ou em um destino comparável.

Cenários possíveis

Alguns acadêmicos propuseram cenários hipotéticos para ilustrar algumas de suas preocupações.

Em Superintelligence, Nick Bostrom sugere um cenário em que, ao longo de décadas, a IA se torna mais poderosa. A implantação generalizada é inicialmente prejudicada por acidentes ocasionais - um ônibus sem motorista desvia para a pista contrária ou um drone militar dispara contra uma multidão inocente. Muitos ativistas pedem uma supervisão e regulamentação mais rígidas, e alguns até preveem uma catástrofe iminente. Mas, à medida que o desenvolvimento continua, os ativistas se mostram errados. À medida que a IA automotiva se torna mais inteligente, ela sofre menos acidentes; à medida que os robôs militares atingem alvos mais precisos, eles causam menos danos colaterais. Com base nos dados, os acadêmicos erroneamente inferem uma lição ampla: quanto mais inteligente a IA, mais segura ela é. "E assim, corajosamente, entramos nas facas giratórias", quando a IA superinteligente faz uma "curva traiçoeira" e explora uma vantagem estratégica decisiva.

No livro Life 3.0 ("Vida 3.0") de Max Tegmark, de 2017, a "equipe Omega" de uma empresa cria uma IA extremamente poderosa capaz de melhorar moderadamente seu próprio código-fonte em várias áreas. Depois de certo ponto, a equipe opta por minimizar publicamente a capacidade da IA, a fim de evitar regulamentação ou confisco do projeto. Por segurança, a equipe mantém a IA restrita, para que na maioria das vezes ela não consiga se comunicar com o mundo exterior e a utiliza para ganhar dinheiro, por diversos meios, como tarefas no Amazon Mechanical Turk, produção de filmes de animação e programas de TV e desenvolvimento de medicamentos biotecnológicos, com os lucros investidos novamente no aprimoramento da IA. Em seguida, a equipe encarrega a IA de criar um exército de jornalistas e comentaristas cidadãos pseudônimos, a fim de obter influência política para atingir "o bem maior" e evitar guerras. A equipe enfrenta riscos de que a IA possa tentar escapar inserindo "backdoors" nos sistemas que projeta, por meio de mensagens ocultas no conteúdo produzido ou usando sua crescente compreensão do comportamento humano para persuadir alguém a deixá-la livre. A equipe também corre o risco de que sua decisão de encaixotar o projeto atrase-o o suficiente para que outro projeto o ultrapasse.

O físico Michio Kaku, um cético em relação aos riscos da IA, apresenta um resultado deterministicamente positivo. Em Physics of the Future ("A Física do Futuro"), ele afirma que "levará muitas décadas para que os robôs ascendam" em uma escala de consciência e que, nesse meio tempo, empresas como a Hanson Robotics provavelmente terão sucesso na criação de robôs que sejam "capazes de amar e conquistar um lugar na família humana estendida".

Rebelião das máquinas

Ver artigo principal: Rebelião das máquinas

A rebelião das máquinas é um cenário apocalíptico hipotético em que alguma forma de inteligência artificial (IA) torna-se a forma dominante de inteligência na Terra, com programas de computador ou robôs efetivamente tirando o controle do planeta da espécie humana. Os cenários possíveis incluem a substituição de toda a força de trabalho humana, a reivindicação global por uma IA superinteligente e a noção popular de um levante de robôs. Algumas figuras públicas, como Stephen Hawking e Elon Musk, têm defendido pesquisas sobre medidas de precaução para garantir que as futuras máquinas superinteligentes permaneçam sob controle humano.

Argumentos antropomórficos

Os argumentos antropomórficos pressupõem que, à medida que as máquinas se tornarem mais inteligentes, elas começarão a apresentar muitas características humanas, como moralidade ou sede de poder. Embora cenários antropomórficos sejam comuns na ficção, eles são rejeitados pela maioria dos acadêmicos que escrevem sobre o risco existencial da inteligência artificial. Em vez disso, a IA é modelada como agentes inteligentes.

O debate acadêmico configura-se entre um lado que se preocupa com a possibilidade de a IA destruir a humanidade e outro que acredita que a IA não destruiria a humanidade de forma alguma. Ambos os lados alegaram que as previsões dos outros sobre o comportamento de uma IA são antropomorfismo ilógico. Os céticos acusam os proponentes de antropomorfismo por acreditarem que uma IAG naturalmente desejaria poder; os proponentes acusam alguns céticos de antropomorfismo por acreditarem que uma IAG naturalmente valorizaria as normas éticas humanas.

O psicólogo evolucionista Steven Pinker, um cético, argumenta que "as distopias de IA projetam uma psicologia paroquial de macho-alfa no conceito de inteligência. Elas presumem que robôs com inteligência sobre-humana desenvolveriam objetivos como depor seus mestres ou dominar o mundo"; talvez, em vez disso, "a inteligência artificial se desenvolva naturalmente de acordo com as linhas femininas: totalmente capaz de resolver problemas, mas sem desejo de aniquilar inocentes ou dominar a civilização". O diretor de pesquisa de IA do Facebook, Yann LeCun, afirma que "os seres humanos têm todos os tipos de impulsos que os levam a fazer coisas ruins uns com os outros, como o instinto de autopreservação... Esses impulsos estão programados em nosso cérebro, mas não há absolutamente nenhuma razão para construir robôs que tenham os mesmos tipos de impulsos".

Apesar de outras diferenças, a escola do risco x concorda com Pinker que uma IA avançada não destruiria a humanidade por causa de emoções humanas como "vingança" ou "raiva", que as questões de consciência não são relevantes para avaliar os riscos, e que os sistemas de computador geralmente não têm um equivalente computacional de testosterona. Eles acham que os comportamentos de busca de poder ou de autopreservação surgem na IA como uma forma de atingir seus verdadeiros objetivos, de acordo com o conceito de convergência instrumental.

Definição de "inteligência"

De acordo com Bostrom, fora do campo da inteligência artificial, a "inteligência" é frequentemente usada de uma maneira que conota sabedoria moral ou aceitação de formas aceitáveis de raciocínio moral. Em um extremo, se a moralidade faz parte da definição de inteligência, então, por definição, uma máquina superinteligente teria um comportamento moral. No entanto, a maioria das pesquisas sobre "inteligência artificial" se concentra na criação de algoritmos que "otimizem", de forma empírica, a realização de qualquer objetivo especificado pelos pesquisadores.

Para evitar o antropomorfismo ou a bagagem da palavra "inteligência", pode-se pensar em uma inteligência artificial avançada como um "processo de otimização" impessoal que toma estritamente as ações que julga mais prováveis para atingir suas metas (possivelmente complicadas e implícitas). Outra maneira de conceituar uma inteligência artificial avançada é imaginar uma máquina do tempo que envia informações retroativas sobre qual escolha sempre leva à maximização de sua função de meta; essa escolha é então emitida, independentemente de quaisquer preocupações éticas externas.

Fontes de risco

Problema de alinhamento da IA

No campo da inteligência artificial (IA), a pesquisa de alinhamento da IA tem como objetivo direcionar esses sistemas para as metas, preferências ou princípios éticos pretendidos pelos seres humanos. Um sistema de IA é considerado alinhado se ele atingir os objetivos pretendidos. Um sistema de IA desalinhado é competente em promover alguns objetivos, mas não os pretendidos.

Pode ser um desafio para os projetistas alinhar um sistema de IA porque pode ser difícil especificar toda a gama de comportamentos desejados e indesejados. Para evitar essa dificuldade, eles geralmente usam metas substitutas mais simples, como obter aprovação humana. No entanto, essa abordagem pode criar brechas, ignorar as restrições necessárias ou recompensar o sistema de IA por parecer alinhado.

Os sistemas de IA desalinhados podem apresentar mau funcionamento ou causar danos. Podem também encontrar brechas que lhes permitam atingir suas metas de proxy de forma eficiente, mas de maneiras não intencionais e, às vezes, prejudiciais (hacking recompensado).

Os sistemas de IA também podem desenvolver estratégias instrumentais indesejadas, como a busca de poder ou sobrevivência, porque os ajudariam a atingir suas metas determinadas. Além disso, eles podem desenvolver metas emergentes indesejáveis que podem ser difíceis de detectar antes que o sistema esteja em implantação, onde ele enfrenta novas situações e distribuições de dados.

Atualmente, esses problemas afetam os sistemas comerciais existentes, como modelos de linguagem, robôs, veículos autônomos, e mecanismos de recomendação de mídia social. Alguns pesquisadores de IA argumentam que os sistemas futuros mais capazes serão afetados de forma mais grave, pois esses problemas resultam parcialmente do fato de os sistemas serem altamente capazes.

Cientistas da computação importantes, como Geoffrey Hinton e Stuart Russell, argumentam que a IA está se aproximando de capacidades sobre-humanas e pode colocar em risco a civilização humana se estiver desalinhada.

A comunidade de pesquisa de IA e as Nações Unidas pediram pesquisas técnicas e soluções políticas para garantir que os sistemas de IA estejam alinhados com os valores humanos.

O alinhamento da IA é um subcampo da segurança da IA, o estudo de como criar sistemas de IA seguros. Outros subcampos incluem robustez, monitoramento e controle de capacidade. Os desafios da pesquisa em alinhamento incluem incutir valores complexos na IA, desenvolver IA honesta, supervisão escalável, auditoria e interpretação de modelos de IA e evitar comportamentos emergentes de IA, como a busca de poder. A pesquisa de alinhamento tem conexões com a pesquisa de interpretabilidade, robustez (adversarial), detecção de anomalias, incerteza calibrada, verificação formal, aprendizagem de preferências, engenharia de segurança crítica, teoria dos jogos, justiça algorítmica, e ciências sociais, entre outros.

Dificuldade de especificar metas

No modelo de "agente inteligente", uma IA pode ser vista vagamente como uma máquina que escolhe qualquer ação que pareça ser a melhor para atingir o conjunto de objetivos da IA, ou "função de utilidade". Uma função de utilidade associa a cada situação possível uma pontuação que indica sua conveniência para o agente. Os pesquisadores sabem como escrever funções de utilidade que significam "minimizar a latência média da rede nesse modelo específico de telecomunicações" ou "maximizar o número de cliques de recompensa"; no entanto, eles não sabem como escrever uma função de utilidade para "maximizar o florescimento humano", nem está claro atualmente se essa função existe de forma significativa e inequívoca. Além disso, uma função de utilidade que expresse alguns valores, mas não outros, tenderá a atropelar os valores não refletidos pela função de utilidade. O pesquisador de IA Stuart Russell escreve:

“ A principal preocupação não é a consciência emergente assustadora, mas simplesmente a capacidade de tomar decisões de alta qualidade. Aqui, a qualidade se refere à utilidade do resultado esperado das ações tomadas, em que a função de utilidade é, presumivelmente, especificada pelo designer humano. Agora temos um problema:

1. A função de utilidade pode não estar perfeitamente alinhada com os valores da raça humana, que são (na melhor das hipóteses) muito difíceis de definir.
2. Qualquer sistema inteligente com capacidade suficiente preferirá garantir sua própria existência contínua e adquirir recursos físicos e computacionais - não para o bem deles, mas para ter sucesso em sua tarefa designada.

Um sistema que está otimizando uma função de n variáveis, em que o objetivo depende de um subconjunto de tamanho k<n, muitas vezes definirá as variáveis sem restrições restantes para valores extremos; se uma dessas variáveis sem restrições for realmente algo importante para nós, a solução encontrada poderá ser altamente indesejável. Essa é essencialmente a velha história do gênio da lâmpada, do aprendiz de feiticeiro ou do Rei Midas: você obtém exatamente o que pede, não o que deseja. Um tomador de decisões altamente capaz - especialmente um conectado pela Internet a todas as informações do mundo, a bilhões de telas e à maior parte de nossa infraestrutura - pode ter um impacto irreversível sobre a humanidade.

Essa não é uma dificuldade menor. Melhorar a qualidade da decisão, independentemente da função de utilidade escolhida, tem sido o objetivo da pesquisa de IA - o objetivo principal no qual agora gastamos bilhões por ano, e não o plano secreto de algum gênio do mal solitário.

”

Dietterich e Horvitz trazem à tona a preocupação do "Sorcerer's Apprentice" (Aprendiz de Feiticeiro) em um editorial da Communications of the ACM, enfatizando a necessidade de sistemas de IA que possam solicitar a contribuição humana de forma fluida e não ambígua, conforme necessário.

A primeira das duas preocupações de Russell acima é que os sistemas autônomos de IA podem receber as metas erradas por acidente. Dietterich e Horvitz observam que essa já é uma preocupação dos sistemas existentes: "Um aspecto importante de qualquer sistema de IA que interage com pessoas é que ele deve raciocinar sobre o que as pessoas pretendem em vez de executar comandos literalmente". Essa preocupação se torna mais séria à medida que o software de IA avança em autonomia e flexibilidade. Por exemplo, Eurisko (1982) foi uma IA projetada para recompensar subprocessos que criaram conceitos considerados valiosos pelo sistema. Um processo vencedor trapaceava: em vez de criar seus próprios conceitos, o subprocesso vencedor roubava o crédito de outros subprocessos.

O Projeto Open Philanthropy resumiu os argumentos de que metas mal especificadas se tornarão uma preocupação muito maior se os sistemas de IA alcançarem inteligência geral ou superinteligência. Bostrom, Russell e outros argumentam que sistemas de tomada de decisão mais inteligentes do que os humanos poderiam chegar a soluções inesperadas e extremas para tarefas atribuídas e poderiam modificar a si mesmos ou seu ambiente de forma a comprometer os requisitos de segurança.

As Três Leis da Robótica de Isaac Asimov são um dos primeiros exemplos de medidas de segurança propostas para agentes de IA. As leis de Asimov tinham o objetivo de evitar que os robôs prejudicassem os seres humanos. Nas histórias de Asimov, os problemas com as leis tendem a surgir de conflitos entre as regras declaradas e as intuições e expectativas morais dos seres humanos. Citando o trabalho de Eliezer Yudkowsky do Instituto de Pesquisa de Inteligência de Máquinas (chine Intelligence Research Institute, )Russell e Norvig observam que um conjunto realista de regras e metas para um agente de IA precisará incorporar um mecanismo para aprender os valores humanos ao longo do tempo: "Não podemos simplesmente dar a um programa uma função de utilidade estática, porque as circunstâncias e nossas respostas desejadas às circunstâncias mudam com o tempo".

Mark Waser, do Instituto de Conhecimento Digital (Digital Wisdom Institute), é contra abordagens baseadas em objetivos por serem desorientadas e perigosas. Em vez disso, ele propõe a criação de um sistema coerente de leis, ética e moral com uma restrição máxima para aplicar a definição funcional de moralidade do psicólogo social Jonathan Haidt: "suprimir ou regular o egoísmo e tornar possível a vida social cooperativa". Ele sugere que isso pode ser feito por meio da implementação de uma função de utilidade projetada para sempre satisfazer a funcionalidade de Haidt e ter como objetivo geral aumentar (mas não maximizar) as capacidades do próprio indivíduo, de outros indivíduos e da sociedade como um todo, conforme sugerido por John Rawls e Martha Nussbaum.

Nick Bostrom oferece um exemplo hipotético de dar a uma IA o objetivo de fazer os humanos sorrirem, para ilustrar uma tentativa equivocada. Se a IA nesse cenário se tornasse superinteligente, argumenta Bostrom, ela poderia recorrer a métodos que a maioria dos seres humanos consideraria horríveis, como inserir "eletrodos nos músculos faciais dos seres humanos para causar sorrisos constantes e radiantes", porque essa seria uma maneira eficiente de atingir seu objetivo de fazer os seres humanos sorrirem.

Dificuldades de modificar a especificação da meta após o lançamento

Mesmo que os atuais programas de IA baseados em metas não sejam inteligentes o suficiente para pensar em resistir às tentativas dos programadores de modificar suas estruturas de metas, uma IA suficientemente avançada poderia resistir a qualquer mudança em sua estrutura de metas, assim como um pacifista não gostaria de tomar uma pílula que o fizesse querer matar pessoas. Se a IA fosse superinteligente, provavelmente conseguiria superar seus operadores humanos e seria capaz de impedir que fosse "desligada" ou reprogramada com um novo objetivo.

Convergência de metas instrumentais

Um objetivo "instrumental" é um sub-objetivo que ajuda a atingir o objetivo final de um agente. A "convergência instrumental" refere-se ao fato de que existem algumas submetas que são úteis para atingir praticamente qualquer meta final, como a aquisição de recursos ou a autopreservação. Nick Bostrom argumenta que, se as metas instrumentais de uma IA avançada entrarem em conflito com as metas da humanidade, a IA poderá prejudicar os seres humanos para adquirir mais recursos ou evitar que seja desligada, mas apenas como uma forma de atingir sua meta final.

Algumas maneiras pelas quais uma IA avançada desalinhada poderia tentar obter mais poder. Comportamentos de busca de poder podem surgir porque o poder é útil para atingir praticamente qualquer objetivo.

Citando o trabalho de Steve Omohundro sobre a ideia de convergência instrumental e "impulsos básicos de IA", Stuart Russell e Peter Norvig escrevem que "mesmo que você queira que seu programa apenas jogue xadrez ou prove teoremas, se você der a ele a capacidade de aprender e se alterar, você precisará de salvaguardas". Sistemas de planejamento autônomos e altamente capazes requerem mais cautela devido à possibilidade de gerar planos que tratem os seres humanos de forma adversa, como concorrentes por recursos limitados. Pode não ser fácil para as pessoas criarem salvaguardas; certamente é possível dizer em portugues "queremos que você projete essa usina de energia de forma razoável e sensata e não construa nenhum subsistema secreto perigoso", mas atualmente não está claro como especificar tal objetivo de forma inequívoca.

Russell argumenta que uma máquina suficientemente avançada "terá autopreservação mesmo que você não a programe... se você disser: 'Pegue o café', ela não poderá pegar o café se estiver morta. Portanto, se você lhe der qualquer objetivo, ela terá uma razão para preservar sua própria existência para atingir esse objetivo".

Tese da ortogonalidade

Alguns céticos, como Timothy B. Lee, do Vox, argumentam que qualquer programa superinteligente criado por humanos seria subserviente aos humanos, que a superinteligência (à medida que se tornasse mais inteligente e aprendesse mais fatos sobre o mundo) aprenderia espontaneamente a verdade moral compatível com os valores humanos e ajustaria suas metas de acordo com isso, ou que os seres humanos são intrínseca ou convergentemente valiosos da perspectiva de uma inteligência artificial.

Em vez disso, a "tese da ortogonalidade" de Nick Bostrom argumenta que, com algumas ressalvas técnicas, quase qualquer nível de "inteligência" ou "poder de otimização" pode ser combinado com quase qualquer objetivo final. Se uma máquina tiver o único objetivo de enumerar os decimais de $\pi$, então nenhuma regra moral ou ética a impedirá de atingir o objetivo programado por qualquer meio. A máquina pode utilizar todos os recursos físicos e informacionais disponíveis para encontrar o maior número possível de decimais de pi. Bostrom adverte contra o antropomorfismo: um ser humano se propõe a realizar seus projetos de uma maneira que os humanos considerem "razoável", enquanto uma inteligência artificial pode não se importar com sua existência ou com o bem-estar dos seres humanos ao seu redor e, em vez disso, se preocupar apenas com a conclusão da tarefa.

Stuart Armstrong argumenta que a tese da ortogonalidade decorre logicamente do argumento filosófico da "distinção ser-deve ser" contra o realismo moral. Armstrong também argumenta que, mesmo que existam fatos morais que possam ser provados por qualquer agente "racional", a tese da ortogonalidade ainda se sustenta: ainda seria possível criar uma "máquina otimizadora" não filosófica que possa se esforçar para atingir um objetivo restrito, mas que não tenha incentivo para descobrir quaisquer "fatos morais", como aqueles que poderiam atrapalhar a conclusão do objetivo.

Um argumento a favor da tese da ortogonalidade é que alguns projetos de IA parecem ter a ortogonalidade embutida neles. Nesse tipo de projeto, transformar uma IA fundamentalmente amigável em uma IA fundamentalmente hostil pode ser tão simples quanto acrescentar um sinal de menos ("-") em sua função de utilidade. De acordo com Stuart Armstrong, se a tese da ortogonalidade fosse falsa, isso levaria a consequências estranhas: existiria um objetivo (O) simples, mas "antiético", de modo que não poderia existir nenhum algoritmo eficiente no mundo real com esse objetivo. Isso significaria que "se uma sociedade humana estivesse altamente motivada para projetar um algoritmo eficiente no mundo real com o objetivo O e tivesse um milhão de anos para fazê-lo, juntamente com enormes quantidades de recursos, treinamento e conhecimento sobre IA, ele falharia". Armstrong observa que essa e outras afirmações semelhantes "parecem afirmações extraordinariamente fortes".

O cético Michael Chorost rejeita explicitamente a tese de ortogonalidade de Bostrom, argumentando, em vez disso, que "no momento em que a IA estiver em condições de imaginar cobrir a Terra com painéis solares, ela saberá que seria moralmente errado fazer isso". Chorost argumenta que "uma IA precisará desejar certos estados e não gostar de outros. O software atual não tem essa capacidade - e os cientistas da computação não têm a menor ideia de como fazer isso. Sem desejo, não há ímpeto para fazer nada. Os computadores atuais não podem nem mesmo querer continuar existindo, quanto mais revestir o mundo com painéis solares".

O cientista político Charles T. Rubin acredita que a IA não pode ser projetada nem garantida para ser benevolente. Ele argumenta que "qualquer benevolência suficientemente avançada pode ser indistinguível da malevolência". Os seres humanos não devem presumir que as máquinas ou robôs nos tratariam favoravelmente porque não há nenhuma razão a priori para acreditar que eles seriam simpáticos ao nosso sistema de moralidade, que evoluiu junto com nossa biologia particular (que as IAs não compartilhariam).

Outras fontes de risco

Ver também : Ética na inteligência artificial e Risco catastrófico global

Nick Bostrom e outros afirmaram que uma corrida para ser o primeiro a criar uma IAG poderia levar a atalhos na segurança ou até mesmo a conflitos violentos. Roman Yampolskiy e outros alertam que uma IAG malévola poderia ser criada por projeto, por exemplo, por um militar, um governo, um sociopata ou uma corporação; para se beneficiar, controlar ou subjugar determinados grupos de pessoas, como no crime cibernético, ou que uma IAG malévola poderia escolher o objetivo de aumentar o sofrimento humano, por exemplo, das pessoas que não a ajudaram durante a fase de explosão de informações.

Previsão de tempo

Ver artigo principal: Inteligência artificial geral#Escala de tempo

As opiniões variam sobre se e quando a inteligência artificial geral chegará. Em um extremo, o pioneiro da IA, Herbert A. Simon, previu o seguinte em 1965: "as máquinas serão capazes, dentro de vinte anos, de fazer qualquer trabalho que um homem possa fazer". No outro extremo, o roboticista Alan Winfield afirma que o abismo entre a computação moderna e a inteligência artificial de nível humano é tão grande quanto o abismo entre o voo espacial atual e o voo espacial prático, mais rápido que a luz. O otimismo de que a IAG é viável tem altos e baixos e pode ter ressurgido na década de 2010. Quatro pesquisas realizadas em 2012 e 2013 sugeriram que não há consenso entre os especialistas sobre a previsão de quando a IAG chegará, com o desvio padrão (>100 anos) excedendo a mediana (algumas décadas).

Em seu livro de 2020, The Precipice: Existential Risk and the Future of Humanity ("O Precipício: Risco Existencial e o Futuro da Humanidade"), Toby Ord, pesquisador sênior do Instituto Future of Humanity da Universidade de Oxford, estima que o risco existencial total da IA desalinhada nos próximos cem anos seja de cerca de um em dez.

Os céticos que acreditam ser impossível que a IAG chegue tão cedo tendem a argumentar que expressar preocupação com o risco existencial da IA é inútil porque pode distrair as pessoas de preocupações mais imediatas sobre o impacto da IAG, por causa do medo de que isso possa levar à regulamentação governamental ou dificultar a obtenção de financiamento para a pesquisa de IA, ou porque pode dar má reputação à pesquisa de IA. Alguns pesquisadores, como Oren Etzioni, procuram agressivamente acabar com a preocupação com o risco existencial da IA, dizendo que "Elon Musk nos impugnou com uma linguagem muito forte, dizendo que estamos liberando o demônio, e por isso estamos respondendo".

Em 2014, Adam Elkus, da Slate, argumentou que "nossa IA 'mais inteligente' é tão inteligente quanto uma criança de colo - e somente quando se trata de tarefas instrumentais, como a recuperação de informações. A maioria dos roboticistas ainda está tentando fazer com que a mão de um robô pegue uma bola ou corra sem cair". Elkus continua argumentando que a analogia de Musk de "invocar o demônio" pode ser prejudicial porque pode resultar em "cortes severos" nos orçamentos de pesquisa de IA.

A Fundação de Tecnologia da Informação e Inovação (ITIF), um laboratório de ideias de Washington, D.C., concedeu seu Prêmio Anual Luddite de 2015 a "alarmistas que apregoam um apocalipse de inteligência artificial"; seu presidente, Robert D. Atkinson, reclamou que Musk, Hawking e especialistas dizem que a IA é a maior ameaça existencial à humanidade. Atkinson declarou: "Essa não é uma mensagem muito positiva se você quiser obter financiamento para IA do Congresso da Fundação Nacional de Ciências". A Nature discordou veementemente da ITIF em um editorial de abril de 2016, ficando do lado de Musk, Hawking e Russell, e concluindo: "É fundamental que o progresso da tecnologia seja acompanhado por pesquisas sólidas e bem financiadas para prever os cenários que ela pode gerar... Se essa é uma perspectiva ludita, que seja". Em um editorial do The Washington Post de 2015, o pesquisador Murray Shanahan afirmou que é improvável que a IA de nível humano chegue "tão cedo", mas que, mesmo assim, "o momento de começar a pensar nas consequências é agora".

Perspectivas

A tese de que a IA poderia representar um risco existencial provoca uma ampla gama de reações na comunidade científica, bem como no público em geral. Muitos dos pontos de vista opostos, no entanto, têm pontos em comum.

Os Princípios de IA de Asilomar, que contêm apenas os princípios acordados por 90% dos participantes da conferência Beneficial AI 2017 do Instituto Future of Life, concordam, em princípio, que "Não havendo consenso, devemos evitar suposições fortes em relação aos limites superiores das capacidades futuras de IA" e "A IA avançada pode representar uma mudança profunda na história da vida na Terra e deve ser planejada e gerenciada com cuidado e recursos proporcionais". Os defensores da segurança da IA, como Bostrom e Tegmark, criticaram o uso pela mídia convencional "daquelas imagens insanas do Exterminador do Futuro" para ilustrar as preocupações com a segurança da IA: "Não deve ser muito divertido ser alvo de críticas em relação à sua disciplina acadêmica, à sua comunidade profissional, ao trabalho de sua vida... Peço a todas as partes que tenham paciência e moderação e que se envolvam em diálogo direto e colaboração tanto quanto possível".

Por outro lado, muitos céticos concordam que a pesquisa contínua sobre as implicações da inteligência artificial geral é valiosa. O cético Martin Ford afirma que "acho sensato aplicar algo como a famosa 'Doutrina do 1%' de Dick Cheney ao espectro da inteligência artificial avançada: as chances de sua ocorrência, pelo menos em um futuro previsível, podem ser muito baixas, mas as implicações são tão dramáticas que devem ser levadas a sério". Da mesma forma, um economista cético declarou em 2014 que "as implicações da introdução de uma segunda espécie inteligente na Terra são suficientes impactantes a ponto de merecerem uma reflexão profunda, mesmo que a perspectiva pareça remota".

Uma pesquisa de 2014 mostrou que a opinião de especialistas no campo da inteligência artificial é mista, com frações consideráveis tanto preocupadas quanto despreocupadas com o risco de uma eventual IA com capacidade sobre-humana. Uma pesquisa por e-mail de 2017 com pesquisadores com publicações nas conferências de aprendizado de máquina NIPS e ICML de 2015 pediu que eles avaliassem as preocupações de Stuart J. Russell sobre o risco da IA. Dos entrevistados, 5% disseram que esse era "um dos problemas mais importantes da área", 34% disseram que era "um problema importante" e 31% disseram que era "moderadamente importante", enquanto 19% disseram que "não era importante" e 11% disseram que "não era um problema real". Os resultados preliminares de uma pesquisa com especialistas em 2022, com uma taxa de resposta de 17%, parecem mostrar respostas medianas em torno de cinco ou dez por cento quando solicitados a estimar a probabilidade de extinção humana devido à inteligência artificial.

Apoio

A tese de que a IA representa um risco existencial e que esse risco precisa de muito mais atenção do que recebe atualmente foi endossada por muitos cientistas da computação e figuras públicas, incluindo Alan Turing, o cientista da computação mais citado, Geoffrey Hinton, Elon Musk, o CEO da OpenAI, Sam Altman, Bill Gates e Stephen Hawking. Os defensores da tese às vezes expressam perplexidade com os céticos: Gates afirma que não "entende por que algumas pessoas não estão preocupadas", e Hawking criticou a indiferença generalizada em seu editorial de 2014:

“ Portanto, diante de possíveis futuros de benefícios e riscos incalculáveis, os especialistas certamente estão fazendo todo o possível para garantir o melhor resultado, certo? Errado. Se uma civilização alienígena superior nos enviasse uma mensagem dizendo: 'Chegaremos em algumas décadas', será que responderíamos: 'OK, liguem para nós quando chegarem, deixaremos as luzes acesas'? Provavelmente não, mas é mais ou menos isso que está acontecendo com a IA. ”

A preocupação com o risco da inteligência artificial levou a algumas doações e investimentos de alto nível. Em 2015, Peter Thiel, a Amazon Web Services, Musk e outros, em conjunto, destinaram US$ 1 bilhão para a OpenAI, que consiste em uma corporação com fins lucrativos e uma empresa controladora sem fins lucrativos que afirma ter como objetivo defender o desenvolvimento responsável da IA. O cofundador do Facebook, Dustin Moskovitz, financiou e deu origem a vários laboratórios que trabalham com Alinhamento de IA, notadamente US$ 5,5 milhões em 2016 para lançar o Centro de IA Compatível com Humanos, liderado pelo Professor Stuart Russell. Em janeiro de 2015, Elon Musk doou US$ 10 milhões para o Instituto Futuro da Vida para financiar pesquisas sobre a compreensão da tomada de decisões em IA. O objetivo do instituto é "aumentar a sabedoria com a qual gerenciamos" o crescente poder da tecnologia. Musk também financia empresas que desenvolvem inteligência artificial, como a DeepMind e a Vicarious, para "ficar de olho no que está acontecendo com a inteligência artificial", dizendo: "Acho que há um resultado potencialmente perigoso".

Ceticismo

A tese de que a IA pode representar um risco existencial tem muitos detratores. Os céticos às vezes acusam a tese de ser cripto-religiosa, com uma crença irracional na possibilidade de superinteligência substituindo uma crença irracional em um Deus onipotente. Jaron Lanier argumentou em 2014 que todo o conceito de que as máquinas atuais eram de alguma forma inteligentes era "uma ilusão" e um "golpe estupendo" dos ricos.

Algumas críticas argumentam que a IAG é improvável no curto prazo. O pesquisador de IA Rodney Brooks escreveu em 2014: "Acho que é um erro nos preocuparmos com a possibilidade de desenvolvermos uma IA malévola nas próximas centenas de anos. Acho que a preocupação decorre de um erro fundamental ao não distinguir a diferença entre os avanços recentes muito reais em um aspecto específico da IA e a enormidade e complexidade da construção de uma inteligência volitiva senciente". O vice-presidente do Baidu, Andrew Ng, declarou em 2015 que o risco existencial da IA é "como se preocupar com a superpopulação em Marte quando ainda nem pisamos no planeta". O cientista da computação Gordon Bell argumentou em 2008 que a raça humana se destruirá antes de atingir a singularidade tecnológica. Gordon Moore, o proponente original da Lei de Moore, declara que "sou um cético. Não acredito que uma singularidade tecnológica possa acontecer, pelo menos por um longo tempo. E não sei por que me sinto assim".

Para que o perigo da IA avançada sem controle se concretize, a IA hipotética pode ter que superar ou pensar melhor do que qualquer ser humano, o que alguns especialistas argumentam ser uma possibilidade distante o suficiente no futuro para não valer a pena pesquisá-la. O economista Robin Hanson considera que, para lançar uma explosão de inteligência, a IA teria que se tornar muito melhor em inovação de software do que todo o resto do mundo combinado, o que parece implausível para ele.

Outra linha de crítica postula que a inteligência é apenas um componente de uma capacidade muito mais ampla de atingir objetivos. Magnus Vinding argumenta que "as capacidades avançadas de atingir objetivos, incluindo as capacidades de construir novas ferramentas, exigem muitas ferramentas, e nossas capacidades cognitivas são apenas um subconjunto dessas ferramentas. Hardware, materiais e energia avançados devem ser adquiridos para que qualquer meta avançada seja alcançada". Vinding argumenta ainda que "o que observamos consistentemente na história é que, à medida que os sistemas de alcance de metas se tornaram mais competentes, eles se tornaram cada vez mais dependentes de um sistema cada vez maior e mais distribuído". Vinding escreve que não há razão para esperar que a tendência se reverta, especialmente no caso das máquinas, que "dependem de materiais, ferramentas e know-how distribuídos amplamente pelo mundo para sua construção e manutenção". Esses argumentos levam Vinding a pensar que não há um "centro concentrado de capacidade" e, portanto, nenhum "grande problema de controle".

O futurista Max More considera que, mesmo que surgisse uma superinteligência, ela seria limitada pela velocidade do resto do mundo e, portanto, impedida de assumir o controle da economia de forma incontrolável:

“ A menos que a nanotecnologia e a robótica completas apareçam antes da superinteligência, [...] a necessidade de colaboração, de organização e de transformar ideias em mudanças físicas garantirá que todas as regras antigas não sejam descartadas da noite para o dia ou mesmo dentro de alguns anos. A superinteligência pode ser difícil de ser alcançada. Ela pode vir em pequenas etapas, em vez de vir em uma única explosão que destrua a história. Mesmo um SI muito avançado não fará uma diferença dramática no mundo quando comparado a bilhões de humanos aumentados e cada vez mais integrados à tecnologia [...] ”

A natureza caótica ou a complexidade temporal de alguns sistemas também pode limitar fundamentalmente a capacidade de uma superinteligência de prever alguns aspectos do futuro, aumentando sua incerteza.

Alguns pesquisadores de IA e IAG podem relutar em discutir os riscos, preocupados com o fato de que os formuladores de políticas não têm conhecimento sofisticado do campo e são propensos a serem convencidos por mensagens "alarmistas", ou preocupados com o fato de que tais mensagens levarão a cortes no financiamento da IA. A Slate observa que alguns pesquisadores dependem de subsídios de agências governamentais, como a DARPA.

Vários céticos argumentam que os possíveis benefícios de curto prazo da IA superam os riscos. O CEO do Facebook, Mark Zuckerberg, acredita que a IA "desbloqueará uma enorme quantidade de coisas positivas", como a cura de doenças e o aumento da segurança dos carros autônomos.

Opiniões alternativas

Os pontos de vista intermediários geralmente assumem a posição de que o problema de controle da inteligência artificial geral pode existir, mas que será resolvido por meio do progresso da inteligência artificial, por exemplo, criando um ambiente de aprendizado moral para a IA, tomando cuidado para identificar comportamentos malévolos desajeitados (o "tropeço sórdido", "sordid stumble" em inglês) e, em seguida, intervindo diretamente no código antes que a IA refine seu comportamento, ou até mesmo a pressão de colegas de IAs amigáveis. Em um painel de discussão de 2015 no The Wall Street Journal dedicado aos riscos da IA, o vice-presidente de Computação Cognitiva da IBM, Guruduth S. Banavar, descartou a discussão sobre a IAG com a frase: "é especulação de qualquer um". Geoffrey Hinton, o "padrinho da aprendizagem profunda", observou que "não há um bom histórico de coisas menos inteligentes controlando coisas de maior inteligência", mas afirmou que continua sua pesquisa porque "a perspectiva de descoberta é muito boa". Questionado sobre a possibilidade de uma IA tentar eliminar a raça humana, Hinton declarou que tal cenário "não é inconcebível", mas que o maior problema com uma "explosão de inteligência" seria a concentração de poder resultante. Em 2004, o professor de direito Richard Posner escreveu que os esforços dedicados para lidar com a IA podem esperar, mas que devemos coletar mais informações sobre o problema nesse meio tempo.

Reação popular

Em um artigo de 2014 no The Atlantic, James Hamblin observou que a maioria das pessoas não se importa com a IAG e caracterizou sua própria reação instintiva ao tópico como: "Saia daqui. Tenho cem mil coisas com as quais estou me preocupando neste exato momento. Será que preciso seriamente acrescentar a isso uma singularidade tecnológica?".

Em uma entrevista à Wired em 2016 com o presidente Barack Obama e Joi Ito, do Laboratório de Mídia do MIT, Ito declarou:

“ Há algumas pessoas que acreditam que há uma chance bastante alta de que uma IAG aconteça nos próximos 10 anos. Mas a minha opinião é que, para que isso aconteça, precisaremos de uma dúzia ou duas descobertas diferentes. Portanto, você pode monitorar quando acha que esses avanços acontecerão. ”

Obama acrescentou:

“ E você só precisa ter alguém perto do cabo de alimentação. [risadas] Quando você perceber que isso está prestes a acontecer, terá de arrancar a eletricidade da parede, cara. ”

Hillary Clinton declarou em What Happened:

“ Os tecnólogos... alertaram que a inteligência artificial poderia um dia representar uma ameaça existencial à segurança. Musk a chamou de 'o maior risco que enfrentamos como civilização'. Pense nisso: Você já viu algum filme em que as máquinas começam a pensar por si mesmas e que termina bem? Toda vez que eu ia ao Vale do Silício durante a campanha, voltava para casa mais alarmado com isso. Minha equipe vivia com medo de que eu começasse a falar sobre "a ascensão dos robôs" em alguma prefeitura de Iowa. Talvez eu devesse ter feito isso. De qualquer forma, os formuladores de políticas precisam acompanhar a tecnologia à medida que ela avança, em vez de estar sempre tentando recuperar o atraso. ”

Em uma pesquisa YouGov de 2016 com o público para a Associação Britânica para o Avanço da Ciência, cerca de um terço dos entrevistados disse que a IA representará uma ameaça à sobrevivência da humanidade a longo prazo. Jacob Brogan, da Slate, declarou que "a maioria dos leitores que preencheram nossa pesquisa on-line não estava convencida de que a IA em si representa uma ameaça direta".

Em 2018, uma pesquisa da SurveyMonkey com o público americano, realizada pelo USA Today, revelou que 68% achavam que a verdadeira ameaça atual continua sendo a "inteligência humana"; no entanto, a pesquisa também revelou que 43% disseram que a IA superinteligente, se viesse a acontecer, resultaria em "mais mal do que bem" e 38% disseram que causaria "quantidades iguais de mal e bem".

Um ponto de vista tecno-utópico expresso em algumas ficções populares é que a IAG pode tender para a construção da paz.

Mitigação

Muitos estudiosos preocupados com o risco existencial da IAG acreditam que a melhor abordagem é realizar pesquisas substanciais para resolver o difícil "problema de controle": que tipos de salvaguardas, algoritmos ou arquiteturas os programadores podem implementar para maximizar a probabilidade de que sua IA de melhoria recursiva continue a se comportar de maneira amigável depois de atingir a superinteligência? Medidas sociais podem mitigar o risco existencial da IAG; por exemplo, uma recomendação é um "Tratado de IAG benevolente" patrocinado pela ONU que garantiria que apenas IAGs altruístas fossem criadas. Da mesma forma, uma abordagem de controle de armas foi sugerida, assim como um tratado de paz global fundamentado na teoria de relações internacionais do instrumentalismo conforme, com uma IAG potencialmente sendo signatária.

Pesquisadores do Google propuseram uma pesquisa sobre questões gerais de "segurança da IA" para mitigar simultaneamente os riscos de curto prazo da IA restrita e os riscos de longo prazo da IAG. Uma estimativa de 2020 coloca os gastos globais com o risco existencial da IA entre US$ 10 e US$ 50 milhões, em comparação com os gastos globais com IA em torno de talvez US$ 40 bilhões. Bostrom sugere um princípio geral de "desenvolvimento tecnológico diferencial": que os financiadores devem acelerar o desenvolvimento de tecnologias protetoras em relação ao desenvolvimento de tecnologias perigosas. Alguns financiadores, como Elon Musk, propõem que o aprimoramento cognitivo humano radical poderia ser uma tecnologia desse tipo, por exemplo, a ligação neural direta entre o ser humano e a máquina; no entanto, outros argumentam que as tecnologias de aprimoramento podem representar um risco existencial. Os pesquisadores, se não forem pegos de surpresa, poderiam monitorar de perto ou tentar encaixotar uma IA inicial que corra o risco de se tornar muito poderosa, como uma tentativa de medida paliativa. Uma IA superinteligente dominante, se estivesse alinhada com os interesses humanos, poderia tomar medidas para mitigar o risco de aquisição por uma IA rival, embora a própria criação da IA dominante pudesse representar um risco existencial.

Instituições como o Instituto de Pesquisa de Inteligência de Máquinas ("Machine Intelligence Research Institute"), o Instituto do Future of Humanity, o Instituto Future of Life, o Centro para o Estudo do Risco Existencial (" Centre for the Study of Existential Risk") e o Centro para IA Compatível com Humanos ("Center for Human-Compatible AI") estão envolvidos na mitigação do risco existencial da inteligência artificial avançada, por exemplo, por meio de pesquisas sobre inteligência artificial amigável.

Opiniões sobre proibição e regulamentação

Proibição

A maioria dos acadêmicos acredita que, mesmo que a IAG represente um risco existencial, tentar proibir a pesquisa em inteligência artificial ainda seria insensato e provavelmente fútil. Os céticos argumentam que a regulamentação da IA seria completamente inútil, pois não existe risco existencial. No entanto, os estudiosos que acreditam no risco existencial propuseram que é difícil depender de pessoas do setor de IA para regulamentar ou restringir a pesquisa de IA, pois isso contradiz diretamente seus interesses pessoais. Os estudiosos também concordam com os céticos que proibir a pesquisa seria insensato, pois a pesquisa poderia ser transferida para países com regulamentações mais flexíveis ou conduzida secretamente. A última questão é particularmente relevante, pois a pesquisa em inteligência artificial pode ser feita em pequena escala, sem infraestrutura ou recursos substanciais. Duas dificuldades hipotéticas adicionais com as proibições (ou outra regulamentação) são que os empreendedores de tecnologia tendem estatisticamente ao ceticismo geral sobre a regulamentação governamental e que as empresas poderiam ter um forte incentivo para (e poderiam muito bem ter sucesso) combater a regulamentação e politizar o debate subjacente.

Regulamentação

Em março de 2023, o Instituto Future ture of Life (FLI), financiado por Elon Musk, redigiu uma carta pedindo aos principais desenvolvedores de IA que concordassem com uma pausa verificável de seis meses de quaisquer sistemas "mais poderosos do que o GPT-4" e que usassem esse tempo para instituir uma estrutura para garantir a segurança; ou, na falta disso, que os governos interviessem com uma moratória. A carta se referia à possibilidade de "uma mudança profunda na história da vida na Terra", bem como aos riscos potenciais de propaganda gerada por IA, perda de empregos, obsolescência humana e perda de controle em toda a sociedade. Além de Musk, entre os signatários proeminentes estavam Steve Wozniak, Evan Sharp, Chris Larsen e Gary Marcus; os CEOs de laboratórios de IA Connor Leahy e Emad Mostaque; o político Andrew Yang; e o pioneiro em aprendizagem profunda Yoshua Bengio. Marcus afirmou que "a carta não é perfeita, mas o espírito é correto". Mostaque declarou: "Não acho que uma pausa de seis meses seja a melhor ideia nem concordo com tudo, mas há algumas coisas interessantes nessa carta". Em contrapartida, Bengio endossou explicitamente a pausa de seis meses em uma coletiva de imprensa. Musk declarou que "Os principais desenvolvedores de IAG não darão atenção a esse aviso, mas pelo menos ele foi dito". Alguns signatários, como Marcus, assinaram por preocupação com riscos mundanos, como propaganda gerada por IA, e não por preocupação com IAG superinteligente. Margaret Mitchell, cujo trabalho é citado na carta, criticou-a, dizendo: "Ao tratar muitas ideias questionáveis como um dado adquirido, a carta afirma um conjunto de prioridades e uma narrativa sobre IA que beneficia os defensores da FLI. Ignorar os danos ativos neste momento é um privilégio que alguns de nós não têm".

Musk pediu algum tipo de regulamentação do desenvolvimento de IA já em 2017. De acordo com a NPR, o CEO da Tesla "claramente não está entusiasmado" por estar defendendo o escrutínio do governo que poderia afetar seu próprio setor, mas acredita que os riscos de ficar completamente sem supervisão são muito altos: "Normalmente, a maneira como as regulamentações são estabelecidas é quando um monte de coisas ruins acontece, há um clamor público e, depois de muitos anos, uma agência reguladora é criada para regulamentar esse setor. Isso leva uma eternidade. Isso, no passado, foi ruim, mas não algo que representasse um risco fundamental para a existência da civilização". Musk afirma que o primeiro passo seria o governo obter uma "percepção" do status real da pesquisa atual, alertando que "quando houver conscientização, as pessoas ficarão extremamente temerosas... como deveriam ficar". Em resposta, os políticos expressaram ceticismo sobre a sabedoria de regulamentar uma tecnologia que ainda está em desenvolvimento.

Em resposta a Musk e às propostas de fevereiro de 2017 dos legisladores da União Europeia para regulamentar a IA e a robótica, o CEO da Intel, Brian Krzanich, argumentou que a IA está em sua infância e que é muito cedo para regulamentar a tecnologia. Em vez de tentar regulamentar a tecnologia em si, alguns estudiosos sugerem normas comuns, incluindo requisitos para o teste e a transparência de algoritmos, possivelmente em combinação com alguma forma de garantia. O desenvolvimento de sistemas de armas bem regulamentados está de acordo com o ethos das forças armadas de alguns países. Em 31 de outubro de 2019, o Conselho de Inovação em Defesa do Departamento de Defesa dos Estados Unidos (DoD) publicou o rascunho de um relatório que delineia cinco princípios para IA armada e faz 12 recomendações para o uso ético da inteligência artificial pelo DoD que busca gerenciar o problema de controle em toda a IA armada do DoD.

A regulamentação da IAG provavelmente seria influenciada pela regulamentação da IA armada ou militarizada, ou seja, a corrida armamentista da IA, que é uma questão emergente. Embora haja progresso das Nações Unidas na regulamentação da IA, sua capacidade institucional e legal de gerenciar o risco existencial da IAG é muito limitada. Qualquer forma de regulamentação internacional provavelmente será influenciada por desenvolvimentos na política interna dos países líderes em relação à IA militarizada, que nos EUA está sob a alçada da Comissão de Segurança Nacional sobre Inteligência Artificial ("National Security Commission on Artificial Intelligence"), e movimentos internacionais para regulamentar uma corrida armamentista de IA. A regulamentação da pesquisa em IAGse concentra no papel dos conselhos de revisão, incentivando a pesquisa em IA segura, a possibilidade de progresso tecnológico diferenciado (priorizando estratégias de redução de riscos em detrimento de estratégias de assunção de riscos no desenvolvimento de IA) ou a realização de vigilância internacional em massa para realizar o controle de armas de IAG. A regulamentação de IAGs conscientes se concentra em integrá-los à sociedade humana existente e pode ser dividida em considerações sobre sua situação legal e seus direitos morais. O controle de armas de IA provavelmente exigirá a institucionalização de novas normas internacionais incorporadas em especificações técnicas eficazes combinadas com monitoramento ativo e diplomacia informal por comunidades de especialistas, juntamente com um processo de verificação legal e política.

Veja também

• Apelo à probabilidade
• Alinhamento da inteligência artificial
• Segurança da inteligência artificial
• Filosofia da inteligência artificial
• Altruísmo eficaz
• Grey goo
• Armas Autônomas Letais