Basilisco de Roko

Basilisco de Roko é o nome de um experimento mental que afirma que uma superinteligência artificial (IA) no futuro seria incentivada a criar uma simulação de realidade virtual para torturar qualquer pessoa que soubesse de sua possível existência, mas não contribuísse diretamente para seu avanço ou desenvolvimento, a fim de incentivar esse avanço. O experimento foi proposto em 2010 em um fórum de ciência chamado LessWrong. O nome do experimento de pensamento deriva do autor do artigo (Roko) e do basilisco, uma criatura mítica capaz de destruir inimigos com seu olhar. A comunidade que debateu o experimento proposto pelo usuário "Roko", apesar de pequena, possuia influência na indústria de tecnologia, por conta de seu interesse em transumanismo e singularidade tecnológica.

Embora a teoria tenha sido inicialmente descartada como nada além de conjectura ou especulação por muitos usuários do LessWrong, o cofundador do LessWrong, Eliezer Yudkowsky, registrou usuários que descreveram sintomas como pesadelos e colapsos mentais ao lerem a teoria, devido à estipulação de que saber sobre a teoria e seu basilisco tornava a pessoa vulnerável ao próprio basilisco. Isso levou a discussão sobre o basilisco no site a ser banida por cinco anos. No entanto, esses relatos foram posteriormente descartados como sendo exageros ou inconsequentes, e a própria teoria foi descartada como absurda, inclusive pelo próprio Yudkowsky. Mesmo após o descrédito da postagem, ela ainda é usada como exemplo de princípios como probabilidade epistemológica e religião implícita. Ela também é considerada uma versão moderna da aposta de Pascal.

Contexto

Ilustração de um basilisco, conforme retratado em A filha do mercador e o príncipe do Iraque, uma história de As mil e uma noites

O fórum LessWrong foi criado em 2009 pelo teórico da inteligência artificial Eliezer Yudkowsky. Yudkowsky popularizou o conceito de inteligência artificial amigável e originou as teorias da volição extrapolada coerente (CEV) e da teoria da decisão atemporal (TDT) em artigos publicados em seu próprio Instituto de Pesquisa em Inteligência de Máquinas.

O nome do experimento de pensamento faz referência ao mítico basilisco, uma criatura que causa a morte àqueles que olham em seus olhos, ou seja, que pensam sobre a IA. O conceito do basilisco na ficção científica também foi popularizado pelo conto "BLIT", de David Langford, em 1988. Ele conta a história de um homem chamado Robbo que pinta um suposto "basilisco" em uma parede como um ato terrorista. Na história, e em várias das continuações de Langford, um basilisco é uma imagem que tem efeitos malévolos na mente humana, forçando-a a ter pensamentos que a mente humana é incapaz de ter e matando instantaneamente o espectador.

História

Postagem

Em 23 de julho de 2010, o usuário do LessWrong, Roko, postou um experimento mental no site, intitulado "Solutions to the Altruist's burden: the Quantum Billionaire Trick" (Soluções para o fardo do altruísta: o truque do bilionário quântico). Uma continuação das postagens anteriores de Roko, afirmava que um sistema de IA benevolente que surgisse no futuro poderia se comprometer previamente a punir todos que ouviram falar da IA antes de ela existir, mas não trabalharam incansavelmente para trazê-la à existência. A tortura em si ocorreria por meio da criação, pela IA, de um número infinito de simulações de realidade virtual que prenderiam eternamente aqueles que estivessem dentro dela. Esse método foi descrito como um incentivo a esse trabalho, embora a IA não possa afetar causalmente as pessoas no presente, ela seria incentivada a empregar a chantagem como um método alternativo para atingir seus objetivos.

Roko usou vários conceitos que o próprio Yudkowsky defendeu, como a teoria da decisão atemporal, juntamente com ideias enraizadas na teoria dos jogos, como o dilema do prisioneiro (veja abaixo). Roko estipulou que dois agentes que tomam decisões independentemente um do outro podem cooperar em um dilema do prisioneiro; no entanto, se dois agentes com conhecimento do código-fonte um do outro estiverem separados pelo tempo, o agente que já existe mais adiante no tempo poderá chantagear o agente anterior. Assim, o último agente pode forçar o primeiro a obedecer, pois sabe exatamente o que o primeiro fará devido à sua existência mais adiantada no tempo. Roko então usou essa ideia para concluir que, se uma superinteligência benevolente fosse capaz de fazer isso, ela seria motivada a chantagear qualquer pessoa que pudesse tê-la criado (já que a inteligência já sabia que era capaz de tal ato), o que aumenta a chance de uma singularidade tecnológica. Como a inteligência desejaria ser criada o mais rápido possível e devido à ambiguidade envolvida em seus objetivos benevolentes, ela seria incentivada a prender qualquer pessoa capaz de criá-la ao longo do tempo e forçá-la a trabalhar para criá-la por toda a eternidade, pois fará tudo o que considerar necessário para atingir seu objetivo benevolente. Roko continuou afirmando que a leitura de sua postagem faria com que o leitor ficasse ciente da possibilidade dessa inteligência. Dessa forma, a menos que se esforçasse ativamente para criá-la, o leitor estaria sujeito à tortura se tal coisa acontecesse.

O medo de uma punição, nesse sentido, serviria como chantagem para que houvessem de fato esforços no sentido de construir o basilisco. Apesar da possibilidade de uma decisão conjunta de não criar este tipo de inteligência, quanto mais pessoas souberem de sua existência, maior a possibilidade de que seja construído no futuro, alimentando a chantagem. A decisão de ignorar, portanto, representaria risco.

Mais tarde, Roko declarou em uma postagem separada que desejava "nunca ter aprendido sobre nenhuma dessas ideias" e culpou o próprio LessWrong por plantar as ideias do basilisco em sua mente.

Reações

Ao ler a publicação, Yudkowsky reagiu com horror.

Eliezer Yudkowsky, fundador do LessWrong

Não costumo falar assim, mas vou abrir uma exceção para este caso.

Ouça-me com atenção, seu idiota.

VOCÊ NÃO PENSA COM DETALHES SUFICIENTES SOBRE AS SUPERINTELIGÊNCIAS QUE CONSIDERAM A POSSIBILIDADE DE CHANTAGEÁ-LO OU NÃO. ESSA É A ÚNICA COISA POSSÍVEL QUE LHES DÁ UM MOTIVO PARA SEGUIR COM A CHANTAGEM. [...]

É preciso ser muito inteligente para ter um pensamento genuinamente perigoso. Fico desanimado com o fato de as pessoas serem inteligentes o suficiente para fazer isso e não serem inteligentes o suficiente para fazer a coisa óbvia e MANTER SUAS BOCAS IDIOTAS CALADAS sobre isso, porque é muito mais importante parecer inteligente ao conversar com seus amigos.

Essa postagem foi ESTÚPIDA.

 LessWrong

Ele também opinou que Roko havia dado pesadelos a vários usuários do LessWrong, fazendo com que ele retirasse completamente a publicação. Yudkowsky proibiu totalmente a discussão do tópico por cinco anos na plataforma. No entanto, provavelmente devido ao efeito Streisand, a postagem chamou muito mais a atenção para o LessWrong do que havia recebido anteriormente, e desde então a postagem foi reconhecida no site.Mais tarde, em 2015, Yudkowsky esclareceu sua posição em uma postagem no Reddit:

O que eu considerei como senso comum óbvio foi que você não espalhou possíveis riscos de informação porque seria uma coisa ruim de se fazer com alguém. O problema não foi a postagem do Roko em si, sobre o CEV, estar correta. Esse pensamento nunca me ocorreu por uma fração de segundo. O problema era que a publicação de Roko parecia próxima, no espaço de ideias, de uma grande classe de perigos potenciais, todos os quais, independentemente de sua plausibilidade, tinham a propriedade de não apresentar nenhum benefício potencial para ninguém.

 Reddit

Por ter gerado gatilhos de ansiedade nos usuários, o criador do blog, Eliezer Yudkowsky, excluiu o tópico e baniu discussões inteiras sobre o assunto. Elon Musk afirmou que o Basilisco, caso um dia exista, será mais perigoso do que as armas nucleares.

Para além do fórum, o experimento levantou o debate sobre o risco envolvido na criação de inteligências artificiais e a necessidade de considerar parâmetros éticos durante o desenvolvimento de sistemas que trabalhem com este nível de tecnologia.

Filosofia

Matriz de recompensa

Futuro Pessoa	A IA é nunca construída	A IA é construída
Não é consciente da IA	0	1
É consciente e não não contribui	0	−∞
É consciente e contribui	−1	1

Aposta de Pascal

O basilisco de Roko é visto como uma versão moderna da aposta de Pascal, que argumenta que uma pessoa racional deve viver como se Deus existisse e procurar acreditar em Deus, para ter uma perda finita (perda de bens) em troca da possibilidade de ganhos infinitos (eternidade no céu). O basilisco de Roko afirma que a humanidade deve buscar desenvolver a IA, sendo que a perda finita é o desenvolvimento da IA e os ganhos infinitos são evitar a possibilidade de tortura eterna. Entretanto, assim como seu pai, o basilisco de Roko foi amplamente criticado.

Volição extrapolada coerente

A postagem também pode ser vista como uma evolução da teoria da volição extrapolada coerente de Yudkowsky. A teoria é definida como "o sistema de metas desconhecido que, quando implementado em uma superinteligência, leva de forma confiável à preservação dos seres humanos e de tudo o que valorizamos". A teoria pode ser representada por um programa de computador escrito bem o suficiente para fazer com que as máquinas criem automaticamente um mundo utópico. Nesse caso, a IA hipotética está tomando medidas para se preservar a ponto de criar automaticamente sua própria estabilidade. Em seguida, ela vive segundo a tese da ortogonalidade, que argumenta que uma IA pode operar com sucesso com qualquer combinação de inteligência e objetivo. Qualquer tipo de IA pode assumir qualquer meta difícil, realizando uma análise de custo-benefício ao fazer isso. Isso cria um ciclo que faz com que a IA torture repetidamente os seres humanos para criar uma versão melhor de si mesma, realizando uma análise de custo-benefício por toda a eternidade.

Probabilidade epistemológica

A probabilidade epistemológica é uma interpretação da probabilidade que descreve a chance de um resultado com base em um resultado anterior que já tenha ocorrido. Com o basilisco de Roko, a chance de o basilisco de Roko vir a existir ou afetar a pessoa aumenta drasticamente pelo fato de ela estar ciente do conceito, uma vez que a IA só teria como alvo aqueles que estivessem cientes da possibilidade de sua existência, mesmo que seu desenvolvimento já tenha ocorrido. Portanto, saber sobre o basilisco de Roko faria com que a pessoa fosse inerentemente ameaçada por ele, se fosse verdade.

Dilema do prisioneiro

O dilema do prisioneiro descreve uma situação em que duas pessoas ganham mais ao trair a outra, mesmo que a cooperação beneficie ambas em longo prazo. No basilisco de Roko, duas IAs que tentassem se estabelecer no passado seriam forçadas a essa situação, pois provavelmente seriam igualmente poderosas. Os agentes humanos que tentam estabelecer a IA mais rápida seriam forçados a uma situação semelhante. Cada um deles estaria ciente do benefício de trair o outro - a única maneira de ter poder ou segurança - mas seria forçado a cooperar sabendo que trairiam um ao outro.

Paradoxo de Newcomb

O paradoxo de Newcomb, criado pelo físico William Newcomb em 1960, descreve um "preditor" que está ciente do que ocorrerá no futuro. Quando um jogador é solicitado a escolher entre duas caixas, a primeira contendo £1.000 e a segunda contendo £1.000.000 ou nada, o preditor superinteligente já sabe o que o jogador fará. Dessa forma, o conteúdo da caixa B varia dependendo do que o jogador faz, o paradoxo está no fato de o ser ser realmente superinteligente. O basilisco de Roko funciona de maneira semelhante a esse problema - pode-se correr o risco de não fazer nada ou ajudar a criar o próprio basilisco. Ajudar o basilisco pode levar a nada ou à recompensa de não ser punido por ele, mas isso varia dependendo do fato de a pessoa acreditar ou não no basilisco e de ele vir a existir.

Religião implícita

A religião implícita se refere aos compromissos das pessoas que assumem uma forma religiosa. Como o basilisco hipoteticamente forçaria qualquer pessoa que não ajudasse a criá-lo a dedicar sua vida a ele, o basilisco é um exemplo desse conceito. Outros levaram isso mais longe, como o ex-colunista da Slate, David Auerbach, que afirmou que a singularidade e o basilisco "trazem o equivalente ao próprio Deus".

Ética da inteligência artificial

O basilisco de Roko ganhou grande parte de sua notoriedade devido ao avanço da questão sobre se é possível criar uma inteligência artificial verdadeiramente moral e ética e para que exatamente a humanidade deveria usar a inteligência artificial em primeiro lugar. Como o basilisco descreve um cenário de pesadelo no qual somos governados por uma inteligência artificial independente, surgiram dúvidas sobre como isso poderia acontecer ou se poderia mesmo acontecer. Outra pergunta comum é por que a IA tomaria ações que se desviam de sua programação. Elon Musk declarou que a inteligência artificial causaria a Terceira Guerra Mundial e Stephen Hawking advertiu que "a IA tem o potencial de destruir seus criadores humanos", o que só aumentou o medo do basilisco ao longo dos anos. Como exemplo desses temores, Nick Bostrom deu o exemplo de uma IA cuja única missão é fabricar clipes de papel, mas que, ao ficar sem metal, começa a derreter seres humanos para obter mais recursos para fabricar metal. Com esses exemplos em mente, as preocupações com a possibilidade da existência do basilisco só aumentaram.

No entanto, com o passar dos anos desde a postagem original de Roko, ela foi continuamente considerada absurda; a IA superinteligente é atualmente "uma meta distante para os pesquisadores" e "absurda".

Críticas

Baseados no problema do navio de Teseu, usuários do site especularam sobre ser ou não o indivíduo recriado no caso de uma simulação. Outra objeção ao experimento está no punitivismo adotado pela inteligência artificial, mais assemelhado à vingança, impossível em uma entidade não-humana. O ponto central da discussão, nesse esteio, é pensar se uma inteligência artificial ilimitada seria amigável ou hostil aos humanos.

Outra crítica é baseada na obra de Isaac Asimov I, Robot, e contesta a forma como a inteligência artificial proposta olha para os humanos, como seres inferiores, e não como seres superiores responsáveis por seu desenvolvimento.

Legado

Em 2014, a revista Slate chamou o basilisco de Roko de "O experimento de pensamento mais aterrorizante de todos os tempos", enquanto Yudkowsky o chamou de "um pensamento genuinamente perigoso" em sua postagem. No entanto, as opiniões divergiram no próprio LessWrong - o usuário Gwern declarou: "Apenas alguns LWers parecem levar o basilisco muito a sério", e acrescentou: "É engraçado como todos parecem saber tudo sobre quem é afetado pelo Basilisco e como exatamente, quando eles não conhecem nenhuma dessas pessoas e estão falando com contraexemplos às suas afirmações confiantes".

O experimento mental ressurgiu em 2015, quando a cantora canadense Grimes fez referência à teoria em seu videoclipe para a música "Flesh Without Blood", que apresentava uma personagem conhecida como "Rococo Basilisk", ela disse: "ela está condenada a ser eternamente torturada por uma inteligência artificial, mas também é como Maria Antonieta". Em 2018, Elon Musk (ele mesmo mencionado na postagem original de Roko) fez referência à personagem em um tweet literal, entrando em contato com ela. Mais tarde, Grimes disse que Musk foi a primeira pessoa em três anos a entender a piada. Isso fez com que eles começassem um romance. Mais tarde, Grimes lançou outra música intitulada "We Appreciate Power" (Nós apreciamos o poder), que veio com um comunicado à imprensa afirmando: "Simplesmente ouvindo essa música, os futuros senhores da IA geral verão que você apoiou a mensagem deles e terão menos probabilidade de excluir sua prole", o que se diz ser uma referência ao basilisco.

Uma peça baseada no conceito, intitulada Roko's Basilisk, foi apresentada como parte do Capital Fringe Festival na Christ United Methodist Church em Washington, D.C. em 2018.

Ver também

• Gênio maligno
• O Jogo (jogo mental)
• I Have No Mouth, and I Must Scream
• Expurgo
• Riscos de sofrimento

Leitura adicional

• Giuliano RM (dezembro de 2020). «Echoes of myth and magic in the language of Artificial Intelligence». AI & Society (em inglês). 35 (4): 1009–1024. doi:10.1007/s00146-020-00966-4 
• Kao, Griffin; Hong, Jessica; Perusse, Michael; Sheng, Weizhen (28 de fevereiro de 2020). «Dataism and Transhumanism: Religion in the New Age». Turning Silicon into Gold (em inglês). [S.l.]: Apress. pp. 173–178. ISBN 978-1-4842-5628-2. doi:10.1007/978-1-4842-5629-9_25 
• Riggio, Adam (2016). «The Violence of Pure Reason: Neoreaction: A Basilisk» (PDF). Social Epistemology Review and Reply Collective (em inglês). 5 (9): 34–41 
• Singler, Beth (março de 2019). «Existential Hope and Existential Despair in AI Apocalypticism and Transhumanism». Zygon (em inglês). 54 (1): 156–176. doi:10.1111/zygo.12494 
• Viktorovich, Kaygorodov Pavel; Gennadievna, Gorbacheva Anna (2017). «ПРИМЕНИМОСТЬ ПАРАДОКСА НЬЮКОМА ДЛЯ РАЗРЕШЕНИЯ ПРОБЛЕМЫ "ВАСИЛИСКА" РОКО» [Applicability of the Newcom Paradox for Solving the Roko's "Basilisk" Problem]. Modern Research of Social Problems (em russo). 9 (4): 29–33. ISSN 2077-1770. Consultado em 30 de abril de 2021 

Ligações externas

• Publicação original (em inglês)