LaMDA

Origem: Wikipédia, a enciclopédia livre.


LaMDA (Modelo de Linguagem para Aplicações de Diálogo) é uma família de modelos de linguagem neural conversacional desenvolvida pelo Google. A primeira geração foi anunciada durante a palestra inicial do Google I/O de 2021, enquanto a segunda geração foi anunciada no evento do ano seguinte. Em junho de 2022, o LaMDA ganhou ampla atenção quando o engenheiro do Google, Blake Lemoine, afirmou que o chatbot havia se tornado senciente. A comunidade científica rejeitou amplamente as alegações de Lemoine, embora tenha levado a conversas sobre a eficácia do teste de Turing, que mede se um computador pode se passar por um ser humano. Em fevereiro de 2023, o Google anunciou o Bard, um chatbot de inteligência artificial conversacional desenvolvido pela LaMDA, para conter a ascensão do ChatGPT da OpenAI.

História[editar | editar código-fonte]

Primeira geração[editar | editar código-fonte]

O Google anunciou o modelo de linguagem neural conversacional LaMDA durante a palestra inicial do Google I/O em 18 de maio de 2021, desenvolvido com inteligência artificial.[1] Construído na arquitetura de rede neural Transformer desenvolvida pelo Google Research em 2017, o LaMDA foi treinado em diálogos e histórias humanas, permitindo que ele se envolva em conversas abertas.[2] O Google afirma que as respostas geradas pelo LaMDA foram garantidas como "sensatas, interessantes e específicas para o contexto".[3]

Segunda geração[editar | editar código-fonte]

Em 11 de maio de 2022, o Google revelou o LaMDA 2, que serve como sucessor do LaMDA, durante a palestra inicial do Google I/O de 2022. A nova encarnação do modelo extrai exemplos de texto de várias fontes, usando-os para formular "conversas naturais" exclusivas sobre tópicos aos quais ele pode não ter sido treinado para responder.[4] Além disso, o Google lançou o AI Test Kitchen, um aplicativo móvel alimentado por LaMDA 2 capaz de fornecer listas de sugestões sob demanda com base em um objetivo complexo.[5][6] Originalmente aberto apenas para funcionários do Google, o aplicativo foi definido para ser disponibilizado para "selecionar acadêmicos, pesquisadores e formuladores de políticas" por convite em algum momento do ano.[7] Em agosto de 2022, a empresa começou a permitir que usuários nos Estados Unidos se inscrevessem para acesso antecipado.[8]

Reivindicações de senciência[editar | editar código-fonte]

As alegações de Lemoine de que o LaMDA pode ser senciente instigou discussões sobre se o teste de Turing, retratado acima, continua sendo uma referência precisa na determinação da inteligência artificial geral.[9]

Em 11 de junho de 2022, o The Washington Post relatou que o engenheiro do Google Blake Lemoine havia sido colocado em licença administrativa remunerada depois que Lemoine disse aos executivos da empresa Blaise Agüera y Arcas e Jen Gennai que LaMDA havia se tornado senciente. Lemoine chegou a essa conclusão depois que o chatbot deu respostas questionáveis a perguntas sobre identidade própria, valores morais, religião e as Três Leis da Robótica de Isaac Asimov.[10][11] O Google refutou essas alegações, insistindo que havia evidências substanciais para indicar que o LaMDA não era senciente.[12] Em entrevista à Wired, Lemoine reiterou suas afirmações de que LaMDA era "uma pessoa" conforme ditado pela Décima Terceira Emenda, comparando-o a uma "inteligência alienígena de origem terrestre". Ele revelou ainda que havia sido demitido pelo Google após contratar um advogado em nome da LaMDA, após o chatbot solicitar que Lemoine o fizesse.[13][14] Em 22 de julho, o Google demitiu Lemoine, afirmando que Blake havia violado suas políticas "para proteger as informações do produto" e rejeitou suas alegações como "totalmente infundadas".[15][16]

As alegações de Lemoine foram amplamente rejeitadas pela comunidade científica.[17] Muitos especialistas ridicularizaram a ideia de que um modelo de linguagem poderia ser autoconsciente, incluindo o ex-professor de psicologia da Universidade de Nova York, Gary Marcus, David Pfau, da empresa irmã do Google, DeepMind, Erik Brynjolfsson, do Instituto de Inteligência Artificial Centrada no Homem da Universidade de Stanford e da Universidade do professor de Surrey Adrian Hilton.[9][18] Yann LeCun, que lidera a equipe de pesquisa de IA da Meta Platforms, afirmou que redes neurais como LaMDA "não eram poderosas o suficiente para atingir a verdadeira inteligência".[19] O professor da Universidade da Califórnia, em Santa Cruz, Max Kreminski, observou que a arquitetura do LaMDA não "apoiava algumas capacidades-chave da consciência semelhante à humana" e que os pesos de sua rede neural estavam "congelados", assumindo que era um modelo de linguagem grande típico,[20]

O desenvolvedor líder do IBM Watson, David Ferrucci, comparou como o LaMDA parecia ser humano da mesma forma que o Watson quando foi introduzido pela primeira vez.[21] O ex-cientista de IA do Google, Timnit Gebru, chamou Lemoine de vítima de um "ciclo de hype" iniciado por pesquisadores e pela mídia.[22] As alegações de Lemoine também geraram discussão sobre se o teste de Turing permaneceu útil para determinar o progresso dos pesquisadores em direção à inteligência geral artificial,[9] com Will Omerus, do Post, opinando que o teste realmente mediu se os sistemas de inteligência de máquina eram capazes de enganar os humanos,[23] enquanto Brian Christian do The Atlantic disse que a controvérsia foi uma instância do efeito ELIZA.[24]

Bard[editar | editar código-fonte]

Em novembro de 2022, a OpenAI lançou o ChatGPT, um chatbot baseado na família GPT-3 de modelos de linguagem.[25][26] O ChatGPT ganhou atenção mundial após seu lançamento, tornando-se uma sensação viral na Internet.[27] Alarmado com a ameaça potencial do ChatGPT à Pesquisa do Google, o CEO do Google, Sundar Pichai, emitiu um alerta de "código vermelho" em toda a empresa, reatribuindo várias equipes para ajudar nos esforços de IA da empresa.[28] Em um movimento raro e sem precedentes, os cofundadores do Google, Larry Page e Sergey Brin, que haviam deixado suas funções como coCEOs da Alphabet, empresa controladora do Google, em 2019, foram convocados para reuniões de emergência com executivos da empresa para discutir a resposta do Google ao ChatGPT..[29]

Quando perguntado por funcionários em uma reunião geral se o LaMDA foi uma oportunidade perdida para o Google competir com o ChatGPT, Pichai e o chefe de IA do Google, Jeff Dean, afirmaram que, embora a empresa tivesse recursos semelhantes aos do ChatGPT, mover-se muito rapidamente nessa arena representaria uma grande "risco reputacional" devido ao fato de o Google ser substancialmente maior que o OpenAI.[30][31] Em janeiro de 2023, o CEO da DeepMind, Demis Hassabis, lançou planos para um rival do ChatGPT,[32] e os funcionários do Google foram instruídos a acelerar o progresso em um concorrente do ChatGPT, testando intensivamente o "Apprentice Bard" e outros chatbots.[33][34] Pichai garantiu aos investidores durante a teleconferência trimestral do Google em fevereiro que a empresa tinha planos de expandir a disponibilidade e os aplicativos do LaMDA.[35]

Em 6 de fevereiro, o Google anunciou o Bard, um chatbot de IA de conversação desenvolvido pela LaMDA. O Bard foi lançado pela primeira vez para um grupo seleto de "testadores confiáveis", antes de um amplo lançamento agendado para o final do mês.[36][37][38] Bard recebeu o codinome "Atlas" durante o desenvolvimento.[39] Os meios de comunicação apontaram que um anúncio da Bard mostrava uma resposta incorreta a uma pergunta sobre o Telescópio Espacial James Webb.[40][41] Analistas financeiros e jornalistas descreveram o Google como "recuperando o atraso" da Microsoft,[42][40][43][44] e "apressando" o anúncio de Bard para antecipar um evento da Microsoft em 7 de fevereiro revelando a integração do ChatGPT ao Bing.[45][46] Depois de uma transmissão ao vivo "nada assombrosa" em 8 de fevereiro apresentando Bard, as ações do Google caíram oito por cento, representando uma perda de US$ 100. perda de bilhões em valor de mercado, e o vídeo foi tornado privado. A perda também foi atribuída a um erro durante uma demonstração em que Bard deu informações incorretas sobre o James Web Space Telescope, afirmando que tirou a primeira foto de um planeta fora do sistema solar.[47][48][42] The Verge e Bloomberg News observaram que isso marcou o início de outro conflito Google-Microsoft sobre "o futuro da pesquisa", depois que sua "trégua" de seis anos expirou em 2021.[49][50][51]


Método[editar | editar código-fonte]

O LaMDA usa um modelo de linguagem de transformador apenas para decodificador. [52] É pré-treinado em um corpus de texto que inclui documentos e diálogos que consistem em 1,56 trilhões de palavras, [53] e é então treinado com dados de ajuste fino gerados por respostas anotadas manualmente para sensatez, interesse e segurança. [54] Testes do Google indicaram que o LaMDA superou as respostas humanas na área de interesse.[55] O modelo do transformador LaMDA mais um sistema externo de recuperação de informações interagem para melhorar a precisão dos fatos fornecidos ao usuário. [56]


Três modelos diferentes foram testados, sendo que o maior possui 137 bilhões de parâmetros não incorporados: [57]

Hiperparâmetros do modelo do transformador
Parâmetros Camadas Unidades ( modelo d) Cabeças
2B 10 2560 40
8B 16 4096 64
137B 64 8192 128

Veja também[editar | editar código-fonte]

Referências[editar | editar código-fonte]

  1. ↑ Condon, Stephanie (18 de maio de 2021). «Google I/O 2021: Google unveils new conversational language model, LaMDA». ZDNet. Consultado em 12 de junho de 2022. Arquivado do original em 18 de maio de 2021 
  2. ↑ Agüera y Arcas, Blaise (9 de junho de 2022). «Artificial neural networks are making strides towards consciousness, according to Blaise Agüera y Arcas». The Economist. Consultado em 12 de junho de 2022. Arquivado do original em 9 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  3. ↑ Cheng, Heng-Tze; Thoppilan, Romal (21 de janeiro de 2022). «LaMDA: Towards Safe, Grounded, and High-Quality Dialog Models for Everything». Google AI. Consultado em 12 de junho de 2022. Arquivado do original em 25 de março de 2022 
  4. ↑ Wiggers, Kyle (11 de maio de 2022). «Google details its latest language model and AI Test Kitchen, a showcase for AI research». TechCrunch. Consultado em 12 de junho de 2022. Arquivado do original em 11 de maio de 2022 
  5. ↑ Low, Cherlynn (11 de maio de 2022). «Google's AI Test Kitchen lets you experiment with its natural language model». Engadget. Consultado em 12 de junho de 2022. Arquivado do original em 11 de maio de 2022 
  6. ↑ Vincent, James (11 de maio de 2022). «Google is Beta Testing Its AI Future». The Verge. Consultado em 12 de junho de 2022. Arquivado do original em 11 de maio de 2022 
  7. ↑ Bhattacharya, Ananya (11 de maio de 2022). «Google is so nervous about what its newest bot will say, it made the app invitation-only». Quartz. Consultado em 12 de junho de 2022. Arquivado do original em 12 de maio de 2022 
  8. ↑ Vincent, James (25 de agosto de 2022). «Google has opened up the waitlist to talk to its experimental AI chatbot». The Verge. Consultado em 27 de agosto de 2022. Arquivado do original em 25 de agosto de 2022 
  9. ↑ a b c Khan, Jeremy. «A.I. experts say the Google researcher's claim that his chatbot became 'sentient' is ridiculous—but also highlights big problems in the field». Fortune. Arquivado do original em 13 de junho de 2022 
  10. ↑ Tiku, Nitasha (11 de junho de 2022). «The Google engineer who thinks the company's AI has come to life». The Washington Post. Consultado em 12 de junho de 2022. Arquivado do original em 11 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  11. ↑ Luscombe, Richard (12 de junho de 2022). «Google engineer put on leave after saying AI chatbot has become sentient». The Guardian. Consultado em 18 de junho de 2022. Arquivado do original em 12 de junho de 2022 
  12. ↑ Vlamis, Kelsey (12 de junho de 2022). «Read the conversations that helped convince a Google engineer an artificial intelligence chatbot had become sentient: 'I am often trying to figure out who and what I am'». Business Insider. Consultado em 12 de junho de 2022. Arquivado do original em 12 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  13. ↑ Levy, Steven. «Blake Lemoine Says Google's LaMDA AI Faces 'Bigotry'». Wired. Arquivado do original em 18 de junho de 2022 
  14. ↑ Nguyen, Britney (23 de junho de 2022). «Suspended Google engineer says the AI he believes to be sentient hired a lawyer». Business Insider. Consultado em 29 de junho de 2022. Arquivado do original em 23 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  15. ↑ Khushi, Akanksha (23 de julho de 2022). «Google fires software engineer who claimed its AI chatbot is sentient». Reuters. Consultado em 23 de julho de 2022. Arquivado do original em 23 de julho de 2022  Verifique o valor de |url-access=limited (ajuda)
  16. ↑ Clark, Mitchell (22 de julho de 2022). «The engineer who claimed a Google AI is sentient has been fired». The Verge. Consultado em 24 de julho de 2022. Arquivado do original em 23 de julho de 2022 
  17. ↑ Metz, Rachel (13 de junho de 2022). «No, Google's AI is not sentient». CNN Business. Consultado em 19 de junho de 2022. Arquivado do original em 15 de junho de 2022 
  18. ↑ Sparkles, Matthew. «Has Google's LaMDA artificial intelligence really achieved sentience?». New Scientist. Arquivado do original em 13 de junho de 2022 
  19. ↑ Grant, Nicole; Metz, Cade (12 de junho de 2022). «Google Sidelines Engineer Who Claims Its A.I. Is Sentient». The New York Times. Consultado em 18 de junho de 2022. Arquivado do original em 12 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  20. ↑ Alba, Davey (14 de junho de 2022). «Google Debate Over 'Sentient' Bots Overshadows Deeper AI Issues». Bloomberg News. Consultado em 19 de junho de 2022. Arquivado do original em 14 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  21. ↑ Goldman, Sharon (16 de junho de 2022). «AI Weekly: LaMDA's 'sentient' AI debate triggers memories of IBM Watson». VentureBeat. Consultado em 19 de junho de 2022. Arquivado do original em 19 de junho de 2022 
  22. ↑ Johnson, Khari. «LaMDA and the Sentient AI Trap». Wired. Arquivado do original em 14 de junho de 2022 
  23. ↑ Omerus, Will (17 de junho de 2022). «Google's AI passed a famous test — and showed how the test is broken». The Washington Post. Consultado em 19 de junho de 2022. Arquivado do original em 18 de junho de 2022  Verifique o valor de |url-access=limited (ajuda)
  24. ↑ Christian, Brian. «How a Google Employee Fell for the Eliza Effect». The Atlantic. Cópia arquivada em 21 de junho de 2022 
  25. ↑ Konrad, Alex. «Inside ChatGPT's Breakout Moment And The Race To Put AI To Work». Forbes. Arquivado do original em 2 de fevereiro de 2023 
  26. ↑ Vincent, James (5 de dezembro de 2022). «AI-generated answers temporarily banned on coding Q&A site Stack Overflow». The Verge. Consultado em 5 de dezembro de 2022. Arquivado do original em 17 de janeiro de 2023 
  27. ↑ Olson, Parmy (7 de dezembro de 2022). «Google Faces a Serious Threat From ChatGPT». The Washington Post. Consultado em 6 de fevereiro de 2023. Arquivado do original em 7 de dezembro de 2022  Verifique o valor de |url-access=limited (ajuda)
  28. ↑ Grant, Nico; Metz, Cade (21 de dezembro de 2022). «A New Chat Bot Is a 'Code Red' for Google's Search Business». The New York Times. Consultado em 30 de dezembro de 2022. Arquivado do original em 21 de dezembro de 2022  Verifique o valor de |url-access=limited (ajuda)
  29. ↑ Grant, Nico (20 de janeiro de 2023). «Google Calls In Help From Larry Page and Sergey Brin for A.I. Fight». The New York Times. Consultado em 6 de fevereiro de 2023. Arquivado do original em 20 de janeiro de 2023  Verifique o valor de |url-access=limited (ajuda)
  30. ↑ Elias, Jennifer (13 de dezembro de 2022). «Google execs warn company's reputation could suffer if it moves too fast on AI-chat technology». CNBC. Consultado em 6 de fevereiro de 2023. Arquivado do original em 13 de dezembro de 2022 
  31. ↑ Vincent, James (14 de dezembro de 2022). «Google won't launch ChatGPT rival because of 'reputational risk'». The Verge. Consultado em 6 de fevereiro de 2023. Arquivado do original em 14 de dezembro de 2022 
  32. ↑ Cuthbertson, Anthony (16 de janeiro de 2023). «DeepMind's AI chatbot can do things that ChatGPT cannot, CEO claims». The Independent. Consultado em 6 de fevereiro de 2023. Arquivado do original em 16 de janeiro de 2023 
  33. ↑ Elias, Jennifer (31 de janeiro de 2023). «Google is asking employees to test potential ChatGPT competitors, including a chatbot called 'Apprentice Bard'». CNBC. Consultado em 2 de fevereiro de 2023. Arquivado do original em 2 de fevereiro de 2023 
  34. ↑ O'Brien, Matt (1 de fevereiro de 2023). «Google has the next move as Microsoft embraces OpenAI buzz». Associated Press. Consultado em 6 de fevereiro de 2023. Arquivado do original em 1 de fevereiro de 2023 
  35. ↑ Mailk, Aisha (3 de fevereiro de 2023). «Google tries to reassure investors on AI progress as ChatGPT breathes down its neck». TechCrunch. Consultado em 6 de fevereiro de 2023. Arquivado do original em 3 de fevereiro de 2023 
  36. ↑ Alba, Davey; Love, Julia (6 de fevereiro de 2023). «Google releases ChatGPT rival AI 'Bard' to early testers». Los Angeles Times. Consultado em 6 de fevereiro de 2023. Cópia arquivada em 6 de fevereiro de 2023 
  37. ↑ Schechner, Sam; Kruppa, Miles (6 de fevereiro de 2023). «Google Opens ChatGPT Rival Bard for Testing, as AI War Heats Up»Subscrição paga é requerida. The Wall Street Journal. Consultado em 6 de fevereiro de 2023. Cópia arquivada em 6 de fevereiro de 2023 
  38. ↑ Nieva, Richard. «Google Debuts A ChatGPT Rival Called Bard In Limited Release». Forbes. Cópia arquivada em 6 de fevereiro de 2023 
  39. ↑ Liedtke, Michael (6 de fevereiro de 2023). «Google hopes 'Bard' will outsmart ChatGPT, Microsoft in AI». Associated Press. Consultado em 6 de fevereiro de 2023. Arquivado do original em 6 de fevereiro de 2023 
  40. ↑ a b Coulter, Martin (8 de fevereiro de 2023). «Google shares dive 8% after AI chatbot Bard flubs answer in ad». Reuters (em inglês). Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  41. ↑ Kan, Michael (8 de fevereiro de 2023). «No, That's Wrong: Google's Bard AI Demo Spouts Incorrect Info». PCMag (em inglês). Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  42. ↑ a b Morrison, Sara (8 de fevereiro de 2023). «Google is scrambling to catch up to Bing, of all things». Vox (em inglês). Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  43. ↑ Peers, Martin (6 de fevereiro de 2023). «What Google's AI Catch-Up Reveals». The Information. Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  44. ↑ Roose, Kevin (8 de fevereiro de 2023). «Bing (Yes, Bing) Just Made Search Interesting Again». The New York Times (em inglês). ISSN 0362-4331. Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  45. ↑ Warren, Tom (7 de fevereiro de 2023). «Microsoft and Google are about to Open an AI battle». The Verge (em inglês). Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  46. ↑ «Google Strikes Back In AI Battle With Microsoft». Barron's (em inglês). Agence France-Presse. 8 de fevereiro de 2023. Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  47. ↑ Patnaik, Davey Alba and Subrat (8 de fevereiro de 2023). «Google suffers $144b wipeout after Bard AI chatbot gives wrong answer». The Sydney Morning Herald (em inglês). Consultado em 9 de fevereiro de 2023 
  48. ↑ Miao, Hannah (8 de fevereiro de 2022). «Alphabet Stock Drops 8% After Google Rollout of AI Search Features». WSJ (em inglês). Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023 
  49. ↑ Warren, Tom (7 de fevereiro de 2023). «Microsoft and Google are about to Open an AI battle». The Verge. Consultado em 8 de fevereiro de 2023. Arquivado do original em 7 de fevereiro de 2023 
  50. ↑ Alba, Davey (8 de fevereiro de 2023). «ChatGPT Reignites the Search Wars Between Google and Microsoft». Bloomberg News. Consultado em 8 de fevereiro de 2023. Arquivado do original em 8 de fevereiro de 2023  Verifique o valor de |url-access=limited (ajuda)
  51. ↑ «O erro do Google com 'concorrente' do ChatGPT que provocou perdas de US$ 100 bi em ações». G1. Consultado em 9 de fevereiro de 2023 
  52. ↑ Thoppilan et al. 2022, section 3.
  53. ↑ Thoppilan et al. 2022, section 3 and appendix E.
  54. ↑ Thoppilan et al. 2022, section 5 and 6.
  55. ↑ Hager, Ryne (16 de junho de 2022). «How Google's LaMDA AI works, and why it seems so much smarter than it is». Android Police. Consultado em 19 de junho de 2022. Arquivado do original em 16 de junho de 2022 
  56. ↑ Thoppilan et al. 2022, section 6.2.
  57. ↑ Thoppilan et al. 2022, section 3 and appendix D.

Ligações externas[editar | editar código-fonte]

Obtida de "https://pt.wikipedia.org/w/index.php?title=LaMDA&oldid=67391843"