Saltar para o conteúdo

Geração de linguagem natural: diferenças entre revisões

Adicionar hiperligações
Origem: Wikipédia, a enciclopédia livre.
Explorar interativamente o histórico
← Ver a alteração anteriorVer a alteração posterior →
Conteúdo apagado Conteúdo adicionado
VisualTexto wiki
Tpdkuroi (discussão | contribs)
1 333 edições
Tpdkuroi (discussão | contribs)
1 333 edições
Linha 40: Linha 40:


==Aplicações==
==Aplicações==
[[File:Entity Linking.jpg|thumb]]
[[File:Entity Linking.jpg|thumb|Processo de consulta em corpus linguístico]]
[[File:Simple Parse Tree 2.svg|thumb|Árvore de decisão]]
Do ponto de vista comercial, as aplicações GLN mais bem-sucedidos têm sido os sistemas que geram resumos textuais de bancos de dados e conjuntos de dados, esses sistemas geralmente realizam análise de dados, bem como geração de texto. A pesquisa mostrou que resumos textuais podem ser mais eficazes do que gráficos e outros recursos visuais para apoio à decisão, <ref>{{Citar livro|título=A Comparison of Graphical and Textual Presentations of Time Series Data to Support Medical Decision Making in the Neonatal Intensive Care Unit.|ultimo=Law|primeiro=Anna S.|editora=Journal of Clinical Monitoring and Computing|ano=2005|página=183-194|url=https://link.springer.com/article/10.1007/s10877-005-0879-3|ultimo2=Freer|primeiro2=Yvonne|ultimo3=Hunter|primeiro3=Jim|doi=10.1007/s10877-005-0879-3}}</ref><ref>{{Citar livro|título=Data-to-Text Generation Improves Decision-Making Under Uncertainty|ultimo=Gkatzia|primeiro=Dimitra|editora=IEEE Computational Intelligence Magazine|ano=2017|página=10-17|ultimo2=Lemon|primeiro2=Oliver|ultimo3=Rieser|primeiro3=Verena|doi=10.1109/MCI.2017.2708998}}</ref><ref>{{Citar livro|título=Text or Graphics?|ultimo=Reiter|primeiro=Ehud|editora=Ehud Reiter's Blog|ano=2016|url=https://ehudreiter.com/2016/12/26/text-or-graphics/}}</ref> e que os textos gerados por computador podem ser superiores (da perspectiva do leitor) aos textos escritos por humanos.<ref>{{Citar livro|título=Choosing words in computer-generated weather forecasts|ultimo=Reiter|primeiro=Ehud|editora=Elsevier BV|ano=2005|páginas=137-169|ultimo2=Sripada|primeiro2=Somayajulu|ultimo3=Hunter|primeiro3=Jim|ultimo4=Yu|primeiro4=Jin|ultimo5=Davy|primeiro5=Ian|doi=10.1016/j.artint.2005.06.006}}</ref>
Do ponto de vista comercial, as aplicações GLN mais bem-sucedidos têm sido os sistemas que geram resumos textuais de bancos de dados e conjuntos de dados, esses sistemas geralmente realizam análise de dados, bem como geração de texto. A pesquisa mostrou que resumos textuais podem ser mais eficazes do que gráficos e outros recursos visuais para apoio à decisão, <ref>{{Citar livro|título=A Comparison of Graphical and Textual Presentations of Time Series Data to Support Medical Decision Making in the Neonatal Intensive Care Unit.|ultimo=Law|primeiro=Anna S.|editora=Journal of Clinical Monitoring and Computing|ano=2005|página=183-194|url=https://link.springer.com/article/10.1007/s10877-005-0879-3|ultimo2=Freer|primeiro2=Yvonne|ultimo3=Hunter|primeiro3=Jim|doi=10.1007/s10877-005-0879-3}}</ref><ref>{{Citar livro|título=Data-to-Text Generation Improves Decision-Making Under Uncertainty|ultimo=Gkatzia|primeiro=Dimitra|editora=IEEE Computational Intelligence Magazine|ano=2017|página=10-17|ultimo2=Lemon|primeiro2=Oliver|ultimo3=Rieser|primeiro3=Verena|doi=10.1109/MCI.2017.2708998}}</ref><ref>{{Citar livro|título=Text or Graphics?|ultimo=Reiter|primeiro=Ehud|editora=Ehud Reiter's Blog|ano=2016|url=https://ehudreiter.com/2016/12/26/text-or-graphics/}}</ref> e que os textos gerados por computador podem ser superiores (da perspectiva do leitor) aos textos escritos por humanos.<ref>{{Citar livro|título=Choosing words in computer-generated weather forecasts|ultimo=Reiter|primeiro=Ehud|editora=Elsevier BV|ano=2005|páginas=137-169|ultimo2=Sripada|primeiro2=Somayajulu|ultimo3=Hunter|primeiro3=Jim|ultimo4=Yu|primeiro4=Jin|ultimo5=Davy|primeiro5=Ian|doi=10.1016/j.artint.2005.06.006}}</ref>


Os primeiros sistemas comerciais de GLN produziram previsões meteorológicas a partir de dados meteorológicos. O mais antigo sistema a ser implantado foi o FoG, que foi usado pela Environment Canada para gerar previsões do tempo em francês e inglês no início dos anos 90. O sucesso do FoG desencadeou outros trabalhos, tanto de pesquisa quanto comercial.<ref>{{Citar livro|título=Using natural-language processing to produce weather forecasts|ultimo=Goldberg|primeiro=E.|editora=IEEE Expert|ano=1994|páginas=45-53|ultimo2=Driedger|primeiro2=N.|ultimo3=Kittredge|primeiro3=R.I.|doi=10.1109/64.294135}}</ref>
Os primeiros sistemas comerciais de GLN produziram previsões meteorológicas a partir de dados meteorológicos. O mais antigo sistema a ser implantado foi o FoG, que foi usado pela Environment Canada para gerar previsões do tempo em francês e inglês no início dos anos 90. O sucesso do FoG desencadeou outros trabalhos, tanto de pesquisa quanto comercial.<ref>{{Citar livro|título=Using natural-language processing to produce weather forecasts|ultimo=Goldberg|primeiro=E.|editora=IEEE Expert|ano=1994|páginas=45-53|ultimo2=Driedger|primeiro2=N.|ultimo3=Kittredge|primeiro3=R.I.|doi=10.1109/64.294135}}</ref>


Atualmente, há um interesse comercial considerável em usar GLN para resumir dados financeiros e de negócios. De fato, o [[Gartner_Group|Gartner]] disse que o GLN se tornará um recurso padrão de 90% das plataformas analíticas e de [[Inteligência_empresarial|BI]] modernas.<ref>{{Citar web |url=https://www.gartner.com/smarterwithgartner/nueral-networks-and-modern-bi-platforms-will-evolve-data-and-analytics/ |titulo=Neural Networks and Modern BI Platforms Will Evolve Data and Analytics |data=2017-01-16 |acessodata=2020-10-29 |publicado=Gartner Group |ultimo=Panetta |primeiro=Kasey}}</ref> GLN também está sendo usado comercialmente em jornalismo automatizado, [[Chatterbot|chatbots]], gerando descrições de produtos para sites de comércio eletrônico, resumindo registros médicos, <ref>{{Citar livro|título=Building a Large-scale Commercial NLG System for an EMR|ultimo=Harris|primeiro=Mary D.|editora=Catalis, Inc.|ano=2008|url=https://www.aclweb.org/anthology/W08-1120.pdf}}</ref> <ref>{{Citar livro|título=Automatic generation of textual summaries from neonatal intensive care data|ultimo=Portet|primeiro=François|editora=Elsevier B.V.|ano=2008|páginas=789-816|url=https://reader.elsevier.com/reader/sd/pii/S0004370208002117?token=417D12DDB138FA6842E188D048380595FCD2B5E59E901C518E85D87AF3EA20564B47D313EE66C107A681C71ACF35DC0C|ultimo2=Reiter|primeiro2=Ehud|ultimo3=Gatt|primeiro3=Albert|ultimo4=Hunter|primeiro4=Jim|ultimo5=Sripada|primeiro5=Somayajulu|ultimo6=Freer|primeiro6=Yvonne|ultimo7=Sykes|primeiro7=Cindy}}</ref> e melhorando a acessibilidade (por exemplo, descrevendo gráficos e conjuntos de dados para pessoas cegas [15]).
Atualmente, há um interesse comercial considerável em usar GLN para resumir dados financeiros e de negócios. De fato, o [[Gartner_Group|Gartner]] disse que o GLN se tornará um recurso padrão de 90% das plataformas analíticas e de [[Inteligência_empresarial|BI]] modernas.<ref>{{Citar web |url=https://www.gartner.com/smarterwithgartner/nueral-networks-and-modern-bi-platforms-will-evolve-data-and-analytics/ |titulo=Neural Networks and Modern BI Platforms Will Evolve Data and Analytics |data=2017-01-16 |acessodata=2020-10-29 |publicado=Gartner Group |ultimo=Panetta |primeiro=Kasey}}</ref> GLN também está sendo usado comercialmente em jornalismo automatizado, [[Chatterbot|chatbots]], gerando descrições de produtos para sites de comércio eletrônico, resumindo registros médicos, <ref>{{Citar livro|título=Building a Large-scale Commercial NLG System for an EMR|ultimo=Harris|primeiro=Mary D.|editora=Catalis, Inc.|ano=2008|url=https://www.aclweb.org/anthology/W08-1120.pdf}}</ref> <ref>{{Citar livro|título=Automatic generation of textual summaries from neonatal intensive care data|ultimo=Portet|primeiro=François|editora=Elsevier B.V.|ano=2008|páginas=789-816|url=https://reader.elsevier.com/reader/sd/pii/S0004370208002117?token=417D12DDB138FA6842E188D048380595FCD2B5E59E901C518E85D87AF3EA20564B47D313EE66C107A681C71ACF35DC0C|ultimo2=Reiter|primeiro2=Ehud|ultimo3=Gatt|primeiro3=Albert|ultimo4=Hunter|primeiro4=Jim|ultimo5=Sripada|primeiro5=Somayajulu|ultimo6=Freer|primeiro6=Yvonne|ultimo7=Sykes|primeiro7=Cindy}}</ref> e melhorando a acessibilidade (por exemplo, descrevendo gráficos e conjuntos de dados para pessoas cegas).

Os sistemas de geração de conteúdo auxiliam as pessoas e tornam o processo de escrita mais eficiente e eficaz. Uma ferramenta de geração de conteúdo baseada em [[Mineração_da_web|mineração web]] usando [[Interface_de_programação_de_aplicações|APIs]] de motores de busca foi construída.<ref>{{Citar livro|título=A Web Mining Tool for Assistance with Creative Writing|ultimo=Galitsky|primeiro=Boris A.|editora=Serdyukov P. et al. (eds) Advances in Information Retrieval. ECIR 2013. Lecture Notes in Computer Science, vol 7814. Springer, Berlin, Heidelberg|ano=2013|ultimo2=Kuznetsov|primeiro2=Sergei O.|doi=10.1007/978-3-642-36973-5_95}}</ref> A ferramenta imita o processo de recortar e colar, em que um escritor forma seu conteúdo a partir de vários resultados de pesquisa. A verificação de relevância é essencial para filtrar resultados de pesquisa irrelevantes, é baseado na técnica [[Árvore_de_decisão|árvore de decisão]] através de uma consulta das respostas candidatas nessa árvore. [17] Em uma abordagem alternativa, uma estrutura de alto nível de texto de autoria humana é usada para construir automaticamente um modelo para um novo tópico para um artigo da Wikipedia escrito automaticamente. [18]


{{Referências}}
{{Referências}}

Revisão das 14h03min de 29 de outubro de 2020

A Geração de Linguagem Natural (GLN) é o subcampo da inteligência artificial e linguística computacional que se concentra em sistemas de computador que podem produzir textos compreensíveis em línguas humanas. Normalmente partindo de alguma representação não linguística da informação como entrada, os sistemas GLN usam o conhecimento sobre a linguagem e o domínio da aplicação para produzir, automaticamente, documentos, relatórios, explicações, mensagens de ajuda e outros tipos de textos. GLN também pode ser usada para gerar pequenas notas de texto em conversas interativas (um chatbot) que podem até ser lidas por um sintetizador de voz.[1][2]

Introdução

GLN pode ser comparado ao processo que os humanos usam quando transformam ideias em texto ou fala. Os psicolinguistas preferem o termo produção da linguagem para esse processo, que também pode ser descrito em termos matemáticos ou modelado em um computador para pesquisas psicológicas. Os sistemas GLN também podem ser comparados a descompiladores, que também produzem código legível por humanos gerado a partir de uma representação intermediária. As linguagens humanas tendem a ser consideravelmente mais complexas e permitem muito mais ambiguidade e variedade de expressões do que as linguagens de programação, o que torna a GLN mais desafiadora.[1]

A GLN está intimamente relacionada ao Entendimento da Linguagem Natural (ELN), que é o estudo dos sistemas de computador que entendem a linguagem humana. Tanto o ELN quanto o GLN estão interessados nos modelos computacionais de linguagem e seu uso, eles compartilham muitos dos mesmos fundamentos teóricos e são frequentemente usados em conjunto em programas de computador. Juntos, o ELN e a GLN formam o campo do Processamento de Linguagem Natural (PLN).[2]

Etapas

O processo de geração de texto pode ser tão simples quanto manter uma lista de texto que é copiado e colado. Os resultados podem ser satisfatórios em domínios simples, como geradores de cartas comerciais personalizadas. No entanto, um sistema GLN sofisticado precisa incluir etapas de planejamento e combinação de informações para permitir a geração de um texto que pareça natural e não se torne repetitivo. As etapas típicas de geração de linguagem natural, conforme proposto por Dale e Reiter, são:[2]

Determinação do Conteúdo

Decidir quais informações mencionar no texto. Talvez a questão mais fundamental seja o objetivo do texto, ou seja, o que o texto quer comunicar. O tamanho e o nível de detalhe do texto gerado é outro aspecto a se considerar. A determinação do conteúdo é muito importante para os usuários, na verdade, em muitos casos, a qualidade da determinação do conteúdo é o fator mais importante (da perspectiva do usuário) para determinar a qualidade geral do texto gerado.

Estruturação de Documentos

Organização e estrutura geral das informações a se transmitir. Existem três abordagens básicas para a estruturação de documentos: esquemas, baseados em corpus e heurística.

Os esquemas são modelos que especificam explicitamente a ordem e o agrupamento das frases para um documento (assim como a determinação do conteúdo). Normalmente, eles são construídos analisando manualmente um corpus de textos escritos por humanos no gênero desejado e extraindo um modelo de documento desses textos. Os esquemas funcionam bem na prática para textos curtos (5 frases ou menos) e/ou com uma estrutura padronizada, mas apresentam problemas para gerar textos mais longos e sem estrutura fixa.[3]

As técnicas de estruturação baseadas em corpus usam técnicas de análise estatística de corpus para construir automaticamente modelos de ordenação e/ou agrupamento. Essas técnicas são comuns na geração de resumos automáticos, em que um programa de computador gera automaticamente um resumo de um documento textual. Em princípio, eles poderiam ser aplicados a textos gerados a partir de dados não linguísticos, mas este trabalho ainda está incipiente. Geralmente se espera que os textos gerados por GLN sejam de qualidade razoavelmente alta, o que nem sempre é o caso para textos gerados por sistemas de geração de resumos automáticos.[4]

A estruturação baseada em heurística se baseiam em regras heurísticas, que podem vir de teorias da retórica,[5] modelos psicolinguísticos[6] e/ou uma combinação de intuição e resultados de experimentos com usuários em potencial.[7] A estruturação baseada em heurística é chamativa, mas pode ser difícil fazer com que funcione bem na prática, em parte porque as heurísticas frequentemente dependem de informações semânticas (como as sentenças se relacionam) que nem sempre estão disponíveis. Por outro lado, as regras heurísticas podem focar no que é melhor para leitores de texto, enquanto as outras abordagens focam na imitação de autores (e muitos textos de autoria humana não são bem estruturados).

Agregação

Fusão de frases semelhantes para melhorar a legibilidade e a naturalidade. Por exemplo, mesclando as duas frases seguintes:

  • João foi ao supermercado.
  • João comprou um detergente.

em uma única frase:

  • João foi ao supermercado e comprou um detergente.

Escolha Léxica

É a subtarefa da GLN que envolve a escolha da classificação das palavras (substantivos, verbos, adjetivos e advérbios) em um texto gerado. Os modos de escolha léxica devem ser informados pelo conhecimento linguístico de como os dados de entrada do sistema são mapeados nas palavras. Esta é uma questão de semântica, mas também é influenciada pela sintaxe (como efeitos de colocação) e fatores pragmáticos (como contexto).

Geração de Expressão de Referência

A geração de expressão de referência é a subtarefa da GLN que se concentra apenas na criação de expressões referenciais que identificam entidades específicas chamadas alvos. Esta tarefa pode ser dividida em duas partes. A parte de seleção de conteúdo determina qual conjunto de propriedades distingue o alvo pretendido e a parte de realização linguística define como essas propriedades são traduzidas em linguagem natural.

Realização

Criação do texto propriamente dito, que deve ser correto de acordo com as regras de sintaxe, morfologia e ortografia. Por exemplo, usando será para o tempo futuro do verbo ser.

Uma abordagem alternativa ao GLN é usar o aprendizado de máquina de ponta a ponta para construir um sistema, sem ter estágios separados, como acima. Em outras palavras, construirmos um sistema GLN treinando um algoritmo de aprendizado de máquina (geralmente um LSTM) em um grande conjunto de dados de entrada e textos de saída correspondentes (escritos por humanos). A abordagem de ponta a ponta talvez tenha tido mais sucesso na geração de legendas de imagens.[8]

Aplicações

Processo de consulta em corpus linguístico
Árvore de decisão

Do ponto de vista comercial, as aplicações GLN mais bem-sucedidos têm sido os sistemas que geram resumos textuais de bancos de dados e conjuntos de dados, esses sistemas geralmente realizam análise de dados, bem como geração de texto. A pesquisa mostrou que resumos textuais podem ser mais eficazes do que gráficos e outros recursos visuais para apoio à decisão, [9][10][11] e que os textos gerados por computador podem ser superiores (da perspectiva do leitor) aos textos escritos por humanos.[12]

Os primeiros sistemas comerciais de GLN produziram previsões meteorológicas a partir de dados meteorológicos. O mais antigo sistema a ser implantado foi o FoG, que foi usado pela Environment Canada para gerar previsões do tempo em francês e inglês no início dos anos 90. O sucesso do FoG desencadeou outros trabalhos, tanto de pesquisa quanto comercial.[13]

Atualmente, há um interesse comercial considerável em usar GLN para resumir dados financeiros e de negócios. De fato, o Gartner disse que o GLN se tornará um recurso padrão de 90% das plataformas analíticas e de BI modernas.[14] GLN também está sendo usado comercialmente em jornalismo automatizado, chatbots, gerando descrições de produtos para sites de comércio eletrônico, resumindo registros médicos, [15] [16] e melhorando a acessibilidade (por exemplo, descrevendo gráficos e conjuntos de dados para pessoas cegas).

Os sistemas de geração de conteúdo auxiliam as pessoas e tornam o processo de escrita mais eficiente e eficaz. Uma ferramenta de geração de conteúdo baseada em mineração web usando APIs de motores de busca foi construída.[17] A ferramenta imita o processo de recortar e colar, em que um escritor forma seu conteúdo a partir de vários resultados de pesquisa. A verificação de relevância é essencial para filtrar resultados de pesquisa irrelevantes, é baseado na técnica árvore de decisão através de uma consulta das respostas candidatas nessa árvore. [17] Em uma abordagem alternativa, uma estrutura de alto nível de texto de autoria humana é usada para construir automaticamente um modelo para um novo tópico para um artigo da Wikipedia escrito automaticamente. [18]

Referências

  1. ↑ a b
  2. ↑ a b c Dale, Robert; Reiter, Ehud (2000). Building natural language generation systems. Cambridge, U.K.: Cambridge University Press. ISBN 0521620368 
  3. ↑ McKeown, Kathleen R. (1985). Text generation. [S.l.]: Cambridge University Press. ISBN 0521301165 
  4. ↑ Lapata, Mirella (2003). Probabilistic Text Structuring: Experiments with Sentence Ordering. [S.l.]: Department of Computer Science University of Sheffield  artigo
  5. ↑ Scott, Donia R.; Souza, Clarisse S. (1990). Getting the message across in RST-based text generation. [S.l.]: Departamento de Informática da PUC Rio  artigo
  6. ↑ Karamanis, Nikiforos; Poesio, Massimo; Mellish, Chris; Oberlander, Jon (2004). Evaluating Centering-based metrics of coherence for text structuring using a reliably annotated corpus. [S.l.]: School of Informatics University of Edinburgh UK  artigo
  7. ↑ Williams, Sandra; Reiter, Ehud (2008). Generating basic skills reports for low-skilled readers. [S.l.]: Natural Language Engineering Cambridge University Press UK. p. 495-525  artigo
  8. ↑ Hochreiter, Sepp; Schmidhuber, Jürgen (1997). Long Short-Term Memory. [S.l.]: Neural Computation Massachusetts Institute of Technology. p. 1735-1780 
  9. ↑ Law, Anna S.; Freer, Yvonne; Hunter, Jim (2005). A Comparison of Graphical and Textual Presentations of Time Series Data to Support Medical Decision Making in the Neonatal Intensive Care Unit. [S.l.]: Journal of Clinical Monitoring and Computing. p. 183-194. doi:10.1007/s10877-005-0879-3 
  10. ↑ Gkatzia, Dimitra; Lemon, Oliver; Rieser, Verena (2017). Data-to-Text Generation Improves Decision-Making Under Uncertainty. [S.l.]: IEEE Computational Intelligence Magazine. p. 10-17. doi:10.1109/MCI.2017.2708998 
  11. ↑ Reiter, Ehud (2016). Text or Graphics?. [S.l.]: Ehud Reiter's Blog 
  12. ↑ Reiter, Ehud; Sripada, Somayajulu; Hunter, Jim; Yu, Jin; Davy, Ian (2005). Choosing words in computer-generated weather forecasts. [S.l.]: Elsevier BV. pp. 137–169. doi:10.1016/j.artint.2005.06.006 
  13. ↑ Goldberg, E.; Driedger, N.; Kittredge, R.I. (1994). Using natural-language processing to produce weather forecasts. [S.l.]: IEEE Expert. pp. 45–53. doi:10.1109/64.294135 
  14. ↑ Panetta, Kasey (16 de janeiro de 2017). «Neural Networks and Modern BI Platforms Will Evolve Data and Analytics». Gartner Group. Consultado em 29 de outubro de 2020 
  15. ↑ Harris, Mary D. (2008). Building a Large-scale Commercial NLG System for an EMR (PDF). [S.l.]: Catalis, Inc. 
  16. ↑ Portet, François; Reiter, Ehud; Gatt, Albert; Hunter, Jim; Sripada, Somayajulu; Freer, Yvonne; Sykes, Cindy (2008). Automatic generation of textual summaries from neonatal intensive care data. [S.l.]: Elsevier B.V. pp. 789–816 
  17. ↑ Galitsky, Boris A.; Kuznetsov, Sergei O. (2013). A Web Mining Tool for Assistance with Creative Writing. [S.l.]: Serdyukov P. et al. (eds) Advances in Information Retrieval. ECIR 2013. Lecture Notes in Computer Science, vol 7814. Springer, Berlin, Heidelberg. doi:10.1007/978-3-642-36973-5_95 

Veja Também


Ícone de esboço Este artigo sobre linguística ou um linguista é um esboço. Você pode ajudar a Wikipédia expandindo-o.
Ícone de esboço Este artigo sobre Robótica é um esboço. Você pode ajudar a Wikipédia expandindo-o.
Obtida de "https://pt.wikipedia.org/w/index.php?title=Geração_de_linguagem_natural&oldid=59689899"