Entropia da informação

Origem: Wikipédia, a enciclopédia livre.
Ir para: navegação, pesquisa
NoFonti.svg
Este artigo ou se(c)ção cita uma ou mais fontes fiáveis e independentes, mas ela(s) não cobre(m) todo o texto (desde fevereiro de 2014).
Por favor, melhore este artigo providenciando mais fontes fiáveis e independentes e inserindo-as em notas de rodapé ou no corpo do texto, conforme o livro de estilo.
Encontre fontes: Googlenotícias, livros, acadêmicoScirusBing. Veja como referenciar e citar as fontes.

Entropia equivale à perda de energia ou até mesmo desordem. Sendo considerada por Einstein como a primeira lei de todas a ciências. Na área de comunicação, tem-se a entropia da informação que é definida como sendo uma forma de medir a quantidade de informação. Ou seja, uma mensagem tem certa quantidade de informação quanto maior for o seu grau de incerteza ou imprevisibilidade.

Contexto Histórico[editar | editar código-fonte]

O matemático Claude Shannon, com o intuito de quantificar informação, introduziu em 1948,[1] no seu trabalho Uma Teoria Matemática da Comunicação, publicado na revista Bell System Technical Journal,a entropia da informação que identifica o grau de incerteza de uma informação. Nesse trabalho Shannon desenvolve a teoria da informação e a transmissão de mensagens digitais.Ele foi o primeiro a associar os conceitos entropia e informação. Shannon partiu do pressuposto de que nunca uma mensagem transmitida e enviada ao receptor é recebida sem ruídos, isto é, quando uma informação passa por um canal de comunicação ela sofre perturbações (ruídos)e chega ao receptor passando por um processo de decodificação.Shannon desejava solucionar esse problema, reproduzindo uma determinada mensagem em um local e fazer com que esta chegue de maneira exata a outro local. Norbert Wiener, na mesma época, associou entropia ao processo de comunicação/informação, afirmando que, nos processos onde há perda de informação, há uma situação igual aos processos que ganham entropia. Segundo Wiener, "a soma de informação em um sistema é a medida de seu grau de organização; de seu grau de desorganização; um é o negativo do outro".

Aplicações atuais de Entropia da Informação[editar | editar código-fonte]

Nos anos seguintes a criação do conceito, outros pesquisadores o modificaram e generalizaram , criando outras formas de entropia. Logo o conceito da entropia de informação foi aplicado nas mais diversas áreas de conhecimento, como por exemplo Ciência da Informação, biologia, medicina, ecologia, economia e linguística, assim se tornando cada vez mais um método interdisciplinar.

Entropia e Informação[editar | editar código-fonte]

Informação, de acordo com diferentes autores, é um termo que vem sendo usado mais a partir da década de 1950. É usado para significar mensagens, notícias, novidades, dados, conhecimento, literatura, símbolos, signos e, até mesmo, "dicas" e sugestões. Diferente da energia, a informação é algo que se cria e que existe cada vez mais em maior quantidade no nosso Universo. Segundo Zdenek Zeman, "a expressão da informação de um sistema tem por base, como se sabe, a fórmula matemática da entropia negativa".Partido disso, informação, isto é, de entropia negativa, pode exprimir, também, a medida da ordem de um sistema nervoso ou de um sistema social. A teoria da informação afirma que quanto menos informações sobre um sistema, maior será sua entropia. A quantidade de informação de uma mensagem é entendida na teoria da informação como sendo o menor número de bits, unidade de informação, necessários para conter todos os valores ou significados desta mensagem. Por exemplo, se quisermos transmitir ou armazenar os números dos meses do ano, serão necessários, no mínimo, 4 bits para representar esta informação. Portanto, a quantidade de informação de uma mensagem é medida pela entropia da mensagem, a qual também mede a sua incerteza, que é expressa pelo número de bits que precisam ser recuperados quando a mensagem está cifrada para obter novamente um texto claro.

Entropia como conceito da Teoria da Informação[editar | editar código-fonte]

A Teoria da Informação teve inicialmente como destaque as questões técnicas, sendo uma das primeiras teorias a separar com nitidez a informação da significação. A Teoria da Informação está situada dentro da cibernética, onde a informação se mostra como uma medida probabilística. Esta teoria tem um grande interesse pelo funcionamento dos sinais, pelas transformações energéticas mediante a codificação da mensagem e sua descodificação. Ela opera com os seguintes conceitos:

  1. ruído;
  2. redundância;
  3. entropia;
  4. imprevisibilidade.

A teoria da informação não estuda uma língua pelo número de símbolos alfabéticos que a compõem, mas sim pela análise à redundância na língua, considerando que o inverso da entropia é a redundância. Uma língua entrópica dispõe de um vocabulário rico, com palavras diferenciadas, que mostram o poder das combinatórias; uma língua pouco entrópica é pobre e repetitiva.

Ver também[editar | editar código-fonte]

Referências

  1. http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A mathematical theory of communication - Clauda Shannon - The Bell System Technical Journal, 1948
  • Livro: Informação, Linguagem e Comunicação. Décio Pignatari - Publicado por Atelie Editorial, 2003.

Ligações externas[editar | editar código-fonte]

Wiki letter w.svg Este artigo é um esboço. Você pode ajudar a Wikipédia expandindo-o. Editor: considere marcar com um esboço mais específico.