Entropia da informação

Origem: Wikipédia, a enciclopédia livre.
Ir para: navegação, pesquisa
NoFonti.svg
Esta página ou secção cita fontes confiáveis e independentes, mas que não cobrem todo o conteúdo (desde fevereiro de 2014). Por favor, adicione mais referências e insira-as corretamente no texto ou no rodapé. Material sem fontes poderá ser removido.
Encontre fontes: Google (notícias, livros e acadêmico)

Entropia é uma medida que vem da termodinâmica que do grau de desorganização das partículas em um determinado sistema. De acordo com a lei da termodinâmica, a entropia é o grau de aleatoriedade em qualquer sistema sempre aumentado. Então quanto maior a desordem, maior a alteração do seu estado e, consequentemente, maior será o grau de entropia. Pode ser chamada de entropia negativa quando leva à falência um sistema, ou seja, não há alteração do seu estado. É considerada por Einstein como a primeira lei de todas a ciências.

Na área de comunicação, tem-se a entropia da informação que é definida como sendo uma forma de medir a quantidade de informação. Está relacionada com entropia negativa, ou seja, quando a informação é estabelecida, o grau de entropia será menor.

Contexto Histórico[editar | editar código-fonte]

O matemático Claude Shannon é considerado o pai da era da comunicação com o intuito de quantificar informação. Foi um engenheiro engenheiro e matemático americano e atuou na área de comunicação e instalou bases tanto para a indústria de computadores quanto para a de telecomunicações. Shannon introduziu, em 1948,[1] no trabalho Uma Teoria Matemática da Comunicação, publicado na revista Bell System Technical Journal, a entropia da informação que identifica o grau de incerteza de uma informação.

Uma das contribuições mais importante da teoria de Shannon foi o conceito de entropia, que ele demonstrou ser equivalente a uma escassez, ou seja, a entropia negativa, no conteúdo da informação em uma mensagem. Shannon provou que em uma conversa barulhenta, o sinal poderia ser sempre enviar sem distorção. Se a mensagem é codificada de modo que é de auto-verificação, os sinais serão recebidos com a mesma precisão como se não houvesse nenhuma interferência na linha. A linguagem, por exemplo, tem um código de correção de erros embutido. O método de Shannon tem aplicações para o projetos de um computador, como linguística, psicologia, criptografia e fonética.

Nesse trabalho Shannon desenvolve a teoria da informação e a transmissão de mensagens digitais. Ele foi o primeiro a associar os conceitos entropia e informação. Shannon partiu do pressuposto de que nunca uma mensagem transmitida e enviada ao receptor é recebida sem ruídos, isto é, quando uma informação passa por um canal de comunicação ela sofre perturbações (ruídos) e chega ao receptor passando por um processo de decodificação. Shannon desejava solucionar esse problema, reproduzindo uma determinada mensagem em um local e fazer com que esta chegue de maneira exata a outro local.

Norbert Wiener, na mesma época, associou entropia ao processo de comunicação/informação, afirmando que, nos processos onde há perda de informação, há uma situação igual aos processos que ganham entropia. Segundo Wiener, a soma de informação em um sistema é a medida de seu grau de organização e, ao mesmo tempo, de seu grau de desorganização, sendo assim, um é o negativo do outro. Se a situação como um todo, como explicitamente exige Weaver, a informação está na razão direta da entropia, mas se tivermos em conta o valor informativo de cada mensagem, podemos concebê-la, como adiante veremos, como entropia negativa.

Aplicações atuais de Entropia da Informação[editar | editar código-fonte]

Nos anos seguintes a criação do conceito, outros pesquisadores o modificaram e generalizaram , criando outras formas de entropia. Logo o conceito da entropia de informação foi aplicado nas mais diversas áreas de conhecimento, como por exemplo Ciência da Informação, biologia, medicina, ecologia, economia e linguística, assim se tornando cada vez mais um método interdisciplinar.

Um dos exemplos da consequência de entropia é o primeiro experimento relacionado à química que demonstra uma auto-organização de partículas duras, não-biológicas, sem ajuda de interações atrativas, como ligações químicas. Cristais complexos foram criados sem a ajuda de interações, como por exemplo os tetraedros se organizaram espontaneamente em um quasicristal, este, por vez, terá suas propriedades diferentes de um cristal ou se um sólido comum, ele poderá ter propriedade ópticas únicas.

Na termodinâmica, a entropia tem um papel fundamental, pois é com não-conservação da entropia, ou seja, com a variação de desordem do sistema que máquinas térmicas funcionam. A compreensão do funcionamento dessas máquinas leva ao conceito da entropia do sistema.

Entropia e Informação[editar | editar código-fonte]

Informação, de acordo com diferentes autores, é um termo que vem sendo usado mais a partir da década de 1950. É usado para significar mensagens, notícias, novidades, dados, conhecimento, literatura, símbolos, signos e, até mesmo, "dicas" e sugestões. Pode até parecer um termo vago, sendo necessário um contexto em que é empregada. Georges Ifrah apresenta pelo menos 26 diferentes conceitos de informação

Diferentemente da energia, a informação é algo que se cria e que existe cada vez mais em maior quantidade no nosso Universo. Segundo Zdenek Zeman, "a expressão da informação de um sistema tem por base, como se sabe, a fórmula matemática da entropia negativa". Partido desse ideia, informação, isto é, de entropia negativa, pode exprimir, também, a medida da ordem de um sistema nervoso ou de um sistema social.

A teoria da informação afirma que quanto menos informações sobre um sistema, maior será sua entropia. A quantidade de informação de uma mensagem é entendida na teoria da informação como sendo o menor número de bits, unidade de informação, necessários para conter todos os valores ou significados desta mensagem. Por exemplo, se quisermos transmitir ou armazenar os números dos meses do ano, serão necessários, no mínimo, 4 bits para representar esta informação. Portanto, a quantidade de informação de uma mensagem é medida pela entropia da mensagem, a qual mede, também a sua incerteza, que é expressa pelo número de bits que precisam ser recuperados quando a mensagem está cifrada para obter novamente um texto claro.

Entropia como conceito da Teoria da Informação[editar | editar código-fonte]

A Teoria da Informação teve inicialmente como destaque as questões técnicas, sendo uma das primeiras teorias a separar com nitidez a informação da significação. A Teoria da Informação está situada dentro da cibernética, onde a informação se mostra como uma medida probabilística. Esta teoria tem um grande interesse pelo funcionamento dos sinais, pelas transformações energéticas mediante a codificação da mensagem e sua descodificação. Ela opera com os seguintes conceitos:

  1. ruído;
  2. redundância;
  3. entropia;
  4. imprevisibilidade.

A teoria da informação não estuda uma língua pelo número de símbolos alfabéticos que a compõem, mas sim pela análise à redundância na língua, considerando que o inverso da entropia é a redundância, ou seja, a organização do sistema em questão. Uma língua entrópica dispõe de um vocabulário rico, com palavras diferenciadas, que mostram o poder das combinatórias; uma língua pouco entrópica é pobre e repetitiva.

Ver também[editar | editar código-fonte]

Referências

  1. http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A mathematical theory of communication - Clauda Shannon - The Bell System Technical Journal, 1948

https://www.universoracionalista.org/a-morte-e-a-vitoria-da-entropia/

http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=ordem-partir-desordem-entropia-sozinha-cria-cristais-complexos#.VyilS4-cHIU

  • Livro: Informação, Linguagem e Comunicação. Décio Pignatari - Publicado por Atelie Editorial, 2003.

Ligações externas[editar | editar código-fonte]

Wiki letter w.svg Este artigo é um esboço. Você pode ajudar a Wikipédia expandindo-o. Editor: considere marcar com um esboço mais específico.