Entropia da informação

Origem: Wikipédia, a enciclopédia livre.
Ir para: navegação, pesquisa
NoFonti.svg
Esta página ou secção cita fontes confiáveis e independentes, mas que não cobrem todo o conteúdo (desde fevereiro de 2014). Por favor, adicione mais referências e insira-as corretamente no texto ou no rodapé. Material sem fontes poderá ser removido.
Encontre fontes: Google (notícias, livros e acadêmico)

Entropia, quando relacionada à termodinâmica, é a medida do grau de desorganização das partículas em um determinado sistema. De acordo com a lei da termodinâmica, a entropia é o grau de aleatoriedade em qualquer sistema sempre aumentado. Então quanto maior a desordem, maior a alteração do seu estado e, consequentemente, maior será o grau de entropia. Pode ser chamada de entropia negativa quando leva à falência um sistema, ou seja, não há alteração do seu estado. É considerada por Einstein como a primeira lei de todas a ciências.

Na área de comunicação, a entropia da informação é definida como sendo uma forma de medir a quantidade de informação. Está relacionada com entropia negativa, ou seja, quando a informação é estabelecida, o grau de entropia será menor.

Contexto Histórico[editar | editar código-fonte]

O matemático Claude Shannon é considerado o pai da era da comunicação com o intuito de quantificar informação. Foi um engenheiro e matemático americano e atuou na área de comunicação e instalou bases tanto para a indústria de computadores quanto para a de telecomunicações. Shannon introduziu, em 1948,[1] no trabalho A Teoria Matemática da Comunicação, publicado na revista Bell System Technical Journal, a entropia da informação que identifica o grau de incerteza de uma informação que, certamente foi uma das contribuições mais importante da teoria de Shannon.

Afirmou-se que a informação da mensagem pode ser medida pela quantidade de entropia e é relacionada à frequência dos símbolos da informação e é independente do seu significado.

Shannon provou que em uma conversa barulhenta, o sinal poderia ser sempre enviar sem distorção. Se a mensagem é codificada de modo que é de auto-verificação, os sinais serão recebidos com a mesma precisão como se não houvesse nenhuma interferência na linha. A linguagem, por exemplo, tem um código de correção de erros embutido. O método de Shannon tem aplicações para o projetos de um computador, como linguística, psicologia, criptografia e fonética.

Também no trabalho Teoria da Matemática da comunicação, Shannon apontou o problema fundamental de transmissão de dados: O erro associado á informações recebidas. A redundância foi proposta como solução que minimizaria o risco do erro.

Nesse trabalho Shannon desenvolve a teoria da informação e a transmissão de mensagens digitais. Ele foi o primeiro a associar os conceitos entropia e informação. Shannon partiu do pressuposto de que nunca uma mensagem transmitida e enviada ao receptor é recebida sem ruídos, isto é, quando uma informação passa por um canal de comunicação ela sofre perturbações e chega ao receptor passando por um processo de decodificação.Ele desejava solucionar esse problema, reproduzindo uma determinada mensagem em um local e fazer com que esta chegue de maneira exata a outro local.

Norbert Wiener, na mesma época, associou entropia ao processo de comunicação/informação, afirmando que, nos processos onde há perda de informação, há uma situação igual aos processos que ganham entropia. Segundo Wiener, a soma de informação em um sistema é a medida de seu grau de organização e, ao mesmo tempo, de seu grau de desorganização, sendo assim, um é o negativo do outro. Se a situação como um todo, como explicitamente exige Weaver, a informação está na razão direta da entropia, mas se tivermos em conta o valor informativo de cada mensagem, podemos concebê-la, como adiante veremos, como entropia negativa.

Aplicações atuais de Entropia da Informação[editar | editar código-fonte]

Nos anos seguintes a criação do conceito, outros pesquisadores o modificaram e generalizaram , criando outras formas de entropia. Logo o conceito da entropia de informação foi aplicado nas mais diversas áreas de conhecimento, como por exemplo Ciência da Informação, biologia, medicina, ecologia, economia e linguística, assim se tornando cada vez mais um método interdisciplinar.

Um dos exemplos da consequência de entropia é o experimento relacionado à química que demonstra uma auto-organização de partículas duras, não-biológicas, sem ajuda de interações atrativas, como ligações químicas. Cristais complexos foram criados sem a ajuda de interações, como por exemplo os tetraedros se organizaram espontaneamente em um quasicristal, este, por vez, terá suas propriedades diferentes de um cristal ou se um sólido comum, ele poderá ter propriedade ópticas únicas.

Na termodinâmica, a entropia tem um papel fundamental, pois é com não-conservação da entropia, ou seja, com a variação de desordem do sistema que máquinas térmicas funcionam. A compreensão do funcionamento dessas máquinas leva ao conceito da entropia do sistema.

Entropia e Informação[editar | editar código-fonte]

Informação, de acordo com diferentes autores, é um termo que vem sendo usado mais a partir da década de 1950. É usado para significar mensagens, notícias, novidades, dados, conhecimento, literatura, símbolos, signos e, até mesmo, "dicas" e sugestões. Pode até parecer um termo vago, sendo necessário um contexto em que é empregada. Georges Ifrah apresenta pelo menos 26 diferentes conceitos de informação

Diferentemente da energia, a informação é algo que se cria e que existe cada vez mais em maior quantidade no nosso Universo. Segundo Zdenek Zeman, "a expressão da informação de um sistema tem por base, como se sabe, a fórmula matemática da entropia negativa". Partido desse ideia, informação, isto é, de entropia negativa, pode exprimir, também, a medida da ordem de um sistema nervoso ou de um sistema social. A entropia negativa é atingida quando a probabilidade de ocorrer todos os símbolos é igual, ou seja, é equiprovável e não há a tendência de ocorrer determinado grupo de símbolos.

No trabalho desenvolvido por ele em A Teoria Matemática da Comunicação onde é abordada a relação entre a entropia e a informação, Shannon faz a afirmação que a informação contida em uma mensagem pode ser medida pela quantidade de entropia que, por sua vez, é relacionada à frequência dos grupo de símbolos que são transmitidos.

A teoria da informação afirma que quanto menos informações sobre um sistema, maior será sua entropia. A quantidade de informação de uma mensagem é entendida na teoria da informação como sendo o menor número de bits, unidade de informação, necessários para conter todos os valores ou significados desta mensagem. Por exemplo, se quisermos transmitir ou armazenar os números dos meses do ano, serão necessários, no mínimo, 4 bits para representar esta informação.

Portanto, a quantidade de informação de uma mensagem é medida pela entropia da mensagem, a qual mede, também a sua incerteza, que é expressa pelo número de bits que precisam ser recuperados quando a mensagem está cifrada para obter novamente um texto claro.

Entropia como conceito da Teoria da Informação[editar | editar código-fonte]

A Teoria da Informação teve inicialmente como destaque as questões técnicas, sendo uma das primeiras teorias a separar com nitidez a informação da significação. A Teoria da Informação está situada dentro da cibernética, onde a informação se mostra como uma medida probabilística. Esta teoria tem um grande interesse pelo funcionamento dos sinais, pelas transformações energéticas mediante a codificação da mensagem e sua de

codificação. Ela opera com os seguintes conceitos:

  1. ruído;
  2. redundância
  3. entropia;
  4. imprevisibilidade.

Em fontes contínuas, a codificação da informação gera ruído na mensagem, isso se dá pelo fato de que a fonte contínua precisaria de um vasto repertório de símbolos e que, como consequência, necessitaria uma capacidade de transmissão grande e, como é sabido, não existe um canal livre de ruído.

Shannon abordou, também o conceito de redundância é relacionado à entropia no sentido de que a redundância é tudo o que não é fundamental para ser entendido em uma determinada mensagem, ou seja, é entendida como algo complementar. Ela foi apontada como uma maneira de diminuir o risco de erro na informação transmitida, ou seja, com a redundância seria possível perceber que houve erro no recebimento. Então é a medida de entropia para que a mensagem atinja a entropia máxima.

A entropia desejada de uma informação é a máxima que é dada pelas probabilidades equivalentes de ocorrer todos os símbolos.

A teoria da informação não estuda uma língua pelo número de símbolos alfabéticos que a compõem, mas sim pela análise à redundância na língua, considerando que o inverso da entropia é a redundância, ou seja, a organização do sistema em questão. Uma língua entrópica dispõe de um vocabulário rico, com palavras diferenciadas, que mostram o poder das combinatórias; uma língua pouco entrópica é pobre e repetitiva.

Em relação a imprevisibilidade, quanto maior for, será menor a chance de apreensão por parte do receptor, pois o receptor depende da ordem em que as mensagens são transmitidas. A imprevisibilidade total é correspondente à informação nula, ou seja, não há informação.

A medida da informação pode ser calculada a partir da fórmula de Hartley (1928):

I(U)= \log_{b} (r) ; onde r é o número de resultados possíveis da variável aleatória U e b é a unidade da informação (Por exemplo: Informação binária, b = 2).

Já a medida de entropia, também chamada por Shannon de medida de informação é dada por:

H(U)= - Σ pi \log_{2} (pi) ; onde pi é a probabilidade do i-ésimo resultado.

Ver também[editar | editar código-fonte]

Referências

  1. http://cm.bell-labs.com/cm/ms/what/shannonday/shannon1948.pdf A mathematical theory of communication - Clauda Shannon - The Bell System Technical Journal, 1948

https://www.universoracionalista.org/a-morte-e-a-vitoria-da-entropia/

http://www.inovacaotecnologica.com.br/noticias/noticia.php?artigo=ordem-partir-desordem-entropia-sozinha-cria-cristais-complexos#.VyilS4-cHIU

  • Livro: Informação, Linguagem e Comunicação. Décio Pignatari - Publicado por Atelie Editorial, 2003.

Ligações externas[editar | editar código-fonte]

Wiki letter w.svg Este artigo é um esboço. Você pode ajudar a Wikipédia expandindo-o. Editor: considere marcar com um esboço mais específico.