Entropia de transferência

A entropia de transferência é uma medida estatística não paramétrica que mede a quantidade de informação direcional que é transferida entre dois processos aleatórios.^[1]^[2]^[3]^[4] A entropia de transferência de um processo X para outro Y é definida como a redução da incerteza sobre os valores futuros de Y quando se conhecem os valores passados de X dados valores passados de Y.

Matematicamente, sejam $X_{t}$ e $Y_{t}$ dois processos aleatórios definidos no tempo $t\in \mathbb {N}$ . Utilizando a entropia da informação de Shannon, H(X), a entropia de transferência pode ser calculada como:

$T_{X\rightarrow Y}=H\left(Y_{t}\mid Y_{t-1:t-L}\right)-H\left(Y_{t}\mid Y_{t-1:t-L},X_{t-1:t-L}\right).$

Alternativamente, a entropia de transferência pode ser descrita em termos da informação mútua condicional,^[5]^[6] aonde o termo condicionado é o passado da variável Y, isto é, $Y_{t-1:t-L}$ :

$T_{X\rightarrow Y}=I(Y_{t};X_{t-1:t-L}|Y_{t-1:t-L}).$

A entropia de transferência torna-se o teste de causalidade de Granger quando o processo é autoregressivo e satisfaz as condições para causalidade de Granger.^[7] Desta forma, torna-se mais adequado utilizar a entropia de transferência para o teste de causalidade de Granger quando o sinal é não-linear.^[8]^[9] O ponto negativo desta abordagem é a necessidade de um maior número de amostras para uma estimativa confiável do valor obtido.^[10]

Embora tenha sido definido para análise bivariada, existem extensões da entropia de transferência para análise multivariada, seja criando condicionais às demais variáveis^[11] ou considerando a transferência de informação de um conjunto de fontes.^[12] Porém, ambas as alternativas exigem mais dados.

A entropia de transferência tem sido aplicada na investigação de conectividade funcional no cérebro e em sistemas de neurônios^[12]^[13]^[14], medir a influência de indivíduos/grupos em redes sociais^[8] e como método de identificação de precursores de terremotos.^[15]

Ver também[editar | editar código-fonte]

Referências

↑ Schreiber, Thomas (10 de julho de 2000). «Measuring Information Transfer». Physical Review Letters. 85 (2): 461–464. doi:10.1103/PhysRevLett.85.461
↑ Seth, Anil (6 de julho de 2007). «Granger causality». Scholarpedia (em inglês). 2 (7). 1667 páginas. ISSN 1941-6016. doi:10.4249/scholarpedia.1667
↑ Hlaváčková-Schindler, Katerina; Paluš, Milan; Vejmelka, Martin; Bhattacharya, Joydeep (1 de março de 2007). «Causality detection based on information-theoretic approaches in time series analysis». Physics Reports. 441 (1): 1–46. ISSN 0370-1573. doi:10.1016/j.physrep.2006.12.004
↑ Ferrari, Fabiano A.S. (2012) "O Estudo da Entropia de Transferência em Sistemas Dinâmicos Discretos". Tese de mestrado, Universidade Estadual de Ponta Grossa. Disponível em: http://tede2.uepg.br/jspui/bitstream/prefix/893/1/Fabiano%20Alan%20Serafim%20Ferrari.pdf. Acesso em: 18 de Junho de 2018.
↑ Wyner, A. D. (1 de julho de 1978). «A definition of conditional mutual information for arbitrary ensembles». Information and Control. 38 (1): 51–59. ISSN 0019-9958. doi:10.1016/S0019-9958(78)90026-8
↑ Dobrushin, R.L. (1959). «General formulation of Shannon's main theorem in information theory». Ushepi Mat. Nauk. 14: 3-104
↑ Barnett, Lionel; Barrett, Adam B.; Seth, Anil K. (4 de dezembro de 2009). «Granger Causality and Transfer Entropy Are Equivalent for Gaussian Variables». Physical Review Letters. 103 (23). 238701 páginas. doi:10.1103/PhysRevLett.103.238701
↑ ^a ^b Galstyan, Aram; Steeg, Greg Ver (12 de outubro de 2011). «Information Transfer in Social Media» (em inglês)
↑ Lungarella, M.; Ishiguro, K.; Kuniyoshi, Y.; Otsu, N. (1 de março de 2007). «Methods for quantifying the causal structure of bivariate time series». International Journal of Bifurcation and Chaos. 17 (03): 903–921. ISSN 0218-1274. doi:10.1142/S0218127407017628
↑ Pereda, Ernesto; Quiroga, Rodrigo Quian; Bhattacharya, Joydeep (1 de setembro de 2005). «Nonlinear multivariate analysis of neurophysiological signals». Progress in Neurobiology. 77 (1): 1–37. ISSN 0301-0082. doi:10.1016/j.pneurobio.2005.10.003
↑ Lizier, Joseph T.; Prokopenko, Mikhail; Zomaya, Albert Y. (15 de fevereiro de 2008). «Local information transfer as a spatiotemporal filter for complex systems». Physical Review E. 77 (2). 026110 páginas. doi:10.1103/PhysRevE.77.026110
↑ ^a ^b Lizier, Joseph T.; Heinzle, Jakob; Horstmann, Annette; Haynes, John-Dylan; Prokopenko, Mikhail (1 de fevereiro de 2011). «Multivariate information-theoretic measures reveal directed information structure and task relevant changes in fMRI connectivity». Journal of Computational Neuroscience (em inglês). 30 (1): 85–107. ISSN 1573-6873. doi:10.1007/s10827-010-0271-2
↑ Vicente, Raul; Wibral, Michael; Lindner, Michael; Pipa, Gordon (1 de fevereiro de 2011). «Transfer entropy—a model-free measure of effective connectivity for the neurosciences». Journal of Computational Neuroscience (em inglês). 30 (1): 45–67. ISSN 1573-6873. doi:10.1007/s10827-010-0262-3
↑ Beggs, John M.; Shimono, Masanori (1 de outubro de 2015). «Functional Clusters, Hubs, and Communities in the Cortical Microconnectome». Cerebral Cortex (em inglês). 25 (10): 3743–3757. ISSN 1047-3211. doi:10.1093/cercor/bhu252
↑ Valencio, A. (2018) An Information-theoretical approach to identify seismic precursors and earthquake-causing variables. PhD Thesis, University of Aberdeen. http://digitool.abdn.ac.uk/webclient/DeliveryManager?pid=237105

Ligações externas[editar | editar código-fonte]

«Transfer Entropy Toolbox» «Transfer Entropy Toolbox» , uma caixa de ferramentas, desenvolvida em C++ e MATLAB, para computação de entropia de transferência entre trens de pico.
«Java Information Dynamics Toolkit (JIDT)» «Java Information Dynamics Toolkit (JIDT)» , uma caixa de ferramentas, desenvolvida em Java e utilizável em MATLAB, GNU Octave e Python, para computação de entropia de transferência e medidas teóricas de informações relacionadas em dados discretos e de valor contínuo.
«Multivariate Transfer Entropy (MuTE) toolbox» «Multivariate Transfer Entropy (MuTE) toolbox» , uma caixa de ferramentas, desenvolvida em MATLAB, para computação de entropia de transferência com diferentes estimadores.

[1] Schreiber, Thomas (10 de julho de 2000). «Measuring Information Transfer». Physical Review Letters. 85 (2): 461–464. doi:10.1103/PhysRevLett.85.461

[2] Seth, Anil (6 de julho de 2007). «Granger causality». Scholarpedia (em inglês). 2 (7). 1667 páginas. ISSN 1941-6016. doi:10.4249/scholarpedia.1667

[3] Hlaváčková-Schindler, Katerina; Paluš, Milan; Vejmelka, Martin; Bhattacharya, Joydeep (1 de março de 2007). «Causality detection based on information-theoretic approaches in time series analysis». Physics Reports. 441 (1): 1–46. ISSN 0370-1573. doi:10.1016/j.physrep.2006.12.004

[4] Ferrari, Fabiano A.S. (2012) "O Estudo da Entropia de Transferência em Sistemas Dinâmicos Discretos". Tese de mestrado, Universidade Estadual de Ponta Grossa. Disponível em: http://tede2.uepg.br/jspui/bitstream/prefix/893/1/Fabiano%20Alan%20Serafim%20Ferrari.pdf. Acesso em: 18 de Junho de 2018.

[5] Wyner, A. D. (1 de julho de 1978). «A definition of conditional mutual information for arbitrary ensembles». Information and Control. 38 (1): 51–59. ISSN 0019-9958. doi:10.1016/S0019-9958(78)90026-8

[6] Dobrushin, R.L. (1959). «General formulation of Shannon's main theorem in information theory». Ushepi Mat. Nauk. 14: 3-104

[7] Barnett, Lionel; Barrett, Adam B.; Seth, Anil K. (4 de dezembro de 2009). «Granger Causality and Transfer Entropy Are Equivalent for Gaussian Variables». Physical Review Letters. 103 (23). 238701 páginas. doi:10.1103/PhysRevLett.103.238701

[:0-8] Galstyan, Aram; Steeg, Greg Ver (12 de outubro de 2011). «Information Transfer in Social Media» (em inglês)

[9] Lungarella, M.; Ishiguro, K.; Kuniyoshi, Y.; Otsu, N. (1 de março de 2007). «Methods for quantifying the causal structure of bivariate time series». International Journal of Bifurcation and Chaos. 17 (03): 903–921. ISSN 0218-1274. doi:10.1142/S0218127407017628

[10] Pereda, Ernesto; Quiroga, Rodrigo Quian; Bhattacharya, Joydeep (1 de setembro de 2005). «Nonlinear multivariate analysis of neurophysiological signals». Progress in Neurobiology. 77 (1): 1–37. ISSN 0301-0082. doi:10.1016/j.pneurobio.2005.10.003

[11] Lizier, Joseph T.; Prokopenko, Mikhail; Zomaya, Albert Y. (15 de fevereiro de 2008). «Local information transfer as a spatiotemporal filter for complex systems». Physical Review E. 77 (2). 026110 páginas. doi:10.1103/PhysRevE.77.026110

[Não_nomeado-xpnE-1-12] Lizier, Joseph T.; Heinzle, Jakob; Horstmann, Annette; Haynes, John-Dylan; Prokopenko, Mikhail (1 de fevereiro de 2011). «Multivariate information-theoretic measures reveal directed information structure and task relevant changes in fMRI connectivity». Journal of Computational Neuroscience (em inglês). 30 (1): 85–107. ISSN 1573-6873. doi:10.1007/s10827-010-0271-2

[13] Vicente, Raul; Wibral, Michael; Lindner, Michael; Pipa, Gordon (1 de fevereiro de 2011). «Transfer entropy—a model-free measure of effective connectivity for the neurosciences». Journal of Computational Neuroscience (em inglês). 30 (1): 45–67. ISSN 1573-6873. doi:10.1007/s10827-010-0262-3

[14] Beggs, John M.; Shimono, Masanori (1 de outubro de 2015). «Functional Clusters, Hubs, and Communities in the Cortical Microconnectome». Cerebral Cortex (em inglês). 25 (10): 3743–3757. ISSN 1047-3211. doi:10.1093/cercor/bhu252

[15] Valencio, A. (2018) An Information-theoretical approach to identify seismic precursors and earthquake-causing variables. PhD Thesis, University of Aberdeen. http://digitool.abdn.ac.uk/webclient/DeliveryManager?pid=237105

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]

[15]