Usuário(a):Diegolimapereia/t-SNE

t-SNE, em tradução livre, incorporação estocástica de vizinhos t-distribuída, ou t-distributed stochastic neighbor embedding é um algoritmo de aprendizado de máquina utilizado para redução de dimensionalidade, foi desenvolvido por Laurens van der Maaten e Geoffrey Hinton. Ele é uma técnica não-linear de redução de dimensionalidade que é adequada para transformar dados com muitos atributos para uma espaço com duas ou três dimensões, com isso podemos visualizar o conjunto de dados em um gráfico de dispersão. Em poucas palavras, este algoritmo cria um modelo de duas ou três dimensões a partir de um conjunto de dados com vários atributos, em um gráfico de dispersão onde cada elemento do conjunto é um ponto, a proximidade de dois pontos indicam que estes são similares, assim como pontos distantes são dissemelhantes.

O algoritmo t-SNE contém dois estágios principais. Primeiramente, o t-SNE constrói uma distribuição de probabilidade dos pares de objetos multi-dimensionais de uma maneira em que objetos similares tem uma alta probabilididade de serem escolhidos, enquanto isso, pontos bem distintos tem uma probabilidade bem pequena de serem escolhidos. No segundo passo, o t-SNE define uma distribuição de probabilidade de semelhança através dos pontos em um mapa de poucas dimensões, assim, ele minimiza a divergência de Kullback–Leibler entre duas distribuições em relação aos pontos no mapa. Note que enquanto o algoritmo original usa a distância euclidiana entre objetos como sua métrica de similaridade, esta distância deverá ser mudada caso seja necessário.

O t-SNE tem sido usado numa grande gama de aplicações, incluindo pesquisas sobre segurança de computadores, análise de musical, Pesquisas sobre câncer, bioinformática, e processamento de sinais biomédicos.

Detalhes

Dado um conjunto de $N$ objetos multi-dimensionais $\mathbf {x} _{1},\dots ,\mathbf {x} _{N}$, t-SNE primeiramente computa as probabilidades $p_{ij}$ que são proporcionais a similaridade de objetos $\mathbf {x} _{i}$ e $\mathbf {x} _{j}$, como a seguir:

$p_{j\mid i}={\frac {\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{j}\rVert ^{2}/2\sigma _{i}^{2})}{\sum _{k\neq i}\exp(-\lVert \mathbf {x} _{i}-\mathbf {x} _{k}\rVert ^{2}/2\sigma _{i}^{2})}},$

$p_{ij}={\frac {p_{j\mid i}+p_{i\mid j}}{2N}}$

A largura de banda dos núcleos da função de Gauss $\sigma _{i}$, é definida de maneira que a perplexidade da distribuição condicional é igual a perplexidade predefinida usando busca binária. Como resultado, a largura de banda é adapatada a densidade do dado: menores valores de $\sigma _{i}$ são usados nas partes mais densas do espaço dos dados.

t-SNE busca analisar um mapa $d$-dimensional $\mathbf {y} _{1},\dots ,\mathbf {y} _{N}$ (with $\mathbf {y} _{i}\in \mathbb {R} ^{d}$) que reflete as similaridades $p_{ij}$ da melhor maneira possível. Para atingir este objetivo, ele mede similaridades $q_{ij}$ entre dois pontos no mapa $\mathbf {y} _{i}$ e $\mathbf {y} _{j}$,usando uma abordagem similar. Especificamente, $q_{ij}$ é definida como:

$q_{ij}={\frac {(1+\lVert \mathbf {y} _{i}-\mathbf {y} _{j}\rVert ^{2})^{-1}}{\sum _{k\neq l}(1+\lVert \mathbf {y} _{k}-\mathbf {y} _{l}\rVert ^{2})^{-1}}}$

Aqui uma de Distribuição t de Student cauda longa (com um grau de liberdade, que é o mesmo que uma Distribuição de Cauchy) é usada para medir similaridade entre pontos com poucas dimensões com o objetivo de permitir que ponto dissimilares sejam modelados distantes no mapa.

As localizações dos pontos $\mathbf {y} _{i}$ no mapa são determinados por minimizar a divergência de Kullback–Leibler (não-simétricas) da distribuição $Q$ originado da distribuição $P$, que é:

$KL(P||Q)=\sum _{i\neq j}p_{ij}\log {\frac {p_{ij}}{q_{ij}}}$

A minimização da divergência de Kullback–Leibler em relação aos pontos $\mathbf {y} _{i}$ é realizada utilizando Método do gradiente. O resultado dessa otimização é um mapa que reflete as similaridades entre as entradas multi-dimensionais.

Software

• t-Distributed Stochastic Neighbor Embedding http://lvdmaaten.github.io/tsne/