Usuário(a):MGromov/Testes29

Na teoria da probabilidade e estatística, um processo Gaussiano é um modelo estatístico, onde as observações ocorrem em um domínio contínuo, seja de tempo ou de espaço. Em um processo Gaussiano, a cada ponto, em alguns contínua entrada de espaço é associado com uma distribuídos normalmente variável aleatória. Além disso, todos os finitos coleção dessas variáveis aleatórias tem um multivariada distribuição normal. A distribuição de um processo Gaussiano é a distribuição conjunta de todos os (infinitos) variáveis aleatórias e, como tal, é uma distribuição de funções com um domínio contínuo, seja de tempo ou de espaço.

Visto como uma máquina-algoritmo de aprendizagem, uma Gaussiana utiliza o processo de lenta aprendizagem e uma medida de similaridade entre os pontos (esta é a função kernel) para predizer o valor de um ponto invisível a partir de dados de treinamento. A previsão não é apenas uma estimativa para esse ponto, mas também tem a incerteza informação -- é um one-dimensional distribuição Gaussiana (que é a marginal de distribuição em que ponto).

Para algumas funções de kernel, álgebra matricial pode ser usada para calcular as previsões, como descrito na krigeagem artigo. Quando um parametrizado kernel está sendo utilizado, o software de otimização normalmente é usado para o ajuste de uma Gaussiana modelo de processo.

O conceito de Gauss de processos é nomeado após Carl Friedrich Gauss , porque é baseado na noção de que a distribuição Gaussiana (distribuição normal). Gaussiana processos pode ser visto como um infinito-dimensional generalização multivariada distribuição normal.

Gaussiana processos são úteis na modelagem estatística, beneficiando das propriedades herdadas do normal. Por exemplo, se um processo aleatório é modelado como um processo gaussiano, as distribuições de várias grandezas derivadas podem ser obtida explicitamente. Tais quantidades de incluir o valor médio do processo através de uma série de vezes e o erro na estimativa da média utilizando os valores de amostra em um pequeno conjunto de vezes.

Definição

Um processo gaussiano é uma distribuição estatística X_t, t ∈ T, para o qual qualquer finito combinação linear das amostras tem um conjunto distribuição Gaussiana. Mais precisamente, qualquer linear funcional aplicado para a função de exemplo X_t vai dar uma distribuídos normalmente resultado. Notação-sábio, pode-se escrever X ~ GP(m,K), ou seja, a função de reprodução aleatória X é distribuído como um GP com a média da função de m e covariância da função de K. Quando o vetor de entrada t é de dois ou multi-dimensional, um processo Gaussiano pode ser também conhecido como uma Gaussiana aleatória de campo.

Alguns autores suponha que as variáveis aleatórias X_t tem média zero; isto simplifica os cálculos , sem perda de generalidade e permite que o quadrado da média propriedades do processo para ser inteiramente determinada pela covariância da função de K.

Definições alternativas

Como alternativa, um tempo contínuo processo estocástico é Gaussiana se, e somente se, para todo conjunto finito de índices de ${\displaystyle }$ no índice definido ${\displaystyle }$

${\displaystyle }$

é um multivariada Gaussiana variável aleatória. Usando característica de funções de variáveis aleatórias, a Gaussiana propriedade pode ser formulado da seguinte maneira: ${\displaystyle }$ é Gaussiana se, e somente se, para todo conjunto finito de índices de ${\displaystyle }$existem valores reais ${\displaystyle }$, ${\displaystyle }$ com ${\displaystyle }$ de tal forma que a seguinte igualdade vale para todas as ${\displaystyle }$

${\displaystyle }$

onde ${\displaystyle }$ indica o número imaginário ${\displaystyle }$.

Os números ${\displaystyle }$ e ${\displaystyle }$ pode ser mostrado para ser o covariâncias e significa uma das variáveis no processo.

A covariância de funções

Uma chave fato de Gauss processos é que eles podem ser completamente definidos pela ordem segundo as estatísticas. Assim, se um processo Gaussiano é assumido ter média zero, definindo a função de covariância completamente define o processo de' comportamento. Importante: a não-negativo definição desta função permite que a sua decomposição espectral usando o Karhunen–Loeve de expansão. Aspectos básicos que podem ser definidos através de covariância da função são o processo de estacionaridade, isotropia, a lisura e a periodicidade.

Estacionaridade refere-se ao processo de' comportamento sobre a separação de quaisquer dois pontos x e x' . Se o processo é estacionário, depende de sua separação, x − x', enquanto se não-estacionária depende da posição real dos pontos x e x'. Por exemplo, o caso especial de Ornstein–Uhlenbeck processo, um movimento Browniano processo é estacionário.

Se o processo só depende de |x − x'|, a distância Euclidiana (e não o sentido) entre x e x', então o processo é considerado isotrópico. Um processo que é ao mesmo tempo estacionário e isotrópico é considerado homogêneo; na prática, estas propriedades refletem as diferenças (ou melhor, a falta delas) no comportamento do processo, tendo em vista a localização do observador.

Em última análise Gaussiana processos de traduzir como tendo priores em funções e a suavidade desses priores pode ser induzida pela covariância da função. , Se esperamos o que para o "próximo passo" pontos de entrada x e x' o seu correspondente em pontos de saída y e y' para ser o "próximo passo" também, então, do pressuposto de continuidade está presente. Se quisermos permitir uma deslocação significativa, em seguida, escolher uma áspera função de covariância. Exemplos extremos do comportamento é a Ornstein–Uhlenbeck covariância da função e o quadrado exponencial, onde a anterior nunca é diferenciável e o último infinitamente diferenciáveis.

Periodicidade refere-se a indução de periódicos padrões no comportamento do processo. Formalmente, isto é conseguido através do mapeamento de entrada x para um bidimensionais do vetor u(x) = (cos(x), sin(x)).

De costume funções de covariância

O efeito da escolha de diferentes kernels em prévia de uma função de distribuição Gaussiana processo. A esquerda é um quadrado exponencial do kernel. Meio é Browniano. Direito é quadrática.

Há um grande número de funções de covariância:

• Constant : $K_{\text{C}}(x,x')=C$
• Linear: $K_{\text{L}}(x,x')=x^{T}x'$
• Gaussian Noise: $K_{\text{GN}}(x,x')=\sigma ^{2}\delta _{x,x'}$
• Squared Exponential: $K_{\text{SE}}(x,x')=\exp {\Big (}-{\frac {||d||^{2}}{2l^{2}}}{\Big )}$
• Ornstein–Uhlenbeck: $K_{\text{OU}}(x,x')=\exp {\Big (}-{\frac {|d|}{l}}{\Big )}$
• Matérn: $K_{\text{Matern}}(x,x')={\frac {2^{1-\nu }}{\Gamma (\nu )}}{\Big (}{\frac {{\sqrt {2\nu }}|d|}{l}}{\Big )}^{\nu }K_{\nu }{\Big (}{\frac {{\sqrt {2\nu }}|d|}{l}}{\Big )}$
• Periodic: $K_{\text{P}}(x,x')=\exp {\Big (}-{\frac {2\sin ^{2}({\frac {d}{2}})}{l^{2}}}{\Big )}$
• Rational Quadratic: $K_{\text{RQ}}(x,x')=(1+|d|^{2})^{-\alpha },\quad \alpha \geq 0$

Aqui ${\displaystyle }$. O parâmetro ${\displaystyle }$ é a característica comprimento de escala do processo (praticamente, "como fechar" dois pontos ${\displaystyle }$ e ${\displaystyle }$ tem que ser a influenciar-se mutuamente de forma significativa), δ é o delta de Kronecker e σ o desvio padrão do ruído flutuações. Além disso, ${\displaystyle }$ é a função de Bessel modificada de ordem ${\displaystyle }$ e ${\displaystyle }$ é a função gamma avaliada em ${\displaystyle }$. Importante, uma complicada função de covariância pode ser definido como uma combinação linear de outras mais simples funções de covariância, a fim de integrar diferentes informações sobre o conjunto de dados que tem em mãos.

Claramente, os resultados inferenciais são dependente dos valores dos hiperparâmetros θ (e.g. ${\displaystyle }$ e, σ) a definição do modelo de comportamento. Uma escolha popular para θ é fornecer o máximo a posteriori (MAP) estimativas com alguns escolhido antes. Se a prévia é muito perto de uniforme, isto é o mesmo que maximizar a probabilidade marginal do processo; a marginalização que está sendo feito sobre o observado os valores de processo ${\displaystyle }$. Esta abordagem também é conhecida como máxima verossimilhança II, prova de maximização, ou Bayes Empírico.

Movimento browniano como a Integral de Gauss de processos

Um processo de Wiener (também conhecido como movimento Browniano) é a integral de um ruído branco Gaussiano processo. É não estacionária, mas tem incrementos estacionários.

A Ornstein–Uhlenbeck processo é estacionário Gaussiano processo.

O Browniano ponte é a integral de um processo Gaussiano, cujos incrementos não são independentes.

O movimento Browniano fracionário é a integral de um processo Gaussiano, cujos covariância da função é uma generalização do processo de Wiener.

Aplicações

Um processo Gaussiano pode ser usado como uma prévia distribuição de probabilidade sobre as funções em inferência Bayesiana. Dado qualquer conjunto de N pontos no domínio desejado de suas funções, tomar um multivariada Gaussiana cuja covariância da matriz de parâmetro é a matriz de Gram de seu N pontos com alguns desejado kernel, e a exemplo do que Gaussiana.

Inferência de valores contínuos com uma Gaussiana processo anterior é conhecido como Gauss processo de regressão, ou de kriging; ampliação de Gauss processo de regressão de múltiplas variáveis de segmentação é conhecido como cokriging. Gaussiana processos são, portanto, útil como uma poderosa não-linear multivariada de interpolação e de extensão de exemplo ferramenta. Gaussiana processo de regressão pode ser prorrogada para o endereço de tarefas de aprendizagem em ambos os supervisionado (e.g. classificação probabilística) e não-supervisionada (e.g. coletor de aprendizagem) a aprendizagem de estruturas.

Gaussiana processo de previsão, ou de kriging

Gaussiana Processo de Regressão (previsão) com um quadrado exponencial do kernel. Gráfico da esquerda são desenha a partir da prévia e função de distribuição. Médio são sorteios do posterior. Certo é que significa que a previsão com um desvio padrão de sombreado.

Quando em causa com uma Gaussiana processo de regressão problema, supõe-se que para um processo Gaussiano f observado nas coordenadas x, o vetor de valores $f(x)$ é apenas uma amostra de uma distribuição Gaussiana multivariada de dimensão igual ao número de observado coordenadas |x|. Portanto, sob o pressuposto de um zero-média da distribuição, $f(x)\sim N(0,K(\theta ,x,x'))$, onde $K(\theta ,x,x')$ é a matriz de covariância entre todos os pares possíveis $(x,x')$ para um determinado conjunto de hiperparâmetros θ. Como tal, o log de probabilidade marginal é:

${\displaystyle }$

e maximizar este marginal probabilidade para θ fornece a especificação completa do processo Gaussiano f. Pode-se brevemente observação neste ponto que o primeiro termo corresponde a uma pena de prazo para um modelo de fracasso para ajustar os valores observados e o segundo termo a uma pena de prazo, que aumenta proporcionalmente para a complexidade de um modelo. Tendo especificado θ a fazer previsões sobre inobservância de valores $f(x^{*})$ nas coordenadas x*, em seguida, é só uma questão de desenho a partir de amostras de previsão de distribuição ${\displaystyle }$ onde posterior estimativa média é definida como:

${\displaystyle }$

e posterior variância da estimativa de B é definida como:

${\displaystyle }$

onde $K(\theta ,x^{*},x')$ é a covariância entre as novas coordenadas de estimativa de x* e todas as outras observadas as coordenadas de x para um determinado hyperparameter vetor θ, $K(\theta ,x,x')$ e $f(x)$ são definidos como antes e $K(\theta ,x^{*},x^{*})$ é a variação no ponto x*, como ditado por θ. É importante notar que praticamente posterior mean estimate $f(x^{*})$ (a "estimativa") é apenas uma combinação linear das observações $f(x)$; de forma semelhante, a variação de $f(x^{*})$ é, na verdade, independente das observações $f(x)$. Um conhecido ponto de estrangulamento no processo Gaussiano previsão é de que a complexidade computacional de previsão é cúbica do número de pontos de |x| e, como tal, pode tornar-se inviável para grandes conjuntos de dados. Obras sobre esparsos Gaussiana processos, que normalmente são baseados na idéia de construção de um conjunto representativo para o processo de f, para tentar contornar esse problema.

Veja também

• Bayes linear estatísticas
• Bayesiana interpretação de regularização

Ligações externas

• www.GaussianProcess.com
• Gaussiana Processos de Web Site, incluindo o texto de Rasmussen e Williams' Gaussian Processos de Aprendizado de Máquina
• Uma suave introdução ao Gaussiana processos
• Uma Revisão da Gaussiana Aleatória Campos e Correlação de Funções

Software

• STK: uma Pequena (Matlab/Octave) caixa de Ferramentas para a Krigeagem e GP de modelagem
• A krigeagem módulo em UQLab quadro (Matlab)
• Matlab/Octave função para estacionário Gaussiano campos
• O Yelp ME - UMA caixa preta de otimização de motor de Gauss processo de aprendizagem
• ooDACE - flexível orientada a objeto Krigeagem matlab toolbox.
• GPstuff Gaussiana processo toolbox para Matlab e Octave
• GPy - Uma Gaussiana processos de framework em Python
• Interativo Gaussiana processo de regressão de demonstração
• Basic processo Gaussiano biblioteca escrita em C++11

Tutoriais em vídeo

• Gaussiana Básicos do Processo por David MacKay
• A aprendizagem com a Gaussiana Processos por Carl Edward Rasmussen
• Inferência bayesiana e Gaussiano processos por Carl Edward Rasmussen

[[Categoria:Processos estocásticos]]