Inferência bayesiana
A inferência bayesiana (IB) consiste na avaliação de hipóteses pela máxima verossimilhança, uma decorrência imediata da fórmula de Bayes, e é fundamental para métodos computacionais relacionados à inteligência, mineração de dados, ou linguística histórica, sejam eles métodos bayesianos de aprendizado de máquina (AM) ou não-bayesianos. A IB é uma extensão da estatística bayesiana e da inferência estatística para a inteligência computacional (IC), onde é sinônimo de aprendizado bayesiano, e encontra aplicações em domínios igualmente genéricos, e.g. na biomedicina, computação em nuvem, pesquisa de algoritmos, criatividade computacional. Os resultados, em termos de classificação e regressão, por exemplo, são em muito casos satisfatórios e até difíceis de serem aprimorados, de propriedades convenientes e bem conhecidas, e constituem baselines.
Na IB, o aprendizado se dá, paradigmaticamente, por a r g m a x h p ( h | e ) {\displaystyle argmax_{h}p(h|e)} , ou seja, pela escolha da hipótese de máxima verossimilhança h a {\displaystyle h_{a}} , consideradas as evidências (e.g. os dados) e as hipóteses de interesse. Encontrar a hipótese que satisfaz a Equação (1) é uma técnica chamada MLE (maximum likelihood estimation), i.e. estimação/inferência/aprendizado por maximização da verossimilhança (likelihood).
MLE e MAP
Embora a técnica fundamental da IB seja a MLE, a outra condicional entre e e h também é usada para inferência: Esta é a MAP (maximum a priori probability), i.e. probabilidade anterior máxima, obtida sem exploração do teorema de Bayes. Faz parte da teoria básica da IB como paradigma da inferência (ou aprendizado de máquina) frequentista e pelo contraste com a MLE. A MAP pode até mesmo ser chamada de IB por simplicidade do discurso e consideração dos fundamentos. Além disso, vantagens da MLE são ponderáveis com a simplicidade da MAP.
Interpretação fundamental
A associação probabilística de uma (ou mais) hipótese(s), isolada(s), aos dados é a inferência frequentista (veja MAP). Já a consideração da distribuição de probabilidade das hipóteses, condicionadas às evidências (e.g. dados), em um espaço de hipóteses de interesse, possibilita uma escolha fundamentada e eficiente de uma (ou mais) hipótese(s), e é o procedimento adotado na MLE de forma bastante direta, e é o aspecto fundamental da IB que a torna relevante para a teoria e prática de reconhecimento de padrões e da teoria da decisão, e canônica na consideração e construção de sistemas de inteligência computacional, mesmo de computação natural em que métodos de bioinspirados são contrastados com a IB.
Nomenclatura mínima
Na Equação (1), p(h) é chamada probabilidade anterior (ou a priori), p(e | h) é chamada condicional anterior (ou verossimilhança), e p(h | e) de condicional posterior (ou a posteriori). Seu cálculo se dá através da função de verossimilhança, e a MLE é, essencialmente, uma maximização de verossimilhança. Contraste/conflito com a função de verossimilhança da MLE é o critério principal para considerar não-bayesiano um modelo de inferência. Note que o nome MAP, máxima probabilidade anterior, conflita com o nome de p(h), probabilidade anterior, pois a MAP maximiza p(x|h) e não p(h) (Veja também distribuições marginais e os artigos de probabilidade e estatística).
Evento VS evidência
Na IB, uma evidência é um evento utilizado como conhecimento anterior/prévio, para probabilidades e condicionais anteriores, como em p(e|h) da Equação (1).
Frequentista VS bayesiano
A utilização da fórmula de Bayes insere suposições sobre o modelo na estatística de aprendizado, implica abordagem bayesiana e oposta por sua não utilização à abordagem frequentista. Por extensão, o adjetivo frequentista designa ênfase em contagens, simplismo e até fragilidade dos estimadores; o adjetivo bayesiano designa ênfase na fórmula de Bayes e estimadores consistentes. Diz-se que algo (e.g. uma pessoa, teoria, modelo, resultado) é bayesiano se contempla abordagens bayesianas, em especial decorrências imediatas da fórmula de Bayes, que relaciona probabilidades condicionais. Por extensão, a utilização da MAP pode ser considerada o paradigma frequentista, que desconsidera o conhecimento a priori que está implícito no sistema ao obter uma estatística de referência (e.g. p-value). Já a MLE explicita o uso da fórmula de Bayes de forma simples e é o paradigma básico da AM bayesiana (junto ao Bayes ingênuo quando as evidências são i.i.d.). Mas a conceitualizaçao é mais profunda: um (método, pesquisador, raciocício, etc) bayesiano idealmente considera todas as hipóteses, e na prática considera isso no modelo explicitamente, dando pesos para as hipóteses conforme mais rováveis dado conhecimento prévio (dados, conhecimento especialista, etc).
Há diversos algoritmos para IB, e as propriedades destes sistemas, em geral dos mais básicos, são fundamentais para a inteligência computacional e o aprendizado de máquina. Ambas a derivação de modelos e a observação epistomógica serão aqui exemplificados através de exemplos. O Bayes Ingênuo (BI) é a MLE com evidências IID. Neste caso, as condicionais anteriores podem se desdobrar: o que torna o BI um método simples de ser aplicado na maioria das situações. A Equação (1) pode portanto ser escrita assim: O NB é a canônica obtenção da MLE (veja Equação (1)). Na aplicação da IB, é intuitivo, e muitas vezes apropriado, assumir que cada amostra é independente das demais, e advindas de uma mesma distribuição de probabilidade, o que é exatamente a suposição de variáveis IID. Veja os exemplos neste artigo para o BI em contexto de aplicação, principalmente o exemplo sobre spam. Outros métodos bayesianos incluem: Fisher's Linear Discriminant Analysis LDA, Algoritmo de ascensão de gradiente, e Kernel Density Estimation (KDE).
Regra de Cromwell
Note que p ( h ) = 0 ⇒ p ( h | e ) = 0 {\displaystyle p(h)=0\Rightarrow p(h|e)=0} . Também p ( h = 1 ) ⇒ p ( h | e ) = 1 {\displaystyle p(h=1)\Rightarrow p(h|e)=1} , ou seja, convicções ou hipóteses rígidas/fortes são insensíveis à evidência.
Falácia do apostador
A IB contradiz a falácia do apostador de duas formas distintas. Primeiro, se a moeda é considerada imutável, p(h) e p(e|h) não mudam, portanto h a {\displaystyle h_{a}} é a mesma. Neste caso, se ela não era honesta (i.e. p(h) não constante), o resultado tenderá a repetir o mesmo resultado, e não o resultado oposto, como acredita o apostador. No caso da moeda que pode se modificar, a Equação (1) (e.g. através do BI) implica um aumento da verossimilhança do mesmo resultado, e, novamente, não no resultado oposto.
Uniformidade de verossimilhança em contexto sem ruído
Considere uma evidência e idealizada, e.g. valores infinitamente precisos. Considere também hipóteses h i {\displaystyle h_{i}} que descrevem fielmente e, e.g. p ( e | h ) = 1 se e i = h ( x i ) ou 0 em caso contrário , ∀ i {\displaystyle p(e|h)=1{\text{ se }}e_{i}=h(x_{i}){\text{ ou 0 em caso contrário}},\forall i} , onde x i {\displaystyle x_{i}} é algum parâmetro ou dado utilizado pela hipótese para explicar ou predizer e i {\displaystyle e_{i}} . Segue que: Onde h e {\displaystyle h_{e}} é o conjunto das hipóteses que satisfazem e perfeitamente. Ou seja, em um contexto sem ruído, cujas hipóteses representam fielmente as evidências, e em que as hipóteses são igualmente prováveis, a verossimilhança das hipóteses é constante e inversamente proporcional ao espaço hipóteses cabíveis. Além disso, note que se p ( h i ) {\displaystyle p(h_{i})} é constante/uniforme, a r g m a x p ( h i | e ) = a r g m a x p ( e | h i ) {\displaystyle argmax\;p(h_{i}|e)=argmax\;p(e|h_{i})} , ou seja, se as hipóteses são igualmente prováveis, MLE e MAP se equivalem, e a abordagem bayesiana encontra a frequentista. Dito de outra forma, a MAP é o caso específico da MLE em que as hipóteses são igualmente prováveis (i.e. em que p ( h i ) = 1 / | h | = {\displaystyle p(h_{i})=1/|h|=} constante). A especificação de p ( h i ) {\displaystyle p(h_{i})} por critérios imprecisos encontra suporte e paralelo da lógica difusa (fuzzy).
Mínimos quadrados e regressão linear (casos específicos da IB)
Considere evidências IID e nenhuma pista sobre qual hipótese é a mais provável (i.e. p ( h ) {\displaystyle p(h)} constante). Segue diretamente da Equação (1) que: Suponha agora h = N ( h ′ , σ 2 ) {\displaystyle h=N(h',\sigma ^{2})} , i.e. considere como hipóteses h ′ {\displaystyle h'} as médias de distribuições normais com desvio padrão σ {\displaystyle \sigma } qualquer. Segue que: Ou seja, é encontrada a média que minimiza a soma dos quadrados. Note que h ′ {\displaystyle h'} pode ser h ′ = { h i } {\displaystyle h'=\{h_{i}\}} , e.g. h i = 5 i + ( h ″ ) . i 2 − 2 − i {\displaystyle h_{i}=5i+(h'').i^{2}-2^{-i}} e escolhido h a = a r g m a x p ( h ″ | e ) {\displaystyle h_{a}=argmaxp(h''|e)} , caso em que será realizado o método dos mínimos quadrados) sob h i {\displaystyle h_{i}} . Se h i = a . i + b {\displaystyle h_{i}=a.i+b} a IB realiza uma regressão linear, contexto em que a hipótese expressa a crença de que os a maioria da informação importa pouco.
Aplicação para regressão ou classificação em contexto ruidoso
Seja conjunto de evidências e i {\displaystyle e_{i}} que refletem ocorrências x i {\displaystyle x_{i}} de algum fenômeno ou propriedade de forma imperfeita, e.g. a pesos e i {\displaystyle e_{i}} de uma população refletem a altura x i {\displaystyle x_{i}} dos indivíduos, ou medidas obtidas com um paquímetro e i {\displaystyle e_{i}} de peças cujo tamanho real é x i {\displaystyle x_{i}} . Segue pronto de p ( h ) {\displaystyle p(h)} constante, da Equação (1), e de que se as evidências são IID: que p ( ϵ i | ϵ ) {\displaystyle p(\epsilon _{i}|\epsilon )} seja bem definida. Assim, pode-se encontrar f, pois reflete em ϵ i {\displaystyle \epsilon _{i}} através de x i {\displaystyle x_{i}} e e i {\displaystyle e_{i}} se:
Detector de SPAM
Considere uma caixa de emails com 1000 mensagens, 200 delas spam. Um modelador decide fazer um algoritmo bem simples para obter um resultado inicial de referência para um detector de spam (h_0 = não spam, h_1 = spam). Seleciona então, como evidência, as palavra: viagra (100, 0), valium (70, 20), coursera (2, 120), edX (1, 100), hoje(20, 250), marcadas com o número de ocorrências dentre os emails que são (spam, não spam). Seguindo a MLE, observa a obtenção da função de verossimilhança: Equação onde o lado direito pode ser obtido através dos dados: Assim, em posse de um email em que p a l a v r a s = ( v a l i u m , e d X , h o j e ) {\displaystyle palavras=(valium,edX,hoje)} , e não com as outras palavras, pode-se obter h a {\displaystyle h_{a}} (i.e. a hipótese mais verossimilhante) através do maior valor:
Ao considerar hipóteses e evidências distribuídas com cauda longa, e.g. respeitando leis de potência ou exponenciais, é importante considerar testes e estatísticas robustas, e.g. o teste de Kolmogorov-Smirnov e a estatística c ′ {\displaystyle c'} (derivada do teste de KS), ou teoria e software especializados. Por exemplo, muitas redes complexas foram consideradas livres de escala (i.e. apresentam uma lei de potência na distribuição de conectividade e.g. grau ou força) em journals internacionais, por pesquisadores experiêntes, mas depois de testes mais cuidadosos com os dados, estas redes foram reclassificadas como apresentando outras distribuições de conectividade (e.g. exponencial). Há diversos software para aplicação da IB. Uma questão comum e honesta é: quão fiel são estas rotinas computacionais aos modelos matemáticos? Neste contexto é útil um conjunto bem específico de rotinas, talvez somente MLE, MAP, BI, e variantes mais imediatas estabelecidas como referência, com as estatísticas para avaliação dos resultados. Para derivar baselines ou obter estatísticas informativas, idealmente são então usadas estas rotinas exatamente como implementadas, ou aproveitados os modelos para obter derivados e avaliá-los. A utilização é assim pouco previsível, e são convenientes implementações nos paradigmas:
Occam: BI como baseline, suficiência frequentista, regularização
Um reflexo imediado da navalha de Occam: o BI é um baseline, com resultados informativos sobre o contexto em que se aplica, e propriedades convenientes. Assim, ao BI (ou outra MLE simples) é dada preferência caso não haja justificativa para métodos mais elaborados ou para simplismos, como o discurso frequentista e o MAP. Em caso de necessidade, pode-se escolher um modelo de IB mais genérico (i.e. uma MLE que não o BI), sob o risco incorrer em análises e inferências menos informativas, bem comportadas, e menos relevância e embasamento teóricos. A IB constitui potencialmente o baseline principal para avaliar qualquer algoritmo de aprendizado de máquina, principalmente os relacionados à IC, à CN, e à CM, devido às não linearidades e comportamentos complexos, difíceis de serem capturados algebrica ou mesmo analiticamente. A não utilização de ao menos um modelo simples de IB para avaliação de um sistema que pode ser avaliado desta forma suscita questionamento quanto à relevância ou mesmo a validade dos resultados. Note que o BI é capaz de regressão linear, classificação, rankeamento, aprendizado online ou por reforço em geral, aprendizado não supervisionado (e.g. clusterização), e é portanto um método generalista e suficiente para um espectro largo de métodos de aprendizado de IC, estatisticamente ótimos em diversos contextos e sentidos. Além disso, Abraham Wald formulou uma justificação embasada na teoria estatística da decisão (veja teoria da decisão) para o uso da IB que a torna a técnica central na inferência frequentista para procedimentos tais como estimação de parâmetros, teste de hipótese, e o cálculo de intervalos de confiança.
Pré-processamento
Resultados informativos de IB são obtidos muitas vezes com o auxílio de pré-processamento das evidências, e.g. redução de dimensionalidade via PCA, lida com dados faltantes, detecção de outliers. Estes procedimentos constituem aspecto relevante da IB aplicada, e devem ser considerados cuidadosamente na descrição e avaliação.
Propriedades assintóticas
A MLE é consistente, apresenta convergência, eficiência e normalidade assintóticas.
Acréscimos à terminologia básica
Compreendida função de baseline que a IB possui para a IC e o AM em geral, salta nítido que o uso de um conjunto padrão de estatísticas para descrever os resultados (incluindo o modelo) potencializa a IB na IC e para a análise de dados em geral, e.g. precisão, acurácia, cobertura, falsos negativos, etc. alpha, p-value, regiao crítica, etc. Vocabulário advindo do reconhecimento de padrões. hipótese nula, significância, região crítica, intervalo de confiança, etc etc Método de Neyman-Pearson para testes estatísticos. Usar para tratar de falsos e verdadeiros negativos e positivos., tabela de confusão, e medidas relacionadas. nível de significância e intervalo de confiança
Comparação de modelos
Pode-se aplicar outros métodos de IC para avaliação do resultado de um IB, embora o contrário seja mais usual. Desta forma, embora seja mais canônico o uso de um BI para avaliação de um algoritmo genético, a avaliação de uma MLE pode ser auxiliada por uma otimização por colônia de formigas. A comparação entre métodos igualmente bayesianos, ou também estatísticos, ou de aprendizado por regras, pode assistir na avaliação de uma IB.
Critérios previamente estabelecidos
O contexto a priori é tão relevante para a correta consideração dos resultados que deve-se se escolher a significância antes de analisar os resultados ou até mesmo de se modelar e aplicar a rotina bayesiana para obter o resultado (e.g. um p-value). A satisfação de critérios iniciais é uma técnica priorizada na avaliação de uma IB por questões consensuais, mas com descrições diversas, em torno de suposições implícitas em um teste estatístico (e.g. o pensamento desejoso pode influenciar no estabelecimento de um intervalo de confiança adequado se escolhido depois de realizado o teste; a consideração prévia de resultados possíveis através dos critérios iniciais favorece a modelagem apropriada do espaço de hipóteses; semântica estatística de estimador porterior (MLE) e anterior (MAP)).
Como sugere este artigo como um todo e algumas partes com ênfase, em geral, modelos simples de IB (e.g. BI) são priorizados na IC por: serem bem conhecidas/estudadas, possuírem propriedades estatísticas de interpretação útil, simples, e estatisticamente ótimas por critérios objetivos e relevantes. Elas constituem baselines para outros técnicas de IC, sejam elas e.g. bayesianas ou de computação natural (CN). Há dois aspectos da IB diretamente ligados à exploração de imprecisão tão característica da IC: há portanto uma interface com a lógica difusa nesta definição de p ( h i ) {\displaystyle p(h_{i})} necessária para a Equação (1) e crucial os melhores resultados da MLE em comparação com a MAP. Além disso, BI é um método de aprendizado com características desejáveis, mas que degenera as evidência e as hipóteses: as variáveis de entrada não são sempre perfeitamente IID, como assume o BI, e o sistema pode estar considerando, em verdade valores complexos calculados a partir da entrada. Na IC, métodos de CN são em geral utilizados para lidar com espaços de evidências e hipóteses de forma mais completa.
O MLE aplica de forma estatisticamente ótima, estes dois critérios: Assumida homogeneidade, neste caso rejeita-se a hipótese do menino. Podem ser utilizadas novas evidências e crenças para auxiliar na escolha entre gato e cachorro, inclusive arbitrárias e imprecisas se apropriados para a aplicação, via lógica difusa para inteligência computacional, e.g. às imagens são atribuídas funções de pertencimento aos conjuntos difusos gato e cachorro, e, paralelamente, distribuições de probabilidade arbitrárias e imprecisas, que refletem o julgamento do humano que está modelando a IB, podem ser utilizadas para a probabilidade anterior p(h) e a condicional anterior p(e|h). Ainda, p(h) pode ser obtida por outros métodos de IC, e.g. de computação natural. O ponto crítico sobre a IB é que ela fornece/apresenta uma maneira fundamental de combinar evidências e crenças (anteriores), através da aplicação da regra/fórmula/teoria de Bayes.
