\section{SKATER baseada em densidade}
\label{sec:vero}

Nesta se\c{c}\~ao n\'os propomos o uso de medidas baseadas 
em modelos probabilisticos para ambos os passos do SKATER.
Na constru\c{c}\~ao da \'arvore geradora m\'inima propomos 
uma medida de dist\'ancia baseada na fun\c{c}\~ao de densidade 
da vari\'avel aleat\'oria, uma medida de plausibilidade. 
No passo de remo\c{c}\~ao de arestas, propomos o uso da 
verossimilhan\c{c}a como medida de homogeneidade dos grupos. 
Ambas as propostas fazem poss\'ivel a extens\~ao da metodologia 
para v\'arias dire\c{c}\~oes. 
Agora n\'os podemos considerar dados de contagem, 
por exemplo, considerando a distribui\c{c}\~ao de 
Poisson na medida de plausibilidade. 
Tamb\'em podemos testar a cada passo da remo\c{c}\~ao de 
arestas, a signific\^ancia da divis\~ao de um grupo. 

\subsection{Dist\^ancia baseada em distribuição de probabilidade}

Nós consideramos que $Y$ é uma variável 
aleatória com densidade de probabilidade ou 
função de probabilidade $p(y/\theta,\phi)$ qualquer, 
com $\int_{-\infty}^{\infty}p(y/\theta,\phi)dy=1$, 
onde $\theta$ é o parâmetro de locação e $\phi$ é 
o parâmetro de dispersão. 
Valores pr\'oximos de $y$ tem valores parecidos de 
$p(y/\theta,\phi)$ e valores de $y$ muito distintos 
tem também valores distintos de $p(y/\theta,\phi)$, 
com $\theta$ fixo e igual para todo $y$. 

Agora, vamos considerar a situação em que $\theta$ 
n\~ao \'e igual para todo $y$. Nesta situa\c{c}\~ao, 
podemos ter variáveis preditoras $X$ e $\theta=g(X)$. 
Logo a densidade de $y$ passa a ser $p(y/X,\theta,\phi)$. 
Mesmo que $X$ seja apenas um offset, um preditor 
com associa\c{c}\~ao conhecida, $\theta$ pode variar 
para diferentes valores de $y$. 
Nosso interesse é utilizar $p(y/X,\theta,\phi)$ para 
medir distância entre duas observações $y_i$ e $y_j$. 
Mas, para algumas distribuições de probabilidade, 
tais como Bernoulli e Poisson, a vari\^ancia de $y$ 
depende de $\theta$, ou seja, depende de $X$. 
Portanto, não podemos usar apenas $p(y/X,\theta,\phi)$ 
para comparar diferentes valores de $y$ quando 
temos tais distribuições de probabilidade, precisamos 
de uma padronização de $p(y/X,\theta,\phi)$. 

Na infer\^encia estat\'istica, com $X$ e $y$ conhecidos 
e fixados, a compara\c{c}\~ao de diferentes valores de 
$\theta$ e $\phi$ é feita via função de verossimilhança, 
$L(\theta,\phi/y,X)=p(y/X,\theta,phi) \in [0,+\infty)$. 
Mas a verossimilhan\c{c}a calculada em diferentes 
conjuntos de dados, $L(\theta,\phi/y,X)$ e 
$L\theta,\phi/y',X')$, n\~ao s\~ao compar\'aveis. 
Nesse contexto, uma função que poderia ser utilizada 
é a função de plausibilidade, proposta 
por~\citeasnoun{shafer:76}, que é uma função 
derivada da função de verossimilhança,  .
Derivando-a de $L(\theta,\phi/X,y)$, temos que 
\begin{equation}
pl_{\theta,\phi}(\theta,\phi/X,y) = 
\frac{L(\theta,\phi/X,y)}
{max_{\theta',\phi'}[L(\theta',\phi'/X,y)]}\;,
\end{equation}\label{pltheta}
com $pl_{\theta,\phi}(\theta,\phi/X,y) \in [0,1]$, 
$\forall y$, $\forall X$, $\forall \theta$, $\forall \phi$. 

Usando a mesma idéia, nós vamos definir uma medida 
de plausibilidade para $y$ fazendo 
\begin{equation}
pl_y(y/X,\theta,\phi) = \frac{p(y/X,\theta,\phi)}
{max_{y' \in \Re}[p(y/X,\theta,\phi]}\;,
\end{equation}\label{ply}
com $pl_y(y/X,\theta) \in [0,1]$, $\forall y$, 
$\forall X$, $\forall \theta$ e $\forall \phi$. 
Aqui nós avaliamos $p(y/X,\theta,\phi)$ considerando 
$y\in \Re$ para encontrar $max_{y' \in \Re}[p(y/X,\theta,\phi]$, 
embora $y$ possa ser uma variável aleatória estritamente 
positiva ou discreta. 
Nós vamos tratar de casos particulares e mostrar 
que em alguns casos precisamos considerar $y\in \Re$ 
para encontrar $max_{y}p(y/X,\theta)$ mesmo quando 
$y$ não é avaliado em todo o domínio de $\Re$. 

Agora, vamos definir uma medida de distância entre 
duas observações baseada em $p(y/X,\theta,\phi)$. 
Seja $y_i$ e $y_j$ duas observações da variável 
aleatória $Y$ e seja $p(y/X,\theta,\phi)$ sua 
função de densidade ou função de probabilidade. 
Se $Var(y)$ é independente de $\theta$, então 
\begin{equation}
d_{ij} = log\{[p(y_i/X_i,\theta,\phi)
p(y_j/X_j,\theta,\phi)]^{-1}\}\;.
\end{equation}
Se $Var(y)$ depende de $\theta$, então 
\begin{equation}
d_{ij} = log\{[pl_y(y_i/X_i,\theta,\phi)
pl_y(y_j/X_j,\theta,\phi)]^{-1}\}\;.
\end{equation}
A seguir, nós estudaremos $d(i,j)$ para 
alguns casos particulares de $p(y/X,\theta,\phi)$
e sobre a estimação de $\theta$ e $\phi$. 

\subsubsection{Caso Gaussiano}

Nesta seção vamos considerar que $y$ tem distribuição 
Normal e que não temos covariáveis $X$. Primeiro, 
vamos considerar o caso em que temos grupos com médias 
diferentes. Consideramos que temos uma variável 
aleatória $y$ com $y_i \sim N(\mu_i, \sigma^2)$, 
ou seja, a variância é constante mas a média não o é. 
Temos então que 
$$p(y_i/\mu_i,\sigma^2) = (2\pi\sigma^2)^{1/2}
exp\{-\frac{(y_i-\mu_i)^2}{2\sigma^2}\}$$ 
e 
$$d(i,j) = log(2\pi\sigma^2) + \frac{1}{2\sigma^2}
[(y_i-\mu_i)^2 + (y_j-\mu_j)^2]\;.$$
Vamos estimar $\mu_i$ e $\mu_j$ por $(y_i+y_j)/2$. 
Neste caso, 
$$d(i,j) = log(2\pi) + (y_i-y_j)^2$$ é proporcional
à distância euclidiana entre $y_i$ e $y_j$. 

Agora vamos considerar que a média e a variância não 
são iguais para todos os grupos. 
Neste caso, consideramos que
$y_i \sim N(\mu_i, \sigma^2_i)$. Então 
$$p(y_i/\mu_i,\sigma^2_i) = (2\pi\sigma^2_i)^{1/2}
exp\{-\frac{(\mu_i\beta)^2}{2\sigma^2_i}\}$$ 
e 
$$d(i,j) = log(2\pi\sigma^2_i) + \frac{1}{2\sigma^2_i}
[(y_i-\mu_i)^2 + (y_j-\mu_j)^2]\;.$$
Agora, vamos estimar $\mu_i$ e $\mu_j$ por 
$\hat{y}_{ij}=(y_i+y_j)/2$ e $\sigma_i^2$ e $\sigma_j^2$ por 
$\hat{\sigma}_{ij}^2=(y_i-\hat{y}_{ij})^2 + (y_j-\hat{y}_{ij})^2$. 
Obtemos que e $\hat{\sigma}_{ij}^2 = (y_i-y_j)^2/2$ e que
$$d(i,j) = log(\pi(y_i-y_j)^2)$$, que é 
proporcional à distância euclidiana entre $y_i$ e $y_j$. 

Outra situação menos frequente é quando temos a situação 
onde a média é igual para todas as observações mas a 
variância é diferente entre os grupos. 
Neste caso, consideramos que $\mu=0$ e temos 
$y_i \sim N(0, \sigma^2_i)$. Então 
$$p(y_i/\sigma^2_i) = (2\pi\sigma^2_i)^{1/2}
exp\{-\frac{(y_i)^2}{2\sigma^2_i}\}$$ 
e 
$$d(i,j) = \frac{1}{2}[log(2\pi\sigma^2_i) + 
log(2\pi\sigma^2_j)] + \frac{y_i^2}{2\sigma^2_i} + 
\frac{y_j^2}{2\sigma^2_j} $$
Agora, vamos estimar $\sigma_i^2$ e $\sigma_j^2$ por 
$\hat{\sigma}_{ij}^2=(y_i^2 + y_j^2)/2$. 
Obtemos que 
$$d(i,j) = log(\pi(y_i-y_j)^2)+1\;,$$ que é 
proporcional à distância euclidiana de 
$y_i$ e $y_j$ até a média de $y$. 

\subsubsection{Caso Poisson}

Se $y$ tem distribuição de Poisson, a média e a variância 
de $y$ são iguais e são medidas por um único parâmetro, 
sendo um parâmetro tanto de locação quanto de escala. 
Neste caso, na análise de cluster nós temos grupos com 
média e variância diferentes. Portanto, para medir a 
distância entre $y_i$ e $y_j$ precisamos utilizar $pl_y$, 
pois se $y_i$ e $y_j$ pertencem a grupos diferentes, 
não podemos comparar essa distância com a distância entre 
$y_i$ e $y_k$ se $k$ percente a um grupo diferente de $j$. 

Outra situação é quando temos $y_i$ e $y_j$ no mesmo grupo, 
portanto taxa de ocorrências igual, mas $i$ tem população 
(ou tempo, tamanho, etc.) diferente de $j$. Por exemplo, 
$y_i$ é o número de casos de uma doença na área $i$ e 
$y_j$ é o número de casos da mesma doença na área $j$. 
$y_i$ pode ser muito diferente que $y_j$ apenas porque a 
população sob risco nessas áreas é muito diferente, 
mesmo que a taxa de ocorrências de ambas seja igual. 
Neste caso, a população, ou o número esperado de casos, 
é um termo que afeta o número de ocorrências de forma 
deterministica conhecida, sendo chamado de offset. 

Em ambas as situações com $y_i$ diferente de $y_j$, 
por serem de grupos diferentes ou por terem populações 
diferentes, nós precisamos considerar uma medida 
padronizada de distância. Neste caso, sugerimos $pl_y$. 
Nós vamos considerar que $e_i$ é o número esperado de 
casos em $i$, podendo ser uma constante ou ser calculado 
em função de sua população (ou tempo, tamanho, etc.) e 
que $\lambda_i=\theta_i\times e_i$, fazendo 
$y_i \sim Poisson(\lambda_i)$, ou seja, 
$$p(y_i/\theta_i,e_i)=p(y_i/\lambda_i)=\lambda_i^{y_i}
e^{-\lambda_i}/\prod{y_i}\;.$$

Agora, vamos obter $max_{y'}\{p(y'/\lambda_i)\}$ e fazer 
a padronização de $p(y_i/\lambda_i)$, obtendo $pl_y$. 
Então precisamos encontrar 
$$ max_{y'}\{\lambda_i^{y'}e^{-\lambda_i}/(y^{'}!)\}\;.$$
Derivando em relação a $y'$ e igualando a zero não 
obtemos uma expressão fechada. Mas podemos ver na 
figura~\ref{fig:dpois} que o máximo é zero se 
$\lambda_i < 0.5$ e se aproxima de $\lambda_i-0.5$ 
se $\lambda_i$ cresce. 

\begin{figure}[!htp]
\centering
\includegraphics[width=0.95\textwidth]{figs/maximoypoisson}
\caption{Nos 7 primeiros gráficos (três superiores, três 
ao meio e um abaixo), temos a densidade da função de 
probabilidade de Poisson para alguns valores de $\lambda$. 
A linha contínua vertical corresponde ao $\lambda-0.5$ e a 
linha tracejada está no valor que tem a maior probabilidade. 
Os dois últimos gráficos mostram a diferença entre 
$\lambda$ e o valor que maximiza a função de probabilidade 
de Poisson, para valores pequenos de $\lambda$ (gráfico na 
coluna central) e para valores grandes de $\lambda$ 
(gráfico na coluna à direita).}
\label{fig:dpois}       % Give a unique label
\end{figure}

\subsection{Homogeneidade baseada em verossimilhança}

Agora, nós definimos uma medida de homogeneidade para 
os grupos baseada na verossimilhança. 
Vamos considerar o caso em que temos uma 
função de probabilidade $p(y/\theta,\phi)$ qualquer. 
Nós definimos  
$$H_i=-\sum_{j}log(p(y_j/\hat{\theta}_i,\hat{\phi}_i))$$
a homogeneidade do grupo $i$, com $j$ os elementos do 
grupo $i$, $\hat{\theta}_i$ a estimativa de $\theta$ 
com as observações do grupo $i$ e $\hat{\phi}_i$ 
a estimativa de $\phi$ com as observações do grupo $i$.
Neste caso, temos que 
$$\sum_{i=1}^k H_i$$ 
é a o negativo do logaritmo da verossimilhança 
considerando $k$ grupos. 

Com essa definição, podemos definir 
$$D_k = H_k - H_{k-1}$$ 
a razão de verossimilhança. 
Sob hipótese de que não é necessário $k$ grupos, 
mas apenas $k-1$ grupos, $D_k$ tem distribuição 
assintótica $\chi^2_p$, onde $p$ é o número de 
parâmetros de $p(y/\theta,\phi)$.  
Esse fato pode ser utilizado como um critério de 
parada da divisão sucessiva de grupos no 
passo 2 do procedimento SKATER. 
