sobre medir robustez com a construção de PDFs

[akol67]

No SOM ocorre uma busca por regioes de alta densidade de dados. Se os dados no espaço de atributos fossem uniformemente distribuídos os neuronios simplesmente iriam vagar por caminhos aleatórios. Felizmente e estatiscamente o numero de agrupamentos é limitado. Apos o treinamento o neurônio encontra-se perto de um centroide. Estes neuronios sao chamados vencedores e, coletivamente, são conhecidos como o conjunto de neurônios vencedores.

No final do treinamento um agrupamento natural é definido pelas amostras no conjunto de neuronios vencedores. Deste conjunto nós podemos calcular uma PDF do neurônio vencedor para distâncias de amostras dos dados. Por exemplo, a distancia media dos conjuntos de neuronios para amostras de dados. Para isso, é necessário conhecer a frequencia de ocorrencia de amostras em cada neuronio vencedor. Esta PDF poderá ser usada como indicador de robustez de agrupamentos naturais, que pode ser medida para um unico agrupamento como para todos os agrupamentos. PDFs podem ser formadas em atributos individuais em todos os neurônios vencedores e medir a robustez de cada atributo.

SOM é estatistico. O que fazer com neuronios orfaos, que nao capturaram nada ou com aqueles com correspondencia um-a-um (um agrupamento natural com um unico neuronio) ainda nao sabemos...

---

Para construir o PDF a partir de um agrupamento natural, pode-se seguir estes passos:

1. Calcular a Frequência de Ocorrência: Primeiro, você deve calcular a frequência com que os dados de entrada são atribuídos a cada neurônio no mapa. Isso dará uma estimativa da probabilidade de cada região do espaço de entrada.

2. Suavização do PDF: Devido à natureza discreta do mapa SOM, o PDF resultante também será discreto. Para obter uma função de densidade de probabilidade suave, você pode aplicar técnicas de suavização, como a utilização de uma função Gaussiana ou Kernel.

3. Cálculo do PDF: Com as frequências de ocorrência e a função de suavização, você pode calcular o PDF da seguinte maneira:

import numpy as np
from scipy.spatial.distance import cdist

Suponha que 'neuronios' seja uma matriz contendo as coordenadas dos neurônios no mapa SOM

e 'frequencias' seja um vetor contendo as frequências de ocorrência de cada neurônio

def pdf(x, neuronios, frequencias):
distancias = cdist([x], neuronios)
kernel = np.exp(-distancias2 / (2 * sigma2))
return np.dot(kernel, frequencias) / np.sum(frequencias)
Nesse exemplo,sigma` é um parâmetro que controla o nível de suavização do PDF.
O PDF resultante fornecerá uma estimativa da distribuição de probabilidade dos dados de entrada, com base no agrupamento formado pelos neurônios do SOM.