Distancia de Fermat · Parte 2 de 14

Clasificar estimando densidades

Vocabulario y notación (para consultar cuando haga falta)

A lo largo de esta monografía tomaremos como referencia enciclopédica el excelente Elements of Statistical Learning [1]. En la medida de lo posible, basaremos nuestra notación en la suya.

Denotaremos a las variables independientes1 con . Si es un vector, accederemos a sus componentes con subíndices, . En el contexto del problema de clasificación, la variable cualitativa dependiente2 será (de «G»rupo). Usaremos letras mayúsculas como para referirnos a los aspectos genéricos de una variable. Los valores observados se escribirán en minúscula, de manera que el -ésimo valor observado de será (de nuevo, puede ser un escalar o un vector).

Representaremos a las matrices con letras mayúsculas en negrita, p. ej., el conjunto de vectores -dimensionales será representado por la matriz de dimensión .

En general, los vectores no estarán en negrita, excepto cuando tengan componentes; esta convención distingue el -vector de inputs para la -ésima observación, , del -vector con todas las observaciones de la variable . Como todos los vectores se asumen vectores columna, la -ésima fila de es , la traspuesta de la -ésima observación . El elemento de la -ésima fila y -ésima columna de la matriz se notará .

A continuación, algunos símbolos y operadores utilizados en el texto:

el conjunto de los enteros positivos del hasta ,
la función esperanza3
función de probabilidad3
la función indicadora,
los números reales; denotará los reales estrictamente positivos
el espacio euclídeo de dimensión
la ventana () en un estimador de densidad por núcleos en
función núcleo ; también, el número de clases del problema de clasificación (el contexto desambigua)
independientes e idénticamente distribuidos4
ídem , para estimadores en ()
el núcleo reescalado por la ventana o por la matriz
una variedad arbitraria5
el espacio tangente a en el punto
producto interno entre (la métrica riemanniana de en )
norma euclídea de un vector de
el mapa exponencial alrededor de
la clausura del conjunto (la unión de y sus puntos límite); ocasionalmente, también el segmento entre dos puntos
distancia riemanniana (geodésica) entre
una muestra de elementos -dimensionales ()
distancia macroscópica de Fermat entre e inducida por la densidad con parámetro
distancia muestral de Fermat entre e a través del conjunto con parámetro

El problema de clasificación

Definición y vocabulario6

El aprendizaje estadístico supervisado busca estimar (aprender) una variable respuesta a partir de cierta(s) variable(s) predictora(s). Cuando la respuesta es una variable cualitativa, el problema de asignar cada observación a una clase se denomina de clasificación. En general, reemplazaremos los nombres o «etiquetas» de clases por los enteros correspondientes, . En esta definición del problema las clases son

Definición (clasificador). Un clasificador es una función que para cada observación intenta aproximar su verdadera clase por 7.

Para construir , contaremos con una muestra o conjunto de entrenamiento , de pares conocidos. Para discernir cuán bien se «ajusta» un clasificador a los datos, la teoría requiere de una «función de pérdida» 8. Será de especial interés la función de clasificación que minimiza el «error de predicción esperado» 9:

(1)

donde la esperanza es respecto de la distribución conjunta . Por la ley de la esperanza total, podemos condicionar a 10 y expresar el EPE como

(2)

Y basta con minimizar punto a punto para obtener una expresión computable de :

(3)

Con la pérdida 0-111, la expresión se simplifica a

(4)

Esta razonable solución se conoce como el clasificador de Bayes, y sugiere que clasifiquemos a cada observación según la clase modal12 condicional a su distribución conjunta . Su error esperado de predicción se conoce como la tasa de Bayes. Un aproximador directo de este resultado es el clasificador de « vecinos más cercanos»13.

Definición (clasificador de k-vecinos-más-cercanos). Sean los 14 vecinos más cercanos a , y sus respectivas clases. El clasificador de k-vecinos-más-cercanos — que notaremos KN — le asignará a la clase más frecuente entre . Más formalmente:

(5)

Clasificador de Bayes empírico

La regla de Bayes,

(6)

nos sugiere una reescritura de que facilita su estimación:

(7)

donde el segundo vale siempre que — y dado que observamos , el supuesto es razonable.

A las probabilidades «incondicionales» de clase se las suele llamar su «distribución a priori», y notarlas por . Una aproximación razonable, si es que el conjunto de entrenamiento se obtuvo por muestreo aleatorio simple, es estimarlas a partir de las proporciones muestrales:

(8)

Resta hallar una aproximación a las probabilidades condicionales para cada clase.

Estimación de densidad por núcleos

Tal vez la metodología más estudiada a tales fines es la estimación de densidad por núcleos, reseñada en [1, §6.6]. En el caso unidimensional, al estimador resultante se lo conoce por el nombre de Parzen-Rosenblatt, por sus contribuciones fundacionales en el área [2], [3].

Estimación unidimensional

Para fijar ideas, asumamos que y consideremos la estimación de densidad en una única clase para la que contamos con ejemplos . Una aproximación directa sería

(9)

donde es un vecindario métrico de de diámetro .

Esta estimación es irregular, con saltos discretos en el numerador, por lo que se prefiere el estimador «suavizado por núcleos» de Parzen-Rosenblatt. Pero primero: ¿qué es un núcleo?

Definición (función núcleo o kernel).

Se dice que es una función núcleo si cumple que

  1. toma valores reales no negativos: ,
  2. está «normalizada»: ,
  3. es simétrica en torno al cero: y
  4. alcanza su máximo en el centro: .

Observación. Todas las funciones de densidad simétricas y unimodales centradas en 0 son núcleos; en particular, la densidad «normal estándar»

(10)

lo es.
Observación. Si es un núcleo, entonces también lo es.

Definición (estimador de densidad por núcleos).

Sea una muestra i.i.d. de cierta variable aleatoria escalar con función de densidad . Su estimador de densidad por núcleos, KDE15 o estimador de Parzen-Rosenblatt es

(11)

donde es un núcleo según la definición de función núcleo. Al parámetro se lo conoce como «ventana» de suavizado o smoothing.

Observación. La densidad de la distribución uniforme centrada en 0 de diámetro 1, es un núcleo. Luego,

(12)

también es un núcleo válido, y por ende el estimador de Ecuación 9 resulta estrechamente emparentado al estimador de Parzen-Rosenblatt:

(13)

con la diferencia de que el estimador de Ecuación 9 fija el diámetro del vecindario a considerar, y el de k-vecinos-más-cercanos fija la cantidad de vecinos a tener en cuenta16.

Clasificador de densidad por núcleos

Si son estimadores de densidad por núcleos de cada una de las densidades condicionales según la definición de KDE, podemos construir el siguiente clasificador plug-in:

Definición (clasificador de densidad por núcleos). Sean estimadores de densidad por núcleos según la definición de KDE. Sean además las estimaciones de la probabilidad incondicional de pertenecer a cada grupo . Luego, la siguiente regla constituye un clasificador de densidad por núcleos que notaremos KDC:

(14)

Clasificadores duros y suaves

Un clasificador que asigna cada observación a una clase (la más probable) se suele llamar clasificador duro. Un clasificador que asigna a cada observación una distribución de probabilidades de clase 17 se suele llamar clasificador blando. Dado un clasificador blando , es trivial construir el clasificador duro asociado :

(15)

Observación. El clasificador de densidad por núcleos es la versión dura de un clasificador blando donde

(16)

Observación. Ciertos clasificadores solo pueden ser duros, como (el clasificador de k-vecinos-más-cercanos con ), o aquellos derivados de algoritmos que clasifican sin estimar probabilidades condicionales, como los basados en SVM18.

Dos clasificadores blandos pueden tener la misma pérdida 0-1, pero «pintar» dos panoramas muy distintos respecto a cuán «seguros» están de cierta clasificación. Por caso, sea y arbitrariamente pequeño:

(17)

está «casi seguro» de que la clase correcta es , mientras que otorga casi las mismas probabilidades a todas las clases. Para el entrenamiento y análisis de clasificadores blandos como el de densidad por núcleos, será relevante encontrar funciones de pérdida que recompensen la confianza de un clasificador cuando esta esté justificada19.

Referencias

  • [1] T. Hastie, R. Tibshirani, y J. Friedman, Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer London, Limited, 2009.
  • [2] E. Parzen, «On Estimation of a Probability Density Function and Mode», The annals of mathematical statistics, vol. 33, n.º 3, pp. 1065-1076, 1962.
  • [3] M. Rosenblatt, «Remarks on Some Nonparametric Estimates of a Density Function», The Annals of Mathematical Statistics, vol. 27, n.º 3, pp. 832-837, 1956.
  • [4] C. Cortes y V. Vapnik, «Support-Vector Networks», Machine Learning, vol. 20, n.º 3, pp. 273-297, sep. 1995, doi: 10.1007/BF00994018.
  1. 1También conocidas como predictoras, o inputs.
  2. 2También conocida como variable respuesta u output.
  3. 3En general no hará falta definir el espacio muestral ni la -álgebra correspondientes; de hacer falta se indicarán con subíndices.
  4. 4Típicamente, los elementos aleatorios de son .
  5. 5Típicamente riemanniana, compacta y sin frontera; oportunamente definiremos estos calificativos.
  6. 6Adaptado de [1, §2.4, «Statistical Decision Theory»].
  7. 7Pronunciado «ge sombrero».
  8. 8Loss function en inglés. A veces también «función de riesgo» — risk function.
  9. 9Del inglés expected prediction error.
  10. 10Aquí «condicionar» implica factorizar la densidad conjunta donde , y repartir la integral bivariada de manera acorde.
  11. 11Es decir, la función indicadora de un error de predicción, .
  12. 12Es decir, la de mayor probabilidad.
  13. 13Del inglés k-nearest neighbors.
  14. 14Que no guarda relación alguna con la cantidad del problema de clasificación.
  15. 15De Kernel Density Estimator, por sus siglas en inglés.
  16. 16Al primero se lo conoce como -nearest neighbors (-NN) con denotando el radio del vecindario; el segundo es el ya descrito -NN.
  17. 17 aproximará con .
  18. 18Del inglés support vector machines, «máquinas de vectores de soporte» [4].
  19. 19Y lo penalicen cuando no — es decir, cuando la confianza está puesta en la clase errada. Más al respecto, más adelante.