Distancia de Fermat · Parte 2 de 14
Clasificar estimando densidades
Vocabulario y notación (para consultar cuando haga falta)
A lo largo de esta monografía tomaremos como referencia enciclopédica el excelente Elements of Statistical Learning [1]. En la medida de lo posible, basaremos nuestra notación en la suya.
Denotaremos a las variables independientes1 con . Si es un vector, accederemos a sus componentes con subíndices, . En el contexto del problema de clasificación, la variable cualitativa dependiente2 será (de «G»rupo). Usaremos letras mayúsculas como para referirnos a los aspectos genéricos de una variable. Los valores observados se escribirán en minúscula, de manera que el -ésimo valor observado de será (de nuevo, puede ser un escalar o un vector).
Representaremos a las matrices con letras mayúsculas en negrita, p. ej., el conjunto de vectores -dimensionales será representado por la matriz de dimensión .
En general, los vectores no estarán en negrita, excepto cuando tengan componentes; esta convención distingue el -vector de inputs para la -ésima observación, , del -vector con todas las observaciones de la variable . Como todos los vectores se asumen vectores columna, la -ésima fila de es , la traspuesta de la -ésima observación . El elemento de la -ésima fila y -ésima columna de la matriz se notará .
A continuación, algunos símbolos y operadores utilizados en el texto:
- el conjunto de los enteros positivos del hasta ,
- la función esperanza3
- función de probabilidad3
- la función indicadora,
- los números reales; denotará los reales estrictamente positivos
- el espacio euclídeo de dimensión
- la ventana () en un estimador de densidad por núcleos en
- función núcleo ; también, el número de clases del problema de clasificación (el contexto desambigua)
- independientes e idénticamente distribuidos4
- ídem , para estimadores en ()
- el núcleo reescalado por la ventana o por la matriz
- una variedad arbitraria5
- el espacio tangente a en el punto
- producto interno entre (la métrica riemanniana de en )
- norma euclídea de un vector de
- el mapa exponencial alrededor de
- la clausura del conjunto (la unión de y sus puntos límite); ocasionalmente, también el segmento entre dos puntos
- distancia riemanniana (geodésica) entre
- una muestra de elementos -dimensionales ()
- distancia macroscópica de Fermat entre e inducida por la densidad con parámetro
- distancia muestral de Fermat entre e a través del conjunto con parámetro
El problema de clasificación
Definición y vocabulario6
El aprendizaje estadístico supervisado busca estimar (aprender) una variable respuesta a partir de cierta(s) variable(s) predictora(s). Cuando la respuesta es una variable cualitativa, el problema de asignar cada observación a una clase se denomina de clasificación. En general, reemplazaremos los nombres o «etiquetas» de clases por los enteros correspondientes, . En esta definición del problema las clases son
- mutuamente excluyentes: cada observación está asociada a lo sumo a una clase
- conjuntamente exhaustivas: cada observación está asociada al menos a una clase.
Para construir , contaremos con una muestra o conjunto de entrenamiento , de pares conocidos. Para discernir cuán bien se «ajusta» un clasificador a los datos, la teoría requiere de una «función de pérdida» 8. Será de especial interés la función de clasificación que minimiza el «error de predicción esperado» 9:
(1)
donde la esperanza es respecto de la distribución conjunta . Por la ley de la esperanza total, podemos condicionar a 10 y expresar el EPE como
(2)
Y basta con minimizar punto a punto para obtener una expresión computable de :
(3)
Con la pérdida 0-111, la expresión se simplifica a
(4)
Esta razonable solución se conoce como el clasificador de Bayes, y sugiere que clasifiquemos a cada observación según la clase modal12 condicional a su distribución conjunta . Su error esperado de predicción se conoce como la tasa de Bayes. Un aproximador directo de este resultado es el clasificador de « vecinos más cercanos»13.
Definición (clasificador de k-vecinos-más-cercanos). Sean los 14 vecinos más cercanos a , y sus respectivas clases. El clasificador de k-vecinos-más-cercanos — que notaremos KN — le asignará a la clase más frecuente entre . Más formalmente:
(5)
Clasificador de Bayes empírico
La regla de Bayes,
(6)
nos sugiere una reescritura de que facilita su estimación:
(7)
donde el segundo vale siempre que — y dado que observamos , el supuesto es razonable.
A las probabilidades «incondicionales» de clase se las suele llamar su «distribución a priori», y notarlas por . Una aproximación razonable, si es que el conjunto de entrenamiento se obtuvo por muestreo aleatorio simple, es estimarlas a partir de las proporciones muestrales:
(8)
Resta hallar una aproximación a las probabilidades condicionales para cada clase.
Estimación de densidad por núcleos
Tal vez la metodología más estudiada a tales fines es la estimación de densidad por núcleos, reseñada en [1, §6.6]. En el caso unidimensional, al estimador resultante se lo conoce por el nombre de Parzen-Rosenblatt, por sus contribuciones fundacionales en el área [2], [3].
Estimación unidimensional
Para fijar ideas, asumamos que y consideremos la estimación de densidad en una única clase para la que contamos con ejemplos . Una aproximación directa sería
(9)
donde es un vecindario métrico de de diámetro .
Esta estimación es irregular, con saltos discretos en el numerador, por lo que se prefiere el estimador «suavizado por núcleos» de Parzen-Rosenblatt. Pero primero: ¿qué es un núcleo?
Definición (función núcleo o kernel).
Se dice que es una función núcleo si cumple que
- toma valores reales no negativos: ,
- está «normalizada»: ,
- es simétrica en torno al cero: y
- alcanza su máximo en el centro: .
Observación. Todas las funciones de densidad simétricas y unimodales centradas en 0 son núcleos; en particular, la densidad «normal estándar»
(10)
Definición (estimador de densidad por núcleos).
Sea una muestra i.i.d. de cierta variable aleatoria escalar con función de densidad . Su estimador de densidad por núcleos, KDE15 o estimador de Parzen-Rosenblatt es
(11)
donde es un núcleo según la definición de función núcleo. Al parámetro se lo conoce como «ventana» de suavizado o smoothing.
Observación. La densidad de la distribución uniforme centrada en 0 de diámetro 1, es un núcleo. Luego,
(12)
también es un núcleo válido, y por ende el estimador de Ecuación 9 resulta estrechamente emparentado al estimador de Parzen-Rosenblatt:
(13)
Clasificador de densidad por núcleos
Si son estimadores de densidad por núcleos de cada una de las densidades condicionales según la definición de KDE, podemos construir el siguiente clasificador plug-in:
Definición (clasificador de densidad por núcleos). Sean estimadores de densidad por núcleos según la definición de KDE. Sean además las estimaciones de la probabilidad incondicional de pertenecer a cada grupo . Luego, la siguiente regla constituye un clasificador de densidad por núcleos que notaremos KDC:
(14)
Clasificadores duros y suaves
Un clasificador que asigna cada observación a una clase (la más probable) se suele llamar clasificador duro. Un clasificador que asigna a cada observación una distribución de probabilidades de clase 17 se suele llamar clasificador blando. Dado un clasificador blando , es trivial construir el clasificador duro asociado :
(15)
Observación. El clasificador de densidad por núcleos es la versión dura de un clasificador blando donde
(16)
Dos clasificadores blandos pueden tener la misma pérdida 0-1, pero «pintar» dos panoramas muy distintos respecto a cuán «seguros» están de cierta clasificación. Por caso, sea y arbitrariamente pequeño:
(17)
está «casi seguro» de que la clase correcta es , mientras que otorga casi las mismas probabilidades a todas las clases. Para el entrenamiento y análisis de clasificadores blandos como el de densidad por núcleos, será relevante encontrar funciones de pérdida que recompensen la confianza de un clasificador cuando esta esté justificada19.
Referencias
- [1] T. Hastie, R. Tibshirani, y J. Friedman, Elements of Statistical Learning Data Mining, Inference, and Prediction. Springer London, Limited, 2009.
- [2] E. Parzen, «On Estimation of a Probability Density Function and Mode», The annals of mathematical statistics, vol. 33, n.º 3, pp. 1065-1076, 1962.
- [3] M. Rosenblatt, «Remarks on Some Nonparametric Estimates of a Density Function», The Annals of Mathematical Statistics, vol. 27, n.º 3, pp. 832-837, 1956.
- [4] C. Cortes y V. Vapnik, «Support-Vector Networks», Machine Learning, vol. 20, n.º 3, pp. 273-297, sep. 1995, doi: 10.1007/BF00994018.