Outline Introduccio´n Evaluacio´nde Evaluacio´n, validacio´n y sobre-ajuste clasificadores Comparacio´n de clasificadores Seleccio´nde Eduardo Morales, Hugo Jair Escalante modelo Errorde generalizacio´n Coordinacio´ndeCienciasComputacionales Estrategiasde InstitutoNacionaldeAstrof´ısica,O´pticayElectro´nica evaluacio´n Dilemasesgo- Agosto, 2015 varianza (INAOE) Agosto,2015 1/101 Outline 1 Introduccio´n Outline Introduccio´n 2 Evaluacio´n de clasificadores Evaluacio´nde clasificadores Comparacio´n de 3 Comparacio´n de clasificadores clasificadores Seleccio´nde modelo 4 Seleccio´n de modelo Errorde generalizacio´n 5 Error de generalizacio´n Estrategiasde evaluacio´n Dilemasesgo- varianza 6 Estrategias de evaluacio´n 7 Dilema sesgo-varianza (INAOE) Agosto,2015 2/101 Introduccio´n Introduccio´n Outline Introduccio´n Evaluacio´nde clasificadores Evaluacio´n de me´todos de aprendizaje Comparacio´n • Al desarrollar/implementar un clasificador como parte de clasificadores de algu´n sistema de toma de decisiones, es cr´tico Seleccio´nde evaluar su desempen˜o. modelo Errorde • La evaluacio´n nos dara´ evidencia necesaria para generalizacio´n anticipar el correcto funcionamiento del sistema. Estrategiasde evaluacio´n • Una evaluacio´n sistema´tica es imprescindible para Dilemasesgo- varianza publicar resultados y avanzar el estado del arte. (INAOE) Agosto,2015 3/101 Introduccio´n Introduccio´n Outline Introduccio´n Evaluacio´nde clasificadores Evaluacio´n de me´todos de aprendizaje Comparacio´n • Diferentes me´todos hacen diferentes suposiciones, de clasificadores tienen sesgos y caracter´ısticas. Seleccio´nde modelo • Con tantas variantes de algoritmos de aprendizaje es Errorde cr´ıtico evaluar objetivamente su desempen˜o. generalizacio´n Estrategiasde • Tal evaluacio´n tambie´n es imprescindible para evaluacio´n seleccionar el mejor modelo (optimizacio´n de Dilemasesgo- varianza para´metros). (INAOE) Agosto,2015 4/101 Introduccio´n Introduccio´n Outline Introduccio´n Evaluacio´nde clasificadores Comparacio´n de Lo que veremos en esta sesio´n. clasificadores Seleccio´nde • Evaluacio´n y comparacio´n del desempen˜o de modelo claificadores. Errorde generalizacio´n • Seleccio´n de para´metros y clasificadores, sobre-ajuste. Estrategiasde evaluacio´n Dilemasesgo- varianza (INAOE) Agosto,2015 5/101 Evaluacio´ndeclasificadores Outline Introduccio´n Evaluacio´n de me´todos de aprendizaje Evaluacio´nde • ¿Co´mo evaluar el desempen˜o de un clasificador en una clasificadores tarea dada?. Comparacio´n de • Siguiendounametodolog´ıaadecuada. clasificadores Seleccio´nde • ¿Co´mo escoger el mejor me´todo para un problema modelo dado?: Errorde generalizacio´n • Usandoconocimientodeldominio. • Usandoconocimientodelaprendizajecomputacional. Estrategiasde evaluacio´n • Me´todosinformados. Dilemasesgo- • Me´todosagno´sticos. varianza (INAOE) Agosto,2015 6/101 Evaluacio´ndeclasificadores Outline Introduccio´n Evaluacio´n de me´todos de aprendizaje Evaluacio´nde • ¿Co´mo evaluar el desempen˜o de un clasificador en una clasificadores tarea dada?. Comparacio´n de • Siguiendounametodolog´ıaadecuada. clasificadores Seleccio´nde • ¿Co´mo escoger el mejor me´todo para un problema modelo dado?: Errorde generalizacio´n • Usandoconocimientodeldominio. • Usandoconocimientodelaprendizajecomputacional. Estrategiasde evaluacio´n • Me´todosinformados. Dilemasesgo- • Me´todosagno´sticos. varianza (INAOE) Agosto,2015 7/101 Evaluacio´ndeclasificadores Co´mo evaluar el desempen˜o de un clasificador Outline Introduccio´n Evaluacio´nde clasificadores Comparacio´n • ¿Que´ evaluar? de clasificadores • ¿Co´mo realizar esta evaluacio´n? Seleccio´nde modelo • ¿Que´ informacio´n se requiere? Errorde generalizacio´n • ¿Co´mo saber cua´l es el mejor clasificador para una Estrategiasde tarea dada? evaluacio´n Dilemasesgo- • ¿Que´ aspectos son importantes para realizar una varianza validacio´n justa? (INAOE) Agosto,2015 8/101 Evaluacio´ndeclasificadores Co´mo evaluar el desempen˜o de un clasificador Outline Introduccio´n Evaluacio´nde clasificadores Receta: Comparacio´n de • Obtener datos. clasificadores Seleccio´nde • Dividir datos. modelo • Elegir medida de evaluacio´n. Errorde generalizacio´n • Disen˜ar experimentos. Estrategiasde evaluacio´n • Realizar evaluacio´n. Dilemasesgo- varianza • Ejecutar pruebas estad´ısticas. • Reporte y ana´lisis de resultados. (INAOE) Agosto,2015 9/101 Evaluacio´ndeclasificadores Co´mo evaluar el desempen˜o de un clasificador Outline Introduccio´n Evaluacio´nde clasificadores Receta: Comparacio´n de • Obtener datos. clasificadores Seleccio´nde • Dividir datos. modelo • Elegir medida de evaluacio´n. Errorde generalizacio´n • Disen˜ar experimentos. Estrategiasde evaluacio´n • Realizar evaluacio´n. Dilemasesgo- varianza • Ejecutar pruebas estad´ısticas. • Reporte y ana´lisis de resultados. (INAOE) Agosto,2015 10/101