Hola Agustín,
Perdón por la tardanza, pero creo que vale la pena contestar el mensaje aún hoy.
Si, claro, podés guardar los parámetros del modelo entrenado (numpy tiene función para guardar en un archivo). Pero si es por nuestra corrección, no te preocupes (la idea es hacer uno o dos intentos regularizando, nada tan terrible).
En lo que decís de la ROC, hay dos tipo de análisis que se pueden hacer.
* Uno es pensar que la ROC está evaluando el aprendizaje del clasificador independientemente del umbral (para comparar clasificadores compararía las curvas visualmente); no me importa un umbral específico, yo quiero hacer un análisis de la performance del aprendizaje efectuado durante el entrenamiento.
* La otra es elegir, efectivamente, un punto de la ROC. El tema de elegir un punto es como comparar verdaderos-positivos con falsos-positivos; esta elección dependerá mucho del contexto donde será utilizado el clasificador. Una elección generalista sería elegir el umbrar para el cuál los dos tipos de errores son iguales (Equal Error Rate). Encontrar este punto es muy sencillo una vez que tenés graficada la ROC.
Éxitos!
Perdón por la tardanza, pero creo que vale la pena contestar el mensaje aún hoy.
Si, claro, podés guardar los parámetros del modelo entrenado (numpy tiene función para guardar en un archivo). Pero si es por nuestra corrección, no te preocupes (la idea es hacer uno o dos intentos regularizando, nada tan terrible).
En lo que decís de la ROC, hay dos tipo de análisis que se pueden hacer.
* Uno es pensar que la ROC está evaluando el aprendizaje del clasificador independientemente del umbral (para comparar clasificadores compararía las curvas visualmente); no me importa un umbral específico, yo quiero hacer un análisis de la performance del aprendizaje efectuado durante el entrenamiento.
* La otra es elegir, efectivamente, un punto de la ROC. El tema de elegir un punto es como comparar verdaderos-positivos con falsos-positivos; esta elección dependerá mucho del contexto donde será utilizado el clasificador. Una elección generalista sería elegir el umbrar para el cuál los dos tipos de errores son iguales (Equal Error Rate). Encontrar este punto es muy sencillo una vez que tenés graficada la ROC.
Éxitos!