Buenas tardes,
estoy teniendo problemas sobre la elección del hiperparametro para la regresión logística regularizada. Intenté hacer algo similar a lo que hicimos en el TP2, ir probando con distintos valores y ver el que de el mayor accuracy para el testeo. Para hacer esto seguí el consejo de bajar el numero de iteraciones y la tolerancia de la regresión pero sigue tardando bastante tiempo en computar todo. Probé con valores del hiperparametro lambda (lambda = 1/c en logisticregression) de 1 a 10 y con valores 100, 200 y 300 y no me dieron una diferencia muy significativa entre si en términos del accuracy (diferencias mucho menores al 1%). Si mejoró respecto de la regresión sin regularizar al agregar la penalización pero no al variar lambda. Quería consultar si me podrían orientar un poco sobre qué rango de valores debería probar. Desde ya muchas gracias.
Saludos
Marco
Hola Marco,
Lo que pasa es que con pocas iteraciones no vas a poder ver qué lambda es mejor (habría que hacer varias simulaciones muy largas). La idea es poner pocas iteraciones (2 o 3) ver que no salten errores, y después poner una buena cantidad. Es razonable que con pocas iteraciones se vea todo igual.
Pero eso no es lo que pide el tp, con probar 1 o 2 valores basta. La idea es que le ganes al accuracy de testeo de la solución lineal. No hace falta que valides el hiperparámetro, tarda demasiado tiempo eso.
Éxitos
Lo que pasa es que con pocas iteraciones no vas a poder ver qué lambda es mejor (habría que hacer varias simulaciones muy largas). La idea es poner pocas iteraciones (2 o 3) ver que no salten errores, y después poner una buena cantidad. Es razonable que con pocas iteraciones se vea todo igual.
Pero eso no es lo que pide el tp, con probar 1 o 2 valores basta. La idea es que le ganes al accuracy de testeo de la solución lineal. No hace falta que valides el hiperparámetro, tarda demasiado tiempo eso.
Éxitos