Buenas Luciano! Muy bueno los avances del etiquetado, muchas gracias por participar de la actividad. Para las dudas, consultas y otras detecciones como las que comentaste (los errores por ejemplo) dejé una nueva hoja el en excel de seguimiento. Hay una fila por noticia con su título y bloque correspondiente y:
- comentario anotación manual : En esta columna se pueden dejar detallados problemas como el "Androni" que detectaste o dudas de cómo anotar; como la citan decretos, boletines o informes, que mencionas (tendría que ver un ejemplo para confirmarlo).
- puntaje automático: Esta columna permite darle un puntaje a la detección automática del algoritmo actual de fuentes (Completo, Incompleto o Equivocado). Se puede agregar otras opciones si es necesario.
- comentario anotación automática: En esta columna se puede agregar una descripción de los problemas encontrados en la detección automática, citas faltantes o dudas en la detección. Incluso podemos dejar sugerencias de cómo sería el patrón para detectar correctamente la cita faltante.
- autor comentarios: Permite aclarar quien es el autor de los campos anteriores.
Para poder hacer la comparación de las anotaciones manuales subí la demo de Trust al siguiente link:
En la página de Sources se puede seleccionar cada una de las 200 noticias y un método de anotación (automático + anotaciones manuales) para visualizar en la página. De esta manera se pueden comparar abriendo dos ventanas (una con las anotaciones automáticas y otra con las manuales) y completar comentarios/puntuación en el excel de seguimiento.
Con los errores detectados y sugerencias de nuevos patrones de detección se podrá mejorar el algoritmo de detección automática usando el feedback en el excel de seguimiento.
Finalmente, para hacer una comparación automática de las detecciones falta un paso previo de preprocesamiento, por lo que, cuando esté terminado, puedo subir los datos al drive y podemos ver de encarar esa comparación o algún tipo de visualización para representar los resultados.
Finalmente, para hacer una comparación automática de las detecciones falta un paso previo de preprocesamiento, por lo que, cuando esté terminado, puedo subir los datos al drive y podemos ver de encarar esa comparación o algún tipo de visualización para representar los resultados.
Saludos,
Juan Cruz