Investigadores del Instituto Tecnológico de Massachusetts (MIT) y otras universidades han desarrollado una herramienta interactiva que, por primera vez, permite a los usuarios ver y controlar cómo funcionan los sistemas de aprendizaje automático (AutoML) cada vez más populares. El objetivo es generar confianza en estos sistemas y encontrar maneras de mejorarlos.
Diseñar un modelo de aprendizaje automático para una tarea determinada, como la clasificación de imágenes, el diagnóstico de enfermedades y la predicción del mercado de valores, es un proceso arduo y que requiere mucho tiempo. Los expertos primero eligen entre muchos algoritmos diferentes para construir el modelo. Luego, modifican manualmente los “hiperparámetros“, que determinan la estructura general del modelo, antes de que el modelo comience a entrenar.
El desarrollo del automatizado ‘machine-learning‘ (sistemas de aprendizaje automático) recientemente prueban y modifican de manera iterativa los algoritmos y esos hiperparámetros, y seleccionan los modelos más adecuados. Pero los sistemas operan como “cajas negras”, lo que significa que sus técnicas de selección están ocultas para los usuarios. Por lo tanto, es posible que los usuarios no confíen en los resultados y les resulte difícil adaptar los sistemas a sus necesidades de búsqueda.
En un artículo presentado en la Conferencia ACM CHI sobre Factores Humanos en Sistemas de Computación, investigadores de MIT, la Universidad de Ciencia y Tecnología de Hong Kong (HKUST) y la Universidad de Zhejiang describen una herramienta que pone el análisis y el control de los métodos AutoML en las manos de los usuarios. Llamado ATMSeer, herramienta que toma como entrada un sistema AutoML, un conjunto de datos y cierta información sobre la tarea de un usuario. Luego, visualiza el proceso de búsqueda en una interfaz fácil de usar, que presenta información detallada sobre el rendimiento de los modelos.
“Permitimos que los usuarios seleccionen y vean cómo funcionan los sistemas AutoML“, dice el coautor Kalyan Veeramachaneni, un científico investigador principal en el Laboratorio de Sistemas de Información y Decisión (LIDS) del MIT. “Simplemente puede elegir el modelo de mayor rendimiento, o puede tener otras consideraciones o utilizar la experiencia en el dominio para guiar al sistema a fin de buscar algunos modelos sobre otros“.
En los estudios de casos con estudiantes graduados en ciencias, que eran novatos en AutoML, los investigadores encontraron que aproximadamente el 85% de los participantes que utilizaron ATMSeer confiaban en los modelos seleccionados por el sistema. Casi todos los participantes dijeron que el uso de la herramienta los hizo lo suficientemente cómodos para usar los sistemas AutoML en el futuro.
“Descubrimos que era más probable que las personas usaran AutoML como resultado de abrir esa caja negra y ver y controlar cómo funciona el sistema“, dice Micah Smith, estudiante graduada en el Departamento de Ingeniería Eléctrica y Ciencias de la Computación (EECS) e Investigador en LIDS.
“La visualización de datos es un enfoque efectivo hacia una mejor colaboración entre humanos y máquinas. ATMSeer ejemplifica esta idea“, dice el autor principal Qianwen Wang de HKUST. “ATMSeer beneficiará principalmente a los profesionales del aprendizaje automático, independientemente de su dominio, [quienes] tienen un cierto nivel de experiencia. Puede aliviar el dolor de seleccionar manualmente los algoritmos de aprendizaje automático y ajustar los hiperparámetros“.
Sintonizando el modelo
En el núcleo de la nueva herramienta se encuentra un sistema AutoML personalizado, llamado “Auto-Tuned Models (ATM)”, desarrollado por Veeramachaneni y otros investigadores en 2017. A diferencia de los sistemas AutoML tradicionales, ATM cataloga por completo todos los resultados de búsqueda mientras intenta ajustar modelos a los datos.
ATM toma como entrada cualquier dataset y una tarea de predicción codificada. El sistema selecciona aleatoriamente una clase de algoritmo, como redes neuronales, árboles de decisión, bosque aleatorio y regresión logística, y los hiperparámetros del modelo, como el tamaño de un árbol de decisión o el número de capas de una red neuronal.
Luego, el sistema ejecuta el modelo contra el conjunto de datos, ajusta de forma iterativa los hiperparámetros y mide el rendimiento. Utiliza lo que ha aprendido sobre el rendimiento de ese modelo para seleccionar otro modelo, y así sucesivamente. Al final, el sistema genera varios modelos de alto rendimiento para una tarea.
El truco es que cada modelo puede tratarse esencialmente como un punto de datos con algunas variables: algoritmo, hiperparámetros y rendimiento. Sobre la base de ese trabajo, los investigadores diseñaron un sistema que traza los puntos de datos y las variables en los gráficos y tablas designados. A partir de ahí, desarrollaron una técnica independiente que también les permite reconfigurar esos datos en tiempo real. “El truco es que, con estas herramientas, cualquier cosa que puedas visualizar, también puedes modificar“, dice Smith.
Las herramientas de visualización similares están diseñadas para analizar solo un modelo específico de aprendizaje automático y permiten una personalización limitada del espacio de búsqueda. “Por lo tanto, ofrecen soporte limitado para el proceso AutoML, en el que se deben analizar las configuraciones de muchos modelos buscados“, dice Wang. “En contraste, ATMSeer admite el análisis de modelos de aprendizaje automático generados con varios algoritmos“.
