La construcción de mejores modelos comienza con un reexamen de las métricas

Aug 06, 2023

Los científicos informáticos de la USC presentan una mejor manera de medir el rendimiento de los modelos generativos de IA en la Conferencia Internacional sobre Aprendizaje Automático (ICML).

Crédito de la foto: Metamorworks/Getty Images

“Los modelos de IA generativa son esencialmente métodos que analizan algunos datos e intentan crear más de esos datos. Medir con precisión el rendimiento de estos modelos se ha vuelto cada vez más importante debido al rápido crecimiento de su aplicación en tareas posteriores”, dijo Mahyar Khayatkhoei, científico informático del Instituto de Ciencias de la Información (ISI) de la USC.

En la 40ª Conferencia Internacional sobre Aprendizaje Automático (ICML '23), celebrada del 23 al 29 de julio en Honolulu, Hawaii, Khayatkhoei, que trabaja con el grupo de investigación VIMAL (Laboratorio de Inteligencia Visual y Análisis Multimedia) del ISI, presentó su último artículo sobre el desempeño de los modelos generativos.

Khayatkhoei dijo: “El rendimiento no suele ser algo que la gente mire muy de cerca. Se basan en puntos de referencia que existen e intentan crear mejores modelos, pero no siempre está claro si estos modelos son realmente mejores. Por lo tanto, considerar detenidamente lo que significa "mejor" y si la forma en que se mide esa "mejora" es precisa, es algo que creo que es muy valioso".

El artículo está coescrito por el director fundador de VIMAL, Wael AbdAlmageed, profesor asociado de investigación en el Departamento Ming Hsieh de Ingeniería Eléctrica e Informática de la USC Viterbi y director de investigación en ISI. AbdAlmageed dijo sobre el artículo: “La IA generativa es en gran medida una caja negra poco comprendida. En medio del revuelo sobre ChatGPT y los grandes modelos de lenguaje (LLM), alguien tuvo que reducir el ritmo e intentar estudiar el comportamiento de estos modelos para caracterizar mejor su rendimiento”.

Se utilizó un modelo generativo para crear una imagen de un agujero negro cuando los científicos tenían partes de la imagen y, dadas esas partes, el modelo pudo construir el resto. Pero los modelos generativos llegan más cerca de casa que los agujeros negros. Khayatkhoei dijo: “Se están utilizando en muchas aplicaciones; muchos métodos de detección basados ​​en imágenes, por ejemplo, la detección de tumores cancerosos en un escaneo médico o rostros humanos en fotografías, utilizan algún tipo de IA generativa en su proceso para mejorar la precisión; También existen casos de uso directo de la IA generativa en el descubrimiento de fármacos, predicciones dinámicas y simulaciones de física”.

Khayatkhoei explicó cómo: "A menudo no tenemos acceso a tantos datos como queremos, por lo que utilizamos modelos generativos como una forma de ampliar la cantidad de observaciones con las que entrenamos las redes neuronales". Las redes neuronales son los modelos informáticos utilizados en la IA que identifican relaciones en conjuntos de datos.

Un ejemplo: si desea que una aplicación detecte un tumor canceroso, la red neuronal debe estar entrenada en un conjunto de datos muy grande de tumores, y un modelo generativo puede crear dicho conjunto de datos. La calidad del conjunto de datos generado se describe por la fidelidad y la diversidad.

Khayatkhoei explica estos atributos utilizando el ejemplo de la generación del rostro humano. “Con los modelos generativos, intentamos aprender la distribución de los datos a partir de unas pocas observaciones. Por tanto, un modelo podría ver un número limitado de rostros humanos e intentar generar un número infinito de rostros humanos. 'Fidelity' describe cuán realistas son las imágenes. Y luego surge la cuestión de cuánta "diversidad" tiene la generación; ¿El modelo genera la misma cara? ¿Está generando rostros de diferentes formas, colores y fondos, etc.?

Un método estándar para medir el desempeño de un modelo generativo es cuantificar la fidelidad y la diversidad utilizando métricas llamadas "precisión" y "recuerdo", respectivamente.

En el artículo, Khayatkhoei muestra teóricamente que existen fallas en la precisión y el recuerdo. “La gente usa estas mediciones para crear mejores modelos o para decidir qué modelo usar en su aplicación. Cuando estas mediciones son erróneas, eso significa que todas estas decisiones también son potencialmente erróneas”, afirmó Khayatkhoei.

Khayatkhoei explicó cómo abordó el desafío: “Creamos experimentos para demostrar que este problema existe y demostramos matemáticamente que en realidad, bajo algunas suposiciones, es un problema muy general. Y luego, a partir de los conocimientos del análisis matemático, creamos una versión modificada para calcular estas métricas que alivian el problema”.

Khayatkhoei presentó su artículo, Asimetría emergente de precisión y recuperación para medir la fidelidad y la diversidad de modelos generativos en altas dimensiones, como presentación de un póster en ICML '23.

Dijo: "Me entusiasma hablar con la gente al respecto y señalar que es posible que estas métricas en realidad no capturen lo que usted cree que están capturando".

ICML es una de las conferencias de IA de más rápido crecimiento en el mundo. Este año, la conferencia tuvo un récord de 6538 presentaciones (un aumento del 16% con respecto al récord del año pasado de 5630) y una tasa de aceptación del 27,9%.

Publicado el 2 de agosto de 2023

Última actualización el 1 de agosto de 2023