La eficiencia computacional es el nombre del juego en inteligencia artificial (IA). No es fácil mantener el equilibrio entre la velocidad de entrenamiento, la precisión y el consumo de energía, pero los avances recientes en hardware han hecho que el objetivo sea más alcanzable de lo que alguna vez fue. Caso en cuestión: IBM esta semana mostrará métodos de entrenamiento de inteligencia artificial que resultarán en órdenes de magnitud de mejor rendimiento que el estado de la técnica anterior.

El primero de los avances de la compañía Armonk, Nueva York, es una técnica digital acelerada que logra una precisión total con una precisión de 8 bits. La segunda es una técnica de precisión de 8 bits para un chip analógico, la más alta de su tipo hasta ahora, según afirma IBM, que duplica aproximadamente la precisión.

Ambos se detallaron el lunes en Montreal en NeurIPS 2018, una de las conferencias de aprendizaje automático y de IA más grandes del mundo.

“La próxima generación de aplicaciones de AI necesitará tiempos de respuesta más rápidos, mayores cargas de trabajo de AI y datos multimodales de numerosas transmisiones. “Para aprovechar todo el potencial de la IA, estamos rediseñando el hardware teniendo en cuenta la IA: desde aceleradores hasta hardware especialmente diseñado para cargas de trabajo de AI, como nuestros nuevos chips, y eventualmente la computación cuántica para la IA”, dijo Jeffrey Wesler, vicepresidente y director de laboratorio de IBM Research-Almaden, escribió en un blog. “La ampliación de la inteligencia artificial con nuevas soluciones de hardware es parte de un esfuerzo más amplio en IBM Research para pasar de la inteligencia artificial estrecha, que a menudo se usa para resolver tareas específicas y bien definidas, a la inteligencia artificial general, que abarca diferentes disciplinas para ayudar a los humanos a resolver nuestros problemas más apremiantes. ”

Pasar de una aritmética de punto flotante de una precisión relativamente alta (16 bits) a una FP de baja precisión (8 bits) puede sonar contraintuitivo, pero las tareas como el reconocimiento de voz y la traducción de idiomas no son necesariamente tan exactas. Hacer el trabajo con aproximaciones abre la puerta a una eficiencia energética significativa y aumentos de rendimiento; como explica Wesler, los “bloques de construcción computacionales” con motores de precisión de 16 bits son en promedio cuatro veces más pequeños que los bloques comparables con una precisión de 32 bits.

En un documento titulado “Capacitación de redes neuronales profundas con números de punto flotante de 8 bits”, los investigadores de IBM describen cómo pudieron reducir la precisión aritmética para adiciones de 32 bits a 16 bits y preservar la precisión con una precisión de 8 bits en todos los modelos. como ResNet50, AlexNet y BN50_DNN, y un conjunto de conjuntos de datos de imágenes, voz y texto. Afirman que su técnica acelera el tiempo de entrenamiento para redes neuronales profundas de dos a cuatro veces en sistemas de 16 bits.

Un segundo artículo, “Multiplicación de precisión de 8 bits en memoria con memoria de cambio de fase proyectada”, describe un método que compensa la baja precisión intrínseca de los chips analógicos de AI, permitiéndoles alcanzar una precisión de 8 bits en la operación de multiplicación escalar y aproximadamente el doble de precisión mientras consume 33 veces menos energía que los sistemas digitales de AI comparables.

Los autores del artículo proponen la computación en memoria como una alternativa a la memoria tradicional, que desempeña el doble papel de almacenar y procesar los datos. Esa modificación arquitectónica por sí sola puede reducir el uso de energía en un 90 por ciento o más, y las ganancias de rendimiento adicionales provienen de la memoria de cambio de fase (PCM), que tiene una conductancia que se puede modificar con pulsos eléctricos. Esta propiedad le permite realizar cálculos, y los PCM proyectados por los investigadores (Proj-PCM) hacen que PCM sea inmune a las variaciones de conductancia, permitiéndole lograr una precisión mucho mayor de lo que antes era posible.

“La precisión mejorada lograda por nuestro equipo de investigación indica que la computación en memoria puede lograr un aprendizaje profundo de alto rendimiento en entornos de bajo consumo, como IoT y aplicaciones de vanguardia”, escribió Wesler. “Al igual que con nuestros aceleradores digitales, nuestros chips analógicos están diseñados para escalar para el entrenamiento e inferencias de la inteligencia artificial en los conjuntos de datos visuales, de voz y de texto, y se extienden a la inteligencia artificial amplia emergente”.