1986 – Máquina de Boltzmann restringida
Presentada inicialmente como Harmonium, la máquina de Boltzmann restringida (RBM) fue inventada por el científico cognitivo Paul Smolensky en 1986. Se hizo famosa después de que el científico de Stanford Geoffrey Hinton y sus colaboradores inventaran algoritmos de aprendizaje rápido para ellas a mediados de la década de 2000.El RBM es más rápido que la máquina de Boltzmann tradicional porque «restringe» las conexiones entre los nodos. Es un algoritmo útil para la reducción de la dimensionalidad, la clasificación, la regresión, el filtrado colaborativo, el aprendizaje de características y el modelado de temas.
1989 – Refuerzo para el aprendizaje automático
El concepto de boosting se presentó por primera vez en un artículo de 1990 titulado «The Strength of Weak Learnability», de Robert Schapire y Yoav Freund. Supuso un desarrollo necesario para la evolución del aprendizaje automático.
Como afirma Schapire, «un conjunto de aprendices débiles puede crear un único aprendiz fuerte». Simplemente se traduce en producir numerosos modelos débiles y combinar sus predicciones para convertirlos en un único modelo potente.
1991 – El problema de la desaparición del gradiente
Aunque a principios de la década de 1990 se popularizaron métodos como las máquinas de vectores soporte, aún quedaban retos por resolver. El problema del gradiente de fuga fue identificado por primera vez por Sepp Hochreiter. Se trataba de un reto en el desarrollo del aprendizaje automático, concretamente con redes neuronales profundas.
A medida que aumenta el número de capas de una red, el valor de la derivada disminuye hasta que acaba desapareciendo por completo. Esto puede hacer que el proceso de aprendizaje sea extremadamente lento y difícil de gestionar.
Durante años, este asunto seguirá irritando a la comunidad.
1992 – Jugando al Backgammon
El investigador Gerald Tesauro creó un programa basado en una red neuronal artificial capaz de jugar al backgammon con habilidades que se equiparan a las de los mejores jugadores humanos. El software para jugar al backgammon, llamado TD-Gammon.
Podía jugar a un alto nivel tras unas pocas horas de entrenamiento, y siguió mejorando a medida que jugaba más partidas.
El éxito del programa supuso un hito importante en la inteligencia artificial y en la historia del aprendizaje automático, ya que demostró que las redes neuronales podían utilizarse para crear programas capaces de aprender y mejorar a través de la experiencia.
1997 – Deep Blue y el hito del LSTM
En 1997, Deep Blue, de IBM, se convirtió en el primer sistema informático de ajedrez que derrotó a un campeón mundial vigente, al vencer a Garry Kasparov.
También es el año en el que Sepp Hochreiter y Jürgen Schmidhuber publicaron un innovador artículo sobre la «memoria a largo plazo» (LSTM). Se trata de una arquitectura de red neuronal recurrente que revolucionará el aprendizaje profundo en las próximas décadas.
2002 – La liberación de Torch
En 2002, se publicó la biblioteca de aprendizaje automático de código abierto Torch.
Esta biblioteca permitía más flexibilidad y personalización que otras bibliotecas de la época y rápidamente se hizo popular entre los investigadores.
2006 – Red de Creencias Profundas
Este año marca un momento notable en la historia del aprendizaje automático porque Geoffrey Hinton creó algoritmos de aprendizaje rápido para explicar los nuevos algoritmos que ayudan a los ordenadores a distinguir objetos y texto en imágenes y vídeos.
Junto con Ruslan Salakhutdinov, Osindero y Teh, publicaron el artículo «A fast learning algorithm for deep belief nets» (Un algoritmo de aprendizaje rápido para redes de creencias profundas), en el que apilaron múltiples RBM en capas y las llamaron redes de creencias profundas. El proceso de entrenamiento es mucho más eficiente para grandes cantidades de datos.
2009 – ImageNet
Fei-Fei Li, profesor de Stanford, lanzó en 2009 ImageNet, una base de datos de 14 millones de imágenes etiquetadas. Sería un punto de referencia para los investigadores de aprendizaje profundo que participan en las competiciones de ImageNet (ILSVRC) cada año.
El Economista describió la creación de esta base de datos como un acontecimiento excepcional para popularizar la IA en toda la comunidad tecnológica, marcando una nueva era en la historia del aprendizaje profundo.