Modelos basados en energía
Redes de Hopfield y máquinas de Boltzmann
La física estadística como teoría de la memoria: recordar es rodar cuesta abajo en un paisaje de energía hasta el valle más cercano.
Intuición
Una red de Hopfield guarda patrones como mínimos de una función de energía. Si le das una versión corrupta —una letra con ruido—, la dinámica baja la energía neurona por neurona hasta caer en el recuerdo más cercano. Es memoria direccionable por contenido: recuperas el todo a partir de una parte.
Los pesos se fijan con la regla de Hebb: «las neuronas que disparan juntas se conectan». Pero la capacidad es finita: con más de patrones, aparecen estados espurios y la memoria se confunde.
Una máquina de Boltzmann añade temperatura: las neuronas se activan con probabilidad en lugar de determinísticamente. A temperatura alta explora; al enfriar, se asienta. Así la red no solo recuerda: modela una distribución y puede generar.
Mecanismo
Energía de Hopfield: con y . La actualización asíncrona nunca aumenta : la dinámica converge.
Máquina de Boltzmann (Ackley, Hinton y Sejnowski, 1985): , con unidades ocultas que capturan correlaciones de orden superior. La versión restringida (RBM) se entrena con divergencia contrastiva (Hinton, 2002) y fue la base de las redes de creencia profunda (2006).
La visión energética unifica mucho: LeCun et al. (2006) presentan el aprendizaje como moldear un paisaje de energía; Ramsauer et al. (2020) mostraron que la atención del Transformer es la regla de actualización de una red de Hopfield moderna con capacidad exponencial.
Laboratorio
Memoria asociativa y temperatura
Guarda patrones, dibuja o corrompe uno, y deja que la red descienda por la energía. Sube la temperatura para convertirla en una máquina de Boltzmann que muestrea.
Historia
- 1925
Ising estudia su modelo de espines, predecesor matemático de la red de Hopfield.
Ising (1925), Zeitschrift für Physik 31
- 1949
Donald Hebb propone el aprendizaje por coactivación.
Hebb (1949), The Organization of Behavior
- 1982
John Hopfield publica su red de memoria asociativa.
Hopfield (1982), PNAS 79(8)
- 1985
Ackley, Hinton y Sejnowski: la máquina de Boltzmann. Amit, Gutfreund y Sompolinsky calculan la capacidad ≈ 0,138N.
Ackley, Hinton & Sejnowski (1985), Cognitive Science 9; Amit et al. (1985), PRL 55
- 2006
Redes de creencia profunda con RBM apiladas reavivan el aprendizaje profundo.
Hinton, Osindero & Teh (2006), Neural Computation 18(7)
- 2020
«Hopfield Networks is All You Need» vincula Hopfield moderno y atención.
Ramsauer et al. (2021), ICLR
- 2024
Hopfield y Hinton reciben el premio Nobel de Física por los fundamentos del aprendizaje con redes neuronales.
Premio Nobel de Física 2024
Límites
Capacidad limitada y estados espurios en la versión clásica.
Las máquinas de Boltzmann generales son lentísimas de entrenar: la función de partición es intratable.
El muestreo por MCMC mezcla mal entre modos separados.
¿Recordar es volver a un lugar o reconstruirlo?
En Hopfield, el recuerdo es un atractor: un lugar al que la dinámica vuelve. Pero la red también cae en atractores espurios, mezclas que nunca vio: falsos recuerdos, como los que la psicología documenta en humanos (Loftus).
Platón describió el conocer como anámnesis, recordar lo que el alma ya sabía. Una red de Hopfield, en cierto sentido, solo puede conocer lo que ya tiene inscrito en su paisaje.