Meta-aprendizaje
Aprender a aprender: MAML y prototipos
Un sistema que se adapta a una tarea nueva con pocos ejemplos ha aprendido a aprender: eso es meta-aprendizaje.
Intuición
MAML busca parámetros iniciales tales que un pequeño gradiente en la tarea nueva baste.
Las redes prototípicas clasifican midiendo distancia a prototipos de cada clase en un espacio embebido.
El laboratorio muestra el bucle interno/externo sobre tareas 2D.
Mecanismo
Bucle interno: pasos de gradiente en el support set. Bucle externo: actualizar inicialización con el query set.
Prototipo c_k= rac{1}{|S_k|}sum_{xin S_k}f_ heta(x); softmax sobre distancias.
Relacionado: Reptile, ANIL, in-context learning de LLMs.
Laboratorio
MAML en tareas 2D
Tareas sinusoidales: adapta con pocos puntos (bucle interno) y observa cómo la inicialización meta generaliza.
Historia
- 1998
Thrun: learning to learn.
Thrun & Pratt
- 2017
MAML (Finn et al.).
Finn, Abbeel & Levine (2017)
- 2017
Prototypical Networks.
Snell, Swersky & Zemel
- 2022
In-context learning como meta-aprendizaje implícito.
diversos análisis GPT-3
Límites
Meta-overfitting a la distribución de tareas.
Segundo orden costoso (MAML completo).
Transferir a tareas muy distintas falla.
¿Qué queda cuando se ha visto de todo un poco?
La inducción sugiere sesgos previos. MAML aprende el sesgo.
¿Es el in-context learning la misma idea sin gradientes explícitos?