Lie Transformers
Los Lie Transformers son una intersección muy rica entre álgebra y machine learning (ML). En este minicurso, iremos desde los fundamentos del aprendizaje automático hacia la motivación y estructura de los Lie Transformers, sin asumir conocimientos previos en ML.
El objetivo es introducir los fundamentos del aprendizaje automático con enfoque en modelos basados en simetrías, culminando en el estudio de los Lie Transformers y su relación con grupos de Lie.
Planificación
- Clase 1: ¿Qué significa aprender una función a partir de datos?
Introducir los conceptos básicos de ML desde un enfoque "riguroso". Presentar el paradigma del aprendizaje supervisado. Ejemplos con estructuras matemáticas simples (espacios vectoriales, funciones lineales, regularización). - Clase 2: ¿Por qué incorporar simetrías mejora el aprendizaje?
Introducir la noción de simetría e invariancia en datos y modelos. Mostrar cómo se integran en arquitecturas de ML modernas. - Clase 3: "De Lie a los datos: estructuras continuas en modelos neuronales"
Introducir grupos de Lie y sus representaciones en el contexto del aprendizaje. Ver cómo se puede parametrizar redes con simetrías continuas. - Clase 4: "Lie Transformers: Aprendiendo con simetría continua"
Introducir la arquitectura Lie Transformer y su motivación. Entender su diseño desde la teoría de Lie y su implementación.
Referencias
- Finzi et al. (2021). A Lie Group Auto-Encoder for Learning Disentangled Representations.
- Hutchinson et al. (2021). Lie Transformers.
- Lectura recomendada: "Geometric Deep Learning" (Bronstein et al., 2021).
- Notebook con visualizaciones: atención sobre datos simétricos (toy example con SO(2)).