Espectro dinámico de matrices de pesos en redes neuronales: una perspectiva desde matrices aleatorias

Proyecto teórico

Se propone estudiar la dinámica de valores propios en redes neuronales, donde se analiza cómo evolucionan los autovalores de las matrices de pesos durante el entrenamiento de una red neuronal. El proyecto se enfoca en estudiar empíricamente el espectro de estas matrices (por ejemplo, la matriz de pesos de una capa lineal) a lo largo de distintas etapas del aprendizaje, explorando conexiones con la teoría de matrices aleatorias y la estabilidad dinámica del aprendizaje. Se pueden comparar distintos algoritmos de optimización y arquitecturas para identificar patrones universales y fases de entrenamiento desde una perspectiva espectral.

Prerrequisitos:

Física estadística, métodos matemáticos

Grupo de Física Estadística

Departamento de Física

Edificio Ip

Carrera 1E # 18A-10

Bogotá, Colombia

Universidad de los Andes | Vigilada Mineducación
Reconocimiento como Universidad: Decreto 1297 del 30 de mayo de 1964.
Reconocimiento personería jurídica: Resolución 28 del 23 de febrero de 1949 Minjusticia.

Web design and programming © Gabriel Téllez