Este proyecto se centra en explorar las relaciones entre los modelos generativos de difusión y la física estadística fuera de equilibrio, específicamente en el contexto de la generación de imágenes. En los últimos años, hemos sido testigos de avances significativos en modelos generativos de vanguardia, como DALL·E y otros modelos similares. Estos modelos se basan en arquitecturas de redes neuronales profundas y han demostrado la capacidad de generar imágenes de alta calidad y realistas. En la física estadística de fuera de equilibrio, se estudian sistemas de partículas que no están en un estado estacionario y la distribución de probabilidad de las posiciones de las partículas cambia en el tiempo. Los modelos generativos de difusión son algoritmos en que una distribución de probabilidad compleja evoluciona hacia una distribución normal, de manera similar en que la distribución de probabilidad de la posición una partícula browniana evoluciona por difusión, y se entrenan para reconstruir el proceso inverso: recuperar la distribución compleja inicial a partir de la distribución normal final.
En este proyecto, se investigará cómo los principios y métodos de la física estadística de fuera de equilibrio pueden proporcionar una interpretación y un marco teórico sólido para comprender los modelos generativos de difusión [1, 2]. El proyecto propuesto implica tanto la exploración de la interpretación en física estadística de fuera de equilibrio de los modelos generativos de difusión como la implementación de estos modelos de redes neuronales. Se llevará a cabo la programación y desarrollo de un modelo generativo básico de redes neuronales profunda basada en los principios de la física estadística de fuera de equilibrio [1]. Esto implicará la implementación de algoritmos de aprendizaje automático, como redes neuronales profundas, para capturar las propiedades y características de los sistemas en estudio. La programación de estos modelos de redes neuronales se realizará utilizando herramientas y bibliotecas de programación especializadas como pytorch.
[1] Jascha Sohl-Dickstein, Eric Weiss, Niru Maheswaranathan, and Surya Ganguli, Deep unsupervised learning using nonequilibrium thermodynamics, International Conference on Machine Learning, 2256–2265 (2015), https://arxiv.org/abs/1503.03585 (2015)
[2] Jonathan Ho, Ajay Jain, and Pieter Abbeel, Denoising diffusion probabilistic models, https://arxiv.org/abs/2006.11239 (2020)
