Publication de Thèse : Bio-inspired Continuous Learning in Associative Memory Networks
Résumé :
L'apprentissage continu, c'est-à-dire la capacité d'acquérir de nouveaux souvenirs ou compétences tout en préservant des informations cruciales déjà apprises, constitue une faculté fondamentale du cerveau. Pourtant, cette capacité demeure difficile à reproduire dans les réseaux de neurones artificiels, car ceux-ci souffrent d'oubli catastrophique, c'est-à-dire de la perte soudaine de connaissances antérieurement acquises lors de l'apprentissage de nouvelles données.Cette thèse porte sur les mécanismes de l'apprentissage continu et les causes de l'oubli catastrophique dans les réseaux à mémoire associative (RMA), des modèles proposés comme analogues aux circuits hippocampiques en raison de leur architecture récurrente et de leur dynamique d'attracteurs. Plus précisément, l'apprentissage continu est étudié dans le cadre de la mémorisation séquentielle de souvenirs fortement corrélés. Ces souvenirs reposent sur des représentations neuronales qui se recouvrent, c'est-à-dire que les mêmes groupes de neurones participent à l'encodage de multiples souvenirs. Ce recouvrement est considéré comme un principe organisationnel clé du cerveau : il permet la généralisation et la mise en évidence de régularités entre expériences. Toutefois, dans les RMA, la mémorisation séquentielle de représentations neuronales qui se recouvrent induit généralement des phénomènes d'interférence entre souvenirs, pouvant conduire à l'oubli catastrophique.Nous introduisons un mécanisme qui atténue l'oubli catastrophique dans les RMA en permettant la réactivation autonome des souvenirs. En intégrant un mécanisme de plasticité auto-inhibitrice dans des réseaux de Hopfield continus, nous montrons que le réseau peut explorer spontanément son paysage d'attracteurs, revisitant séquentiellement l'ensemble des souvenirs précédemment appris, sans intervention externe. Lorsqu'il est couplé à un algorithme de descente de gradient, ce mécanisme de réactivation permet la construction de configurations synaptiques capables de soutenir simultanément anciens et nouveaux souvenirs. En limitant les phénomènes d'interférence entre souvenirs, ce mécanisme prévient l'oubli catastrophique lors de l'incorporation séquentielle de données corrélées.Notre approche respecte des contraintes biologiques essentielles : toutes les règles d'apprentissage sont locales, ne s'appuyant que sur l'information disponible à chaque synapse, et le système fonctionne de manière autonome, sans nécessiter l'accès externe à un catalogue de souvenirs déjà mémorisés.Ces contributions visent à enrichir à la fois le domaine des neurosciences et celui de l'intelligence artificielle. Le mécanisme proposé a pour objectif d'améliorer notre compréhension des dynamiques de consolidation mnésique présentes dans le cerveau, tout en guidant le développement de systèmes d'apprentissage artificiel plus robustes, notamment dans le contexte des implémentations neuromorphiques où la localité des dynamiques est essentielle.