Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires

Ben Crulis (1) , Barthélemy Serres (2) , Cyril de Runz (1) , Venturini Gilles (3)

1 BDTLN - Bases de données et traitement des langues naturelles
2 LIFAT - Laboratoire d'Informatique Fondamentale et Appliquée de Tours
3 RFAI - Reconnaissance des formes et analyse d'images

Les modèles de réseaux de neurones profonds utilisent actuellement des paramètres encodés avec des nombres flottants utilisant beaucoup d'espace mémoire au moment de l'inférence. Ces modèles devenant de plus en plus volumineux, il devient difficile d'envisager entraîner directement ces modèles sur des appareils portables tels que les smartphones. Les réseaux de neurones binaires promettent de réduire la taille des réseaux de neurones artificiels tout en diminuant le temps d'inférence et l'énergie consommée, permettant le déploiement de modèles plus puissants sur les appareils portables. Cependant, les réseaux de neurones binaires sont encore actuellement difficiles à entraîner en utilisant la rétropropagation classique. Nous fournissons des tests comparatifs pour 3 algorithmes dont la rétropropagation permettant d'entraîner des réseaux de neurones binaires sur MNIST ainsi que CIFAR-10. Les résultats montrent que les réseaux de neurones binaires peuvent être entraînés en utilisant des alternatives à la rétropropagation, et donner lieu à de meilleures performances.

Domains: Computer Science [cs]

Ben Crulis, Barthélemy Serres, Cyril de Runz, Venturini Gilles. Apports des alternatives à la rétropropagation dans l'apprentissage des réseaux de neurones binaires. Extraction et Gestion de Connaissances (EGC) 2023, 2023, Lyon, France. pp.449-458. ⟨hal-04344621⟩