Les scientifiques russes ont amélioré la méthode d’apprentissage des réseaux neuronaux

L’Institut des systèmes cybernétiques intelligents de l'Université nationale de recherche nucléaire MEPhI a proposé une nouvelle méthode d'apprentissage pour la machine de Boltzmann restreinte (un type de réseaux de neurones) permettant d’optimiser les processus de codage sémantique, de visualisation et d’identification des données.

Les résultats de l'étude ont été publiés par la revue Optical Memoryand Neural Networks.

On constate actuellement une hausse de la popularité des études des réseaux de neurones profonds ayant des structures différentes: super-précis, récurrents ou auto-encodés. De nombreuses entreprises informatiques, notamment Microsoft et Google, utilisent les réseaux de neurones profonds afin de concevoir différents systèmes intelligents. La popularité du terme «apprentissage profond» a augmenté parallèlement à celle des réseaux neuronaux.

Les systèmes d'apprentissage profond permettent d'automatiser le processus de choix et de régulation des indices. Autrement dit, ce réseau définit et utilise de lui-même les algorithmes les plus efficaces pour assurer une extraction hiérarchique des indices. L'apprentissage profond se caractérise par des échantillons de grande envergure et un seul algorithme d'optimisation. Les algorithmes d'optimisation typiques modifient les paramètres de toutes les opérations en même temps et analysent de manière efficace l'influence de chaque paramètre du réseau de neurones à l'aide de la méthode de rétropropagation du gradient.

«Les capacités d'apprentissage des réseaux de neurones sont leur caractéristique la plus intrigante, explique Vladimir Golovko, professeur de l'Institut des systèmes cybernétiques intelligents de l'Université nationale de recherche nucléaire MEPhI. Tout comme les systèmes biologiques, les réseaux neuronaux se modèlent eux-mêmes afin d'obtenir le meilleur modèle de comportement».

Une percée en matière d'apprentissage des réseaux de neurones a été accomplie en 2006, suite à la publication de l'étude de Geoffrey Hinton présentant les techniques d'entraînement préliminaire des réseaux neuronaux. Son article explique notamment la possibilité d'assurer l'entraînement préliminaire d'un réseau de neurones à plusieurs couches, si l'on entraîne d'abord chaque couche de manière isolée à l'aide de la machine de Boltzmann restreinte et que l'on finalise ensuite l'apprentissage grâce à la méthode de rétropropagation du gradient. Ces réseaux ont été baptisés «deep belief networks».

Après avoir analysé les problèmes et les paradigmes principaux de l'apprentissage profond, Vladimir Golovko a proposé une nouvelle méthode d'apprentissage pour la machine de Boltzmann restreinte. Il a notamment démontré que la règle classique d'apprentissage de ce réseau neuronal n'était qu'un cas particulier de la méthode qu'il avait conçue.

«Les chercheurs américains Minsky et Papert ont établi à l'époque qu'un perceptron à une couche et ayant une fonction d'activation de seuil formait une superficie délimitante linéaire du point de vue de la classification des images et était donc incapable de résoudre la fonction OU exclusif. Ce fait a conduit à des pronostics pessimistes concernant le développement ultérieur des réseaux neuronaux. Cette dernière affirmation n'est pourtant juste que pour un perceptron à une couche ayant une fonction d'activation de seuil ou monotone, par exemple sigmoïde. L'utilisation de la fonction d'activation de signal permet pourtant à un perceptron à une couche de résoudre la fonction OU exclusif, car il subdivise l'ensemble d'images présenté en classes à l'aide de deux droites», fait remarquer Vladimir Golovko.

Son étude a également analysé les perspectives de l'utilisation des réseaux de neurones profonds afin de compresser, de visualiser et d'identifier les données. Qui plus est, Vladimir Golovko a proposé une approche de la mise en œuvre du codage sémantique (hashing) à l'aide des réseaux neuronaux profonds auto-associatifs.

Cette méthode d'apprentissage profond pourrait s'avérer très utile pour les moteurs de recherche destinés aux réseaux de neurones qui, selon son auteur, feront preuve d'une rapidité considérable dans la recherche d'images appropriées.

Il est difficile de surestimer la valeur de ces découvertes scientifiques, qui sont déjà utilisées dans des domaines tels que la vision numérique, la reconnaissance vocale et la bio-informatique.