Réseaux de neurones

RESEAUX NEURONAUX ARTIFICIELS

P. Tréhin 1989

J'ai récemment assisté à deux conférences Européennes sur les réseaux neuronaux artificiels, Artificial Neural Networks (A.N.N.).

Je voudrais vous faire part ici de quelques réflexions que m'ont inspiré les différents sujets abordés à ces deux conférences sans toutefois en faire un rapport détaillé. La recherche dans le domaine des réseaux neuronaux avance très vite. Derrière une appellation commune on trouve de multiples approches à la fois théoriques et pratiques. Je vais donc faire un très court survol de ces différents concepts qui devrait toutefois permettre de positionner cette nouvelle discipline des Réseaux Neuronaux Artificiels par rapport au domaine plus général de l'Intelligence Artificielle.

DE QUOI S'AGIT IL?

De nombreux articles ont étés publiés récemment dans la presse tant scientifique que non scientifique sous des vocables divers: "Les ordinateurs connectionistes", "Les ordinateurs neuronaux", "les réseaux neuronaux artificiels". La référence explicite au cerveau humain, bien sûr suscite l'intérêt général. D'ors et déjà des applications ont permis de résoudre certains types de problèmes pour lesquels les méthodes plus classiques de l'intelligence artificielle sont mal adaptées.

Pour schématiser à l'extrême, les réseaux neuronaux artificiels essaient, à un niveau très simplifié, de mimer le fonctionnement du cerveau humain. En particulier, en utilisant les possibilités des structures d'ordinateurs à haut niveau de parallélisme, appliqué à une multitude de processeurs élémentaires: les "neurones".

Le NEURONE

Il faut bien reconnaître que cette analogie est bien rudimentaire et que le terme de "neurone" peut être source d'ambiguïté. Certain auteurs préfèrent utiliser le terme "automate cellulaire". Toutefois, comme un véritable neurone, le "neurone" artificiel reçoit des informations venant de plusieurs sources et produit un signal en sortie fonction d'une combinaison de ces entrées.

Dans la réalité, un neurone reçoit des signaux de plusieurs centaines de milliers de synapses, en comparaison avec les "neurones" artificiels, qui en l'état actuel de la technologie sont connectés au mieux à quelques dizaines d'entrées. Les échanges d'information dans la réalité du cerveau humain prennent des formes très complexes de type electro-chimiques, dans les réseaux neuronaux, les échanges sont soit numériques soit purement électriques.

Fonctionnement du "neurone" unique

Au niveau cellulaire, le processus de fonctionnement est assez simple. Chaque signal à l'entrée est pondéré par un facteur numérique, puis additionné aux autres signaux reçus. Le poids affecté à chacune des entrées est modifié lors du fonctionnement en réseau, c'est précisément au travers de ces modifications de poids des entrées que s'effectue l'apprentissage par le réseau neuronal, mais nous reviendrons sur ce point par la suite.

 

   ENTREE

                 ------------------------------

             W1  !                            !

     S1 ------- >!                            !

                 !    FONCTION DE TRANSITION  !       SORTIE

                 !                            !

             W2  !             __             !

     S2 ------- >!    Rn = f ( >  Wi x Si )   ! ------- > Rn

                 !             --             !

                 !                            !

             W3  !                            !

     S3 ------- >!                            !

                 !                            !

                 ------------------------------

 

Le processus interne d'un "neurone"

La somme des signaux d'entrée est alors modifiée par une fonction de transition qui va déterminer la valeur finale en sortie.

Dans le cas le plus simple, nous avons la fonction "Identique" la sortie n'est alors que la somme pondérée des entrées. Dans la plupart des cas différentes fonctions sont utilisées et le choix de fonction déterminera, en partie, le type de réseau auquel on a à faire.

 

          !                     !                     !

          ----------            !  /------            !   _ - -

          !                     ! /                   !  -

          !                     !/                    !/

  --------!---------    --------/---------    --------/---------

          !                    /!                    /!

          !                   / !                 _-  !

  ---------             -----/  !             _ -     !

          !                     !                     !

 

  Seuil de réaction     Linéaire avec seuil        Sigmoïde

 

Fonction de transition

Cette fonction de transition peut aussi avoir une influence sur la capacité du réseau neuronal à converger vers des réponses stables.

LE RESEAU

Si les ordinateurs modernes ont presque tous évolué vers une architecture assez stable, il n'en est pas de même pour les réseaux neuronaux artificiels. Les différentes approches en présence offrent des architectures très diverses ayant toutes leurs spécificité en matière de structure des connections entre "neurones". Voici quelques exemple d'architectures destinés à illustrer cette diversité:

De multiples architectures

Cette liste n'est bien sur pas exhaustive, il existe encore bien d'autres directions de recherches.

Chacune de ces architectures sera plus ou moins bien adaptée selon le type d'application considérée. En effet, bien que les réseaux neuronaux soient en principe utilisés dans le domaine général de la reconnaissance de formes, il existe des sous classifications de problèmes pour lesquelles certaines architectures seront mieux adaptées que d'autres.

Dans un but de clarifier, peut être, un peu ce domaine, j'ai emprunté à une présentation de Philip Treleaven lors du colloque de Nimes, l'essai de classification suivant et y ai ajouté le modèle de J.C. Perez: Le Chaos Fractal.

 

                     -------------------------

                     ! NEURAL NETWORK MODELS !

                     -------------------------

                                 !

           ------------------------------------

           !                                  !

           !                                  !

    ---------------                      ------------

    ! Associative !                      ! Learning !

    ! memories    !                      ! Systems  !

    ---------------                      ------------

           !                                  !

           !                     ---------------------------

           !                     !                         !

           !                     !                         !

       --------             ------------             ---------------

       !Stored!             !Supervised!             !Un-Supervised!

       --------             ------------             ---------------

           !                     !                         !

   ------------            -------------            ------------

---------  --------    ---------    --------    ---------  --------

!digital!  !analog!    !digital!    !analog!    !digital!  !analog!

---------  --------    ---------    --------    ---------  --------

!          !           !            !           !          !

!Hopfield  !Hopfield-  !Perceptron  !Back Prop. !-Adaptive !Neocognitron

!Hamming   !Tank                    !Boltzman   !Resonance !-Self Org.

                                                ! Theory   ! Map

                                                           ! -Chaos

                                                           ! Fractal

                                                           

Classification simplifiée des différents modèles

D'un point de vue pratique, il est très important connaître les possibilités de chaque type de réseau neuronal vis à vis de l'application envisagée.

La plupart des modèles existant à ce jour sont des simulations sur des ordinateurs traditionnels de processus neuronaux. Ces programmes demandent pour la recherche à être utilisés sur de très gros ordinateurs. Quelques modèles ont étés développés, à titre de support éducatif ou pour tester les concepts de base, sur des micro-ordinateurs ou sur des mini ordinateurs à orientation scientifique, chez IBM PC/PS ou PC/RT respectivement.

Dans un avenir assez proche, les premières réalisations feront appel à des circuits spécialisés pour le calcul parallèle. La "CONNECTION MACHINE", le processeur Intel iPSC ainsi que le NEP (Network Emulation Program) d'IBM Research sont de bons exemples de cette approche.

Des recherches fondamentales au niveau de circuits câblant directement les fonctions des "neurones" en réseau sont en cours

Les Bell Labs aux USA expérimentent un circuit comprenant quelques centaines de "neurones", de même CALTECH travaille sur une "Puce" neuronale à 22 éléments et a en projet une autre "Puce" ayant 289 neurones. Fujitsu et NTT au Japon travaillent aussi dans ce domaine.

En Europe, des chercheurs tels que  Kohonen à l'université d'Helsinszi et Aleksander au "Imperial College" de Londre sont eux aussi à la pointe de cette nouvelle technologie.

On trouve aussi des recherches dans le domaine des Ordinateurs Neuronaux optiques dans de nombreux laboratoires et en particulier aux USA BDM Corp., CALTECH, Hugues Research Labs, et Naval Research Labs.

Les difficultés du développement de circuits n'est pas la seule raison du peu de résultat dans ce domaine: les réalisations par programmes de simulation montrent déjà des capacités à résoudre certaines classes de problèmes que les méthodes de l'I.A. classique ne savait pas résoudre.

D'un autre coté, les modèles théoriques sont encore en pleine évolution et peut être, est-il urgent de ne pas se presser dans le développement des circuits intégrés.

 

EVOLUTION OU REVOLUTION?

Le concept de Perceptron a été inventé il y a environ trente ans. Les limites de la technologie disponible à cette époque ont amené certains chercheurs (M. Minsky et S. Papert) à abandonner l'idée. Quelques uns continuèrent dans l'ombre tels Kohonen, complètement ignorés du reste des spécialistes de l'I.A. mondiaux.

La Place des RESEAUX NEURONAUX dans l'I.A.

L'Intelligence Artificielle peut être abordée de diverses manières et dans des buts très différents:

De l'I.A. symbolique à la simulation du cerveau

Dès les premières tentatives de reproduction de l'intelligence humaine, deux directions principales de recherche se sont partagé le rôle de "leader":

Les Réseaux Neuronaux Artificiels font partie de la deuxième catégorie.

L'intérêt récent pour les réseaux neuronaux tient au fait que dans toute une classe de problèmes de reconnaissances de formes, l'approche I.A. classique se heurte très vite au phénomène d'explosion combinatoire: le nombre des cas de figures possibles devient quasiment impossible à décrire symboliquement. Les Systèmes Experts sont un bon exemple de telles situations, leurs performances en matière de reconnaissance de formes sont assez limitées.

Différentes stratégies ont été utilisées pour repousser ces limites. On utilise les approches heuristiques, mimant les stratégies des experts eux mêmes qui n'explorent pas tous les cas possibles, mais seulement ceux ayant des chances d'être porteurs de solutions. Ces méthodes ont porté leur fruits, toutefois, on revient assez vite au problème précédent dès que le champs d'expertise est un peu plus étendu, ce qui est le cas dans les problèmes de reconnaissance de formes si l'on veut qu'il aient une quelconque utilité.

Avant tout la reconnaissance de formes

C'est dans ce domaine particulier que les réseaux neuronaux ont montré leurs meilleures applications. En effet, pour coder l'information contenue dans une image ou dans un son de manière symbolique demande une énorme puissance de calcul et de mémoire pour le stockage. Pour les reconnaître par la suite, les algorithmes d'analyse demandent eux aussi d'importantes ressources informatiques. Même sous leur formes simulées, les réseaux neuronaux ont à l'heure actuelle étés capables de faire aussi bien que les programmes classiques dans ce domaine et pour certains problèmes spécifiques peuvent aborder des reconnaissances de formes pour lesquelles les approches classiques n'ont pas de solution.

Un des avantages des réseaux neuronaux est leur flexibilité face aux variations de l'environnement à analyser, en d'autres termes leur capacité à s'adapter à la nouveauté. Ils peuvent travailler sur des signaux extrêmement dégradés. L'approche symbolique s'accommode mal de variations, même faibles des conditions d'observation.

De plus, cette robustesse s'applique aussi à la dégradation interne du fonctionnement du réseau neuronal. A l'opposé d'un programme classique où la moindre virgule manquante peut faire tout arrêter, un réseau neuronal peut encore donner des résultats valables quoique avec une certaine perte de précision.

Plus de quatre-vingt dix pour-cent des applications des réseaux neuronaux sont dans le domaine de la reconnaissance de formes, le reste des applications est soit pour la modélisation en neuroscience ou encore pour des problèmes de classifications.

Quelques applications industrielles ont déjà été testées. Un très gros effort est fait pour démontrer dès maintenant des applications productives telles que la reconnaissance de caractères écrits à la main, la recherche et la reconnaissance d'images, la vision robotique etc.

Quelques applications dans le domaine de la reconnaissance de la parole, sont d'ores et déjà impressionnantes et donnent des résultats au moins égaux aux autres méthodes actuelles.

D'autres classes de problèmes qui ne sont pas à priori du domaine de la reconnaissance de forme peuvent y être ramenées par la masse des informations à analyser. Ici bien que nous ayons à faire à des informations de type codé traditionnelles, une analyse symbolique de type logique demande trop de traitement informatique pour être envisageable.

Dans ce cas On peut analyser cette masse de données comme un problème de reconnaissance de forme, tout au moins dans une première phase de manière à réduire le champ du problème initial.

On peut penser par exemple à l'analyse des données arrivant sur une console de réseau télématique complexe où des millions de paramètre devraient être traités logiquement en temps réel pour pouvoir prévenir une panne due à certaines conditions. On peut envisager qu'un réseau neuronal soit entraîné à reconnaître des formes de situations ayant, dans le passé entraîné des pannes du réseau télématique.

Nous n'avons toutefois pas encore de fondations théoriques suffisantes pour bâtir un réseau neuronal universel (General Purpose) mais les applications potentielles semblent prometteuses.

 

Avons nous un nouveau "paradigme"?

Ceci était la question que posait Margaret Boden's dans sa présentation a la conférence de Zurich. Comme philosophe des sciences elle est plus intéressée par les implications humaines des nouvelles technologies. Sa question était de savoir si les réseaux neuronaux donnent du fonctionnement du cerveau humain, un modèle réellement différent de celui de l'I.A. traditionnelle.

GOFAI (Good Old Fashion A.I.)

Elle a proposé pour parler de l'I.A. le néologisme GOFAI, qui reflète assez bien la situation présente telle que la voient les tenant des réseaux neuronaux. En effet on assiste à une assez forte résistance des informaticiens classiques face à ces nouvelles technologies.

C'est la résurgence de la classique querelle entre les modèles analytiques et les modèles analogiques de l'intelligence. Les premiers essayant de décomposer progressivement en éléments logiques de plus en plus petits les processus mentaux pour par la suite reconstruire le tout en procédant en sens inverse. L'autre approche, plus globale propose de procéder par imitation du fonctionnement du cerveau, même si dans un premier temps, on doit se contenter d'imiter des sous ensembles assez limités de ce cerveau.

Est-ce la fin de l'Ordinateur à Programme enregistré

Comme nous l'avons vu, les réseaux neuronaux artificiels sont capable d'apprendre par l'exemple, toutefois avons nous pour autant une situation radicalement différente des ordinateurs traditionnels?

Margaret Boden concluait son exposé à Zurich en disant que nous n'avions pas avec les réseaux neuronaux artificiels un nouveau paradigme pour un modèle de l'intelligence. Elle faisait justement remarquer que dans chaque élément d'un réseau, nous avons un modèle de l'activité cérébrale fondé sur une analogie avec le calcul par ordinateur. Les réseaux neuronaux ne constituent donc pas pour elle une méthode radicalement nouvelle de simulation de l'intelligence.

Cette opinion est très vraie au niveau de la micro analyse mais ne l'est plus au niveau macro. Il y a une différence fondamentale entre les modèles de l'I.A. traditionnelle et les modèles des réseaux neuronaux. Les premiers fonctionnent par programmes enregistrés pour traiter l'information, les seconds utilisent un même algorithme, relativement simple, répété par chaque "neurone" du réseau et le réseau "apprend" par des exemples.

Il n'y a donc pas ici de programmation, tout au moins dans le sens où un algorithme de programmation est remplacé par un apprentissage. Les formes qui doivent être associées avec une action spécifique, sont présentées en entrée au réseau neuronal et apprises par lui.

Ceci représente une approche complètement différente de celle des ordinateurs de Von Neuman, et surtout de l'analogie qui les utilisait comme modèles des processus de la pensée humaine.

Cet apprentissage est très différent d'un réseau neuronal à un autre. Il peut se faire sur quelques exemples dans certains cas, mais peut aussi demander des milliers voire de centaines de milliers d'exemples.

Directions de recherche

Ces quelques remarques montrent bien que le champ des recherches sur les réseaux neuronaux artificiels reste très ouvert et n'a pas pour le moment trouvé de direction stable. Il est difficile de dire à ce point ce que réserve le futur de cette technologie. Il manque un cadre théorique aux différents efforts.

Besoin d'un cadre de travail

Le foisonnement d'idées, en ce qui concerne les recherches en matière d'apprentissage par les réseaux neuronaux, ne saurait masquer le manque complet de stratégie, l'apprentissage se situant à des niveaux divers: reconnaissance de lettres, de chiffres, de morceaux de musique, de diagnostic médical ou encore des règles de l'addition en binaire par l'exemple...

Je pense qu'il est nécessaire de se donner un cadre de référence théorique pour faire avancer la recherche, même si l'on doit faire évoluer ce cadre en fonction des progrès de la recherche.

La Métaphore de la théorie de l'Evolution

Dans son approche théorique, le professeur Mulenbein fait explicitement référence à la théorie de l'évolution qu'il applique au développement de l'intelligence. L'apprentissage est alors définit comme "tout changement dans la structure des connaissances d'un système lui permettant de mieux se comporter lors de l'exécution ultérieure d'une tâche donnée".

Ceci implique que nous observions les modifications du comportement exprimées au niveau macroscopique dont les causes se trouvent dans des modifications au niveau microscopique d'un processus d'évolution.

On peut en faire le résumé suivant en deux points: 

L'évolution est simulée par un algorithme génétique contenant

Le modèle retiendra donc les mutations favorables à l'apprentissage et rejettera celles qui entraînent des échecs.

La Métaphore Dévelopementale

Une autre approche pourrait être organisée suivant les stades Piagetiens du développement de l'intelligence chez l'enfant. Les enfants ne commencent pas leur apprentissage par la reconnaissance de chiffres, il existe des pré-requis à chaque niveau d'apprentissage, sans lesquels le niveau suivant d'apprentissage est voué à l'échec. Les thèses de Piaget ont été contestées récemment, mais cela ne change pas mon argumentation.

Je cherche simplement à proposer une voie de recherche structurée dans l'approche du développement de l'intelligence dans une machine. La recherche pourrait partir des apprentissages élémentaires au niveau de l'intégration sensori motrice, des processus olfactifs et d'autres processus élémentaires que J.C. Perez appelle "pré-intelligents". La difficulté de cette approche est qu'elle nécessite une très grande pluri-disciplinarité.

Certains chercheurs se sont engagés dans cette voie: Edelman's, par exemple pour l'apprentissage sensori moteur ainsi que Lalonde dont les recherches sur les pré-requis fondamentaux dans ce même domaine sensori moteur pourront avoir une portée plus étendue dans d'autres domaines sensoriels.

Les recherches de Kuperstein font un pas de plus en intégrant l'information visuelle de deux caméras vidéo pour diriger un bras de robot. Après apprentissage, le bras de robot s'oriente directement vers l'objet présenté devant les caméras malgré les changements de forme et de position de l'objet présenté.

Ces directions de recherche vont tout à fait dans le sens d'une approche dévelopementale de l'intelligence.

Les difficultés rencontrées viennent à point nous rappeler l'énormité du problème. Dans les trois cas cités, l'environnement a été extrêmement simplifié. Il suffit par exemple d'incliner légèrement les caméras vidéo pour que l'apprentissage soit à refaire. On lira avec extrême intérêt les récentes recherches sur le pré-traitement de l'image par les neurones de la rétine, traitement pré-intelligent de l'information avant envoi vers le cerveau facilitant la reconnaissance des formes et mouvements.

L'étude des malfonctions cérébrales élémentaires devraient nous informer sur les processus de base du développement des connaissances. On pourrait peut être essayer d'utiliser avec les réseaux neuronaux les stratégies éducatives utilisées en éducation spécialisée avec les enfants déficients mentaux.

 

Le futur des RESEAUX NEURONAUX

Etant donné la rapidité de l'évolution des technologies mais des énormes difficultés conceptuelles restant à résoudre, il est délicat de prédire l'évolution dans le domaine des réseaux neuronaux artificiels.

A court terme: développement d'architectures mixtes

L'I.A. classique et les réseaux neuronaux intégrés à la manière du cerveau gauche et du cerveau droit. Les réseaux neuronaux traitant les aspects globaux de perception et de catégorisation pendant que l'I.A. se servirait de résultats de ce processus et le traiterait de manière logique.

En fait, la perception est en permanence influencée par des processus cognitifs supérieurs à caractère logique et symbolique, utilisant le contexte présent ainsi que les apprentissages passés pour corriger les données brutes de la perception (Voir les travaux de John Morton, du MRC à London par exemple). Les travaux sur l'asymétries hémisphérique du cerveau dans l'utilisation des catégories sémantiques Par Hines démontrent aussi l'influence des fonctions supérieures sur les processus de perception. En bref, si l'on prépare un sujet en lui présentant des objets d'une certaine catégorie avant une tâche de reconnaissance, il sera capable de reconnaître ces objets plus rapidement que sans préparation. Les patients avec des lésions de l'hémisphère gauche ne manifestent plus cette caractéristique.

L'I.A. symbolique sera utilisée en complément de la reconnaissance des formes par le réseau neuronal, mettant en jeux un traitement logique de l'information reçue. La conférence du professeur James Hendler, à Zurich donne un aperçus des possibilités de cette approche mixte.

A Long terme: raisonnement Symbolique par les réseaux neuronaux.

L'intégration des deux aspects: reconnaissance de forme et traitement logique de l'information devront à long terme être supportés par les réseaux neuronaux artificiels.

Plusieurs équipes de recherche travaillent dans ce domaine. Minsky et Papert, qui ne croyaient pas à cette possibilité, avaient lancé un défit à propos de la réalisation du "ou" exclusif (XOR) en utilisant les réseaux neuronaux. Ce problème est maintenant résolu par plusieurs architectures de réseaux. Ce n'est pas pour autant que les réseaux neuronaux sont pour le moment capable de raisonnement logiques complexes. De la même manière que la perception est influencée par les processus symboliques, ces derniers le sont aussi par la perception présente et par le rappel inconscient d'expériences passées. Les réseaux neuronaux actuels sont capables d'apprentissage de type associatif mais pas encore d'aller rechercher dans des expériences passées des éléments permettant de mieux analyser la situation présente.

C'est un des nombreux défis auxquels a à faire face la technologie des réseaux neuronaux. Une autre prédiction sans trop de risques est que nous verrons progressivement la taille des réseaux neuronaux augmenter. Ceci impliquera alors la réalisation en circuit câblé de réseaux neuronaux à grande échelle.

Enfin, si cette nouvelle technologie veut arriver à conquérir les domaines d'applications industrielles il lui faudra faire d'énormes progrès en matière d'interface utilisateur. En effet, les modèles expérimentaux actuels demandent de la part des utilisateurs le même genre d'effort d'adaptation qu'en demandaient les premiers ordinateurs.

Bibliographie

  1. "1989: La révolution des neurones", Le POINT N° 850 - 2 Janvier 1989
  2. "Le Cerveau et la Mémoire", Science et Vie Hors série N°. 162, Mars 1988
  3. R. Granger, "Connectionist modeling and Simulation in Neuroscience and Psychology", Connectionism in Perspective, Zurich 10-13 October 1988.
  4. N. Franceschini, "Information Processing in the Retina", Neuro-Nimes'88, Nimes 15-17 Novembre 1988.
  5. H. Muhlenbein, "Adaptation in open systems: Learning and Evolution", Konnektionismus workshop, GERMANY, August 1988.
  6. G. Reeke, G. Edelman, "Synthetic Neural Modeling: A Darwinian approach to Brain theory", Connectionism in Perspective Zurich, 10-13 October 1988.
  7. W. Lalonde, "Neuroplanners: Mechanisms for Subcognitive Control", Neuro-Nimes'88, Nimes 15-17 Novembre 1988.
  8. M. Kuperstein, J Rubinstein, "Adaptive sensory-motor Coordination using Neural Networks", Connectionism in Perspective, Zurich 10-13 October 1988.
  9. M. Boden, "Connectionism, is It a New Paradigm?" Connectionism in Perspective, Zurich 10-13 October 1988.
  10. J. Morton, "Perception et Contexte", La Recherche, 1974,
  11. D. Hines, P Sawyers, J. Dura, J. Ghilchrist, M. Czerwinski, "Hemispheric Asymetry in Use of Semantic Category Information", Neuropsychologia, Vol 22, No. 4, pp.427-433, 1984.
  12. J. Hendler, "Problem Solving and Reasoning: a Connectionist Perspective", Connectionism in Perspective, Zurich 10-13 October 1988.
  13. J.C. Perez, "De Nouvelles Voies vers l'Intelligenge Artificielle", MASSON Editeur PARIS, Mars 1988
  14. La Recherche N° 200 Juin 1988(La Science en Europe), Articles sur la reconnaissance faciale, et sur le calcul à haut niveau de parallélisme.
  15. Les Nouveaux Ordinateurs, La Recherche, N°204, Novembre 1988, techniques des ordinateurs de demain.
  16. Special issue on Neurosystems and Neuroengineering, IEEE TRANSACTIONS ON BIOMEDICAL ENGINEERING, January 1989, Vol.36, No 1