Les chercheurs de Facebook AI Research présentent, ce vendredi 14 mai, une nouvelle méthode de deep learning pour l’IA, nommée Expire-Span. La particularité de cette innovation ? Expire-Span a des petites lacunes de mémoire… Loin d’être une faiblesse, de petits oublis bien choisis permettraient aux IA de gagner en évolutivité et en efficacité.

Oublier le superflu pour retenir l’essentiel

L’appétit gargantuesque de données des IA est aussi l’une de leurs faiblesses. Elle traite systématiquement toutes les données qui leur sont soumises. Une méthode qui a ses limites pour analyser des grandes bases d’informations comme des livres ou des vidéos longues. C’est possible, mais cela entraîne des coûts de calcul importants.

C’est ici qu’intervient Expire-Span. Les chercheurs de Facebook ont donné à l’IA la capacité d’oublier des informations. Pour cela ils se sont inspirés de ce qu’ils avaient sous la main : la mémoire humaine. Le cerveau, assailli perpétuellement d’informations, les classes selon leur pertinence pour ne retenir que l'essentiel.

Expire-Span fonctionne selon le même principe, elle classe ses tâches selon leur pertinence puis leur donne une date de péremption. Une date plus ou moins longue selon la pertinence de l’information pour la tâche à accomplir par l’IA. Les mécanismes d’apprentissages permettent ensuite au modèle d’ajuster la date de péremption à mettre sur les informations pour affiner sa décision.

Dans un exemple utilisé par les auteurs de l’étude, la méthode est explicitée. Une IA normale chargée de trouver sur une photo une porte jaune dans un couloir comportant six portes va conserver toute l’image en mémoire pour résoudre le problème. Avec Expire-Span, l’IA va retenir une seule partie de l’image, la plus pertinente pour sa tâche.

test "trouver la porte jaune" soumis à une IA

Le test d'efficacité et d'oubli soumis à une IA avec Expire-Span. Crédit Facebook AI Research

Avec cette méthode économe Expire-Span gagne aussi, paradoxalement, de la mémoire. Jusque-là les systèmes, pour conserver les informations, les compressaient, altérant les « souvenirs ». Expire-Span, en éliminant le superflu, conserve l’essentiel, plus efficacement et plus longtemps.

Les créateurs du modèle revendiquent une meilleure « efficacité sur plusieurs tâches à contexte long dans la modélisation du langage, de l’apprentissage par renforcement, de la collision d’objets et des tâches algorithmiques ». Autant de domaines où Facebook souhaite se positionner en leader dans l'IA.

L’esprit humain, modèle éternel des futurs IA ?

Les scientifiques à l’origine de l’étude estiment que « L’évolutivité et l’efficacité impressionnantes d’Expire-Span ont des implications passionnantes pour, un jour, atteindre un large éventail de capacités d’IA dures ». L’objectif de l’équipe de recherche est de rapprocher un peu plus le fonctionnement des souvenirs de l’IA à celui des humains. Selon eux, la prochaine étape est d’incorporer dans les réseaux neuronaux différents types de mémoires pour toucher la complexité des souvenirs de l’homme.