Il y a tout d'abord consensus sur le fait que l'apprentissage supervisé, où un humain a donné les bonnes réponses, est dans l'ensemble maîtrisé mais le coût de récupérer un jeu de données est trop grand pour qu'on sorte des applications classiques.

La façon dont était envisagé l'apprentissage non-supervisé il y a une dizaine d'années venait du raisonnement suivant: en tant qu'humains, nous ne devons pas résoudre une seule tâche, comme par exemple de détecter les objets, mais tout un ensemble de tâches liées les unes aux autres (trouver de la nourriture, éviter les voitures, marcher, etc.) Comme il serait compliqué de lister toutes les tâches qui nous intéressent, on va essayer de créer des algorithmes qui marchent pour toutes les tâches possibles et imaginables. Comme la seule chose commune entre toutes ces tâches est les signaux (visuels, auditifs, etc.) qu'on perçoit, on va essayer de modéliser aussi bien que possible ces signaux.

On s'est rendu compte que cette façon de faire était vouée à l'échec, même s'il y a des toujours des papiers qui sortent sur le sujet, car la difficulté de modéliser le monde est bien supérieure à celle nécessaire à résoudre les tâches qui sont importantes. Pour refaire le parallèle avec les humains, je suis bien incapable de modéliser les sons et la forme d'un chien mais je m'en fiche, la seule chose que j'ai besoin de savoir est ce que je fois faire pour ne pas me faire mordre.

On a donc cherché à faire de l'apprentissage non-supervisé qui soit moins ambitieux. C'est pourquoi, depuis quelques années, on fait de l'apprentissage non-supervisé "prédictif", c'est-à-dire qu'au lieu d'essayer de modéliser le monde entier, on essaye de prédire certaines parties du monde étant donné(es ?) d'autres. Ainsi, on va prédire un mot dans une phrase en fonction des mots qui l'entourent (c'est l'idée derrière Word2Vec1 qui fait toujours bien dans un article car il permet d'écrire "Paris - France + Italie = Rome" OMG AI!) ou une frame dans une vidéo étant données les frames précédentes5.

L'idée de cette apprentissage non-supervisé est que, pour être capable de prédire la prochaine frame (par exemple), il va falloir comprendre la notion d'objet, d'occlusion ou de mouvement, notions qui seront réutilisables dès qu'on voudra résoudre une tâche en particulier. C'est l'idée derrière ce qu'on appelle "l'apprentissage de représentations": si les tâches à effectuer diffèrent, les représentations sous-jacentes nécessaires pour les résoudre sont similaires, en tout cas jusqu'à un certain point.