En octobre 2012, dans le cadre feutré de la conférence européenne de vision par ordinateur (ECCV) à Florence, les résultats annuels de la compétition ILSVRC (ImageNet Large Scale Visual Recognition Challenge) sont proclamés devant un parterre de spécialistes internationaux.
Depuis des années, dans le domaine de la vision par ordinateur, les progrès se mesuraient laborieusement en dixièmes de point de pourcentage. Les meilleures équipes du monde entier rivalisaient d'ingéniosité en combinant des descripteurs géométriques conçus à la main (SIFT, HOG, Fisher Vectors) avec des classifieurs statistiques réputés intraitables (les SVM).
Mais ce jour-là, les organisateurs affichent un graphique qui provoque un silence de stupéfaction dans l'amphithéâtre.
Une équipe venue de l'université de Toronto — composée d'un doctorant ukrainien nommé Alex Krizhevsky, de son camarade de laboratoire Ilya Sutskever, et de leur mentor légendaire Geoffrey Hinton — vient de pulvériser la concurrence avec un modèle baptisé AlexNet.
Compétition ImageNet 2012 (Taux d'erreur Top-5) :
┌─────────────────────────────────────────────────────────────┐
│ 2e place (Méthodes classiques SIFT + SVM) : 26.2 % │
│ │
│ 1re place : AlexNet (Réseau de Neurones GPU): 15.3 % ◄─── │
└─────────────────────────────────────────────────────────────┘
Un gouffre historique de -10.9 % !
Ce n'était pas une simple victoire de plus : c'était un séisme scientifique. En une seule compétition, AlexNet venait de reléguer deux décennies d'ingénierie visuelle classique aux oubliettes et de sonner le coup d'envoi de l'ère moderne du Deep Learning.
1. Le catalyseur silencieux : Fei-Fei Li et le défi ImageNet#
Pour que la révolution du Deep Learning ait lieu, les algorithmes seuls ne suffisaient pas. Il manquait un ingrédient fondamental : le carburant des données.
Dès 2006, une jeune chercheuse sino-américaine de Princeton (puis de Stanford), Fei-Fei Li, pose un diagnostic lucide et à contre-courant du consensus académique :
« La plupart des chercheurs se focalisent sur l'optimisation des algorithmes. Mais le cerveau humain apprend parce qu'il est exposé en permanence à des millions d'expériences visuelles réelles. Pour que les machines voient, il faut leur donner un océan de données du monde réel. »
Inspirée par la structure ontologique de WordNet, Fei-Fei Li lance le projet titanesque ImageNet. En utilisant la plateforme naissante de micro-travail en ligne Amazon Mechanical Turk, son équipe mobilise près de 50 000 annotateurs à travers 167 pays pour trier, filtrer et valider des millions de photographies récupérées sur le Web.
En 2009, la base ImageNet est mise gratuitement à la disposition du monde entier : plus de 14 millions d'images annotées, couvrant plus de 20 000 catégories sémantiques distinctes.
À partir de 2010, le concours annuel ILSVRC met la communauté au défi : classifier 1,2 million d'images d'entraînement réparties dans 1 000 classes d'objets du quotidien (des dizaines de races de chiens, des modèles de voitures, des champignons, des instruments de musique). Jusqu'en 2012, les machines plafonnaient autour de 28 % d'erreur.
2. Le mariage providentiel : Réseaux profonds et processeurs graphiques (GPU)#
Pendant près de trente ans, Geoffrey Hinton et ses collègues avaient défendu l'idée que les réseaux de neurones deviendraient imbattables dès lors qu'ils comporteraient suffisamment de couches cachées profondes. Mais sur les processeurs d'ordinateurs traditionnels (CPU), entraîner un réseau profond sur un million d'images en haute résolution aurait pris des mois, voire des années.
C'est là qu'intervient le génie de programmation d'Alex Krizhevsky.
Grand passionné d'informatique matérielle, Krizhevsky comprend que les opérations au cœur des réseaux de neurones (les produits matriciels et les convolutions) sont intrinsèquement parallèles. Or, un composant matériel réalisait déjà ces calculs matriciels à très grande vitesse depuis des années pour afficher les polygones des jeux vidéo 3D : le processeur graphique (GPU).
Krizhevsky écrit à la main un code C++/CUDA ultra-optimisé au niveau des registres pour faire tourner son réseau sur deux cartes graphiques grand public NVIDIA GeForce GTX 580 (dotées chacune de seulement 3 Go de mémoire vidéo) branchées directement sur sa machine de bureau.
Ce qui prenait autrefois des semaines sur des serveurs coûteux s'exécute désormais en à peine six jours.
┌─────────────────────────────────────────┐
│ La Trinité du Deep Learning │
├─────────────────────────────────────────┤
│ 1. Les Algorithmes : Rétropropagation │
│ 2. Les Données : Base ImageNet │
│ 3. La Puissance Brute: GPU NVIDIA (CUDA)│
└─────────────────────────────────────────┘
3. L'architecture d'AlexNet et ses innovations de rupture#
AlexNet n'était pas seulement une réplique agrandie du LeNet-5 de 1998. C'était un colosse de 60 millions de paramètres et 650 000 neurones, articulé autour de huit couches d'apprentissage (5 couches convolutives et 3 couches denses), scindées en deux branches parallèles pour tenir dans la mémoire limitée des deux cartes GPU.
Entrée (224x224x3) ──► [ Conv 1 ] ──► [ MaxPool ] ──► [ Conv 2 ] ──► [ MaxPool ]
──► [ Conv 3 ] ──► [ Conv 4 ] ──► [ Conv 5 ] ──► [ MaxPool ]
──► [ Dense 4096 ] ──► [ Dense 4096 ] ──► [ Softmax 1000 ]
AlexNet a introduit plusieurs innovations techniques qui sont devenues des standards absolus du Deep Learning moderne :
1. La fonction d'activation ReLU (Rectified Linear Unit)#
Historiquement, les réseaux utilisaient des fonctions sigmoïdes ou tangentes hyperboliques. Leurs courbes s'aplatissant aux extrémités, le gradient s'annulait très vite lors de la rétropropagation, bloquant l'apprentissage des premières couches (le fameux problème du vanishing gradient).
AlexNet adopte la fonction ReLU :
Non-saturante et extrêmement rapide à calculer, ReLU a permis d'accélérer l'entraînement d'un facteur 6 par rapport aux fonctions classiques !
2. La régularisation par Dropout#
Avec 60 millions de paramètres, le risque de surapprentissage (overfitting) était critique. Krizhevsky et Hinton appliquent une idée novatrice : le Dropout.
Pendant chaque passe d'entraînement, chaque neurone des couches denses a 50 % de chances d'être temporairement désactivé de manière aléatoire. Le réseau est ainsi forcé d'apprendre des représentations robustes et redondantes, sans jamais dépendre de la présence d'une unité particulière.
3. L'augmentation massive des données (Data Augmentation)#
Pour éviter que le réseau ne mémorise les images par cœur, AlexNet génère à la volée des variantes de chaque image : légers décalages spatiaux, retournements horizontaux en miroir (horizontal flips) et altérations aléatoires des nuances de couleurs RVB grâce à une analyse en composantes principales (PCA).
4. L'onde de choc industrielle : La ruée vers l'or de l'IA#
Dès l'annonce des résultats d'AlexNet en octobre 2012, les géants de la Silicon Valley comprennent instantanément le changement de paradigme.
- En mars 2013, Google organise des enchères secrètes dans un hôtel du lac Tahoe pour racheter la société écran DNNresearch, fondée quelques mois plus tôt par Geoffrey Hinton et ses deux étudiants. Google l'emporte pour la somme faramineuse de 44 millions de dollars.
- Ilya Sutskever deviendra plus tard le cofondateur et scientifique en chef d'OpenAI, où il dirigera le développement des modèles GPT.
- Yann LeCun est recruté par Mark Zuckerberg pour diriger le tout nouveau laboratoire de recherche en IA de Facebook (FAIR).
- Jensen Huang, PDG de NVIDIA, comprend que l'avenir de son entreprise ne réside plus seulement dans le jeu vidéo, mais dans le calcul d'intelligence artificielle : NVIDIA pivote massivement et devient le fournisseur d'infrastructure incontournable du XXIᵉ siècle.
En 2018, Geoffrey Hinton, Yann LeCun et Yoshua Bengio se voient décerner conjointement le prix Turing (souvent qualifié de prix Nobel de l'informatique) pour avoir posé les fondations conceptuelles et pratiques de la révolution du Deep Learning.
Ce qu'il faut retenir#
- Le point de bascule de l'IA contemporaine : AlexNet en 2012 a démontré de manière irréfutable la supériorité éclatante des réseaux de neurones profonds sur toutes les méthodes d'ingénierie statistique antérieures.
- Le rôle clé d'ImageNet et de Fei-Fei Li : Sans une base de données annotée de plusieurs millions d'exemples variés, aucun réseau profond n'aurait pu s'entraîner sans surapprendre.
- Le GPU comme moteur de la révolution : L'utilisation des cartes graphiques NVIDIA pour le calcul tensoriel parallèle a fait sauter le verrou computationnel qui bridait les réseaux de neurones depuis trente ans.
- Des standards nés en 2012 : La fonction ReLU, le Dropout et l'augmentation de données introduits par AlexNet sont restés des briques fondamentales de l'apprentissage profond jusqu'à aujourd'hui.
Dans le dernier numéro de cette série historique, nous explorerons la révolution contemporaine des Transformers, du mécanisme d'attention et des grands modèles de langage (LLM) qui redéfinissent aujourd'hui les frontières du savoir.
Commentaires