Ils avaient réussi à remettre en image ce qui était perçu visuellement (une machine qui “lit vos pensées” reconstruit ce que le cerveau voit, que le Guru vous invite à consulter) mais cette fois-ci ils ont entrepris de cartographier les zones dans notre cerveau et la relation sémantique qu’il y établit lorsque nous regardons ce qui nous entoure.
Nos yeux sont peut-être les fenêtres sur le monde, mais comment pouvons-nous donner un sens aux milliers d’images qui inondent nos rétines chaque jour ? Les scientifiques de l’Université de Californie, Berkeley, ont découvert que le cerveau est interconnecté pour mettre en ordre toutes les catégories d’objets et les actions que nous voyons. Ils ont créé la première carte interactive de la manière avec laquelle le cerveau organise ces groupes. Le résultat, obtenu par le biais de modèles informatiques à partir des données d’imagerie cérébrale recueillies alors que des sujets regardaient des heures d’extraits vidéos, est selon l’appellation des chercheurs :
Un espace continu sémantique qui décrit les représentations de milliers de catégories d’objets et d’actions à travers le cerveau humain.
Certaines relations entre les catégories ont un sens (les humains et les animaux partagent le même “voisinage sémantique”) tandis que d’autres sont moins évidentes. Les chercheurs ont constaté que différentes personnes partagent une disposition sémantique similaire.
Selon Alexander Huth, étudiant en doctorat de neurosciences à l’Université de Berkeley et auteur principal de l’étude (vidéo et lien plus bas) :
Nos méthodes ouvrent une voie qui va rapidement conduire à une compréhension plus complète et détaillée de la façon dont le cerveau est organisé. Déjà, notre cerveau visible en ligne semble donner la vue la plus détaillée de la fonction visuelle et de l’organisation d’un seul cerveau humain.
Une meilleure compréhension de la façon dont le cerveau organise l’entrée visuelle peut aider au diagnostic médical et au traitement des troubles du cerveau. Ces constatations peuvent également être utilisées pour créer des interfaces cerveau-machine, en particulier pour le visage et d’autres systèmes de reconnaissance d’image. Entre autres choses, ils pourraient améliorer la capacité du système d’une épicerie libre-service à reconnaitre les différents types de marchandises.
Notre découverte suggère que les scanners du cerveau pourraient bientôt être utilisés pour étiqueter une image que quelqu’un voit et pourrait également aider à enseigner aux ordinateurs comment mieux reconnaitre des images.
Il a longtemps été estimé que chaque catégorie d’objets ou d’actions, que les êtres humains voient (les gens, les animaux, les véhicules, les appareils ménagers et les mouvements), était représentée dans une région séparée du cortex visuel. Dans cette dernière étude, les chercheurs ont constaté que ces catégories sont représentées dans des cartes très organisées qui se chevauchent et couvrent jusqu’à 20 % du cerveau, y compris le cortex somatosensoriel et le lobe frontal.
Pour réaliser l’expérience, l’activité cérébrale de cinq chercheurs a été enregistrée via un appareil d’Imagerie par Résonance Magnétique fonctionnelle (IRMf), alors qu’ils regardaient des séquences vidéos, deux heures au total. Le scanner du cerveau a permis de mesurer le flux sanguin dans des milliers d’endroits simultanément à travers le cerveau.
Les chercheurs ont ensuite utilisé “une analyse de régression linéaire régularisée”, qui devait trouver des corrélations dans les données, pour construire un modèle montrant comment chacun des 30 000 (environ) emplacements dans le cortex répondait à chacune des 1 700 catégories d’objets et d’actions vus dans les clips. Ensuite, ils ont utilisé l’analyse en composantes principales, une méthode statistique qui peut faire la synthèse de grands ensembles de données, pour trouver “l’espace sémantique” qui était commun à tous les sujets de l’étude.
Ci-dessous : le schéma de l’expérience. Les sujets ont regardé 2 heures de films “naturels” tandis que des réponses (BOLD) étaient mesurées en utilisant un IRMf. Les objets et les actions dans les films ont été labélisés en utilisant 1 364 termes du lexique du WordNet. La relation hiérarchie : “est un”, définies par le WordNet, a été employé pour déduire la présence de 341 catégories d’ordre supérieur, fournissant un total de 1 705 labels distincts de catégorie. Une analyse de régression linéaire régularisée a alors été effectué pour chaque voxel cortical enregistré dans le cerveau de chaque sujet. Les modèles de catégories en résultant décrivent comment les diverses catégories d’objet et d’action influencent les signaux (BOLD) enregistrés dans chaque voxel. Les catégories avec une charge positive tendent à augmenter le BOLD, alors que ceux avec une charge négative tendent à diminuer les réponses BOLD. La réponse d’un voxel à une scène particulière est estimé comme étant la somme des charges pour toutes les catégories dans cette scène.
Les résultats sont présentés dans des cartes multidimensionnelles multicolores (comme celle présentée en entête et que vous pouvez visualiser dans une représentation interactive en lien en bas de cet article), montrant plus de 1 700 catégories visuelles et leurs relations les unes aux autres. Les catégories qui activent les mêmes zones du cerveau ont des couleurs similaires. Par exemple, les êtres humains sont en vert, les animaux sont en jaune, les véhicules sont de couleur rose et violet et les bâtiments sont en bleu.
En utilisant l’espace sémantique comme un outil de visualisation, nous avons immédiatement vu que les catégories sont représentées dans ces cartes incroyablement complexes qui couvrent une plus grande partie du cerveau que ce à quoi nous nous attendions,
a déclaré Huth qui a produit une vidéo et un site interactif (lien plus bas) pour expliquer au mieux ce qu’ils ont trouvé :
Le site interactif d’Alexander Huth qui vous permettra de visualiser les relations sémantiques effectuées par le cerveau et la zone dans celui-ci où elles occurrent : pycortex WebGL MRI viewer.
Leur étude a été publiée sur Neuron : A Continuous Semantic Space Describes the Representation of Thousands of Object and Action Categories across the Human Brain.
