Le sens des mots peut être difficile à localiser quand ils sont sur le bout de votre langue et encore moins dans le cerveau. Maintenant, pour la première fois, des schémas d’activité cérébrale ont correspondu avec les significations de mots spécifiques. La découverte est un pas en avant dans nos efforts pour lire dans les pensées uniquement via l’activité du cerveau et pourrait ainsi aider les médecins à identifier une prise de conscience chez les personnes atteintes de lésions cérébrales.
Comme vous l’a décrit votre Guru préféré, les machines peuvent déjà "écouter" notre cerveau pour distinguer les mots auxquelles nous pensons (et même reconstruire par le biais d’images ce que le cerveau voit), mais Joao Correia à l’Université de Maastricht aux Pays-Bas a voulu aller au-delà de la représentation des mots par le cerveau et identifier l’activité qui sous-tend leurs significations. Il fit l’hypothèse que quelque part dans le cerveau, la représentation des mots écrits et oraux sont intégrés et le sens traitée.
Pour commencer cette traque, Correia et ses collègues ont utilisé un scanner IRMf pour étudier l’activité cérébrale de 8 volontaires bilingues alors qu’ils écoutaient les noms de quatre animaux, taureau, cheval, requins et canard, prononcés en anglais.
L’équipe a enregistré les modèles d’activité neuronale dans le cortex temporal antérieur gauche, dont on sait qu’il est impliqué dans plusieurs tâches sémantiques, pour ensuite former un algorithme afin de déterminer quel mot un participant entendait en se basant sur le modèle de l’activité.
Alors, l’équipe a voulu se centrer sur les activités liées au sens, ils ont choisi les mots qui étaient aussi semblables que possible, les quatre contiennent une syllabe et appartiennent à la notion d’animaux. Ils ont aussi choisi des mots qui auraient été appris à peu près à la même période de la vie et qui prenaient un temps similaire au cerveau pour les traiter. Ils ont ensuite testé si les différences dans l’activité cérébrale étaient liées à la sonorité du mot ou à sa signification en testant si l’algorithme pouvait identifier le bon animal, tandis que les participants écoutaient la version néerlandaise du mot.
Le système était encore en mesure d’identifier l’animal qui avait été nommé, en dépit d’être formés avec des modèles générés pour les mots anglais. Par exemple, le mot “cheval” (Horse) et son équivalent néerlandais "paard" a donné lieu au même modèle cérébral, suggérant que l’activité représentait la signification du mot, le concept d’un cheval.
Comme les résolutions de l’imagerie cérébrale s’améliorent, Correia prédit qu’un plus grand nombre de mots pourrait être déterminé à partir de l’activité cérébrale seule. En principe, il pourrait même être possible d’identifier des phrases entières en temps réel, selon lui.
Toutefois, ces modèles de l’activité cérébrale, que Correia a identifiés, sont uniques à chaque personne. Les cerveaux sont comme des visages ! les yeux, le nez et la bouche sont tous au même endroit, mais leurs détails peuvent être différents. Les significations peuvent être stockées dans la même zone, mais les neurones actuelles seraient idiosyncrasique (propre à chaque individu). Pour lire les pensées de quelqu’un, une machine doit tout d’abord apprendre la représentation unique qu’a cet individu pour chaque mot.
Pour l’instant, en sachant où chercher pour trouver l’activité du cerveau liées au sens cela pourrait aider les médecins à identifier la prise de conscience chez les personnes qui ont des troubles de la conscience, comme le syndrome d’enfermement. Quand une personne entend un mot qui a deux significations, le cerveau traite la phrase liée d’une manière différente, de manière plus “ambigüe”. Cet effort supplémentaire peut être identifié dans un scanner du cerveau et est utilisé par l’équipe de Davis pour déterminer si une personne avec une lésion cérébrale effectue le traitement du sens. La capacité de repérer où différents types de sens existent dans le cerveau permettront d’affiner cette technique, selon lui.
L’équipe a présenté leurs travaux lors de la Conférence NLC à San Sebastián, en Espagne, le mois dernier. L’étude décrite à la page 11 de la brochure Welcome to NLC 2012, Donostia-San Sebastián – Language Disorders, Laterality, Meaning and Communication.
