Une interface transforme les signaux cérébraux de l’écriture manuscrite en texte

 

Les personnes complètement paralysées pourraient bientôt avoir accès à une nouvelle méthode de communication. Dans une nouvelle étude publiée cette semaine (lien plus bas), des chercheurs de l’université Stanford (États-Unis) décrivent une interface cerveau-ordinateur (IND) qui permet à une personne paralysée du cou d’écrire sur un ordinateur uniquement en imaginant qu’elle fait des mouvements d’écriture.

Auparavant, d’autres interfaces cerveau-machine avaient permis de rétablir la communication avec des personnes ayant perdu la capacité de parler ou de se déplacer en convertissant l’activité cérébrale en signaux qui donnent l’ordre de déplacer un curseur sur un écran d’ordinateur. L’utilisateur peut alors pointer et cliquer sur les caractères pour former un message.

Toutefois, ces interfaces étaient limitées à un maximum d’environ 40 caractères par minute, alors que la nouvelle interface de décodage de l’écriture manuscrite peut atteindre une vitesse de frappe de 90 caractères par minute avec une précision de 94 %. Cette performance rivalise avec celle de personnes valides envoyant des SMS sur leur smartphone.

Le participant devait imaginer qu’il écrivait des phrases comme si sa main n’était pas paralysée en imaginant qu’il tenait et appuyait un stylo sur une feuille de papier. Un type d’algorithme d’apprentissage automatique, appelé réseau neuronal, a traduit en temps réel l’activité cérébrale spécifique associée à ce mouvement en texte.

A partir de l’étude : lorsque le participant imaginait écrire une lettre ou un symbole, des capteurs implantés dans son cerveau détectaient des schémas d’activité électrique, qu’un algorithme interprétait pour tracer la trajectoire de son stylo imaginaire.

Cette preuve de concept/ faisabilité montre que l’exploitation des signaux cérébraux associés à l’écriture manuscrite peut conduire à un mode de communication beaucoup plus rapide et précis, même des années après la paralysie.

Selon l’auteur principal, Frank Willett, chercheur à Stanford :

Nous avons appris que le cerveau conserve sa capacité à prescrire des mouvements fins dix ans après que le corps a perdu sa capacité à exécuter ces mouvements. Et nous avons appris que les mouvements intentionnels compliqués impliquant des vitesses variables et des trajectoires courbes, comme l’écriture manuscrite, peuvent être interprétés plus facilement et plus rapidement par les algorithmes d’intelligence artificielle que nous utilisons que les mouvements intentionnels plus simples, comme le déplacement d’un curseur en ligne droite à une vitesse constante. Les lettres de l’alphabet sont différentes les unes des autres, il est donc plus facile de les distinguer.

La même technique peut être appliquée à presque tout type de comportement séquentiel. Par exemple, une interface similaire peut décoder la parole d’une personne qui ne peut plus parler.

Selon Krishna Shenoy, professeur d’ingénierie électrique à Stanford :

Alors que l’écriture manuscrite peut approcher les 20 mots par minute, nous avons tendance à parler autour de 125 mots par minute, et c’est une autre voie passionnante qui complète l’écriture manuscrite. S’ils sont combinés, ces systèmes pourraient offrir aux patients encore plus d’options pour communiquer efficacement.

Des millions de personnes dans le monde ont perdu la fonction de leurs membres supérieurs ou la capacité de parler en raison de lésions de la moelle épinière, d’accidents vasculaires cérébraux ou de la maladie de Charcot.

Cependant, cette interface n’est pas vraiment destinée à tout le monde. Le participant à l’étude, appelé T5, a perdu tout mouvement sous le cou en raison d’une lésion de la moelle épinière en 2007. Neuf ans plus tard, les chercheurs de Stanford, dirigés par Jaimie Henderson, professeur de neurochirurgie, ont implanté deux puces d’interface cerveau-ordinateur pas plus grandes qu’une aspirine sur le côté gauche du cerveau du patient. Chaque puce comporte une centaine d’électrodes qui captent les signaux émis par les neurones dans la partie du cortex moteur qui traite les mouvements de la main.

Un réseau d’électrodes utilisé dans la nouvelle étude. (BrainGate)

L’activité cérébrale enregistrée est envoyée par des fils à un ordinateur où le réseau neuronal décode le signal en instructions pour taper des caractères de texte. Il s’agit d’une procédure extrêmement invasive qui nécessitera une évaluation plus approfondie afin de déterminer si les avantages l’emportent sur les risques. L’étude publiée dans Nature : High-performance brain-to-text communication via handwriting et présentée sur le site de l’Université Stanford : Software turns ‘mental handwriting’ into on-screen words, sentences.