뇌에 심은 전극 하나로 말과 몸짓을 동시에 읽어내, 마비 환자가 가상 아바타로 자연스럽게 대화할 수 있는 기술이 개발됐다. 미국 uc샌프란시스코 에드워드 장(edward f. chang) 교수 연구팀은 뇌졸중·루게릭병(als)으로 말하고 움직이는 능력을 잃은 중증 마비 환자 3명을 대상으로 실험해 이 같은 사실을 확인했다. 이번 연구는 말과 몸짓을 동시에 읽어내는 데 성공한 첫 사례로, 마비 환자의 소통 기술에 새로운 전환점을 마련했다는 점에서 주목받는다.

연구팀이 개발한 기술은 뇌에서 발생하는 신호를 읽어 외부 기기를 제어하는 뇌-컴퓨터 인터페이스(bci)다. 지금까지는 말 또는 몸짓 중 하나만 해독하는 방식이 주류였다. 연구팀은 뇌 표면에 고밀도 전극 장치(ecog)를 이식하고, 환자가 말과 상체 몸짓을 동시에 시도할 때 발생하는 뇌 신호를 분석했다.

핵심은 말만 시도할 때와 말과 몸짓을 동시에 시도할 때 뇌 신호 패턴이 달라진다는 점이다. 연구팀은 두 가지 상황을 모두 학습 데이터로 활용해 이 문제를 해결했다. 그 결과 음성 해독 정확도는 최대 84%, 몸짓 해독 정확도는 최대 88%에 달했다. 특히 훈련 때 한 번도 보지 못한 새로운 말-몸짓 조합도 성공적으로 해독했다. 이 시스템을 통해 환자들은 실시간으로 개인 맞춤형 가상 아바타를 움직이며 실제 대화를 나눌 수 있었다.

연구팀은 일상 대화에서 말과 몸짓이 자연스럽게 함께 이루어지듯, 마비 환자에게도 두 가지를 동시에 지원하는 소통 기술이 필요하다고 강조했다. 뇌에서 말 관련 부위와 몸짓 관련 부위가 완전히 분리되지 않고 일부 겹치는 특성이 있어 동시 해독이 어려웠지만, 이번 연구가 그 한계를 극복했다고 설명했다.

이번 연구의 교신저자인 에드워드 장 교수는 "뇌 신호 하나로 말과 몸짓을 동시에 해독할 수 있다는 것을 처음으로 입증했다"라며 "마비 환자가 더 자연스럽고 표현력 있게 소통할 수 있도록 돕는 통합 기술 개발을 향한 중요한 한 걸음"이라고 밝혔다.

이번 연구 결과(simultaneous speech and gesture decoding for multimodal communication in paralysis: 마비 환자의 다중 양식 소통을 위한 말과 몸짓의 동시 해독)는 2026년 9월 국제 학술지 '네이처 신경과학(nature neuroscience)'에 게재됐다.