Tether выпустила с открытым исходным кодом движок BrainWhisperer для преобразования мыслей в текст

Tether выпустила BrainWhisperer — движок brain-to-text с открытым исходным кодом, который декодирует нейронные сигналы в письменную речь полностью на локальных устройствах. Генеральный директор Паоло Ардоино сообщил, что система теперь полностью интегрирована в QVAC — открытый стек on-device ИИ компании, и доступна разработчикам по всему миру в качестве proof-of-concept. BrainWhisperer, разработанная Tether Evo — исследовательским подразделением фирмы, была создана, чтобы обеспечить канал коммуникации для людей, утративших возможность говорить из‑за нейродегенеративных состояний, таких как боковой амиотрофический склероз (БАС). Это решает ограничения существующих решений, например устройств с отслеживанием взгляда и буквенными панелями, которые требуют нескольких минут, чтобы составить одно предложение.

BrainWhisperer достигает 8,7% word error rate валидационных тестов

BrainWhisperer — это переработанная версия модели распознавания речи Whisper. Вместо обработки аудио система принимает электрическую активность, записанную из речевой моторной коры головного мозга — с помощью вживлённых массивов электродов — и напрямую переводит эти сигналы в текст. Такой подход исключает необходимость в физическом движении или генерации звука.

Версия SDK модели работает менее чем в 2 гигабайта памяти с задержкой примерно 50 миллисекунд. В валидационных тестах с реальными нейронными записями одного участника она показала 8,7% word error rate, опустившись ниже порога в 10%, который исследователи считают ориентиром для практической применимости в реальном мире. Более сложный вариант той же архитектуры занял 4-е место среди 466 конкурирующих команд в международном челлендже brain-to-text, однако эта версия не является end-to-end и поэтому не была включена в выпуск SDK.

Tether делает акцент на локальном исполнении и защите приватности

Tether подчёркивает, что локальное исполнение является ключевым элементом дизайна технологии. Поскольку декодирование происходит полностью на устройстве пользователя через QVAC, никакие нейронные данные не передаются на внешние серверы — с учётом того, что система считывает намерение напрямую из мозга. Компания отмечает, что движок обрабатывает только ту речь, которую пользователь активно пытается произвести, и что будущие меры защиты, такие как ментальная аутентификация, могут дополнительно усилить контроль пользователя.

Технология остаётся экспериментальной и требует хирургического импланта

BrainWhisperer пока остаётся экспериментальной. Модель обучали на данных только четырёх участников, а версия SDK была откалибрована на одного человека. Для адаптации системы к новому пользователю потребуется и хирургический имплант, и персонализированный период калибровки, что создаёт медицинские, безопасностные и регуляторные барьеры. Tether описывает выпуск как базовый строительный блок для будущих ассистивных продуктов, а не как готовое для потребителей решение.

Исследовательская команда указывает, что лежащая в основе методология со временем может выйти за рамки речи — для декодирования воображаемых изображений, звуков и потенциально запланированного движения. Пока что открытый выпуск с исходным кодом даёт разработчикам рабочий on-device движок, который демонстрирует как осуществимость точного нейронного декодирования, так и практичность запуска таких систем на обычном оборудовании без зависимости от облака.

FAQ

Что именно выпустила Tether?

Tether выпустила BrainWhisperer — движок brain-to-text с открытым исходным кодом, который декодирует нейронные сигналы в письменную речь полностью на локальных устройствах. Генеральный директор Паоло Ардоино сообщил, что система теперь полностью интегрирована в QVAC — открытый стек on-device ИИ компании.

Насколько точен BrainWhisperer в валидационных тестах?

В валидационных тестах с реальными нейронными записями одного участника BrainWhisperer показала 8,7% word error rate. Более сложный вариант той же архитектуры занял 4-е место среди 466 конкурирующих команд в международном челлендже brain-to-text.

Каковы текущие ограничения BrainWhisperer?

BrainWhisperer остаётся экспериментальной. Модель обучали на данных только четырёх участников, а версия SDK была откалибрована на одного человека. Для адаптации системы к новому пользователю потребуется и хирургический имплант, и персонализированный период калибровки.