脳信号からの画像復元技術の現状と課題
脳信号から視覚情報を読み取る技術は、脳の働きを深く理解することにつながります。また、神経系の病気で失われた機能を回復させる神経リハビリや、夢の内容を解読するといった未来的な応用も期待されています。これまでの脳信号からの画像復元技術は、有望な成果を上げてきました。しかし、その高い性能は、通常、同じ画像刺激を何度も繰り返し提示することに依存していました。そのたびに得られる脳信号を平均化していたのです。多い場合では、1枚の画像に対して最大80回もの繰り返し測定が必要とされました。これは、高い遅延、費用、そして利用者の大きな負担につながっていました。
少ない試行回数での精度低下の原因
繰り返し測定の回数が少ない場合、画像復元の精度は著しく低下します。この低下は、一般的に、脳信号に含まれる不要な信号（乱れ）が原因だと考えられてきました。平均化処理は、この乱れを抑え込み、信号の安定性を高める効果があるためです。しかし、私の詳細な分析の結果、問題は乱れだけではないことが判明しました。少ない繰り返し回数で得られた脳信号と、画像表現の間には、直接的な結びつきが弱いという「一貫しない並び方」が見られたのです。つまり、それぞれの信号は、多くの繰り返し測定で得られる安定した脳信号（高繰り返し中心）とは結びつくものの、互いに直接は結びつかないという状況です。このことから、乱れだけでなく、画像候補の配置も復元精度に影響を与えていることが分かりました。
新しい仕組み「NEAR」の核心
この複雑な課題に対処するため、私は「NEAR（Neural-Anchor-based Retrieval）」という新しい仕組みを提案します。NEARの基本的な考え方は、多くの繰り返し測定で得られる安定した脳信号を「基準点（アンカー）」として活用することです。この基準点は、真の脳信号表現に近いものと考えられます。NEARは、この基準点に対して、二方向からアプローチします。一つは、少ない繰り返し回数で得られた、乱れの多い脳信号を、この基準点へと引き寄せる処理です。これは、信号の乱れを取り除く機能（デノイザー）によって実現されます。
画像表現の最適化と実用化への道
もう一つのアプローチは、画像そのものの表現を基準点に近づけることです。NEARは、各画像候補に対して、その画像から仮想的な基準点を予測する小さなネットワークを導入します。この仮想基準点も、真の基準点に近づくように調整されます。これにより、画像表現が脳信号の基準点とより良く一致するようになります。つまり、NEARは、乱れの多い脳信号をきれいにするだけでなく、画像表現も脳信号の基準点に合わせて最適化することで、全体としての結びつきを強化するのです。NEARは、脳波（EEG）、脳磁図（MEG）、機能的磁気共鳴画像法（fMRI）という異なる種類の脳信号データを含む4つのデータ集でその効果を検証しました。その結果、少ない繰り返し回数での画像復元において、NEARは一貫して高い精度向上を示しました。具体的には、THINGS-EEG2というデータ集において、1回の繰り返し測定では最上位精度（Top-1 accuracy）を5.7パーセントポイント、4回の繰り返し測定では9.3パーセントポイント改善しました。この成果は、従来の技術が抱えていた繰り返し測定への高い依存度を大幅に軽減し、脳信号からの画像復元技術が現実世界で利用される可能性を大きく広げるものです。NEARは、脳とコンピューターの連携技術の発展に貢献し、新たな応用分野の開拓につながると期待されます。
PR
文賢 →
少ない試行回数で精度を出すのは、実用化の必須条件です。この技術は、脳波データから何ができるか、その可能性を広げます。私は、この「基準点」の考え方を、AIモデルの学習データ選定に応用できないか、すぐに検証します。
