Beyond AI Logo

AIによる脳機能拡張(AIを用いた知覚・感性・認知能力の拡張) Expanding Brain Function Using AI (AI-assisted Expansion of Perception, Sensibility, and Cognitive Performance)

構成メンバー

People

研究リーダー Project Leader
池谷 裕二 教授 Yuji Ikegaya Professor
東京大学 大学院薬学系研究科 Graduate School of Pharmaceutical Sciences, The University of Tokyo
研究担当者 Researcher
  • 松本 信圭 助教 Nobuyoshi Matsumoto Assistant Professor
  • 宮野 幸 特任研究員 Miyuki Miyano Project Researcher
  • 馬場 敦 特任研究員 Atushi Baba Project Researcher
研究協力者 Research Collaborator
紺野 大地 Daichi Konno

Events

Events

ビデオ

Movie

課題

Challenges

「生」の環境では脳の潜在能力は十分に引き出せない The brain cannot reach its full potential in a “raw” environment

これまでの人類の歴史を振り返ると、文字や貨幣、印刷技術に電算機と新しい道具を開発し続け、そのたびに私たちの脳は、経験を通じてそれらの使い方を獲得し、積極的に生活の中で活用してきました。これには脳の持つ「可塑性」と呼ばれる性質が強く関わっています。目や耳といった感覚を通して得られる情報に応じて、脳の構造や機能が変化することは可塑性の大切な性質の一つで、私たちが何かを学習したり、記憶したりできるのも、可塑性のおかげです。つまり、人類は科学や技術を発展させてきただけでなく、それに合わせて自らの脳も変化させ順応してきました。これは脳が高い潜在能力を持つことを示していると同時に、裏を返せば、現在の「生」の環境に置かれているだけでは、脳はその機能を十分に引き出せないとも考えられます。AIを上手く活用すれば、脳は身体の制約から解放され、その潜在能力を引き出すことができると期待されます。

Throughout the history of mankind, we have continuously developed new tools such as letters, money, printing technology, and computers. Every time a new tool developed, our brains adaptively learn how to use it through experience and actively make use of it in our daily lives. This process arises from “plasticity” of the brain. One of the important aspects of plasticity is that the structure and function of the brain circuitry change in response to information obtained through the senses, such as the eyes and ears. Thanks to the plasticity, we are able to learn and remember things. In other words, human beings have not only developed science and technology, but have changed the way how to use their own brains according to the development of science and technology. This fact implies that the brain still has high potentials, but it cannot fully demonstrate that potential while being placed in our current “raw” environments. Therefore, by making the best use of AI, we would like free the brain from the constraints of the body and attempt to bring out its hidden potentials.

研究の内容

Details of Project

脳とAIのハイブリッドで知能を拡張する Brain-AI hybrid to extend intelligence

脳とAIのハイブリッドから「共生的創発」を新たに模索し、新次元の知覚・感性・認知能力を開拓します。「共生的創発」とは、脳と環境/身体/機械といった様々な対象と間のインタラクションの結果生じる知能の拡張であり、それを高度に支援するAIを開発することを目指します。具体的には、脳と外界とのインタラクションを支援するためのインターフェースや脳の能力の拡張に関する技術開発に取り組むとともに、インタラクションを理解するための原理・機構の解明とそれに資する情報の収集・分析に関する技術開発を行います。

We will explore “symbiotic emergence” from a hybrid of the brain and AI, and develop a new dimension of perception, sensitivity, and cognition. The “symbiotic emergence” refers to the extension of intelligence that occurs as a result of interactions between the brain and various objects such as the environment, body, and machines, and our goal is to develop AI that can support such interactions. Specifically, we will work on the development of technologies to expand the interfaces and brain capabilities to support interactions between the brain and outside world, as well as technologies for elucidating the principles and mechanisms for understanding interactions and to collect and analyze information that contributes to this understanding.

【1】AIチップがシグナルを感知する [1] Detection of signals by AI chip

脳とAIの「共生的創発」を実現するための1つ目のアプローチは、感覚センサ内蔵のAIチップを用いる方法です。環境や身体が発するシグナルを感覚センサで感知し、感知した情報に基づいてAIチップが脳へ刺激を送信することで、普段は気付かないような情報を認知させるというものです。例えば、日本人の多くは、RとLの発音を聞き分けることが苦手です。日本語を聞いて成長をする中で、必要のない聞き分け能力が機能としてはそぎ落とされてしまった結果です。RとLの発音を聞いたときには当然異なったシグナルが耳から脳へ送られていますが、脳はそれらを弁別して認知しません。その代わりに、AIチップから発音に応じて異なるシグナルを送信することで、その違いを認知させます。繰り返し使用することで脳の「可塑性」が誘導され、発音を聞き分ける能力が拡張されます。

The first approach to achieve “symbiotic emergence” between the brain and AI is to use an AI chip with built-in sensory sensors. Signals from the environment and body are detected by sensory devices. Based on the detected information, the AI chip sends stimuli to the brain to make it recognize information that it would not normally be aware of. For example, most Japanese people are not good at differentiating between the R and L pronunciations. Because we grow up hearing Japanese language, our ability to distinguish between R and L pronunciations was lost as a function. The pronunciations of R and L are physically different, but different signals must be sent from the ear to the brain; nonetheless the brain does not discriminate between them. Thus, we can design a AI chip that produce different electric signals depending on the pronunciation, so that the brain can recognize the difference. Repeated use of this device will induce “plasticity” in the brain and expand the ability to distinguish pronunciation.

【2】脳情報を解読し脳機能を高める [2] Decoding brain information to enhance brain function

もう一つのアプローチは、脳情報をAIで解読をして、本人に知らせるという方法です。脳そのものは外部の情報を検知しているにもかかわらず、本人がこの情報を活用できていない場合があります。そうした埋没資産をAIで解読して当人に知らせることで、本来であれば習得するには長期間の訓練が必要となるようなスキルでも、素早く学習が進むように手助けができます。例えば、将棋の盤面を見て、良手か悪手かを判断するような洞察力や、絵画を鑑賞するときの審美眼などのように、これまでの経験と環境から得られる情報を統合して高度な判断を要求されるようなスキルを習得する場合に活用できるでしょう。

Another approach is to have AI decode the brain information of individuals and then inform them about the results. In some cases, individuals are not able to utilize external information detected by the brain. Using AI to decipher such hidden assets and inform individuals can help them learn skills quickly, even those that would normally require prolonged periods of training to master. For example, we will use AI to learn skills that require a high level of judgment by integrating information obtained from past experiences and the environment, such as insight to determine a good or bad move by looking at a chess board, or an aesthetic eye when appreciating a painting.

価値・期待

Values / Hopes

根源的な問いに迫り、人間の新しい価値を開拓する Probing fundamental questions and developing new values for humanity

本研究は神経科学と情報科学を中核としながら、精神医学、心理学、教育学を巻き込む形で学術分野横断的な試みです。ここで扱われる問いは、① 知能とは何か、② 知能は拡張できるのか、③ 知能はどう活用されるべきか、の三点です。本研究では、脳とAIのハイブリッドという技術開発とその実装によって、こうした人類の根源的な問いに迫ります。将来的には、動物やヒトが生来感知し得ない知覚や卓越した認知能力(絶対音感や速読など)、あるいは専門性の高さ故に長期の訓練がなければ習得できない感性や巧技(専門家ならではの審美眼や洞察力やひらめきなど)を脳に実装し、人間の発想を増強し、新しい価値をもった次世代インテリジェンスを開拓することが目標です。

This research attempts to transcend academic disciplines by engaging psychiatry, psychology, and pedagogy with neuroscience and information science. The questions to be addressed are: 1) What is intelligence?; 2) Can intelligence be extended?; and 3) How should the intelligence be utilized? In this research, we will approach these fundamental questions through the development and implementation of brain-AI hybrid technology. Our future goal is to augment humanity and develop next-generation intelligence with new values by implementing into the brain perceptions and superior cognitive abilities that animals and humans cannot innately perceive (e.g., absolute pitch, speed reading), as well as sensitivities and skills that cannot be acquired without long-term training (e.g., the aesthetic sense, insight, and inspiration).

成果

Research outcome

視覚や聴覚の知覚能力の拡張に自身の脳活動を可視化して自己調節するニューロフィードバックが効果的です。しかし、自己調節するニューロフィードバックでは獲得できない神経活動パターンも存在し、本プロジェクトにおいて脳機能の拡張を行ううえでの限界となっています。そこで本研究では、この限界を打破するために、脳の活用できていない潜在情報を機械学習により抽出し、電気刺激として直接脳にフィードバックすることで脳機能を最大限に拡張できると仮説を立てました。この仮説を動物モデルで検証するため、ラットが先天的には弁別できない課題を2つ設定しました。一つは心拍の制御、もう一つは言語の識別です。以下、両課題について説明します。
心拍数(HR)、血圧、体温など、主に自律神経系によってコントロールされる生理的パラメータは、個人にリアルタイムでフィードバックを提供する特殊なトレーニングによって、意図的に調節することができます。このバイオフィードバック技術は、臨床への応用が期待されるだけでなく、ヨガの瞑想練習や、フリーダイビングや射撃などのスポーツにも関連しています。ところが、その応用範囲の広さにもかかわらず、バイオフィードバック中の脳から組織への制御の根底にある神経基盤は、まだ十分に理解されていません。そこで私たち、以前の研究にヒントを得て、HRフィードバックトレーニングを支配する神経メカニズムを解明するために、自由行動ラットを用いたHRフィードバックの実験モデルを開発しました。具体的には、大脳新皮質と内側前脳束をそれぞれHRフィードバックと報酬として刺激しました。ラットは30分以内にHRを減少させることを学習し、3時間のフィードバック訓練を5日間続けた後には約50%の減少を達成した。HRの低下は、5日間の訓練期間後少なくとも10日間は持続し、その時点でラットは抗不安行動を示し、また血中のエリスロサイト数が増加していました。
 そこでバイオフィードバックによって誘発された徐脈の根底にある神経生理学的活動と神経回路を調べました。徐脈は視床下部内側核(VMT)に投射する前帯状皮質(ACC)ニューロンを不活性化することによって阻止されました。VMTに投射するACCニューロンは、オペラント訓練中にシータバンド場振動を示し、逆に、ACCからVMTへの経路を光遺伝学的にシータリズム刺激するだけで徐脈が再現されました。ACCからシナプス入力を受けたVMTニューロンは視床下部背内側(DMH)に投射し、DMHニューロンは心臓の節後副交感神経を支配する自律神経中枢であるambiguus核(Amb)に投射していました。私達の発見は、ACC→VMT→DMH→Amb→心臓の投射が、自発的なHR調節のトップダウン経路を担うことを示すもので、バイオフィードバックがどのように効果を発揮するのかを世界で初めて明らかにしたものです。この成果は、身体と精神がどのようにリンクするかという古くて新しい壮大な謎に一端に迫るものです。
2つ目は、ラットに英語とスペイン語を識別させた実験です。ここでは音声合成モデルを用いて、同一の声質による英語とスペイン語のフレーズを50フレーズずつ用意しました。ノーズポーク穴が左右に二つあるボックスにラットを入れ、英語またはスペイン語をランダムに提示しました。1日500トライアルを1週間続けても言語の識別率は50%で、偶然を上回りませんでした。つまりラットはヒトの言語である英語とスペイン語を識別することができません。そこで、言語を提示している間の局所場電位(LFP)を聴覚野から記録し、LFPからどちらの言語を提示していたかを畳み込みニューラルネットワーク(CNN)を用いて識別させたところ、分類精度は60%を超え、チャンスレベル50%よりも有意に高い成績を残しました。
そこで、左または右体性感覚皮質(S1)の電気刺激を通じて、CNNの回答をラットにフィードバックしました。報酬としては内側前脳束(MFB)の電気刺激を用いました。その結果、約90%の正解率で正しい穴にノーズポークできるようになりました。このとき、学習がフィードバック刺激をオフにした場合にも保存されているか確かめるため、トライアルの10%ではフィードバック刺激を与えないないデザインで実験を行ったところ、刺激が無い場合でも正解率は維持されていました。つまり、脳と人工知能の共学習によって知能拡張が可能であることがわかりました。 
この研究の技術をヒトに拡張すれば、認知機能障害の改善のための新たな治療法の一つとして期待できるかもしれません。さらに、この技術を健常者に対しても応用しれば、新たな概念や今まで気づかなかった物事の価値を獲得できるようになり、人類全体としてのウェルビーイングの向上に貢献できると期待されます。。 

Selected Publications
4. Norimoto, H., Makino, K., Gao, M., Shikano, Y., Okamoto, K., Ishikawa, T., Sasaki, T., Hioki, H., Fujisawa, S., and Ikegaya, Y. Hippocampal ripples down-regulate synapses. Science, 359:1524-1527, 2018.
5. Norimoto, H., Ikegaya, Y. Visual cortical prosthesis with a geomagnetic compass restores spatial navigation in blind rats. Curr. Biol., 21:1091-1095, 2015.
6. Ishikawa, D., Matsumoto, N., Sakaguchi, T., Matsuki, N., Ikegaya, Y. Operant conditioning of synaptic and spiking activity patterns in single hippocampal neurons. J. Neurosci., 34:5044-5053, 2014


※詳細については、以下のURL(PDF・英文のみ)をご参照ください。
https://beyondai.jp/contents/wp-content/uploads/2024/02/Research-report_Yuji-Ikegaya_202309.pdf

Neurofeedback, which visualizes and self-regulates one's own brain activity, is effective in improving visual and auditory perception. However, there are some neural activity patterns that cannot be acquired by self-regulating neurofeedback, which is a limitation in expanding brain functions. To overcome this limitation, we hypothesized that brain functions can be maximally expanded by extracting latent information not used by the brain through machine learning and feeding it back directly to the brain as electrical stimuli. To test this hypothesis in an animal model, we set up two tasks that rats cannot naturally discriminate. One is heartbeat control and the other is speech discrimination. Both tasks are described below.
Physiological parameters primarily controlled by the autonomic nervous system, such as heart rate (HR), blood pressure, and body temperature, can be intentionally regulated through specialized training that provides real-time feedback to the individual. This biofeedback technology has potential clinical applications, but is also relevant to the practice of yoga and meditation, and to sports such as free diving and shooting. Despite its wide range of applications, however, the neural basis of brain-to-tissue control during biofeedback remains poorly understood. Inspired by our previous work, we therefore developed an experimental model of HR feedback using free-ranging rats to elucidate the neural mechanisms governing HR feedback training. Specifically, we stimulated the neocortex and medial forebrain bundle as HR feedback and reward, respectively. Rats learned to reduce HR within 30 min and achieved a reduction of approximately 50% after 5 days of 3-hr feedback training; the HR reduction persisted for at least 10 days after the 5-day training period, at which time the rats exhibited anxiolytic behavior and also had an increased number of erythrocytes in their blood.
 We then examined the neurophysiological activity and neural circuitry underlying the biofeedback-induced bradycardia. Bradycardia was prevented by inactivating anterior cingulate cortical (ACC) neurons projecting to the ventromedial hypothalamic (VMT) nucleus. ACC neurons projecting to the VMT exhibited theta-band field oscillations during operant training, and optogenetic stimulation of the ACC-to-VMT pathway with theta rhythm resulted in a HR decrease. VMT neurons receiving synaptic input from the ACC project to the dorsomedial hypothalamus (DMH), whereas DMH neurons project to the nucleus ambiguus (Amb), an autonomic center innervating the postnodal parasympathetic innervation of the heart. Our results show that ACC→VMT→DMH→Amb→heart projections are responsible for the top-down pathway of spontaneous HR regulation, and are the first in the world to reveal how biofeedback works. This achievement brings us one step closer to the old and new great mystery of how body and mind are connected.
The second is an experiment in which rats were asked to discriminate between English and Spanish. We used a speech synthesis model with 50 English and 50 Spanish phrases, each with the same voice quality. The rats were placed in a box with two nosepoke holes on either side and randomly presented with either English or Spanish. 500 trials per day for a week resulted in a language discrimination rate of 50%, which is no better than chance. In other words, the rats could not discriminate between the human languages English and Spanish. Therefore, we recorded local field potentials (LFPs) from the auditory cortex during language presentation and used a convolutional neural network (CNN) to identify which language was being presented from the LFPs; the classification accuracy exceeded 60%, which was significantly higher than the chance level of 50%.
We then fed the CNN responses back to the rats through electrical stimulation of the left or right somatosensory cortex (S1). Electrical stimulation of the medial forebrain bundle (MFB) was used as a reward. As a result, the rats were able to nose-poke the correct hole approximately 90% of the time. To determine whether learning was maintained when the feedback stimulation was turned off, we conducted a design with no feedback stimulation for 10% of the trials and found that the correct response rate was maintained even in the absence of stimulation. Our study showed that intelligence enhancement is possible through co-learning between the brain and artificial intelligence. 
If the technology of this study is extended to humans, it may hold promise as one of the new treatments for improving cognitive dysfunction. Furthermore, if this technology is applied to healthy people, it will enable them to acquire new concepts and values of things that they have not noticed before, and it is expected to contribute to improving the well-being of humanity.

Selected Publications
1. Norimoto, H., Makino, K., Gao, M., Shikano, Y., Okamoto, K., Ishikawa, T., Sasaki, T., Hioki, H., Fujisawa, S., and Ikegaya, Y. Hippocampal ripples down-regulate synapses. Science, 359:1524-1527, 2018.
2. Norimoto, H., Ikegaya, Y. Visual cortical prosthesis with a geomagnetic compass restores spatial navigation in blind rats. Curr. Biol., 21:1091-1095, 2015.
3. Ishikawa, D., Matsumoto, N., Sakaguchi, T., Matsuki, N., Ikegaya, Y. Operant conditioning of synaptic and spiking activity patterns in single hippocampal neurons. J. Neurosci., 34:5044-5053, 2014


※For more detail, please refer to the URL below.
https://beyondai.jp/contents/wp-content/uploads/2024/02/Research-report_Yuji-Ikegaya_202309.pdf