【プレスリリース】脳のゆらぎを取り入れてAIを安全にする ――深層ニューラルネットワークの隠れ層にゆらぎを導入し脆弱性を軽減―― [Press Release] Making AI secure by introducing random noise that mimics brain neurons ――Reduces its vulnerability against some adversarial examples by injecting random noise in the hidden layers of deep neural networks――
東京大学大学院医学系研究科 機能生物学専攻 統合生理学分野の大木研一教授と浮田純平大学院生（研究当時）の研究チームは、深層ニューラルネットワークに脳の神経細胞を模したゆらぎを導入することで、深層ニューラルネットワークが持つ脆弱性の一部が軽減できることを明らかにしました。
現在、人工知能（AI）の進化が加速度的に進んでいますが、その基礎となる構造は深層ニューラルネットワークに基づいています。しかし深層ニューラルネットワークは、敵対的攻撃と呼ばれる悪意のある攻撃によって、人間とは明らかに異なる出力をするように騙されてしまうことが知られています。例えば自動運転車に搭載された画像認識AIは、「止まれ」の道路標識を正しく「止まれ」と認識して車が停止する必要があります。しかし敵対的攻撃によって生成された「止まれ」の道路標識は、人間が見ると明らかに「止まれ」の標識であっても、画像認識AIは正しく認識できません。結果、車が停止できず、交通事故につながる恐れがあります。このように、AIを社会実装する上で、敵対的攻撃に対する脆弱性は大きな課題の一つです。
人間など動物の脳の性質をAIに取り入れることで、このような脆弱性を克服できる可能性があります。本研究チームは、脳の神経細胞が持つゆらぎを参考に深層ニューラルネットワークにゆらぎを導入することで、特定のタイプの脆弱性が軽減できることを明らかにしました。この方法を用いることで、より人間などの動物の振る舞いに近いAIが作成できる可能性が高くなると考えられます。
本研究は、Beyond AI 研究推進機構、日本医療研究開発機構（AMED）「革新的技術による脳機能ネットワークの全容解明プロジェクト」、文部科学省科学研究費助成事業、CREST-JSTなどの支援を受けて行われました。
本研究の成果はNeural Networks誌（9月16日オンライン版）に掲載されました。
プレスリリース全文（PDF）:
https://www.u-tokyo.ac.jp/content/400222407.pdf
<関連リンク>
・掲載論文 (Title: Adversarial attacks and defenses using feature-space stochasticity)
https://www.sciencedirect.com/science/article/pii/S0893608023004422?via%3Dihub
DOI 10.1016/j.neunet.2023.08.022
・東京大学ホームページ（UTokyo Focus）
https://www.u-tokyo.ac.jp/focus/ja/press/
A research team consisting of Professor Kenichi OHKI and Jumpei UKITA (a graduate student at the time of the research) of the Department of Physiology, Division of Functional Biology, Graduate School of Medicine, the University of Tokyo, revealed that some of the vulnerabilities in deep neural networks can be mitigated by injecting random noise that mimics the brain in deep neural networks.
Currently, artificial intelligence (AI) is evolving at an accelerating pace, and its underlying structure is based on deep neural networks. Deep neural networks are known to be tricked into producing outputs that are clearly different from that of humans by malicious attacks, known as adversarial attacks. For example, image recognition AI in self-driving cars must correctly recognize a "stop" road sign as "stop" to make the car stop. However, the image recognition AI may not be able to correctly recognize a "stop" road sign generated by a hostile attack, even if it is clearly a "stop" sign when seen by a human. As a result, the car may not be able to stop, leading to a traffic accident. Thus, vulnerability to hostile attacks is one of the major challenges of implementing AI in society.
Incorporating brain properties of animals, such as humans, into AI may help overcome such vulnerabilities. The research team discovered that certain types of vulnerability can be reduced by introducing noise that mimics the randomness of neurons in the brain into deep neural networks. By using this method, the possibility of creating AI that more closely resembles the behavior of humans and other animals is thought to be greater.
This research was supported by the Institute for AI and Beyond of the University of Tokyo, the Japan Agency for Medical Research and Development (AMED) "Project to Elucidate the Entire Functional Brain Network through Innovative Technology", the Grant-in-Aid for Scientific Research from the Ministry of Education, Culture, Sports, Science and Technology, and CREST-JST.
The research result was published in Neural Networks on 16 September 2023 online.
Professor Ohki is the Project Leader for the Basic Research Project entitled “Development of next generation AI by modeling brain information” at the Institute for AI and Beyond.
・The full press release (in Japanese only) in PDF.
https://beyondai.jp/contents/wp-content/uploads/2023/09/Press-Release_NeuralNetworks_20230916_Web.pdf
＜RELATED LINKS＞
・Published paper (Title: Adversarial attacks and defenses using feature-space stochasticity)
https://www.sciencedirect.com/science/article/pii/S0893608023004422?via%3Dihub
DOI 10.1016/j.neunet.2023.08.022
・Article in English at UTokyo Focus
https://www.u-tokyo.ac.jp/focus/en/press/z0508_00311.html
