Beyond AI Logo

生体ゆらぎに学ぶ超低消費電力を実現する次世代AIデバイス Next-generation AI Devices Learned from Biological Fluctuations for Realizing Ultra-low Electric Power Consumption

構成メンバー

People

研究リーダー Project Leader
田畑 仁 教授 Hitoshi Tabata Professor
東京大学 大学院工学系研究科 Graduate School of Engineering, The University of Tokyo
研究担当者 Researcher
  • 飯塚 哲也 准教授 Tetsuya Iizuka Associate Professor
  • 関 宗俊 准教授 Munetoshi Seki Associate Professor
  • 山原 弘靖 特任准教授 Hiroyasu Yamahara Project Associate Professor
研究協力者 Research Collaborator
Sarker Md Shamim Sarker Md Shamim Liao Zhiqiang Liao Zhiqiang 唐 思逸 Siyi Tang 李 海寧 Haining Li 加納 創太 Sota Kano 熊野 陽 Yo Kumano Yao Lihao Yao Lihao 朱 玉揚 Yuyang Zhu 程 鎮宇 Zhenyu Cheng

Events

Events

ビデオ

Movie

課題

Challenges

ムーアの法則の限界 Limitations of Moore’s Law

“ムーアの法則”に限界が見えてきました。 ムーアの法則とは、1965年にインテルの共同創始者であるゴードン・ムーア氏が「一つのチップ上の半導体の集積率は18カ月ごとに倍増する」として半導体技術の進化を予測した指標です。過去50年の間、半導体はこの予測の通り微細化・集積化を続けコンピューティングの発展を規定してきました。近年のAIの台頭もこの計算機の性能向上の恩恵に寄るところが大きいと言えます。しかし近年、いよいよ半導体の微細化・集積化には物理的、エネルギー効率的な限界が近づいています。現代の先端半導体プロセッサは5nmプロセス技術で製造されています。この先も集積化技術は進展していくと思われますが、これまでのような指数関数的な性能向上は期待できなくなっています。また、消費電力の問題はより大きな課題として顕在化しています。半導体の技術革新による省電力化は約10年前から下げ止まりになっており、経済産業省によると2050年には総消費電力の約60%をICT機器が占めるに至ると予測されています。このような状況の中、更なるAIの進化の為には、従来とは全く異なる新しい発想でのコンピューターの開発、特に動作時の超低消費電力化や待機電力低減を実現する「省エネルギー」技術革新が喫緊の課題となっています。

The limits of Moore’s Law are insight. Moore’s Law is an index used by Gordon Moore, the co-founder of Intel Corporation, to predict the evolution of semiconductor technology, saying, “The number of transistors on a microchip doubles every 18 months.” Over the last 50 years, semiconductors have continued to miniaturize and become integrated as predicted, shaping computing progress. The recent rise of artificial intelligence (AI) may also depend considerably on the benefits of improving computer performance. In recent years, however, the miniaturization and integration of semiconductors have shown signs of approaching their physical and energy efficiency limits. Modern advanced semiconductor processors are manufactured with 5 nm process technology. Although integrated technology will continue advancing, exponential performance improvement is becoming hard to expect. Power consumption emerges as a serious issue. In fact, energy saving through the technological innovation of semiconductors has remained stagnant for about a decade. The Ministry of Economy, Trade and Industry projects that information-communication technology equipment will account for about 60% of the total power consumption by 2050. For AI to further evolve in this situation, there is a need to develop computers based on an entirely new concept. Particularly, the innovation of energy saving technologies achieving ultra-low power consumption and standby power reduction during operations is an urgent task.

研究の内容

Details of Project

従来型コンピューターの壁を越える研究 Research Crossing Barriers of Conventional Computers

本研究では、従来のコンピューターに代わる次世代の計算デバイスとして、情報の伝達や処理に電子の電荷を使わない新しい仕組みを用いたコンピューターの実現を目指しています。特に、生体がもつ“ゆらぎ”に注目し、これまで“厄介者”であったノイズを環境中のエネルギー源として積極的に活用するという設計指針に基づき、次世代の超低消費電力のコンピューターの実現を目指しています。

This project aims to develop next-generation computers replacing conventional machines, that employ a new mechanism not using electron charges for transmitting and processing information. We will particularly focus on the “fluctuations” of living organisms and develop next-generation ultra-low power consumption computers based on the design guidelines for actively making use of noise, considered a “nuisance” in the past.

[1]スピントロニクス(マグノニクス)による超低消費電力コンピューター [1] Ultra-low power consumption computers based on spintronics

これまでの電子機器は電子の特性の一つ、電気の素となる「電荷」を利用して情報の伝達・制御を行ってきました。電子機器の進化を支えてきたのは電荷の流れ(電流)を制御する技術「エレクトロニクス」であると言えます。しかし、ムーアの法則が限界に近づくにつれ、電子のもう一つの特徴に注目が集まっています。それは、磁気の素となる電子の回転「スピン」です。スピンには、コンピューターのエネルギー問題を解決し得る可能性が有り、現在このスピンを扱う「スピントロニクス」に関する研究開発が世界中で精力的に行われています。
電流を扱うエレクトロニクスでは、情報の伝達・制御に実際の電子の輸送を伴うため熱の発生が避けられず、大きなエネルギー損失があります。これに対し、スピンによる情報の伝達・制御は、スピン波と呼ばれる電子の角運動量(いわば回転運動の勢いを表す量)が波として伝わる現象を利用する為、電子の輸送を伴わず熱の発生なく情報の伝達・制御が可能です。この性質により、スピンは熱損失なく情報を伝達・制御できる次世代の超低消費電力コンピューターへの応用が期待されています。研究チームには、既に世界に先駆けて新たなスピン波素子の材料である高温スピングラス材料を作製した実績があり、この優位性を維持し加速することで、従来コンピューターの消費電力の問題を克服し、信頼性が高く革新的に低消費電力なデバイスの実現を目指しています。
より具体的には、人の脳の振る舞いを模した脳型コンピューター(ニューロモルフイック・コンピューティング)の実現に向け、宝石として知られる磁性材料ガーネットを用いたスピン波素子の研究・開発を行います。本研究の成果は、スピン位相干渉による量子計算やリザバーコンピューティングへの応用が期待されています。

Existing electronic devices have used electric charge, a property of electrons and a source of electricity, to transmit and control information. Controlling the flow of electric charge (current), the “electronics” technology has supported the evolution of electronic devices. However, as Moore’s Law approaches its limits, attention is turning to another property of electrons, the intrinsic spin of the electron serving as the source of magnetism. Spin holds the potential to solve computer energy problems. Accordingly, research and development are actively promoted as the study of intrinsic spin, or “spintronics/magnonics,” worldwide.
In electronics (the study of electric current), the transmission and control of information involve the actual transportation of electrons. Heat generation is thus unavoidable combined with large energy loss. On the other hand, spin angular momentum transmission and control apply the phenomenon called spin wave. The angular momentum of electrons (a quantity representing the momentum of rotational motion) is transmitted as a wave, allowing information to be transmitted and controlled without transporting electrons. Consequently, zero heat is generated. Based on this property, spin is expected to be applied to next-generation ultra-low power consumption computers that can transmit and control information without heat loss. Our research team has already produced the world’s first high-temperature glass material for new spin wave elements. By maintaining and accelerating the advantage, we aim to solve the problem of power consumption of conventional computers, and develop highly reliable computers with innovative low power consumption.
Specifically, our research and development focus on spin wave elements using the magnetic garnet, known as a jewel, to develop brain-type computers (neuromorphic computing) mimicking the behavior of the human brain. We hope to apply the results of this project to quantum computing and reservoir computing by spin phase interference.

[2]ノイズを利用するという逆転の発想 [2] Reversed concept applying noise

本研究の特徴的なアプローチとして “確率共鳴”という現象を応用したスピン波素子の研究開発があります。確率共鳴とは、通常検出できないような微弱な信号に適度な雑音(ノイズ)を加えると、ある確率の下で反応が向上し感度よく検出されるようになる現象のことです。実は多くの生き物が感覚器や神経伝達において、この確率共鳴を利用していることが知られています。例えばある種のサメの実験では、ノイズとして弱い電流を流すことによって、より遠くのプランクトンを見つけて捕食できるようになることが観測されています。 確率共鳴は私たち人間を含む多くの生体が生来備え、巧妙に活用している現象なのです。
従来の工学では、ノイズは好ましくないものとして考えられ、それをいかに除去するかに最大限の努力が費やされてきました。しかし、本研究では逆転の発想で、これまで厄介者だった“ノイズ”を有用な役割をはたす存在として活用します。研究チームは “ばらつき”や“熱ゆらぎ”などのノイズを環境中のエネルギー源と捉え、積極的に活用出来る電子デバイスの設計・開発を目指しています。
より具体的には、磁気光学材料であるガーネット磁性薄膜上にスピンゆらぎを誘起し、スピン軌道相互作用によりスピン角運動量(スピン波)を電気的に検出できる室温動作可能な脳型素子(ニューロモルフイック素子)の実現を目指しています。またこれらの成果は、スピン波演算によるリザバーコンピューティング、スパイキングニューロン等への応用が期待されています。

A characteristic approach of this project is the research and development of spin wave elements by applying stochastic resonance. Stochastic resonance is a phenomenon in which when an appropriate amount of noise is added to a weak signal that cannot be detected under normal circumstances, the response to the signal improves at a certain probability, and the signal is detected with high sensitivity. In fact, many creatures are known to make use of such stochastic resonance in their sensory organs and neurotransmission. For example, a fish experiment found that sharks of a certain species transmit a weak electric current as noise to find and prey on plankton farther away. Many living organisms, including human beings, naturally possess and skillfully utilize the phenomenon.
In conventional engineering, noise is considered bad and every effort is made to eliminate it. However, this project applies the reversed concept of making use of the nuisance (noise) as something useful. Our research team takes noises such as fluctuations and thermal fluctuations as energy sources in the environment and aims to design and develop electronic devices that make good use of them.
Specifically, we aim to develop a brain-type (neuromorphic) element that can function at room temperature, induce spin fluctuations on magnetic thin films made of garnet (magnetic optical material), and electrically detect spin angular momentum (spin wave) by spin-orbit interaction. These achievements will be applicable to reservoir computing by spin wave calculation, spiking neurons, etc.

価値・期待

Values / Hopes

本研究プロジェクトが切り開く未来の可能性 Future Possibilities Created by This Project

機械学習ではニューラルネットワークという人間の脳の働きを模した学習法を基盤技術としていますが、現在、この主要技術である人工ニューラルネットワークはソフトウェア上で実現されています。しかし、これまでのコンピューターはその構造上、プログラムが保存されているメモリとそれを実行するプロセッサが分断されており、現在の集積回路技術では大規模かつ高速な動作の為には大きな熱損失があり、エネルギー効率を度外視する必要がありました。
本研究が目指す室温動作可能な脳型素子は、スピン波動現象により高密度で柔軟なニューロン間結合に相当する働きを無配線で実現し、かつチップとして実装することが可能なので、大規模システムの集積化に適しています。本研究は今後のAI社会を推進するために必要不可欠な超低消費電力高性能端末機器の実現につながることが期待されます。

Machine learning is based on a learning method called neural networks that mimic the functions of the human brain as its fundamental technology. Presently, the principal artificial neural network technology is realized on software. However, in existing machines, the memory for storing programs and the CPU executing them are separated due to their structure, and heat loss is enormous in large-scale and high-speed operations with the current integrated circuit technology, resulting in the need to disregard energy efficiency.
Brain-type elements operating at room temperature, the goal of this project, can establish functions equivalent to high-density and flexible interneuron connections without wiring by applying the spin wave phenomenon and can be mounted as a chip, making them suitable for integration. We hope that this project will lead to ultra-low power consumption and high-performance terminal devices indispensable for driving the future AI society.

成果

Research outcome

爆発的に増大するAIによる情報処理量の増加に伴い、消費電力の増加は深刻な課題である。本研究の目的は、生命システムが持つ低消費電力動作原理を取り入れることで、超低消費電力電子デバイスを創成することである。一例として、環境中のゆらぎ(ノイズ/熱ゆらぎ)を活用したデバイス開発に向け、理論計算・材料開発・デバイス設計と実証の各研究領域を統合的に進めている。NP困難問題として知られる“組み合わせ最適化問題”は、巡回セールスマン問題やナップサック問題に代表されるように、通信サービスに留まらず、物流、金融サービス、製造プロセス等、極めて広範囲の応用分野が期待される。イジングマシンは組み合わせ最適化問題に特化した計算機であり、問題をスピン間の相互作用に変換し、最適解(エネルギー最小値)を探索することで解を得る。イジングマシンが真の最適解にたどり着くためには、ノイズが局所解を回避するために使用される。ガウシアンホワイトノイズは自然界のランダム過程を模倣する目的で一般に用いられるが、実際の回路や環境ではカラードノイズ(パワースペクトル密度:PS=fβ)が存在する。我々は様々なカラードノイズをイジングマシンに入力し、最適解へのイジングハミルトニアンの発展を最も促進するノイズを発見した。レッドノイズ(β=−2)をイジングマシンに入力することでスピン状態変化のランダムエラー発生頻度が減少し、さらに確率共鳴を誘起することでノイズが大きい条件でも最適解を効率的に発見した。本研究は従来、邪魔厄介者として考えられてきたノイズを効果的に利用することにより、組合せ最適化問題を解くイジングマシンの性能向上を提案するものであり、環境援用超低消費エネルギー計算機への応用が期待される。さらにノイズを効率的に活用するシステムモデルについても提案しており、多安定系や過減衰システムにおいて画像認識や連想記憶に関連する手書き数字パターン認識の正答率向上、低コスト(短時間、低消費電力)化につながる成果を得ている。
 材料開発においては自由エネルギーに多数の準安定状態が存在し、スピンのゆらぎが存在するスピングラスに注目している。スピングラスはランダムネスとフラストレーションの磁気相関により、低温でスピン凍結状態をとり、メモリ効果やエージング現象と呼ばれる特徴的な磁気履歴記憶を示す。リザバーコンピューティング(RC)は時系列データのパターン認識に代表される、時系列情報処理に適した機械学習の枠組みの一つで高速な学習が可能となり、学習性能はシステムの非線形性と短期記憶に依存する。物理実装において、スピントロニクスRCは不揮発性・小型化・低消費電力化が期待されており、スピングラスは遅い磁気緩和によって優れた脳型機能模倣(短期記憶性能)を示すことが期待される。我々はスピングラスの短期記憶容量を一般的なベンチマークに基づいて定量的に評価した。その結果、スピングラス挙動を示すCo,Si置換Lu3Fe5O12薄膜は非置換フェリ磁性薄膜と比べて優れた短期記憶容量を示すことが明らかとなった。スピン凍結温度付近で磁気緩和の時定数が最大となることを反映して短期記憶性能が向上し、RCの性能向上に寄与することが期待される。情報媒体には熱損失の生じないスピン波に注目し、超低消費電力化に向けたデバイス開発を報告している。高効率なスピン波伝搬物質であるガーネット型鉄酸化物Y3Fe5O12において、静磁表面波と後進体積波のスピン波干渉と局所外場制御により再構成可能な論理回路の動作を実証した。また、従来のガーネット型酸化物とは異なり、比較的単純な結晶構造を有しヘテロ素子応用が可能であるスピネル型酸化物においても、高効率でスピン波が伝搬することを実証した。
デバイス設計と実証研究において、従来のデバイスにおいては、二つの異なる位相を持つ信号によるスピン波干渉の検出のため、外部のベクトルネットワークアナライザ装置(VNA)を用いていることが多いが、外部の専用測定器を用いるシステムでは、スピン波の検出システム自体が高価かつ巨大なものとなり、社会実装に向けたポータブルなシステムとしては適さない。本研究では、このようなスピン波検出システムを極めて高効率かつ小型のシステムとして実現することを目指し、スピングラスデバイスからの微弱なスピン波信号を高感度に検出するためのインターフェースを集積システムとして実現することを目的としている。提案するスピン波検出システムは、デバイスに印可する正弦波信号を生成する位相同期回路、その信号から2信号の位相を調整する位相補間回路、デバイスからの微弱信号を増幅する低雑音増幅回路、高周波信号を低周波に変換するミキサ回路、低周波信号を増幅しフィルタすることで後段のプロセッサに受け渡すための回路等から構成されている。これらの構成要素を集積回路として実装し動作評価を行った。特に、我々のグループが提案したインダクタンスを用いずに低雑音の信号生成を行うカスケード型位相同期回路ではスピン波デバイスの動作に必要な外部磁界の影響を受けやすいインダクタンス素子を排除しながらも極めて低雑音の波形生成を達成している。さらに、アナログデジタル変換回路の性能を向上させるため、適切な雑音が非線形システムの信号対雑音比を向上させる確率共鳴という現象を適用した。理論解析により適切な強度の雑音信号を意図的に印可することでアナログデジタル変換回路の性能を向上し、より電力効率の高い回路を実現できることを示した。

冒頭に述べたように本研究の目的は、次世代のAI社会を実現する超低消費電力デバイスに資する材料を、デザイン主導で探索することである。我々は磁気履歴記憶を示すスピングラス材料に注目している。本物質はリザバーコンピューティングやイジングマシンを実現する可能性を秘めているが、そのためにはスピンコヒーレンスとスピン凍結温度を適切に制御する必要がある。特に、社会実装を考慮した際は、室温よりはるかに高いスピン凍結温度を持つスピングラス材料が求められる。スピングラス現象の原因は、ランダムネスと磁気相互作用のフラストレーションである。我々は高いスピン凍結温度を持つスピングラス材料を合成するために非磁性原子を添加したガーネット型酸化物やマグネタイトをターゲットとしている。非磁性不純物のドーピングによるランダムネスにより、強相関酸化物における強い反強磁性相互作用にフラストレーションを発生させるのが目的である。しかし、材料の組み合わせや組成の観点からは、その材料空間は非常に大きいため実験的な網羅探索は困難を極める。それゆえ、スピン凍結温度を高速度かつ高精度で予測する理論的枠組みの開発は非常に重要である。そこで、我々は第一原理計算と統計力学的手法を組み合わせることにより、スピングラス材料の電子状態と磁気特性を定量的に評価可能なシミュレーション高度を開発した。本プログラムの特徴は、経験的パラメーターを用いずに、スピングラス材料の磁気的フラストレーションの記述、そしてスピン凍結温度を予測することが可能な点にある。我々は、本手法を用いることにより、実験で観測されているCuMn合金のスピン凍結温度を高精度で見積もることに成功した。また、マグネタイトをベースとしたスピングラス材料のスピン凍結温度のケミカルトレンドを調べることで、高温スピン凍結温度実現のための指針を提案してその研究を推進している。

※詳細については、以下のURL(PDF・英文のみ)をご参照ください。
https://beyondai.jp/contents/wp-content/uploads/2024/02/Research-report_Hitoshi-Tabata_202309.pdf

Increasing power consumption is a serious issue as the amount of information processed by the exploding AI increases. The objective of this research is to create ultra-low energy consumption electronic devices by incorporating the low power consumption operating principles of living systems. As an example, we are conducting integrative research in various fields such as theoretical computation, material science, and device design and demonstration to develop devices that utilize fluctuations (noise or thermal fluctuation) in the environment. Solving NP-hard combinatorial optimization problems (COPs) such as the traveling salesman problem and the knapsack problem is expected to applied in a wide area not only communication services but also logistics, financial services, manufacturing processes, etc. An Ising machine is a computer specialized to solve the COPs, where the problems are converted into the interactions between spins and the solutions are obtained by searching for the ground state (minimum energy). In order to reach the true solution for the Ising machine, noise is used to escape from local energy minimum. Gaussian white noise is generally used to imitate random processes in nature, but colored noise (power spectral density: PS=fβ) exists in actual circuits and environments. We input various types of colored noise into the Ising machine and find the best noise promoting the development of the Ising Hamiltonian toward an optimal solution. Because the injection of red noise (β = −2) can effectively suppress random errors switching spin states and induce stochastic resonance, the optimal solution was efficiently found even under conditions with large noise. This research proposes improving the performance of Ising machines by effectively utilizing noise, which has traditionally been considered as an unwanted nuisance. It is expected to be applied for ultra-low energy consumption computers supported by the environment. Furthermore, we have proposed system models that efficiently utilizes noise such as multi-stable and over-damped systems, which improve the correct answer rate for hand-written digit patterns related to image recognition and associative memory, and reduce cost toward short time calculation and low power consumption.
Regarding the materials research, we have studied on spin glasses, which have many metastable states in free energy and spin fluctuations. Due to the magnetic interaction with randomness and frustration, spin glasses show a spin freezing state at low temperatures and exhibit a characteristic aging memory effect recording magnetic history. Reservoir computing (RC) is one of the machine learning frameworks suitable for time-series data processing represented by pattern recognition and enables high-speed learning. The learning ability depends on the nonlinearity and short-term memory (STM) capacity of the system. In terms of physical implementation, spintronic RCs has attracted attention because of the nonvolatile memory, small size, and low power consumption. Spin glasses are expected to exhibit excellent brain-type functionalities (short-term memory capacity) due to the slow magnetic dynamics, thus we quantitatively evaluated the STM capacity of spin glasses based on prevalent benchmarks. The results revealed that Co,Si-substituted Lu3Fe5O12 thin films exhibiting spin glass behavior show superior STM capacity compared to unsubstituted ferrimagnetic thin films. STM performance has been improved reflecting the time constant of magnetic relaxation reaching maximum near the spin freezing temperature, thus spin glass can be considered as possible candidates for RC with better performance. We also reported on the development of ultra-low power consumption devices using spin waves as an information media without heat loss. We demonstrated a reconfigurable logic gates, which is constructed by the garnet-type ferrimagnetic iron oxide Y3Fe5O12 with highly efficient spin wave propagation, using spin wave interference between magnetostatic surface waves and backward volume waves in addition to local external field control. We also demonstrated that, unlike conventional garnet-type oxides, spinel-type oxides, which have a relatively simple crystal structure and can be used for heterodevice applications, can propagate spin waves with high efficiency.

In the previous researches, to detect the interference gain of the spin-wave device, which required two signals in different phases to be provided to the two ports respectively, an external vector network analyzer (VNA) system is usually used. The use of such a system is both costly and bulky, making it impractical for portable integration. The primary goal of our research is to realize a highly power-efficient integrated device based on spin fluctuation. To achieve this goal, we are developing a high-sensitivity interface circuit for weak signal detection from spin-glass devices. The proposed spin-wave detection circuit system is composed of a phase-locked loop as a sinewave signal generator, a phase interpolator to tune the relative phase of the two stimulus signal to the spin-wave device, a low-noise amplifier to amplify the weak signal from the device, mixers to down-convert the signal frequency, and baseband amplifiers and filters to acquire the signal to be processed by a subsequent digital processor. We have developed these building blocks to compose the system and fabricated a chip for verification. Among them, the proposed inductorless cascaded PLL architecture features extremely low jitter and spur without using an on-chip inductor, which is sensitive to the external magnetic field. In addition, we have applied stochastic resonance, where the noise helps to improve the signal-to-noise ratio of nonlinear systems, to enhance the performance of the analog-to-digital converters. The analysis proves the meaningful performance improvement with proper intensity of noise.

As mentioned at the beginning of this article, the purpose of our study is to conduct design-driven material developments for materials which contribute to energy saving devices realizing a next generation AI society. We focus on spin glass systems with magnetic history. These materials have the potential to realize reservoir computing and Ising machines, and the controls of the spin coherence and spin freezing temperature are quite important. In particular, the spin glass materials with spin freezing temperatures much higher than room temperature are required when the social implementation is taken into consideration. The spin glass phenomenon originates from the randomness of the atoms and the magnetic frustration. We have targeted garnet-type ferrimagnetic iron oxides and magnetite doped with non-magnetic atoms to realize spin glass materials with high spin-freezing temperatures. The aim is to generate the magnetic frustration in the antiferromagnetic interactions of the strongly correlated oxides by the doping. However, in terms of the constituent elements and compositions, the materials space is so large that an experimental exhaustive search is extremely difficult. Therefore, it is important to develop a theoretical framework to predict the spin-freezing temperature with high speed and accuracy. We have developed a simulation program that can quantitatively evaluate the electronic structure and magnetic properties of the spin glass materials by combining first-principles calculations with statistical mechanics methods. The unique feature of this program is that it can describe the magnetic frustration and predict the spin-freezing temperature of the spin glass materials without using any empirical parameters. We have successfully estimated the spin-freezing temperatures of experimentally observed CuMn alloys with high accuracy. In addition, by investigating the chemical trend of the spin-freezing temperature of magnetite-based spin glass materials, we have proposed a guideline for realizing high spin-freezing temperatures and progressed.

※For more detail, please refer to the URL below.
https://beyondai.jp/contents/wp-content/uploads/2024/02/Research-report_Hitoshi-Tabata_202309.pdf