NTT și Universitatea din Tokyo dezvoltă primul IA de calcul optic din lume folosind un algoritm inspirat de creierul uman

Colaborarea avansează în aplicarea practică a IA de putere redusă și de mare viteză, bazată pe calcule optice

TOKYO–(BUSINESS WIRE)–#TechforGood-Corporația NTT (Președinte și CEO: Akira Shimada, „NTT”) și Universitatea din Tokyo (Bunkyo-ku, Tokyo, Președinte: Teruo Fujii) au conceput un nou algoritm de învățare inspirat de procesarea informațiilor din creier, care este potrivit pentru rețelele neuronale artificiale (DNN) cu mai multe straturi folosind operații analogice. Această descoperire va duce la o reducere a consumului de energie și a timpului de calcul pentru AI. Rezultatele acestei dezvoltări au fost publicate în jurnalul științific britanic Natura Comunicaţii pe decembrie 26^th.

Cercetătorii au realizat prima demonstrație din lume a învățării DNN optice executate eficient prin aplicarea algoritmului unui DNN care utilizează calculul analog optic, care se așteaptă să permită dispozitive de învățare automată de mare viteză și putere redusă. În plus, au atins cea mai înaltă performanță din lume a unei rețele neuronale artificiale cu mai multe straturi care utilizează operații analogice.

În trecut, calculele de învățare cu sarcină mare erau efectuate prin calcule digitale, dar acest rezultat demonstrează că este posibilă îmbunătățirea eficienței părții de învățare prin utilizarea calculelor analogice. În tehnologia Deep Neural Network (DNN), o rețea neuronală recurentă numită deep reservoir computing este calculată presupunând un impuls optic ca neuron și un inel optic neliniar ca o rețea neuronală cu conexiuni recursive. Prin reintroducerea semnalului de ieșire în același circuit optic, rețeaua este adâncită artificial.

Tehnologia DNN permite inteligența artificială (AI) avansată, cum ar fi traducerea automată, conducerea autonomă și robotica. În prezent, puterea și timpul de calcul necesar crește într-un ritm care depășește creșterea performanței computerelor digitale. Tehnologia DNN, care utilizează calcule de semnal analogic (operații analogice), este de așteptat să fie o metodă de realizare a calculelor de înaltă eficiență și de mare viteză similară rețelei neuronale a creierului. Colaborarea dintre NTT și Universitatea din Tokyo a dezvoltat un nou algoritm potrivit pentru o operațiune analogică DNN care nu presupune înțelegerea parametrilor de învățare incluși în DNN.

Metoda propusă învață prin modificarea parametrilor de învățare pe baza stratului final al rețelei și transformarea aleatorie neliniară a erorii semnalului de ieșire dorit (semnal de eroare). Acest calcul facilitează implementarea calculelor analogice în lucruri precum circuitele optice. De asemenea, poate fi folosit nu numai ca model de implementare fizică, ci și ca model de ultimă oră utilizat în aplicații precum traducerea automată și diferite modele AI, inclusiv modelul DNN. Se așteaptă că această cercetare va contribui la rezolvarea problemelor emergente asociate cu calculul AI, inclusiv consumul de energie și timpul de calcul crescut.

Pe lângă examinarea aplicabilității metodei propuse în această lucrare la probleme specifice, NTT va promova, de asemenea, integrarea la scară largă și la scară mică a hardware-ului optic, având ca scop stabilirea unei platforme de calcul optice de mare viteză și putere redusă pentru viitoarele sisteme optice. retelelor.

Sprijin pentru această cercetare:

JST/CREST a susținut o parte din aceste rezultate ale cercetării.

Publicatie revista:

Magazine: Natura Comunicaţii (Versiune online: 26 decembrie)

Titlul articolului: Învățare fizică profundă cu metoda de antrenament inspirată din punct de vedere biologic: Abordare fără gradient pentru hardware-ul fizic

Autori: Mitsumasa Nakajima, Katsuma Inoue, Kenji Tanaka, Yasuo Kuniyoshi, Toshikazu Hashimoto și Kohei Nakajima

Explicația terminologiei:

1. Circuit optic: un circuit în care ghidurile de undă optice din siliciu sau cuarț sunt integrate pe o placă de siliciu folosind tehnologia de fabricare a circuitelor electronice. În comunicare, ramificarea și îmbinarea căilor de comunicație optică sunt realizate prin interferență optică, multiplexare/demultiplexare a lungimii de undă și altele asemenea.
2. Metoda de backpropagation (BP): Cel mai des folosit algoritm de învățare în învățarea profundă. Gradiente de ponderi (parametri) în rețea sunt obținute în timp ce se propagă semnalul de eroare înapoi, iar ponderile sunt actualizate astfel încât eroarea să devină mai mică. Deoarece procesul de retropropagare necesită transpunerea matricei de greutate a modelului de rețea și diferențierea neliniară, este dificil de implementat pe circuite analogice, inclusiv pe creierul unui organism viu.
3. Calcul analogic: un computer care exprimă valori reale folosind mărimi fizice precum intensitatea și faza luminii și direcția și intensitatea spinurilor magnetice și efectuează calcule prin modificarea acestor mărimi fizice conform legilor fizicii.
4. Metoda de aliniere cu feedback direct (DFA): o metodă de pseudo-calculare a semnalului de eroare al fiecărui strat prin efectuarea unei transformări aleatorii neliniare a semnalului de eroare al stratului final. Deoarece nu necesită informații diferențiale ale modelului de rețea și poate fi calculat doar prin transformare aleatorie paralelă, este compatibil cu calculul analogic.
5. Reservoir computing: Un tip de rețea neuronală recurentă cu conexiuni recurente în stratul ascuns. Se caracterizează prin fixarea aleatorie a conexiunilor într-un strat intermediar numit strat rezervor. În calculul cu rezervor profund, procesarea informațiilor este realizată prin conectarea straturilor de rezervor în mai multe straturi.

NTT și sigla NTT sunt mărci comerciale înregistrate sau mărci comerciale ale NIPPON TELEGRAPH AND TELEPHONE CORPORATION și/sau ale afiliaților săi. Toate celelalte nume de produse la care se face referire sunt mărci comerciale ale proprietarilor respectivi. © 2023 NIPPON TELEGRAPH AND TELEPHONE CORPORATION

Contact

Stephen Russell

Comunicații prin cablu®

Pentru NTT

+ 1-804-362-7484

[e-mail protejat]