Expertul în securitate Bar Lanyado a făcut recent cercetări asupra modului în care modelele AI generative contribuie din neatenție la potențialele amenințări de securitate uriașe în lumea dezvoltării software. O astfel de cercetare a lui Lanyado a găsit o tendință alarmantă: AI sugerează pachete de software imaginar, iar dezvoltatorii, fără să fie conștienți, îl includ în bazele lor de cod.
Problema Dezvăluită
Acum, problema este că soluția generată a fost un nume fictiv – ceva tipic AI. Cu toate acestea, aceste nume de pachete fictive sunt apoi sugerate cu încredere dezvoltatorilor care au dificultăți în programarea cu modele AI. Într-adevăr, unele nume de pachete inventate s-au bazat parțial pe oameni, cum ar fi Lanyado, iar unele au continuat și le-au transformat în pachete reale. Acest lucru a dus, la rândul său, la includerea accidentală a unui cod potențial rău intenționat în cadrul proiectelor software reale și legitime.
Una dintre afacerile care au căzut sub acest impact a fost Alibaba, unul dintre principalii jucători din industria tehnologiei. În instrucțiunile lor de instalare pentru GraphTranslator, Lanyado a descoperit că Alibaba a inclus un pachet numit „huggingface-cli” care a fost falsificat. De fapt, a existat un pachet real cu același nume găzduit pe Python Package Index (PyPI), dar ghidul lui Alibaba se referea la cel pe care Lanyado îl făcuse.
Testarea persistenței
Cercetarea lui Lanyado a urmărit să evalueze longevitatea și potențiala exploatare a acestor nume de pachete generate de AI. În acest sens, LQuery a realizat modele AI distincte despre provocările de programare și între limbaje în procesul de înțelegere dacă, efectiv, într-un mod sistematic, erau recomandate acele nume fictive. Este clar în acest experiment că există riscul ca entitățile dăunătoare să abuzeze de numele pachetelor generate de AI pentru distribuirea de software rău intenționat.
Aceste rezultate au implicații profunde. Actorii răi pot exploata încrederea oarbă acordată de dezvoltatori în recomandările primite în așa fel încât să înceapă să publice pachete dăunătoare sub identități false. Cu modelele AI, riscul crește cu recomandări consecvente AI pentru numele de pachete inventate, care ar fi incluse ca malware de către dezvoltatorii neștiiți. **Calea de urmat**
Prin urmare, pe măsură ce AI devine în continuare integrată cu dezvoltarea software-ului, necesitatea de a remedia vulnerabilitățile poate apărea dacă este conectată cu recomandările generate de AI. În astfel de cazuri, trebuie practicată diligența necesară pentru ca pachetele software sugerate pentru integrare să fie legitime. În plus, ar trebui să existe ca platforma care găzduiește depozitul de software să verifice și să fie suficient de puternică încât să nu fie distribuit niciun cod de calitate răuvoitoare.
Intersecția dintre inteligența artificială și dezvoltarea software-ului a dezvăluit o amenințare îngrijorătoare pentru securitate. De asemenea, modelul AI poate duce la recomandarea accidentală a pachetelor software false, ceea ce prezintă un risc mare pentru integritatea proiectelor software. Faptul că în instrucțiunile sale, Alibaba a inclus o cutie care nu ar fi trebuit să existe niciodată, este doar o dovadă a modului în care posibilitățile ar putea apărea de fapt atunci când oamenii urmează recomandările în mod robot.
dat de AI. În viitor, va trebui luată vigilență în măsuri proactive, astfel încât să fie protejată împotriva utilizării greșite a AI pentru dezvoltarea de software.
Sursa: https://www.cryptopolitan.com/ai-generated-software-packages-threats/