Microsoft Corp a adăugat o serie de caracteristici de securitate în Azure AI Studio care ar trebui, de-a lungul timpului, să continue să reducă probabilitatea ca utilizatorii săi să configureze modelele AI într-un mod care le-ar face să acționeze anormal sau inadecvat. Compania multinațională de tehnologie cu sediul în Redmond, Washington, a subliniat îmbunătățirile într-o postare pe blog, subliniind garantarea integrității interacțiunilor AI și promovarea încrederii în baza de utilizatori.
Scuturi prompte și multe altele
Printre evoluțiile majore se numără crearea de „prompt shields”, o tehnologie care este concepută pentru a găsi și a ucide injecțiile prompte în timp ce convorbiți cu chatbot-uri AI. Acestea sunt așa-numitele jailbreak-uri și sunt practic intrări de la utilizatori care sunt intenționate să se formeze în așa fel încât să provoace un răspuns nedorit din partea modelelor AI.
De exemplu, Microsoft își joacă rolul indirect cu injecții prompte, în care executarea ordinelor rele este posibilă, iar un scenariu ca acesta poate duce la consecințe grave de securitate, cum ar fi furtul de date și deturnarea sistemului. Mecanismele sunt cheia pentru detectarea și răspunsul la aceste amenințări unice în timp real, potrivit Sarah Bird, Chief Product Officer pentru AI responsabilă la Microsoft.
Microsoft adaugă că în curând vor apărea alerte pe ecranul utilizatorului, care vor indica momentul în care un model este probabil să exprime informații false sau înșelătoare, asigurând mai multă ușurință și încredere.
Construirea încrederii în instrumentele AI
Efortul Microsoft face parte dintr-o inițiativă mai mare, menită să ofere oamenilor încredere în IA generativă din ce în ce mai populară, care este aplicată pe scară largă în serviciile care vizează consumatorii individuali și clientela corporativă. Microsoft a trecut printr-un pieptene cu dinți fini, după ce a suferit cazuri, în care utilizatorii au avut capacitatea de a folosi chatbot-ul Copilot pentru a produce rezultate bizare sau dăunătoare. Acest lucru va fi în sprijinul unui rezultat care arată nevoia de apărare puternică împotriva tacticilor manipulative menționate, care sunt susceptibile de a crește odată cu tehnologiile AI și cunoștințele populare. Predicția și apoi atenuarea este în recunoașterea tiparelor de atac, cum ar fi cazul în care un atacator repetă întrebări sau solicitări la jocul de rol.
În calitate de cel mai mare investitor și partener strategic al OpenAI, Microsoft depășește limitele modului în care să încorporeze și să creeze tehnologii AI generative responsabile și sigure. Ambii sunt angajați în implementarea responsabilă și modelele de bază ale AI generative pentru măsuri de siguranță. Dar Bird a recunoscut că aceste modele mari de limbaj, chiar dacă încep să fie considerate ca fundament pentru o mare parte a viitoarei inovații AI, nu sunt rezistente la manipulare.
Construirea pe aceste fundații va necesita mult mai mult decât să te bazezi pe modelele în sine; ar avea nevoie de o abordare cuprinzătoare a siguranței și securității AI.
Microsoft a anunțat recent consolidarea măsurilor de securitate pentru Azure AI Studio pentru a arăta și a garanta pașii proactivi care sunt luați pentru a proteja peisajul în schimbare a amenințărilor AI.
Se străduiește să evite utilizarea greșită a AI și să păstreze integritatea și fiabilitatea interacțiunii AI prin încorporarea de ecrane și alerte în timp util.
Odată cu evoluția constantă a tehnologiei AI și adoptarea acesteia în multe incluziuni din viața de zi cu zi, va fi timpul ca Microsoft și restul comunității AI să mențină o poziție de securitate foarte vigilentă.
Sursa: https://www.cryptopolitan.com/microsoft-ai-chatbot-security-to-tricksters/