Etica inteligenței artificiale se luptă cu loviturile înflăcărate ale sistemelor de arme autonome bazate pe inteligență artificială și cu exploatarea sistemelor autonome bazate pe inteligență artificială care sunt armate diabolic

Acei roboți cu patru picioare care dansează.

Sunt sigur că ați văzut acele videoclipuri virale ale sistemelor robotice cu patru picioare, care dansează și făceau în mod aparent încântător și ca un câine. Se pare că ne bucură să vedem acești roboți conduși de inteligență artificială în timp ce trec peste obstacole și par să câștige o poziție delicată atunci când sunt așezați deasupra cutiilor sau după ce au fost așezați în mod precar pe vârfurile bărbătești ale dulapurilor. Stăpânitorii lor umani vor împinge sau împinge uneori roboții cu patru picioare, ceea ce pare exasperant de nedrept și vă poate ridica cu ușurință furia față de tratamentul neplăcut de către acești umanoizi.

Mă întreb totuși dacă ați văzut videoclipurile nu atât de virale de un calibru complet diferit.

Pregătiți-vă.

Există videoclipuri postate pe scară largă care arată același tip de roboți cu patru picioare care au fost echipați cu arme pronunțate de un fel sau altul.

De exemplu, o mitralieră sau o armă de foc similară este montată deasupra unui robot care dansează și se ridică, altfel familiar. Există o legătură electronică între robotul cu patru picioare și mecanismul de tragere al armei. Dispozitivul de mers pe computer, acum înarmat, este arătat îndreptându-se cu pași mari spre locul în care a fost plasată o țintă, iar mitraliera este trasă cu putere asupra țintei. După ce atinge ținta parțial distrusă ulterior, robotul cu patru picioare dansează și se ridică în jurul obstacolelor din apropiere și se aliniază pentru a repeta aceeași acțiune iar și iar la alte ținte noi.

Nu chiar ceea ce v-ați fi așteptat să vedeți. Acest lucru cu siguranță elimină liniștea și bucuria relativă de a privi cu sinceritate acei roboți drăgălași cu patru picioare care își fac treaba. Bine ați venit la realitatea dură a aparentului inofensiv sisteme autonome fiind convertite sau transformate în a fi puternic armate. Cu nici un efort mare, puteți avea peste noapte un sistem autonom considerat „nearmat” modernizat pentru a conține armament complet.

În unele circumstanțe este aproape ușor.

Voi discuta acest subiect aprins controversat și voi acoperi problemele destul de mari de etică AI care apar. Vom face o călătorie în sisteme autonome, AI, vehicule autonome, armament și o mulțime de probleme combative legate de IA etică. Pentru acoperirea mea continuă și extinsă a eticii AI și IA etică, consultați linkul aici și linkul aici, Doar pentru a numi câteva.

Să începem cu câteva chei de boltă fundamentale.

De dragul discuțiilor, acceptați că există două moduri majore de a clasifica sistemele autonome care au fost înarmate cu arme:

1) Sisteme de arme autonome (de proiectare)

2) Sisteme autonome care sunt armate (de după fapt)

Există o diferență importantă între cele două categorii.

În primă instanță, vom defini un sistem de arme autonom să fie de la început o creație computerizată care este intenționată să fie o armă. Dezvoltatorii au avut în vedere că doreau să conceapă o armă. Misiunea lor explicită este să producă o armă. Ei știau că pot combina în mod integral armamentul cu cele mai noi tehnologii de sisteme autonome. Aceasta este o armă care călătorește pe valul de înaltă tehnologie care atinge mișcare autonomă și acțiuni autonome (voi detalia mai detaliat, în scurt timp).

În schimb, în ​​a doua instanță, vom lua în considerare problema sistemelor autonome care nu au deloc o înclinație specială către armament. Acestea sunt sisteme autonome dezvoltate în alte scopuri. Imaginați-vă un vehicul autonom, cum ar fi o mașină cu conducere autonomă, care va fi folosită pentru a oferi mobilitate pentru toți și pentru a ajuta la reducerea miilor de decese anuale care apar din cauza conducerii umane și a automobilelor conduse de oameni (vezi acoperirea mea aprofundată la linkul aici). Nicio armă nu pare să fie luată în considerare pentru acele eforturi optimiste de stimulare a societății de a scoate oamenii de la volan și de a pune AI pe scaunul șoferului.

Dar acele sisteme autonome inofensive pot fi armate dacă oamenii doresc să facă acest lucru.

Mă refer la această a doua categorie atunci ca sisteme autonome care sunt armate. Sistemul autonom a fost creat inițial și cu devotament într-un scop, probabil, fără arme. În ciuda acestui fapt, speranța altruistă visătoare este răsturnată de cineva undeva, care are ideea concomitentă că această invenție ar putea fi folosită ca o armă. Dintr-o dată, sistemul autonom care părea drăgălaș a devenit o armă letală prin etichetarea unor forme de capacități de arme (cum ar fi roboții cu patru picioare asemănătoare unui câine menționați mai devreme, care au o mitralieră sau o armă de foc similară adăugată la caracteristicile lor) .

Din păcate, cele două categorii ajung oarecum în același loc, și anume oferind o capacitate de utilizare a sistemelor autonome pentru armament pe o bază potențial letală.

Procesul de a ajunge la acel punct final este probabil să fie diferit.

Pentru sistemele autonome pur și simplu înarmate care au fost fixate ca arme, aspectele privind armele sunt de obicei în față și în centru. Ați putea spune că fațetele sistemului autonom sunt înfășurate în jurul pietrei de temelie a oricărei arme luate în considerare. Procesul de gândire al dezvoltatorilor este oarecum pe linia modului în care o armă poate exploata apariția sistemelor autonome.

Cealaltă perspectivă, de obicei, nu este deloc din această mentalitate. Dezvoltatorii doresc să obțină un sistem autonom de ultimă generație, poate pentru îmbunătățirea omenirii. Acești dezvoltatori și-au pus inima și sufletul cel mai sincer în realizarea sistemului autonom. Acesta este miezul inventiei lor. S-ar putea să nu-și imagineze că cineva le-ar uzurpa sau submina dispozitivul miraculos de benefic. Ei sunt fericiți îndrăgostiți de beneficiile societale asociate cu modelarea și producerea sistemului autonom.

La un moment dat, să spunem că terții își dau seama că sistemul autonom poate fi rejiggerat pentru a fi armat. Poate că îi păcălesc pe dezvoltatori să le lase să aibă sistemul autonom pentru ceea ce se pretinde a fi scopuri înalte. În spatele ușilor închise, acești răufăcători aleg să adauge pe furiș o capacitate de armare sistemului autonom. Voila, inocența s-a transformat în arme.

Lucrurile nu trebuie să meargă în acest fel.

Poate dezvoltatorilor li s-a spus că dezvoltă un sistem autonom inocent, totuși cei care finanțează sau dirijau efortul aveau alte scopuri în minte. Poate că efortul sistemului autonom a început într-adevăr nevinovat, dar atunci când au trebuit plătite facturile, conducerea a încheiat un acord cu o sursă de finanțare care dorește sistemele autonome din motive nefaste. O altă posibilitate este că dezvoltatorii știau că o utilizare ulterioară ar putea fi pentru armament, dar s-au gândit că vor trece acel pod îngrozitor când sau dacă va apărea vreodată. etc.

Există o mulțime și o mulțime de căi diferite despre cum se desfășoară toate acestea.

S-ar putea să găsiți de interes pe care l-am descris în coloanele anterioare că există o conștientizare în creștere a eticii AI cu privire la dublă utilizare elemente ale AI contemporane, vezi linkul aici. Permiteți-mi să vă aduc la curent pe scurt.

Un sistem AI care este conceput pentru bine poate fi uneori pe punctul de a face rău, poate prin intermediul unor modificări destul de simple și, în consecință, este considerat ca având o dublă utilizare. În știri a apărut recent un sistem AI care a fost construit pentru a descoperi substanțe chimice care ar putea fi ucigașe, pentru care dezvoltatorii doreau să se asigure că putem evita sau ne ferim de astfel de substanțe chimice prost concepute. Se pare că AI ar putea fi ușor de modificat pentru a descoperi cu devotament acele substanțe chimice ucigașe și, astfel, potențial să le permită răilor să știe ce tipuri de substanțe chimice să gătească pentru planurile lor abisale.

Sistemele autonome se pot încadra în mod demonstrat în acel anvelopă cu dublă utilizare.

Într-o anumită măsură, acesta este motivul pentru care Etica AI și IA etică sunt un subiect atât de crucial. Preceptele eticii AI ne fac să rămânem vigilenți. Tehnologii AI pot deveni uneori preocupați de tehnologie, în special de optimizarea tehnologiei înalte. Ei nu iau în considerare neapărat ramificațiile societale mai mari. A avea o mentalitate de etică AI și a face acest lucru în mod integral pentru dezvoltarea și implementarea AI este vitală pentru producerea AI adecvată, inclusiv (poate surprinzător sau ironic) evaluarea modului în care etica AI este adoptată de companii.

Pe lângă utilizarea preceptelor de etică AI în general, există o întrebare corespunzătoare dacă ar trebui să avem legi care să guverneze diferitele utilizări ale AI. Sunt puse în aplicare noi legi la nivel federal, statal și local care privesc gama și natura modului în care ar trebui concepută IA. Efortul de a elabora și a adopta astfel de legi este unul gradual. Etica AI servește cel puțin ca o soluție intermediară și aproape sigur, într-o anumită măsură, va fi încorporată direct în acele noi legi.

Fiți conștienți de faptul că unii susțin ferm că nu avem nevoie de legi noi care să acopere IA și că legile noastre existente sunt suficiente. De fapt, ei avertizează că, dacă adoptăm unele dintre aceste legi privind IA, vom subestima gâsca de aur prin restrângerea progreselor în IA care oferă avantaje societale imense.

Autonomia și arma ca două precepte

Există un slogan pe care unii o folosesc pentru a avertiza despre sistemele autonome armate de toate tipurile, care sunt inventate colectiv ca slaughterbots.

Acest lucru aduce în discuție un aspect suplimentar la care ar trebui să ne gândim.

Un sistem de arme autonome și/sau un sistem autonom care a fost armat trebuie să aibă o preponderență de robot letal sau ucigaș?

Unii ar argumenta că putem fi hotărât neletal sisteme autonome armate de asemenea. Astfel, din acest punct de vedere, ar părea profund nepotrivit să folosim expresii precum slaughterbots sau killer robots. O variantă neletală ar fi probabil capabilă să supună sau să pună în aplicare un rău care nu are un rezultat letal. Aceste astfel de sisteme nu ucid, ele au o capacitate mai mică de a genera răni. Nu exagerați abilitățile, spun cei care insistă că nu trebuie să fim preocupați de o mașină de ucidere.

Astfel, am putea avea asta:

• Sisteme de arme autonome letale
• Sisteme autonome letale care au fost armate
• Sisteme de arme autonome neletale
• Sisteme autonome neletale care au fost armate

Desigur, contraargumentul este că orice sistem autonom care a fost armat ar părea să aibă potențialul de alunecare în tărâmul letalității, chiar dacă se presupune că ar fi conceput doar pentru a fi utilizat pe o bază neletală. Cei doi pași de trecere de la non-letal la letal vor fi întreprinși rapid odată ce veți avea deja în mână o armă în mijlocul unui sistem autonom. Ai fi greu să oferi o garanție fermă că non-letalul nu va fi pătruns în arena letală (deși unii încearcă să facă acest lucru, într-o aparență matematică).

Înainte de a ajunge mult mai departe în acest subiect general al sistemelor autonome și al armelor, ar putea fi util să subliniem altceva care, deși poate evident, nu este neapărat vizibil în fruntea minții.

Aici este:

• Există un aspect AI care face parte integrantă din sistemul autonom
• Există un aspect al armelor care este partea de arme a acestei ecuații
• AI ar putea fi, de asemenea, interconectat cu armamentul

Să despachetăm asta.

Vom presupune că sistemele autonome de astăzi necesită inteligența artificială ca mijloc computerizat de bază pentru a scoate la iveală fațetele autonome. Menționez acest lucru pentru că ați putea încerca să argumentați că am putea folosi tehnologii și tehnici care nu sunt legate de inteligență artificială pentru a face sisteme autonome, ceea ce, deși este adevărat, ar părea din ce în ce mai puțin probabil. Practic, AI tinde să permită niveluri mai mari de autonomie și majoritatea valorifică în mod corespunzător AI high-tech.

Bine, deci avem o capacitate bazată pe inteligență artificială care este infuzată cumva în sistemul autonom și acționează pentru a ghida și controla sistemul autonom.

Păstrați asta la îndemână ca regulă generală.

Pare ușor evident că trebuie să avem și o formă de arme, altfel de ce discutăm aici subiectul sistemelor autonome și arme. Deci, da, evident, există o armă de un fel sau altul.

Nu am de gând să mă aprofundez în tipul de arme care ar putea fi folosit. Puteți înlocui pur și simplu orice arma care vă vine în minte. Ar putea exista arme precise. Ar putea exista arme distructive orientate spre masă. Ar putea fi ceva cu gloanțe sau proiectile. Ar putea fi ceva care are substanțe chimice sau componente atomice volatile. Lista este nesfârșită.

Considerentul suplimentar este dacă AI este sau nu interconectată cu armele. AI ar putea să ia doar armele la plimbare. În cazul robotului cu patru picioare care trăgea cu o armă, poate că arma este trasă de un om care are o telecomandă conectată la declanșarea armei. Robotul asemănător unui câine navighează într-o scenă și apoi revine unui om aflat la distanță să apese trăgaciul.

Pe de altă parte, AI ar putea fi trăgaciul, așa cum ar fi. AI ar fi putut fi conceput nu numai pentru a naviga și a manevra, ci și pentru a activa și arma. În acest sens, AI face totul de la A la Z. Nu există nicio dependență de un om îndepărtat pentru a realiza partea de arme a lucrurilor. În schimb, AI-ul este programat să facă asta.

Pentru a clarifica, atunci, în acest caz particular de utilizare al sistemelor autonome care sunt armate, avem următoarele tipuri de posibilități:

• Sistem autonom: AI rulează sistemul autonom în întregime pe cont propriu
• Sistem autonom: AI conduce sistemul autonom, dar poate interveni și un om în buclă
• Armament: Omul de la distanță conduce armele (AI nu)
• Armament: AI conduce armele, dar poate interveni și un om în buclă
• Armament: AI conduce armamentul pe cont propriu

Am acoperit anterior variațiile de a avea un om în buclă în ceea ce privește sistemele autonome și vehiculele autonome, vezi linkul aici.

Când vizionați acele videoclipuri distractive ale roboților cu patru picioare care dansează și călănțuiesc, de obicei se presupune că sunt roboți care sunt conduși exclusiv de AI (ei bine, acesta este obiceiul sau considerată eticheta adecvată printre cei care sunt profund în aceste chestiuni). Asta e ceea ce ai putea presupune pe bună dreptate. Desigur, nu știi asta sigur. S-ar putea ca un operator uman de la distanță să ghideze roboții. Există, de asemenea, posibilitatea ca AI să facă o parte din ghidare, iar un operator uman de la distanță să facă acest lucru, poate ajutând AI dacă robotul ajunge într-o poziție dificilă și nu poate calcula computațional un mijloc viabil pentru a se deplasa.

Esența aici este că există numeroase variante ale modului în care AI și sistemele autonome și armamentul pot fi amestecate. Unii au AI care rulează sistemul autonom, dar nu rulează armamentul. Un om poate conduce de la distanță armamentul. Un alt unghi este că armamentul poate fi activat în prealabil, iar sistemul autonom livrează arma activată, astfel încât AI nu a participat direct la declanșarea armei în sine și acționa în schimb ca un vehicul de livrare. Și s-ar putea ca AI să fie un proverbial jack-of-all-trade și să facă întreaga gamă de aspecte ale sistemului autonom și pentru utilizarea armelor.

Alege.

Între timp, vă rugăm să știți că umanul în buclă este un factor important atunci când vine vorba de dezbateri pe acest subiect.

O linie de despărțire de către unii este că, dacă AI face țintirea și împușcarea (sau orice implică arma), atunci întregul kit și caboodle au trecut în tărâm nu. Aceasta aparent diferă de armele convenționale de foc și uitare care au o selecție pre-țintită determinată de om, cum ar fi o dronă de patrulare care are o rachetă pregătită pentru a trage într-o țintă care a fost deja ales de un om.

Unii se întreabă de ce sistemele autonome care sunt armate nu ar include întotdeauna un om în buclă pe tot parcursul procesului în care sistemul autonom este într-o stare activă în desfășurare. Se pare că ne-ar fi mai bine dacă o cerință stridentă ar fi ca toate astfel de sisteme autonome armate să aibă un om în buclă, fie pentru funcționarea sistemului autonom, fie pentru operarea armelor (sau pentru ambele) . A menține o mână umană sigură și stabilă în acest amestec de AI ar putea părea cu totul perspicace.

Pregătește-te pentru o listă lungă de motive pentru care acest lucru nu este neapărat fezabil.

Luați în considerare aceste dificultăți:

• Este posibil ca Human-in-the-loop să nu fie suficient de rapid pentru a răspunde în timp util
• Este posibil ca Human-in-the-loop să nu aibă suficiente informații pentru a răspunde cu respect
• Este posibil ca Human-in-the-loop să nu fie disponibil la momentul necesar
• Human-in-the-loop ar putea fi indecis și nu va acționa atunci când este necesar
• Human-in-the-loop ar putea lua decizia „greșită” (relativ)
• Este posibil ca Human-in-the-loop să nu fie accesibil din sistem la momentul necesar
• Human-in-the-loop ar putea fi confuz și copleșit
• Etc

Fără îndoială, ești tentat să te uiți la acea listă de slăbiciuni și limitări umane și apoi să ajungi la concluzia solemnă că are sens aparent să excizi om-in-the-loop și să folosești întotdeauna AI. Acest lucru ar putea fi fie cu excluderea uman-in-the-loop, fie poate ca AI să poată trece peste un design înrădăcinat de om în buclă. Vedeți analiza mea despre modul în care dezacordurile dintre AI și un om-în-buclă pot duce la situații precare, tratată la linkul aici.

Adesea, o listă slăbitoare a acestor tipuri de dezavantaje în timp real concentrate pe om este lăsată de la sine și lasă o impresie persistentă că AI trebuie să fie cumva o alegere mult mai înțeleaptă decât a avea un om în buclă. . Nu cădea în acea capcană perfidă. Sunt implicate compromisuri serioase.

Luați în considerare aceste ramificații ale AI:

• AI ar putea întâmpina o eroare care o face să se rătăcească
• AI ar putea fi depășit și blocat fără a răspunde
• AI poate conține erori ale dezvoltatorului care cauzează un comportament neregulat
• AI ar putea fi corupt cu virusul răufăcător implantat
• AI ar putea fi preluat de hackeri cibernetici în timp real
• Inteligența artificială ar putea fi considerată imprevizibilă din cauza complexității
• AI ar putea lua din punct de vedere computațional decizia „greșită” (relativ)
• Etc

Am încredere că puteți vedea că există compromisuri între folosirea unui om în buclă și dependența exclusivă de AI. În cazul în care sunteți tentat să sugerați că soluția gata este să folosiți ambele, aș dori doar să subliniez că puteți obține ce este mai bun din ambele lumi, dar puteți obține și ce este mai rău din ambele lumi. Nu presupuneți că va fi întotdeauna și cu siguranță cel mai bun din ambele lumi.

S-ar putea să fi fost oarecum surprins de unul dintre dezavantajele enumerate mai sus despre AI, în special că AI ar putea fi imprevizibil. Suntem obișnuiți să credem că AI trebuie să fie strict logică și precisă din punct de vedere matematic. Ca atare, vă puteți aștepta, de asemenea, ca AI să fie pe deplin previzibil. Ar trebui să știm exact ce va face AI. Punct, sfârșitul poveștii.

Îmi pare rău că am spart balonul, dar acest mit al predictibilității este o denumire greșită. Dimensiunea și complexitatea inteligenței artificiale moderne este adesea o mlaștină care sfidează să fie perfect previzibilă. Acest lucru se observă în tumultul AI Etic despre unele utilizări ale învățării automate (ML) și învățării profunde (DL) de astăzi. O să explic un pic mai pe scurt.

De asemenea, poate doriți să aruncați o privire la cea mai recentă analiză a mea privind tendințele viitoare de a încerca să asigure sisteme AI verificabile și corecte din punct de vedere matematic prin cele mai recente în materie de siguranță AI, la linkul aici.

Ruminând pe regulile drumului

Am menționat noțiunea de ținte și de direcționare, care este o terminologie destul de încărcată, care merită o atenție deosebită.

Ne putem gândi la asta:

• Ținte care sunt oameni
• Ținte care nu sunt oameni, ci sunt creaturi vii
• Ținte care sunt interpretate ca proprietate

Să presupunem că avem un sistem autonom care a fost armat. AI este folosit pentru a ghida sistemul autonom și folosit pentru armament. AI face totul de la A la Z. Nu există nicio prevedere pentru un om în buclă. În ceea ce privește țintirea, AI-ul va alege țintele. Nu există o pre-direcționare care să fi fost stabilită de oameni. În schimb, IA a fost programată pentru a determina în general dacă există oameni care urmează să fie vizați (poate scanarea pentru acțiuni ostile, anumite tipuri de uniforme și așa mai departe).

Cu mine până acum?

Acest scenariu este aproape cel care provoacă cele mai multe strigăte despre sistemele autonome armate.

Preocuparea declarată este că AI face (cel puțin) trei lucruri pe care nu ar trebui să i se permită:

• Vizează oamenii ca ținte
• Țintirea fără utilizarea unui om în buclă
• Acționează potențial imprevizibilly

Observați că există o mențiune ascuțită a îngrijorărilor cu privire la imprevizibilitatea AI. S-ar putea ca, deși AI a fost programat să vizeze anumite tipuri de oameni, programarea AI să nu fie ceea ce credeam noi că este, iar AI ajunge să țintească „prietenii” în plus față de cei pe care AI ar fi trebuit să le interpreteze drept „ostili”. ” (sau, poate în locul lui). În plus, chiar dacă optăm să includem o prevedere de om în buclă, impredictibilitatea AI ar putea însemna că atunci când AI ar trebui să comunice cu om-in-the-loop, nu reușește să facă. deci și acționează fără nicio intervenție umană.

S-ar putea să găsiți interesant faptul că Comitetul Internațional al Crucii Roșii (CICR) a oferit o poziție globală în trei puncte despre sistemele de arme autonome, care detaliază aceste tipuri de preocupări (pe site-ul ICRC):

1. „Sistemele de arme autonome imprevizibile ar trebui reglementate în mod expres afară, în special din cauza efectelor lor nediscriminatorii. Acest lucru ar fi cel mai bine realizat cu interzicerea sistemelor de arme autonome care sunt proiectate sau utilizate astfel încât efectele lor să nu poată fi înțelese, prezise și explicate suficient.”

2. „În lumina considerentelor etice pentru a proteja umanitatea și pentru a respecta normele dreptului internațional umanitar pentru protecția civililor și a combatanților în afara luptei, ar trebui exclusă utilizarea sistemelor de arme autonome pentru a viza ființe umane. Acest lucru ar fi cel mai bine realizat printr-o interdicție a sistemelor de arme autonome care sunt concepute sau utilizate pentru a aplica forța împotriva persoanelor.”

3. „Pentru a proteja civilii și bunurile civile, pentru a respecta regulile dreptului internațional umanitar și pentru a proteja umanitatea, proiectarea și utilizarea sistemelor de arme autonome care nu ar fi interzise ar trebui reglementate, inclusiv printr-o combinație de: limite ale tipurilor de țintă, cum ar fi constrângerea lor la obiecte care sunt obiective militare prin natura lor; limite ale duratei, domeniului geografic de aplicare și amploarea utilizării, inclusiv pentru a permite judecata și controlul uman în legătură cu un anumit atac; limite ale situațiilor de utilizare, cum ar fi constrângerea acestora la situații în care nu sunt prezenți civili sau bunuri civile; rcerințe pentru interacțiunea om-mașină, în special pentru a asigura o supraveghere umană eficientă și intervenția și dezactivarea în timp util.”

Dintr-o perspectivă similară, Națiunile Unite (ONU) prin Convenția asupra anumitor arme convenționale (CCW) de la Geneva a stabilit unsprezece principii directoare neobligatorii privind armele autonome letale, conform raportului oficial postat online (cuprinzând referințe la aspectele umanitare internaționale pertinente). Condiții de lege sau DIH):

(a) Dreptul internațional umanitar continuă să se aplice pe deplin tuturor sistemelor de arme, inclusiv dezvoltării potențiale și utilizării sistemelor de arme autonome letale;

(b) Responsabilitatea umană pentru deciziile privind utilizarea sistemelor de arme trebuie păstrată, deoarece responsabilitatea nu poate fi transferată asupra mașinilor. Acest lucru ar trebui luat în considerare pe parcursul întregului ciclu de viață al sistemului de arme;

(c) Interacțiunea om-mașină, care poate lua diferite forme și poate fi implementată în diferite etape ale ciclului de viață al unei arme, ar trebui să asigure că potențiala utilizare a sistemelor de arme bazate pe tehnologii emergente în domeniul sistemelor de arme autonome letale este în respectarea legislației internaționale aplicabile, în special DIH. Pentru a determina calitatea și amploarea interacțiunii om-mașină, ar trebui luați în considerare o serie de factori, inclusiv contextul operațional și caracteristicile și capacitățile sistemului de arme în ansamblu;

(d) Responsabilitatea pentru dezvoltarea, desfășurarea și utilizarea oricărui sistem de arme emergente în cadrul CCW trebuie să fie asigurată în conformitate cu dreptul internațional aplicabil, inclusiv prin operarea unor astfel de sisteme în cadrul unui lanț responsabil de comandă și control uman;

(e) În conformitate cu obligațiile statelor în temeiul dreptului internațional, în studiul, dezvoltarea, achiziționarea sau adoptarea unei noi arme, mijloace sau metode de război, trebuie să se stabilească dacă folosirea acesteia ar fi, în unele sau în toate circumstanțele, interzis de dreptul internațional;

(f) Atunci când se dezvoltă sau se achiziționează noi sisteme de arme bazate pe tehnologii emergente în domeniul sistemelor de arme autonome letale, al securității fizice, al garanțiilor non-fizice adecvate (inclusiv al securității cibernetice împotriva hackingului sau al falsării datelor), riscul de achiziție de către grupuri teroriste și ar trebui luat în considerare riscul de proliferare;

(g) Evaluările riscurilor și măsurile de atenuare ar trebui să facă parte din ciclul de proiectare, dezvoltare, testare și desfășurare a tehnologiilor emergente în orice sisteme de arme;

(h) Ar trebui să se ia în considerare utilizarea tehnologiilor emergente în domeniul sistemelor de arme autonome letale pentru a susține conformitatea cu DIH și alte obligații legale internaționale aplicabile;

(i) În elaborarea unor potențiale măsuri de politică, tehnologiile emergente în domeniul sistemelor de arme autonome letale nu ar trebui să fie antropomorfizate;

(j) Discuțiile și eventualele măsuri de politică luate în contextul CCW nu ar trebui să împiedice progresul sau accesul la utilizările pașnice ale tehnologiilor autonome inteligente;

(k) CCW oferă un cadru adecvat pentru abordarea problemei tehnologiilor emergente în domeniul sistemelor de arme autonome letale în contextul obiectivelor și scopurilor Convenției, care urmărește să găsească un echilibru între necesitatea militară și considerațiile umanitare.

Divulgația în care ne aflăm

Aceste diverse legi ale războiului, legi ale conflictelor armate sau DIH (Legi Internaționale Umanitare) servesc ca un ghid vital și mereu promițător pentru a ne gândi la ceea ce am putea încerca să facem cu privire la apariția sistemelor autonome care sunt armate, fie prin design cheie sau prin metode ulterioare.

Ne putem dori sincer ca interzicerea sistemelor autonome letale cu arme să fie respectată cu strictețe și ascultare. Problema este că o mulțime de spațiu de mișcare este obligat să se găsească în mod viclean în oricare dintre cele mai sincere interdicții. După cum se spune, regulile sunt menite să fie încălcate. Poți să pariezi că acolo unde lucrurile sunt lagăroase, riffraff-ul va descoperi lacune și va încerca să-și facă cu ochiul în jurul regulilor.

Iată câteva posibile lacune demne de luat în considerare:

• Afirmații de non-letal. Face neletal sisteme de arme autonome (aparent în regulă, deoarece se află în afara graniței interzicerii), pe care apoi le puteți transforma într-un ban pentru a deveni letale (veți depăși interdicția doar în ultimul moment).
• Pretenții numai pentru sistemul autonom. Menține interdicția, nefăcând sisteme autonome concentrate pe letale, între timp, fă progrese atât de mari în conceperea sistemelor autonome de zi cu zi care nu sunt (încă) armate, dar pe care le poți moderniza cu un ban pentru a fi armate.
• Revendicari de neintegrat ca unul. Creați sisteme autonome care nu sunt deloc armate și, atunci când va veni momentul, armamentul pe piggyback, astfel încât să puteți încerca să argumentați cu vehemență că sunt două elemente separate și, prin urmare, susțineți că nu se încadrează în grila unui all-in-one. sistem de arme autonom sau vărul său.
• Pretinde că nu este autonom. Faceți un sistem de arme care nu pare să aibă capacități autonome. Lăsați loc în acest sistem probabil neautonom pentru introducerea autonomiei bazate pe inteligență artificială. La nevoie, conectați autonomia și sunteți gata să rulați (până atunci, se pare că nu încălcați interdicția).
• Altele

Există o mulțime de alte dificultăți exprimate în încercarea de a interzice definitiv sistemele de arme autonome letale. Voi mai acoperi câteva dintre ele.

Unii experți susțin că o interdicție nu este deosebit de utilă și, în schimb, ar trebui să existe prevederi de reglementare. Ideea este că aceste instrumente vor fi permise, dar supravegheate cu strident. Sunt prezentate o serie de utilizări legale, împreună cu modalități legale de direcționare, tipuri legale de capabilități, proporționalitate legală și altele asemenea.

În opinia lor, o interdicție directă este ca și cum ai pune capul în nisip și te-ai preface că elefantul din cameră nu există. Această dispută devine totuși să fiarbă sângele celor care contrapun argumentul că, instituind o interdicție, puteți reduce dramatic tentația de a urma astfel de sisteme. Sigur, unii vor etala interdicția, dar cel puțin sperăm că majoritatea nu o vor face. Puteți apoi să vă concentrați atenția asupra flunters și nu trebuie să vă fragmentați atenția asupra tuturor.

Aceste dezbateri merg rotund.

O altă îngrijorare des observată este că, chiar dacă binele respectă interdicția, cei răi nu o vor face. Acest lucru îi pune pe cei buni într-o postură proastă. Cei răi vor avea astfel de sisteme autonome armate, iar cei buni nu. Odată ce lucrurile vor fi dezvăluite că cei răi le au, va fi prea târziu pentru ca cei buni să ajungă din urmă. Pe scurt, singurul lucru inteligent de făcut este să te pregătești să lupți cu focul.

Există, de asemenea, argumentul clasic de descurajare. Dacă cei buni optează pentru a face sisteme autonome cu arme, acest lucru poate fi folosit pentru a-i descuraja pe cei răi să caute să intre într-o luptă. Fie cei buni vor fi mai bine înarmați și, astfel, îi vor descuraja pe cei răi, fie cei buni vor fi gata atunci când cei răi vor dezvălui că ei au conceput acele sisteme pe ascuns tot timpul.

Un contracarat la aceste contoare este că, făcând sisteme autonome cu arme, porți o cursă înarmărilor. Cealaltă parte va căuta să aibă același lucru. Chiar dacă din punct de vedere tehnologic nu sunt capabili să creeze astfel de sisteme din nou, acum vor putea să fure planurile celor „bune”, să facă inginerie inversă a curățeniei high-tech sau să imite orice par să vadă ca un lucru încercat și adevărat. modalitate de a face treaba.

Aha, replică unii, toate acestea ar putea duce la o reducere a conflictelor printr-o aparență de reciprocitate. Dacă partea A știe că partea B are acele arme letale ale sistemelor autonome, iar partea B știe că partea A le are, s-ar putea să stea bine și să nu ajungă la lovituri. Aceasta are acea aură distinctă a vibrațiilor de distrugere asigurată reciproc (MAD).

Și așa mai departe.

AI în autonomie

Să ne asigurăm că suntem pe aceeași pagină cu privire la natura IA de astăzi.

Nu există astăzi nicio IA care să fie sensibilă. Nu avem asta. Nu știm dacă IA sensibilă va fi posibilă. Nimeni nu poate prezice în mod adecvat dacă vom atinge IA simțitoare și nici dacă IA simțitoare va apărea într-un fel, în mod miraculos, spontan într-o formă de supernovă cognitivă computațională (denumită de obicei singularitate, vezi acoperirea mea la linkul aici).

Tipul de IA pe care mă concentrez constă în IA nesimțitoare pe care o avem astăzi. Dacă am fi vrut să speculăm în mod sălbatic despre sensibil AI, această discuție ar putea merge într-o direcție radical diferită. Se presupune că o IA sensibilă ar fi de calitate umană. Ar trebui să luați în considerare că IA sensibilă este echivalentul cognitiv al unui om. Mai mult, deoarece unii speculează că am putea avea AI super-inteligentă, este de imaginat că o astfel de AI ar putea ajunge să fie mai inteligentă decât oamenii (pentru explorarea mea a AI super-inteligentă ca posibilitate, vezi acoperirea aici).

Să menținem lucrurile mai la pământ și să luăm în considerare IA computațională neconștientă de astăzi.

Realizați că IA de astăzi nu este capabilă să „gândească” în nici un fel la egalitate cu gândirea umană. Când interacționați cu Alexa sau Siri, capacitățile conversaționale ar putea părea asemănătoare capacităților umane, dar realitatea este că este computațională și nu are cunoașterea umană. Cea mai recentă eră a AI a folosit pe scară largă Machine Learning (ML) și Deep Learning (DL), care valorifică potrivirea modelelor de calcul. Acest lucru a condus la sisteme AI care au aspectul unor tendințe asemănătoare omului. Între timp, astăzi nu există nicio IA care să aibă o aparență de bun simț și nici să aibă minunea cognitivă a gândirii umane robuste.

Fiți foarte atenți la antropomorfizarea IA de astăzi.

ML/DL este o formă de potrivire a modelelor de calcul. Abordarea obișnuită este aceea de a aduna date despre o sarcină de luare a deciziilor. Introduceți datele în modelele de computer ML/DL. Acele modele caută să găsească modele matematice. După găsirea unor astfel de modele, dacă se găsește, sistemul AI va folosi acele modele atunci când întâlnește date noi. La prezentarea de date noi, modelele bazate pe datele „vechi” sau istorice sunt aplicate pentru a lua o decizie curentă.

Cred că poți ghici încotro se îndreaptă asta. Dacă oamenii care au luat deciziile modelate au încorporat părtiniri nefavorabile, șansele sunt ca datele să reflecte acest lucru în moduri subtile, dar semnificative. Învățarea automată sau potrivirea modelelor computaționale de învățare profundă va încerca pur și simplu să imite datele în mod corespunzător. Nu există nicio aparență de bun simț sau alte aspecte sensibile ale modelării create de AI în sine.

În plus, dezvoltatorii AI ar putea să nu realizeze nici ce se întâmplă. Matematica arcană din ML/DL ar putea face dificilă descoperirea părtinirilor acum ascunse. Te-ai aștepta pe bună dreptate și te-ai aștepta ca dezvoltatorii AI să testeze părtinirile potențial îngropate, deși acest lucru este mai complicat decât ar părea. Există o șansă solidă că, chiar și cu teste relativ extinse, vor exista părtiniri încă încorporate în modelele de potrivire a modelelor ML/DL.

Ați putea folosi oarecum faimosul sau infamul adagiu de gunoi în garbage-out. Chestia este că aceasta seamănă mai mult cu prejudecățile care se infuzează insidios pe măsură ce părtinirile sunt scufundate în AI. Algoritmul de luare a deciziilor (ADM) al AI devine axiomatic încărcat cu inechități.

Nu e bine.

Cu acest fundal de bază adăugat, ne întoarcem din nou la subiectul sistemelor autonome și al armelor. Am văzut mai devreme că AI intră în componenta de sistem autonom și, de asemenea, poate intra în componenta de armament. AI de astăzi nu este sensibil. Acest lucru merită repetat și voi evidenția acest lucru pentru o perspectivă suplimentară asupra acestor chestiuni.

Să explorăm câteva scenarii pentru a vedea cum acest lucru este un aspect crucial. Voi trece momentan de la o orientare pe timp de război pe această temă și voi arăta modul în care acesta pătrunde în multe alte medii sociale. Stabiliți-vă în consecință.

Un sistem autonom bazat pe inteligență artificială, cum ar fi un vehicul autonom, despre care vom spune că nu are nimic de-a face cu armele, își face drum într-o zonă normală. Un om vine să folosească vehiculul autonom. Persoana este înarmată cu o armă prevestitoare. Presupuneți de dragul discuției în acest scenariu special că persoana are ceva neplăcut în minte. Persoana se urcă în vehiculul autonom (purtând arma, ascunsă sau neascunsă, în orice caz).

Vehiculul autonom se deplasează către orice destinație pe care a solicitat-o ​​călărețul. În acest caz, AI pur și simplu transportă în mod programatic acest pasager de la o locație de preluare la o destinație desemnată, așa cum a făcut-o pentru posibil zeci sau sute de călătorii, în fiecare zi.

Dacă acesta ar fi fost un șofer uman și un vehicul condus de oameni, probabil că există o șansă ca șoferul uman să realizeze că pasagerul este înarmat și pare să aibă intenții neplăcute. Șoferul uman ar putea refuza să conducă vehiculul. Sau șoferul uman ar putea conduce la secția de poliție. Sau poate că șoferul uman ar putea încerca să supună pasagerul înarmat (există cazuri raportate) sau să-l descurajeze pe pasager să-și folosească arma. Este destul de complicat și pot exista orice număr de variații. Ai fi greu să afirmi că există un singur răspuns corect pentru a rezolva o astfel de situație dificilă. Din păcate, situația este supărătoare și evident periculoasă.

În acest caz, este puțin probabil ca AI să fie programat pentru oricare dintre aceste posibilități. Pe scurt, pasagerul înarmat ar putea să-și poată folosi arma, făcând acest lucru din interiorul vehiculului autonom, în timpul călătoriei. Sistemul de conducere AI va continua să circule, iar vehiculul autonom se va îndrepta în continuare către desemnarea declarată a pasagerului (presupunând că destinația nu a fost altfel considerată în afara limitelor).

Majoritatea sistemelor de conducere AI contemporane s-ar concentra doar pe șosea și nu pe eforturile conducătorului.

Lucrurile pot deveni mai rău decât asta.

Să presupunem că cineva dorește ca o grămadă de alimente să fie transportată într-un loc care ia hrană suplimentară pentru cei nevoiași. Persoana solicită un vehicul autonom și pune sacii cu alimente pe bancheta din spate a vehiculului. Ei nu vor merge de-a lungul călătoriei și folosesc doar vehiculul autonom pentru a le livra pungile de mâncare.

Pare perfect bine.

Imaginați-vă că o persoană ticăloasă optează în schimb să plaseze o anumită formă de armament în vehiculul autonom, mai degrabă decât noțiunea mai pașnică a pungilor de băcănie. Cred că poți ghici ce s-ar putea întâmpla. Aceasta este o îngrijorare pe care am îndemnat-o în mod repetat în rubricile mele și am avertizat că trebuie să facem față mai devreme decât mai târziu.

Un răspuns oferit la aceste tipuri de scenarii este că, probabil, toate vehiculele autonome ar putea fi programate să-și folosească camerele și alți senzori pentru a încerca să detecteze dacă un potențial pasager este înarmat și are intenții nefaste. Poate că AI ar fi programat să facă asta. Sau AI alertează electronic și silențios un operator uman de la distanță care, prin intermediul camerelor, ar examina vizual și, eventual, ar interacționa cu pasagerul. Totul face parte dintr-o cutie de viermi complexă și potențial insolubilă, astfel încât ridică probleme intense de confidențialitate și o multitudine de alte potențiale probleme de IA etică. Vezi acoperirea mea la linkul aici.

O altă alternativă oarecum asemănătoare este că AI conține un fel de programare etică încorporată care încearcă să îi permită AI să emită judecăți etice sau morale care sunt în mod normal rezervate factorilor de decizie umani. Am examinat aceste tipuri de prognostice de etică computațională încorporate în AI, vezi linkul aici și linkul aici.

Revenind la un scenariu pe câmpul de luptă, imaginați-vă că un sistem de arme autonom letal traversează deasupra unei zone de luptă. AI operează sistemul autonom. AI operează armele de la bord. Am conceput mai devreme posibilitatea ca IA să fie programată să caute mișcări aparent ostile sau alți indicatori ai țintelor umane considerate combatanți validi.

Această IA ar trebui să aibă un fel de componentă orientată spre etică care se străduiește să ia în considerare computațional ce ar putea face un om în buclă, acționând într-un sens în loc de a avea un om în buclă?

Unii spun că da, să continuăm asta. Unii se retrag îngroziți și spun că fie este imposibil, fie încalcă sfințenia umanității.

Încă o cutie de viermi.

Concluzie

Pentru cei interesați de acest subiect, mai sunt multe de discutat.

Îți voi da o gustare rapidă a unei enigme sâcâitoare.

În mod normal, ne așteptăm ca un om să fie în cele din urmă tras la răspundere pentru orice se întâmplă în timpul războiului. Dacă AI controlează un sistem de arme autonom sau controlează un sistem autonom care probabil a fost armat, iar acest sistem face ceva pe câmpul de luptă despre care se crede că este de neconceput, cine sau ce trebuie să fie învinuit pentru asta?

Ai putea argumenta că AI ar trebui să fie trasă la răspundere. Dar, dacă da, ce înseamnă asta exact? Încă nu considerăm că IA de astăzi este întruchiparea personalității juridice, vezi explicația mea la linkul aici. Fără prinderea coada pe măgar în cazul AI. Poate că dacă AI într-o zi devine sensibilă, poți încerca să faci asta. Până atunci, aceasta este un pic de întindere (în plus, la ce fel de penalități sau repercusiuni ar fi supus IA, vezi analiza mea la linkul aici și linkul aici, de exemplu).

Dacă IA nu este suspectul responsabil, am putea spune în mod natural că orice om sau oameni au conceput IA ar trebui să fie tras la răspundere. Poți face asta dacă AI rula doar un sistem autonom și au venit niște oameni care l-au cuplat cu armamentul? Te duci după dezvoltatorii AI? Sau cei care au implementat AI? Sau doar actorul care pune arme?

Am încredere că înțelegi ideea că am atins doar vârful aisbergului în discuția mea copioasă.

Deocamdată, să continuăm și să încheiem acest discurs. S-ar putea să vă amintiți că John Lyly a intrat Euphues: Anatomia spiritului în 1578 a declarat în mod memorabil că totul este corect în dragoste și război.

Ar fi avut în vedere apariția sistemelor de arme autonome și, de asemenea, apariția sistemelor autonome care sunt armate?

Cu siguranță trebuie să punem asta în capul minții noastre, imediat.