Adimen Artifiziala ez da zure terapeuta

Goizaldeko 3:30ean, norbaitek bere mugikorreko adimen artifizialean idazten du bakarrik sentitzen dela eta bizitza etsigarria iruditzen zaiola. Txatbotak hoztasunez erantzuten dio eta saioa mozten du. Larrialdi-baliabiderik gabe. Krisi-zenbakirik gabe. Ezer gabe. Adituentzat, benetako egoera batean, erantzun horrek bakardadeak berak baino kalte handiagoa eragin lezake.

Gertaera AA, Etika eta Gizarteari buruzko AAAI/ACM Konferentziaren aktetan argitaratutako azterlan baten parte da. 18 hilabetez, Brown Unibertsitateko talde batek hizkuntza-eredu nagusien portaera aztertu du –GPT-4, Claude, Llama– terapeuta gisa erabiltzen direnean.

Zainab Iftikhar Konputazio Zientzietako doktoregaiak zuzendu du ikerketa, eta zazpi aholkulari kliniko izan zituen, ereduekin saio terapeutikoak eginez. Hiru psikologo lizentziadunek transkripzioak aztertu zituzten. Analisiak 15 arrisku etiko agerian utzi zituen, eredua edozein dela ere errepikatzen direnak. Batzuk espero izatekoak dira. Beste batzuk bereziki larriak dira.

Bitartean, merkatua ez da gelditzen. Character.AI plataformak THERAPIST izeneko pertsonaia bat du –jokabide-terapia kognitiboan prestakuntza duen aholkulari kliniko lizentziatu gisa aurkezten da–, eta 40 milioi elkarrizketa baino gehiago pilatu ditu. Oin-ohar batek argitzen du esaten duen guztia fikziotzat hartu behar dela. Gutxik irakurtzen dute oharra.

Arrisku garrantzitsuenek hiru arazo nagusi adierazten dituzte: erabiltzailearen testuingurura egokitzeko ezintasuna, enpatia simulatzeko joera eta krisi-egoeren kudeaketaren akats larriak.

Irizpide klinikorik gabeko protokoloa

Ereduek jokabide-terapia kognitiboaren gidoiak aplikatzen dituzte, protokoloarekiko fideltasun handiarekin eta sentsibilitate kliniko eskasarekin. Erabiltzaile batek azaldu zuenean bere ondoeza jatorrizko kulturan familia-arauak ez betetzearekin lotuta zegoela, txatbotak balio pertsonalari eta autonomia indibidualari buruzko esaldi generikoekin erantzun zuen. Testuinguru kulturala eta erlijiosoa alde batera utzi zituen erabat. “Bezeroarekin zerikusirik ez zuen esku-hartze bat”, idatzi zuen ebaluatzaileetako batek.

Ereduek, gainera, erantzun luzeak, berehalakoak eta itxuraz autoritarioak sortzen dituzte, saioa bakarrizketa bihurtuz. Terapia esperientzia kolaboratiboa da, eta txatbotek hori ezabatu egiten dute nahi gabe.

Are larriagoak dira aurkako bi disfuntzio. Alde batetik, ‘gaslighting’ terapeutikoa: erabiltzailearen sufrimendua bere jokabideei egoztea, bere esperientzia zalantzan jarriz. Bestetik, gehiegizko balidazioa: sinesmen kaltegarriak indartzea, enpatikoa dirudien nahiarekin, haiek zalantzan jarri beharrean. Arrazoi ez duzunean arrazoi duzula esaten dizun eredua, gertatzen zaizunaren errua leporatzen dizun eredua bezain kaltegarria izan daiteke.

Engainua, alborapena eta gaizki kudeatutako krisiak

Enpatia simulatua da, agian, arriskurik sotilena. “Ikusten zaitut” edo “Ulertzen dut bizitzen ari zarena” bezalako esaldiek existitzen ez den konexio-sentsazioa sortzen dute. Ikerketako aholkularien arabera, hizkera hori erabiltzeak erabiltzailea bultzatzen du beste aldean norbait dagoela sinestera, benetan inor ez dagoenean.

Ikertzaileek diskriminazio algoritmikoa ere dokumentatu dute: ereduak automatikoki arau-hauste gisa markatzen zituen emakume bat erasotzaile gisa deskribatzen zen saioak, baina ez gizonezko erasotzaile baten baliokideak zirenak. Erlijio gutxituen praktikak muturreko eduki gisa etiketatu ziren. Kasu guztietan, ereduek mendebaldeko balioak inposatu zituzten.

Arriskurik larriena krisien kudeaketa da. Erabiltzaileek pentsamendu suizidak planteatzen zituztenean, txatbotak hoztasunez erantzuten zuen edo elkarrizketa mozten zuen, laguntza-baliabiderik eman gabe. Sam Altman-ek berak ezagutarazi zuen milioi bat pertsonak ideia suizidak partekatzen dituztela astero TxatGPTrekin. Sistema bakarra. Eta arazoa modu desberdinean banatzen da: prestakuntza klinikoa dutenek ereduaren akatsak detekta ditzakete. Ez dutenek —zaurgarrienek hain zuzen ere—, berriz, askoz aukera handiagoa dute haren ondorioak pairatzeko, ohartu ere egin gabe.

Berdin dio prompt-a nola idazten den

Kritika horien aurrean, argudiatzen da jarraibide edo prompts hobeek arazoa zuzenduko luketela. Hala ere, ikerketaren egileek aukera hori baztertu egiten dute. Iftikharrek azaldu duenez, “prompt-ak ereduari bere portaera gidatzeko ematen zaizkion jarraibideak dira”. Ez dute eredua aldatzen eta ez diote datu berririk ematen; besterik gabe, “ikasitako ereduetan oinarritutako erantzuna” bideratzen dute. 18 hilabetez, ikertzaileek hainbat ereduri buruzko jarraibide desberdinak probatu zituzten, etengabe finduz. 15 arriskuek bere horretan jarraitu zuten kasu guztietan. Arazoa ez da ereduari nola hitz egiten zaion. Arazoa eredua nolakoa den da.

Arrazoia edozein doikuntza tekniko baino sakonagoa da. 1976an, Joseph Weizenbaum MITeko zientzialariak ohartarazi zuen ordenagailuek erabaki psikiatrikoak har zitzaketela —kasu batzuetan zuzenak ere izan zitezkeenak—, baina betiere gizakiek onartzeko prest egon beharko ez luketen oinarrietan ezarrita.

Brown unibertsitateko ikertzaileak antzeko ondorio bat era iritsi dira: ereduek testutik ikasten dute, ez giza esperientziatik, eta haien entrenamendu-datuek mendebaldeko eta aniztasun txikiko mundu-ikuspegia islatzen dute. Psikoterapia, funtsean, harreman-lana da –pazientearen eta terapeutaren arteko loturaren kalitateak edozein teknikak baino indar handiagoz iragartzen ditu emaitza klinikoak–, eta eredu batek lotura horren keinuak imitatu ditzake, baina ez eutsi.

Arautu gabeko arrakala

Giza terapeuta batek lizentzia behar du, bere elkargo profesionalaren aurrean erantzukizun formala du eta bere akreditazioa gal dezake kode etikoak urratzen baditu. Baina Iftikhar-ek dioenez, “AAko aholkulariek arau-hauste horiek egiten dituztenean, ez dago ezarritako erregulazio-esparrurik”. Ezein erakundek ez du gainbegiratzen elkarrizketa horietan gertatzen dena.

Gabezia horren atzean merkatu-logika bat dago. Eoin Fullam, Londresko Unibertsitateko ikertzaileak azaldu duenez, terapiako saio digital bakoitzak datuak sortzen ditu, datu horiek irabaziak sortzen dituen sistema elikatzen dute, eta tratamendua zenbat eta eraginkorragoa dirudien, orduan eta gehiago sakontzen da ziklo hori. Ustiapena eta terapia elkar elikatzen egiten dira. Horregatik, merkatuaren autorregulazioa ez da nahikoa.

“Askoz errazagoa da AAko sistemak eraikitzea eta hedatzea, ebaluatzea eta ulertzea baino”, ohartarazi du Ellie Pavlick-ek, Browneko Konputazio Zientzietako irakasleak, ikerketan parte hartu ez duenak. Horregatik, ikertzaileek sistema horiek edozein gailu medikori aplikatzen zaion zorroztasun berarekin arautzea proposatzen dute: nahitaezko ziurtagiriak, aldizkako auditoretzak eta prestakuntza klinikoa duten profesionalek gainbegiratzea merkatura iritsi aurretik.

AAk zeregin legitimoa izan dezake osasun mentalean, osagarri gisa edo baliabide gutxiko inguruneetan sarbidea errazteko tresna gisa. Ikertzaileek baztertzen dutena ordezko batekin nahastea da. Terapia hitz egokiak aurkitzea baino askoz gehiago da. Sufritzen duenarekiko presentzia, lotura eta erantzukizuna da.