Într-un studiu recent publicat în The Annals of Family Medicine, cercetătorii au evaluat eficacitatea Chat Generative Pretrained Transformer (ChatGPT) în rezumarea rezumatelor medicale pentru a ajuta medicii. Studiul și-a propus să determine calitatea, acuratețea și părtinirea rezumatelor generate de ChatGPT, oferind perspective asupra potențialului său ca instrument pentru digerarea unor cantități mari de literatură medicală în contextul constrângerilor de timp cu care se confruntă profesioniștii din domeniul sănătății.
Evaluări ridicate pentru calitate și acuratețe
Studiul a folosit ChatGPT pentru a condensa 140 de rezumate medicale din 14 reviste diverse, reducând conținutul cu o medie de 70%. În ciuda unor inexactități și halucinații detectate într-o mică parte a rezumatelor, medicii au evaluat rezumatele foarte mult pentru calitate și acuratețe. Descoperirile sugerează că ChatGPT are potențialul de a ajuta medicii în revizuirea eficientă a literaturii medicale, oferind rezumate concise și precise în mijlocul volumului copleșitor de informații.
Cercetătorii au selectat 10 articole din fiecare dintre cele 14 reviste care acoperă diverse teme și structuri medicale. Ei au însărcinat ChatGPT să sintetizeze aceste articole și au evaluat rezumatele generate pentru calitate, acuratețe, părtinire și relevanță în zece domenii medicale. Studiul a constatat că ChatGPT a condensat cu succes rezumatele medicale cu o medie de 70%, obținând evaluări ridicate din partea recenzenților medici pentru calitate și acuratețe.
Implicații pentru sănătate
În ciuda ratingurilor ridicate, studiul a identificat grave inexactități și halucinații într-un număr mic de rezumate. Aceste erori au variat de la date critice omise până la interpretări greșite ale proiectelor de studiu, care ar putea modifica interpretarea rezultatelor cercetării. Cu toate acestea, performanța ChatGPT în rezumarea rezumatelor medicale a fost considerată fiabilă, cu o părtinire minimă observată.
În timp ce ChatGPT a demonstrat o aliniere puternică cu evaluările umane la nivel de jurnal, performanța sa în identificarea relevanței articolelor individuale pentru specialități medicale specifice a fost mai puțin impresionantă. Această discrepanță a evidențiat o limitare în capacitatea ChatGPT de a identifica cu exactitate relevanța articolelor singulare în contextul mai larg al specialităților medicale.
Studiul oferă informații valoroase asupra potențialului AI, în special ChatGPT, de a ajuta medicii să revizuiască în mod eficient literatura medicală. În timp ce ChatGPT arată promițător în a rezuma rezumatele medicale cu înaltă calitate și acuratețe, sunt necesare cercetări suplimentare pentru a aborda limitările și a îmbunătăți performanța în contexte medicale specifice.
Cercetările viitoare s-ar putea concentra pe rafinarea capacității ChatGPT de a recunoaște relevanța articolelor individuale pentru specialități medicale specifice. În plus, eforturile de a atenua inexactitățile și halucinațiile din rezumatele generate ar putea îmbunătăți și mai mult utilitatea instrumentelor AI în mediile de asistență medicală.
Sursa: https://www.cryptopolitan.com/chatgpt-in-summarizing-medical-abstracts/