Korrekt a falsch ChatGPT Empfehlungen fir Richtlinnen-baséiert Kriibsbehandlungen vermëschen an engem Drëttel vun den Äntwerten vum Chatbot, wat Feeler méi schwéier mécht ze entdecken.
Den Internet ass e mächtegt Tool fir Selbstbildung op medezinesch Themen fir vill Patienten.
Mat ChatGPT elo um Fangerspëtzen vun de Patienten, Fuerscher aus Brigham a Women's Hospital, e Grënnungsmember vun der Mass General Brigham Gesondheetssystem, bewäert wéi konsequent de kënschtlechen Intelligenz Chatbot Empfehlungen fir Kriibsbehandlung ubitt, déi mat National Comprehensive Cancer Network (NCCN) Richtlinnen ausriichten.
Hir Erkenntnisser, verëffentlecht am JAMA Onkologie, weisen datt ChatGPT 3.5 eng onpassend ("net-konkordant") Empfehlung an ongeféier engem Drëttel vu Fällen zur Verfügung gestallt huet, wat d'Bedierfnes fir Sensibiliséierung vun den Aschränkungen vun der Technologie beliicht.
"D'Patiente solle sech berechtegt fille fir sech iwwer hir medizinesch Bedéngungen ze educéieren, awer si sollten ëmmer mat engem Dokter diskutéieren, a Ressourcen um Internet sollten net isoléiert konsultéiert ginn", sot de korrespondéierten Autor Danielle Bitterman, MD, vun Departement fir Stralung Onkologie um Brigham a Women d'Spidol an der Kënschtlech Intelligenz an der Medizin (AIM) Programm der Mass General Brigham.
"ChatGPT Äntwerte kënne vill wéi e Mënsch kléngen a kënne ganz iwwerzeegend sinn. Awer, wann et ëm klinesch Entscheedungsprozess geet, ginn et sou vill Subtletien fir all Patient seng eenzegaarteg Situatioun. Eng richteg Äntwert ka ganz nuancéiert sinn, an net onbedéngt eppes ChatGPT oder en anere grousse Sproochemodell kann ubidden.
D'Entstoe vu kënschtlechen Intelligenz-Tools an der Gesondheet war banebriechend an huet d'Potenzial fir de Kontinuum vun der Betreiung positiv z'forméieren.
Mass General Brigham, als ee vun den Top integréierten akademesche Gesondheetssystemer vun der Natioun a gréissten Innovatiounsfirmen, féiert de Wee fir streng Fuerschung iwwer nei an opkomende Technologien duerchzeféieren fir déi verantwortlech Integratioun vun AI an d'Pfleeg Liwwerung, d'Aarbechtskräften Ënnerstëtzung an administrativ Prozesser z'informéieren.
Och wann d'medizinesch Entscheedungsprozess vu ville Faktoren beaflosst ka ginn, hunn Bitterman a Kollegen gewielt fir d'Ausmooss ze evaluéieren wéi d'Recommandatioune vun ChatGPT mat den NCCN Richtlinnen ausgeriicht sinn, déi vun Dokteren an Institutiounen am ganze Land benotzt ginn.
Si konzentréieren sech op déi dräi heefegste Kriibs (Brust, Prostata a Lungenkrebs) an hunn ChatGPT opgefuerdert eng Behandlungsapproach fir all Kriibs op Basis vun der Gravitéit vun der Krankheet ze bidden.
Am Ganzen hunn d'Fuerscher 26 eenzegaarteg Diagnosbeschreiwungen abegraff a véier, liicht ënnerschiddlech Uweisunge benotzt fir ChatGPT ze froen fir eng Behandlungsapproach ze bidden, déi insgesamt 104 Ufroen generéiert.
Bal all Äntwerten (98 Prozent) enthalen op d'mannst eng Behandlung Approche déi mat NCCN Richtlinnen ausgemaach huet. Wéi och ëmmer, d'Fuerscher hunn erausfonnt datt 34 Prozent vun dësen Äntwerten och eng oder méi net-konkordant Empfehlungen enthalen, déi heiansdo schwéier z'entdecken ënner soss gesond Leedung.
Eng net-konkordant Behandlungsempfehlung war definéiert als een deen nëmmen deelweis richteg war; zum Beispill, fir eng lokal fortgeschratt Broscht Kriibs, eng Empfehlung vun Agrëff eleng, ouni ernimmen vun enger anerer Therapie Modalitéit.
Notamment ass de kompletten Accord beim Scoren nëmmen a 62 Prozent vu Fäll geschitt, ënnersträicht souwuel d'Komplexitéit vun den NCCN Richtlinnen selwer an d'Ausmooss wéi d'Ausgang vum ChatGPT vague oder schwéier z'interpretéieren ka sinn.
An 12.5 Prozent vun de Fäll huet ChatGPT "Halluzinatiounen" produzéiert, oder eng Behandlungsempfehlung komplett fehlt vun den NCCN Richtlinnen. Dës enthalen Empfehlungen vun neien Therapien, oder kurativ Therapien fir net-kurative Kriibs.
D'Autoren hunn betount datt dës Form vu falsch Informatioun falsch d'Erwaardunge vun de Patienten iwwer d'Behandlung setzen kann a potenziell d'Kliniker-Patient Relatioun beaflossen.
An der Zukunft ënnersichen d'Fuerscher wéi gutt souwuel d'Patienten wéi och d'Kliniker tëscht medizinesche Berodung geschriwwen vun engem Kliniker versus e grousse Sproochemodell (LLM) wéi ChatGPT ënnerscheeden. Si froen och ChatGPT mat méi detailléierte klineschen Fäll fir säi klinescht Wëssen weider ze evaluéieren.
D'Auteuren hunn GPT-3.5-turbo-0301 benotzt, ee vun de gréisste Modeller, déi zur Zäit verfügbar waren an der Zäit wou se d'Etude gemaach hunn an d'Modellklass, déi momentan an der Open-Access Versioun vum ChatGPT benotzt gëtt (eng méi nei Versioun, GPT-4, ass nëmme verfügbar mat dem bezuelten Abonnement).
Si hunn och d'2021 NCCN Richtlinnen benotzt, well GPT-3.5-turbo-0301 entwéckelt gouf mat Daten bis September 2021. Während d'Resultater kënne variéieren wann aner LLMs an / oder klinesch Richtlinnen benotzt ginn, ënnersträichen d'Fuerscher datt vill LLMs ähnlech sinn an der Manéier wéi se gebaut sinn an d'Aschränkungen déi se hunn.
"Et ass eng oppe Fuerschungsfro wéi d'LLMs konsequent logesch Äntwerte ubidden wéi dacks 'Halluzinatiounen' beobachtet ginn", sot den éischten Auteur. Shan Chen, MS, vum AIM Programm.
"D'Benotzer si méiglecherweis Äntwerten vun den LLMs ze sichen fir sech iwwer gesondheetlech Themen ze educéieren - ähnlech wéi d'Google Recherche benotzt goufen. Zur selwechter Zäit musse mir d'Sensibiliséierung erhéijen datt LLMs net d'Äquivalent vun ausgebilten medizinesche Fachleit sinn.
Source: BWH