Un nou instrument al OpenAI descris ca având „robustețe și precizie la nivel uman" halucinează tratamente medicale periculoase

Gigantul tehnologic OpenAI a prezentat un nou instrument de transcripție alimentat de inteligența artificială Whisper. Potrivit companiei, acesta are „robustețe și precizie la nivel uman", potrivit Fortune.

Dar Whisper are un defect major: este predispus să inventeze texte sau chiar propoziții întregi. Acest lucru a fost confirmat de inginerii software, dezvoltatorii și cercetătorii care l-au creat. Ei au spus că unele dintre textele inventate - cunoscute în industrie ca halucinații - pot include comentarii rasiale, retorică violentă și chiar tratamente medicale imaginare. Ei au adăugat că astfel de invenții sunt problematice. Asta deoarece Whisper este folosit într-o mulțime de industrii din întreaga lume pentru a traduce și transcrie interviuri, pentru a genera texte și pentru a crea subtitrări pentru videoclipuri.

Mai îngrijorătoare, au spus ei, este grăbirea centrelor medicale de a utiliza instrumente bazate pe Whisper. Acestea folosesc IA-ul pentru a transcrie rețetele pe care le primesc pacienții. OpenAI a avertizat anterior diferite industrii că instrumentul nu ar trebui utilizat în „domenii cu risc ridicat". Este dificil de perceput întreaga amploare a problemei, dar specialiștii au spus că au întâlnit des halucinațiile lui Whisper. Un cercetător de la Universitatea din Michigan a găsit halucinații în 8 din 10 transcrieri audio pe care le-a inspectat.

Un inginer de învățare automată a spus că a descoperit inițial halucinații în aproximativ jumătate din cele peste 100 de ore de transcrieri Whisper pe care le-a analizat. Un al treilea dezvoltator a spus că a găsit halucinații în aproape fiecare dintre cele 26.000 de transcrieri pe care le-a creat cu Whisper. Problemele persistă chiar și în mostre audio scurte și bine înregistrate. Un studiu recent realizat de informaticieni a descoperit 187 de halucinații în peste 13.000 de fragmente audio.

Astfel de greșeli ar putea avea „consecințe cu adevărat grave", în special în mediul spitalicesc, a spus Alondra Nelson, care a condus până anul trecut Biroul Casei Albe pentru Politică pentru Știință și Tehnologie pentru administrația Biden. „Nimeni nu vrea un diagnostic greșit", a spus Nelson, profesor la Institutul pentru Studii Avansate din Princeton, New Jersey. „Ar trebui să existe o limită", a adăugat ea.