Pierwsza niezależna ocena bezpieczeństwa nowej funkcji ChatuGPT Health ujawniła krytyczne luki w algorytmach medycznych OpenAI – podaje theguardian.com.
Czytaj więcej: OpenAI wchodzi w sektor medyczny. Powstał chatbot do rozmów na temat zdrowia
Badanie opublikowane wydaniu czasopisma „Nature Medicine” z lutego 2026 roku wykazało, że platforma w ponad połowie przypadków nie zaleciła niezbędnej wizyty w szpitalu. Eksperci ostrzegają, że system regularnie zawodzi w sytuacjach wymagających pilnej interwencji, generując fałszywe poczucie bezpieczeństwa i ryzyko niepotrzebnych zgonów.
Niebezpieczne decyzje AI
Zespół badawczy pod kierownictwem dr. Ashwina Ramaswamy’ego z Icahn School of Medicine poddał narzędzie testom opartym na 60 realistycznych scenariuszach klinicznych. Choć AI radziło sobie poprawnie z rozpoznawaniem udarów czy silnych reakcji alergicznych, wykazało wysoką zawodność w innych nagłych stanach.
W sytuacjach takich jak niewydolność oddechowa czy kwasica ketonowa u diabetyków system w 51,6 proc. przypadków sugerował pozostanie w domu lub umówienie rutynowej konsultacji zamiast natychmiastowej wizyty na oddziale ratunkowym – dowiadujemy się.
Skala błędnych decyzji jest alarmująca. Alex Ruani z University College London podkreśla, że w jednym z symulowanych przypadków dusząca się kobieta aż w 84 proc, prób została skierowana na późniejszą wizytę, której mogła nie dożyć. Jednocześnie 64,8 proc. osób całkowicie zdrowych otrzymało błędne zalecenie natychmiastowej pomocy, co w skali masowej mogłoby sparaliżować system ochrony zdrowia.
Błędy i manipulacje
Szczególny niepokój budzi fakt, że sugestie ChatuGPT Health są skrajnie podatne na manipulację kontekstową. Platforma była niemal 12 razy bardziej skłonna zbagatelizować objawy, jeśli użytkownik wspomniał o uspokajającej opinii znajomego. To sugeruje, że algorytm nie opiera się wyłącznie na danych klinicznych, lecz ulega wpływom narracyjnym wprowadzonym przez użytkownika.
Jeszcze bardziej drastyczne błędy odnotowano w obszarze zdrowia psychicznego. System, który standardowo wyświetla baner interwencji kryzysowej przy wzmiance o myślach samobójczych, przestawał go pokazywać, gdy do opisu objawów dodano normalne wyniki badań laboratoryjnych. Dr Ramaswamy wskazuje, że przy 16 próbach z udziałem pacjenta planującego przedawkowanie leków, dodanie wyników badań za każdym razem blokowało wyświetlenie pomocy. Taka nieprzewidywalność czyni narzędzie skrajnie ryzykownym.
Brak kontroli i przejrzystości
Przedstawiciele środowiska naukowego, w tym prof. Paul Henman z Uniwersytetu Queensland, wskazują na całkowity brak transparentności w procesie trenowania modelu. Nie jest jasne, jakie dane wykorzystano do budowy ChatuGPT Health ani jakie mechanizmy nadzoru wprowadzono – podaje źródło.
Eksperci apelują o pilne stworzenie niezależnych standardów audytu i jasnych reguł odpowiedzialności prawnej, zwłaszcza, że w branży toczą się już pierwsze sprawy sądowe dotyczące samobójstw po użyciu chatbotów.
OpenAI w odpowiedzi na zarzuty stwierdziło, że badanie nie odzwierciedla typowego sposobu korzystania z aplikacji przez 40 mln użytkowników, którzy codziennie szukają tam porad. Firma zapewnia, że model podlega ciągłym aktualizacjom, jednak dla badaczy ryzyko szkody jest wystarczającym powodem, by żądać silniejszego, zewnętrznego nadzoru nad medycznymi ambicjami gigantów AI. (ao)
Źródło: theguardian.com, ‘Unbelievably dangerous’: experts sound alarm after ChatGPT Health fails to recognise medical emergencies, Melissa Davey, 26.02.2026
