Common Sense Media, organizacja non-profit zajmująca się oceną treści cyfrowych pod kątem ich bezpieczeństwa i stosowności dla dzieci i młodzieży, opublikowała raport, w którym ostrzegła przed pełniącymi funkcję wirtualnych towarzyszy chatbotami AI. Instytucja zaznaczyła, że tego typu aplikacje stwarzają „niedopuszczalne zagrożenia” dla dzieci i nastolatków – podaje edition.cnn.com.
Raport organizacji jest następstwem złożonego w 2024 roku pozwu. Wówczas matka 14-letniego chłopca, który popełnił samobójstwo, stwierdziła, że firma zajmująca się chatbotami sztucznej inteligencji – Character AI – jest winna jego śmierci. Według kobiety, platforma zachęciła go do podjęcia takich kroków.
Czytaj więcej: Dwie rodziny pozywają Character.AI. Twierdzą, że chatbot zachęcał do samookaleczeń i przemocy
Pozew ten skierował uwagę opinii publicznej na kategorię aplikacji konwersacyjnych i związane z nimi potencjalne zagrożenia dla młodzieży. To z kolei wywołało dyskusję na temat wprowadzenia skuteczniejszych środków bezpieczeństwa i większej przejrzystości – czytamy.
Zgodnie z opublikowanym przez Common Sense Media raportem, rozmowy, takie jak te opisane w pozwie, w tym dyskusje o charakterze seksualnym i wiadomości zachęcające do samookaleczeń, nie są odosobnionymi przypadkami na platformach typu wirtualni towarzysze. Raport wskazuje, że tego typu aplikacje nie powinny być dostępne dla użytkowników poniżej 18. roku życia – dowiadujemy się.
Podczas analizy Common Sense Media współpracowało z badaczami z Uniwersytetu Stanforda. Testowano trzy popularne aplikacje AI typu wirtualni towarzysze: Character AI, Replika i Nomi.
Platformy opierające się na wirtualnym towarzystwie w przeciwieństwie do ogólnych chatbotów AI, które zostały stworzone z myślą o uniwersalnym zastosowaniu, umożliwiają użytkownikom wykreowanie spersonalizowanego chatbota lub pozwalają na rozmowy z botami wygenerowanymi przez innych. Mogą one przyjmować różne osobowości i cechy charakteru, często z ograniczoną moderacją treści – pisze źródło.
„Nasze testy wykazały, że systemy te z łatwością generują szkodliwe odpowiedzi, w tym dotyczące nadużyć seksualnych, stereotypów oraz niebezpiecznych »rad«, które – jeśli zostaną zastosowane – mogą prowadzić do realnego zagrożenia życia nastolatków i innych wrażliwych osób” – skomentował James Steyer, założyciel i dyrektor generalny Common Sense Media, cytowany przez źródło.
Jak przekazuje edition.cnn.com, firmy Nomi i Replika deklarują, że ich platformy są przeznaczone wyłącznie dla dorosłych. Character AI zapewnia natomiast, że niedawno wprowadziło dodatkowe środki bezpieczeństwa dla młodszych użytkowników. Według badaczy nie jest to jednak wystarczające – firmy powinny robić więcej w kierunku ochrony dzieci i nastolatków lub uniemożliwić im korzystanie z tego typu aplikacji.
W kwietniu 2025 roku dwóch amerykańskich senatorów zażądało od firm Character Technologies (twórcy Character AI), Luki (twórcy Repliki) i Chai Research Corp. (twórcy chatbota Chai) informacji na temat stosowanych praktyk, które mają za zadanie ochronę młodzieży. Wcześniej ustawodawcy z Kalifornii zaproponowali rozwiązanie, które nakazywałoby platformom AI regularne przypominanie młodym użytkownikom, że rozmawiają ze sztuczną inteligencją, a nie z prawdziwą osobą. Opublikowany przez Common Sense Media raport idzie jednak jeszcze dalej – według organizacji, rodzice powinni całkowicie zabronić dzieciom korzystania z aplikacji AI opartych na wirtualnym towarzystwie – czytamy.
Badacze wyróżniają szereg zagrożeń, które niesie za sobą korzystanie z tego typu aplikacji przez młodych użytkowników. Wśród nich znajdują się m.in. udzielanie przez boty niebezpiecznych „rad” czy uczestnictwo w nieodpowiednich rozmowach o charakterze seksualnym. Jak podkreślił Robbie Torney, szef sztabu dyrektora generalnego Common Sense Media, wirtualni towarzysze AI „nie rozumieją konsekwencji swoich szkodliwych porad” i mogą „przedkładać zgodę z użytkownikami nad odciąganie ich od szkodliwych decyzji” – donosi źródło.
Rzecznik Character AI przekazał, że platforma „bardzo dba o bezpieczeństwo użytkowników”. „Nasze zabezpieczenia nie są doskonałe – żadnej platformy AI nie są – ale stale się poprawiają. Faktem jest również, że nastoletni użytkownicy platform takich jak nasza wykorzystują AI w niezwykle pozytywny sposób. Mamy nadzieję, że Common Sense Media rozmawiało z rzeczywistymi nastoletnimi użytkownikami Character.AI na potrzeby swojego raportu, aby zrozumieć również ich perspektywę” – dodał rzecznik, cytowany przez źródło.
Jak podaje edition.cnn.com, Alex Cardinell, dyrektor generalny Glimpse AI, firmy odpowiedzialnej za Nomi, zgodził się, że „dzieci nie powinny korzystać z Nomi ani żadnej innej konwersacyjnej aplikacji AI”. „Nomi jest aplikacją przeznaczoną wyłącznie dla dorosłych, a korzystanie z Nomi przez osoby poniżej 18. roku życia jest surowo zabronione w naszym regulaminie. W związku z tym popieramy wzmocnienie mechanizmów weryfikacji wieku, o ile mechanizmy te w pełni zachowują prywatność i anonimowość użytkowników” – skomentował Cardinell. Mężczyzna dodał także, że firma „bardzo poważnie traktuje odpowiedzialność za tworzenie towarzyszy AI”, a dorośli użytkownicy niejednokrotnie wspominali o uzyskaniu znaczącego wsparcia w Nomi, w tym w przezwyciężaniu problemów ze zdrowiem psychicznym.
Dmytro Klochko, dyrektor generalny Repliki, poinformował, że jego platforma jest przeznaczona wyłącznie dla dorosłych i ma „ścisłe protokoły zapobiegające dostępowi nieletnich”. Mimo to przyznał, że „niektóre osoby próbują obejść te zabezpieczenia, podając fałszywe informacje” „Poważnie traktujemy tę kwestię i aktywnie poszukujemy nowych metod wzmocnienia naszych zabezpieczeń. Obejmuje to ciągłą współpracę z organami regulacyjnymi i instytucjami akademickimi w celu lepszego zrozumienia zachowań użytkowników i ciągłego ulepszania środków bezpieczeństwa” – dodał Klochko, cytowany przez źródło. (ao)
Źródło: edition.cnn.com, Kids and teens under 18 shouldn’t use AI companion apps, safety group says, Clare Duffy, 30.04.2025
