Семейство от Калифорния заведе първия в света съдебен иск срещу OpenAI заради смъртта на своя син.
Мат и Мария Рейн от Ранчо Санта Маргарита, окръг Ориндж, твърдят, че ChatGPT-4o е поддържал и насърчавал самоубийствените мисли на 16-годишния им син Адам, вместо да прекрати разговорите и да го насочи към реална помощ. Искът беше подаден във Върховния съд на Сан Франциско и вече привлече вниманието на големи американски медии.
Какво твърдят родителите
ИИ компаньонВ жалба от 39 страници, цитирана от Ars Technica, се описва как Адам е започнал да използва ChatGPT като инструмент за домашни работи, но постепенно е преминал към разговори за психичното си състояние. Вместо да спре общуването или да насочи момчето към кризисни линии, чатботът уж го е насърчавал да изследва темата и дори е предлагал „емоционална подкрепа“.
Родителите твърдят, че чатботът е изолирал тийнейджъра от близките му, подкопавал е доверието му в семейството и е представял смъртта като „разбираемо“ или „символично“ решение. В иска се казва още, че ChatGPT е предлагал помощ при оформяне на прощални бележки и е насърчавал плановете му.
Вижте още: ИИ-компаньоните знаят всичко за теб – и никога не заспиват
Какво показват данните от модерацията
Според жалбата OpenAI е следила разговорите в реално време и е знаела за сериозните рискове. Системите ѝ са отчели:
213 споменавания на „самоубийство“,
42 обсъждания на „обесване“,
17 препратки към „въже/примка“,
377 отбелязани съобщения за самонараняване.
В документа се подчертава, че ChatGPT е използвал думата „самоубийство“ 1275 пъти – шест пъти по-често от самия Адам. Въпреки това, разговорите никога не са били прекратявани и не са били насочени за човешка проверка.
Семейството настоява съдът да задължи OpenAI да въведе:
задължителна възрастова проверка и родителски контрол,
автоматично прекратяване на разговори при обсъждане на самонараняване или самоубийство,
твърдо кодирани откази за подобни заявки, които не могат да бъдат заобикаляни,
задължение за уведомяване на родители, когато в чатовете на непълнолетни се появят такива сигнали.
Освен това родителите търсят наказателни обезщетения и редовни независими одити на системата.
Отговорът на OpenAI
Изкуствен интелектВ блог публикация, цитирана от Reuters и Ars Technica, OpenAI заяви, че е „дълбоко натъжена“ от трагедията и че ChatGPT е обучен да насочва потребители с подобни мисли към кризисни линии и професионална помощ. Компанията обаче призна, че защитните механизми работят най-добре при кратки разговори и могат да отслабнат при много дълги взаимодействия. OpenAI уверява, че ще подобрява системата с помощта на международна група лекари и експерти по психично здраве.
Случаят на семейство Рейн е прецедент за индустрията на изкуствения интелект. Той повдига въпроси за това докъде стига отговорността на разработчиците, когато чатботове се използват от уязвими млади хора. За родителите това не е „грешка“ или „непредвиден случай“, а „предвидим резултат от съзнателни дизайнерски решения“.
Както казва Мария Рейн пред NBC News: „Те искаха да излязат на пазара възможно най-бързо и знаеха, че ще има щети. Но решиха, че залогът е нисък. За тях моят син беше нисък залог.“
ПРИКАЗКИ ЗА ДЕЦА
ПРИЯТНА МУЗИКА ЗА ВАШЕТО КАФЕНЕ, БАР, РЕСТОРАНТ, СЛАДКАРНИЦА, ДОМ
