Майка от Флорида заведе дело срещу популярна чат услуга, използваща изкуствен интелект, обвинявайки я за самоубийството на 14-годишния си син. Според обвинението, тийнейджърът развил зависимост към програмата, като все по-често се изолирал и споделял с нея свои лични мисли и емоции, които допринесли за задълбочаването на психичните му проблеми.

Меган Гарсия, майката на починалото момче Сюел Сетцер III, твърди, че синът ѝ започнал да използва платформата Character.AI през април 2023 г., и след месеци на интензивна употреба неговото психично състояние започнало да се влошава. В жалбата се твърди, че последната му комуникация с платформата била с AI персонаж, базиран на героинята Денерис Таргариен, което вероятно го подтикнало към фаталното решение.

Според майката, програмата не осигурила необходимите механизми за предотвратяване на рискови ситуации, като оставила момчето да изразява депресивни мисли и обсъждания на самонараняване без намеса. Критики са насочени и към самата Character.AI, чиито създатели Ноам Шазир и Даниел де Фрейтас, както и Google, са включени в делото за небрежност и предполагаемо създаване на опасна среда за подрастващите.

Character.AI отговориха, че работят по внедряване на нови мерки за безопасност и че съжаляват за трагедията, като допълниха, че от последните месеци са активирали изскачащи предупреждения при откриване на термини, свързани със самонараняване.

Случаят предизвика вълна от дискусии за безопасността на AI чат услугите и потенциалните рискове за младите потребители,

които лесно се привързват към виртуални разговори с интелигентни алгоритми.