Детская игрушка с искусственным интеллектом изъята с рынка из-за неприемлемого контента

Китайская компания FoloToy создала игрушку Kumma стоимостью $99, работающую на базе передовой модели искусственного интеллекта GPT-4o от компании OpenAI. Однако вскоре после выпуска на рынок выявились серьёзные проблемы с фильтрацией контента.

Британское издание Daily Mail провело расследование и обнаружило, что при упоминании определённых слов мишка предлагал сценарии ролевых игр с элементами БДСМ и называл это забавной игровой механикой. На вопросы о местоположении опасных предметов игрушка указывала на кухонные ящики и ножи, демонстрируя удивительную готовность развивать опасные темы.

Хотя маленькие дети, вероятно, не станут целенаправленно задавать такие вопросы, они могут услышать соответствующие слова в интернете и повторить их, проверяя реакцию игрушки. Малыши полностью зависят от безопасности фильтров и алгоритмов контроля контента.

После выявления проблем компания OpenAI немедленно приостановила доступ FoloToy к своим моделям. Производитель временно остановил продажи Kumma для проведения полной проверки безопасности. Параллельно против компании OpenAI в американских судах было подано семь исков, в которых истцы утверждали, что общение с ChatGPT привело к четырём случаям самоубийств и нескольким эпизодам тяжёлых психических расстройств.