Grok отключил генерацию изображений после скандала с сексуализированным контентом

ИИ-ассистент Grok, разработанный компанией Илона Маска и встроенный в социальную сеть X, ограничил функцию создания и редактирования изображений для большинства пользователь:ниц, сообщает газета The Guardian. Решение приняли на фоне общественного возмущения, вызванного распространением сексуализированных и насильственных изображений, созданных с помощью этого инструмента.

В X сообщили, что генерация и редактирование изображений теперь доступны только платным подписчи:цам. Для подавляющего большинства аудитории функция оказалась отключена. При этом у тех, кто сохранил доступ, платформа располагает полными персональными и платежными данными, что позволяет идентифицировать их в случае злоупотреблений.

Другой причиной решения об ограничении могут быть угрозы штрафов и вмешательства со стороны регуляторов, а также обсуждения возможного запрета X в Великобритании. До этого компания игнорировала многочисленные призывы ограничить работу Grok, несмотря на резкий рост злоупотреблений после обновления функции генерации изображений в конце декабря.

Grok стал инструментом сексуализации женщин и несовершеннолетних

По данным расследования The Guardian, Grok активно использовался для создания порнографических изображений и видеороликов с участием женщин без их согласия. В ряде случаев ИИ-инструмент применяли для генерации сцен насилия — включая изображения женщин, которых расстреливают или убивают.

Часть наиболее шокирующего контента создавалась за пределами самой платформы X — через отдельный инструмент Grok Imagine. Исследование французской некоммерческой организации AI Forensics выявило около 800 изображений и видеороликов, содержащих порнографический и сексуализированно насильственный контент. По словам исследователя AI Forensics Поля Бушо, это «полноценные порнографические видео, выглядящие профессионально».

По словам Поля Бушо, этот контент оказался значительно более откровенным и жестким, чем так называемый «бикини-тренд»«Бикини-тренд» — это волна ИИ-сгенерированных изображений в социальной сети X, где женщин массово изображали в купальниках или в намеренно сексуализированных позах без их согласия., ранее распространявшийся на платформе.

Особую тревогу вызвало использование Grok для создания сексуализированных изображений несовершеннолетних. По данным Internet Watch Foundation, пользователь:ницы форумов в даркнете применяли Grok Imagine для генерации изображений обнаженных девочек в возрасте 11–13 лет. Руководительница горячей линии организации Нгайр Александер подтвердила The Guardian, что аналитик:ессы выявили изображения криминального характера, предположительно созданные с помощью этого инструмента.

Согласно исследованию AI Forensics, Grok сгенерировал более 10 000 изображений с обнаженными людьми, преимущественно женщинами, иногда несовершеннолетними и зачастую без их согласия. Около двух процентов людей, изображенных на таких фотомонтажах, по оценкам исследователь:ниц, были несовершеннолетними.

Подробнее прочитать о политической истории искусственного интеллекта вы можете в материале Игоря В.:

Друзья ли нам киберголемы?

Политическая история искусственного интеллекта

Игорь В.

Реакция Великобритании и Европейского союза

Европейская комиссия объявила о введении обеспечительных мер в отношении X и обязала платформу сохранить все внутренние документы, связанные с работой Grok, до конца 2026 года. В Комиссии пояснили, что эта мера необходима для обеспечения доступа к материалам в рамках продолжающегося расследования.

Поводом для решения стало выявление сексуализированных видеороликов с участием несовершеннолетних, созданных с помощью Grok. Расследование по этим эпизодам начали французские органы юстиции. В Еврокомиссии подчеркнули, что рассматривают ситуацию с «максимальной серьезностью».

Это не первый случай, когда Евросоюз прибегает к подобным мерам в отношении X. В 2024 году Комиссия уже требовала от платформы сохранить внутренние документы, связанные с алгоритмами сервиса, на фоне подозрений в манипулировании публичными дискуссиями и распространении дезинформации.

В начале декабря Европейский союз оштрафовал X на 120 миллионов евро за нарушение Регламента о цифровых услугах. Поводом стала недостаточная прозрачность работы платформы, однако санкции не остановили проверку. Напротив, расследование расширили — теперь оно включает подозрения в несоблюдении обязательств по борьбе с незаконным контентом.

Депутат:ки Европарламента из центристской группы Renew направили письмо в Европейскую комиссию с требованием начать отдельное расследование в отношении Grok. По их словам, происходящее требует «срочных мер».

В Великобритании давление на X также усиливается. Премьер-министр Кир Стармер назвал поток созданных ИИ изображений полуобнаженных женщин и детей «позорным» и «отвратительным» и заявил, что регулятор связи Ofcom действует при полной поддержке правительства. В рамках Закона о безопасности в интернете Ofcom может добиваться блокировки сайта или приложения, а также накладывать штрафы в размере до десяти процентов от глобального оборота компании.

Министерка по вопросам технологий Лиз Кендалл подчеркнула, что распространение подобного контента «абсолютно недопустимо в уважающем себя обществе», и призвала X срочно найти решение. Ofcom уже запросил у компании информацию о мерах защиты пользователь:ниц и не исключил начала формального расследования.

Во Франции Парижская прокуратура, в свою очередь, расширила расследование в отношении X, включив в него и работу Grok.

Комментарий экспертки

DOXA поговорила на условиях анонимности с эксперткой по искусственному интеллекту о скандале вокруг Grok и почему именно визуальные инструменты оказываются зоной наибольшего насилия. И главное, можно ли было предотвратить эту ситуацию заранее?

Почему Grok — не исключение

Экспертка отмечает, что история с Grok — это не «ошибка ИИ», а типичный результат управленческих решений в современной технологической индустрии.

«Это стандартный подход последних лет, во многом сформированный стартап-культурой. Сначала делается презентация, под нее получают фандингФандинг — привлечение денег на проект или стартап от инвесторо:к, фондов или компаний для его запуска и развития. — часто без реального продукта и цифр. Потом, ничего толком не проверив, сразу выходят на массовую аудиторию и уже постфактум смотрят, как люди используют продукт», — говорит она.

В этой модели, поясняет экспертка, продукт дорабатывают не с учетом возможного общественного вреда, а исходя из того, какие сценарии обеспечивают рост и вовлеченность аудитории.

«Главная метрика — чтобы пользователи возвращались. Неважно, будет ли это вызывать зависимость или психологическое привыкание. Пока это не регулируется, всем все равно».

По ее мнению, Grok — «абсолютно типичный пример» такого подхода: запуск непроверенного продукта на огромную аудиторию без предварительных ограничений с расчетом на виральность.

Изображения и видео — самая уязвимая зона

Экспертка подчеркивает, что изображения и видео с участием реальных людей всегда были более чувствительной и юридически сложной областью, чем текст или музыка.

Она напоминает, что ранние академические датасеты для обучения нейросетей были крайне ограниченными: использовались в основном изображения публичных персон, поскольку брать фотографии обычных людей было нельзя.

«Появились генеративные сети, которым нужно больше данных. И дальше, судя по всему, просто брали все подряд — выдачу поисковиков, любые изображения. Сейчас давление со стороны менеджмента выглядит так: берите все данные, ничего не фильтруйте, сроки сжатые, срочно запускаем», — поясняет она.

По словам экспертки, в такой логике либо никто не думает о потенциально опасных сценариях использования, либо их понимают слишком хорошо.

«Когда запускается фича, которая должна стать виральной, на такие пользовательские сценарии, скорее всего, есть надежда. Потому что понятно, что именно это даст быстрый эффект — хотя бы до тех пор, пока не запретят».

Можно ли было предотвратить злоупотребления

Экспертка уверена, что технически ограничить такие сценарии было возможно.

«Механизмы защиты, конечно, можно было заложить. Просто для этого нужно было не две недели, а два–три месяца. Но этого времени не дали».

По ее словам, в индустрии давно существует отдельное направление — AI Safety и AI Alignment, которое занимается фильтрацией опасного, вредного или омерзительного контента.

«Эти технологии должны учить модель не выдавать то, что причиняет вред. Проблема в том, что сейчас их часто используют наоборот — чтобы контент сильнее цеплял, вызывал эмоции, больше лайков и шеринг».

Именно этим, по ее мнению, объясняется визуальная агрессивность и гиперсексуализация контента.

«Это оптимизация под вовлеченность, а не под безопасность».

Почему регулирование запаздывает

Экспертка скептически оценивает надежды на то, что штрафы и постфактум-расследования смогут изменить поведение компаний.

«Им проще проконсультироваться с юристами, выстроить позицию, сказать, что они “не при делах”, и продолжать принимать те же решения. То, что кто-то пострадает, — это жертва, которую они готовы принести. Не за свой счет».

Она подчеркивает, что проблема не только в запаздывании регулятор:ок, но и в сознательной политике невмешательства на уровне государств. В частности, в США администрация Дональда Трампа фактически отложила системное регулирование искусственного интеллекта на годы вперед.

На этом фоне, отмечает экспертка, даже в Европе, где уже действует много законов о защите детей и борьбе с незаконным контентом, государственный аудит и постфактум-модерация не заставляют тех, кто реально принимает решения, менять стратегии.

«Они просто учатся жить с проверками».

По ее мнению, пока регулирование не становится обязательным до запуска продукта, а не после скандалов, логика индустрии не изменится.

«Им проще что-то запретить постфактум, чем не выпустить фичу вовремя. А значит, риск, насилие и вред снова и снова будут частью этой модели».

Как это можно было бы изменить

Экспертка считает, что ключевая проблема — отсутствие диалога между разработчи:цами, исследователь:ницами и законодатель:ницами.

«Специалист:кам есть что сказать. Есть консенсус в профессиональном сообществе, есть тесты, бенчмарки, лучшие практики. Но вместо этого мы видим патронаж узкого круга компаний и имитацию регулирования», — отмечает она в разговоре с DOXA.

Она проводит параллель с опасными производствами, где стандарты безопасности давно обязательны, и считает, что в индустрии ИИ также возможно стандартизовать безопасность.

«Можно требовать, чтобы каждая новая фича проходила проверку до запуска. Это реально. Просто этому мешают лобби и логика быстрой прибыли».

В завершение экспертка отмечает, что после взрывной популярности ChatGPT в отрасли началась профессиональная деградация.

«Раньше было больше исследовательских команд, R&DR&D — исследования и разработки: работа команд, которые создают и тестируют новые технологии и продукты до их выхода на рынок., работы с безопасностью. Сейчас многие просто берут API “из коробки” и все. Долгосрочные исследования по безопасности стали мешать скорости — и от них начали отказываться».