В США разработали инструмент Nightshade, способный «отравить» изображения для вывода из строя обучающихся ИИ-моделей и защиты работ художников
Компании, стоящие за генеративными ИИ-моделями, часто обвиняются в незаконном использовании изображений без разрешений их авторов. Новый инструмент Nightshade, разработанный в Чикагском университете, сможет частично решить проблему незаконного использования контента с помощью «отравленных» изображений.
Специальный генератор контента позволяет обмануть модели вроде DALL-E, Stable Diffusion и Midjourney, в результате чего те начнут выдавать непредсказуемые и довольно неприглядные результаты, не соответствующие промптам. Благодаря новой технологии на запрос о собаке «отравленный» ИИ будет выдавать изображения кошек, коров вместо машин, тортов вместо шляп или тостеров вместо сумок. Подменяются и стили изображений, делая работу с ИИ совершенно невыносимой.
В
опубликованной в хранилище arXiv работе
описывается технология, не требующая
скармливания моделям миллионов
изображений. По некоторым данным,
Nightshade может испортить промпт для Stable
Diffusion всего с помощью 50 рисунков, причём
удар придётся не только на одно слово,
но и на другие, с ним связанные. Например,
если «отравить» слово «собака», под
воздействие попадут и «щенок», «гончая»,
«хаски»
Как заявляют в команде университета, разрабатывавшей Nightshade, исследователи надеются, что инструмент станет фактором сдерживания ИИ-компаний от использования работ художников и дизайнеров без их разрешения. При этом учёные признают, что им потенциально могут воспользоваться и злоумышленники, но навредить мощным ИИ-моделям можно только в помощью тысяч изображений — они могут обучаться на миллиардах образцов и использовать инструменты защиты вроде частотного анализа и др.
Некоторые крупные компании дают художникам возможность обратиться и запретить использовать свои работы для тренировки ИИ-моделей, но это, во-первых, не касается работ, которые уже применили для обучения и, во-вторых, многие считают, что авторы должны выражать недвусмысленное согласие по запросу компаний, а не обращаться сами с требованием не использовать свой контент.
Источник: TechSpot
0 комментариев
Добавить комментарий
Добавить комментарий