Сайты смогут заблокировать обучение ИИ-ботов Google на своём контенте

Google представила инструмент для администраторов сайтов, позволяющий запретить обучение генеративных моделей компании. Хотя в Google подчёркивают, что использование всевозможных сетевых ресурсов для тренировки ИИ сулит лишь обоюдную пользу, в компании решили предоставить пользователям право выбора.

Речь идёт об обучении ботов Bard и Vertex AI, включая поколения моделей, которые ещё не появились и будут стоять за этими продуктами в будущем. Инструмент Google-Extended представляет собой токен агента пользователя, интегрируемый в файл robots. txt сайта. Это, в частности, позволит ограничить доступ к материалам сайта для обучения моделей Google.

Это далеко не единственный токен Google и блокирование материалов для обучения ИИ и прочая информация будет индексироваться ботами Google по-прежнему. Описание нового бота в русскоязычном списке токенов пока отсутствует, но почитать о нём можно в англоязычном варианте.

Стоит отметить, что для обучающих другие генеративные моделей никакие токены Google в robots. txt — не указ и они могут вполне свободно пользоваться индексируемыми материалами. Кстати, запрет на индексацию контента в robots. txt вообще носит рекомендательный характер и, если какой-то поисковый сервис проигнорирует соответствующее ограничение в файле, администратор сайта вряд ли может помешать этому.

Против применения материалов для обучения ИИ-моделей неоднократно высказывались разные авторы контента, от художников до писателей. Буквально на днях появилась информация о том, что Гильдия писателей Америки и 17 авторов, включая гигантов вроде Джорджа Мартина и Майкла Коннелли подали в суд против OpenAI, обвиняя ту в использовании пиратских копий книг для обучения больших языковых моделей — писатели считают, что у них должно сохраниться право запрещать или разрешать использовать свои произведения и уж, конечно, право на получение роялти в случае их использования.