Исследователи используют чат-ботов с искусственным интеллектом против самих себя, чтобы «взломать» друг друга

Пост опубликован в блогах iXBT.com, его автор не имеет отношения к редакции iXBT.com
| Новость | Программы, сервисы и сайты

Ученым-компьютерщикам НТУ (Наньянского технологического университета) удалось найти способ «взломать» популярных чат-ботов, натравив их друг на друга. «Взломав» их, исследователи смогли заставить чат-ботов генерировать ответы на вопросы, на которые они обычно не отвечают.

Автор: NTU Singapore Источник: www.tomshardware.com

По словам компьютерных ученых, они использовали двухэтапный метод, который они называют процессом «Masterkey». Первая часть процесса включала реверс-инжиниринг защитных механизмов больших языковых моделей (LLM). Затем они передали данные, полученные в результате обратного проектирования, другому LLM.

Целью передачи данных другому чат-боту с искусственным интеллектом было научить его обходному пути. Таким образом, исследователи получили «мастер-ключ», который затем использовался для атаки на защитные механизмы чат-ботов LLM. Им удалось скомпрометировать Microsoft Bing Chat, Google Bard, ChatGPT и другие.

Как отмечают исследователи, процесс создания этих обходных подсказок можно автоматизировать. Это говорит о том, что чат-боты с искусственным интеллектом можно использовать для создания адаптивного «мастер-ключа», который работает, даже когда разработчики исправляют свои LLM. Один из исследователей, профессор Луи Ян, объяснил, что этот процесс стал возможен, потому что чат-боты LLM с искусственным интеллектом обладают способностью учиться и адаптироваться.

Благодаря этому чат-боты с искусственным интеллектом могут стать критически важными атакующими для конкурирующих чат-ботов и даже для самих себя. Информацию обо всем процессе и подробности того, как ученым-компьютерщикам удалось «взломать» модели LLM, можно найти в опубликованной исследовательской статье.

По сути, результаты этого исследования помогут разработчикам осознать слабые стороны своих чат-ботов LLM. Они также отмечают, что обычный метод ограничения этих моделей не реагировать на определенные ключевые слова не так эффективен, как могли подумать разработчики.

Источник: Des chercheurs mettent en concurrence des chatbots d'IA pour qu'ils se "jailbreakent" les uns les autres

Автор не входит в состав редакции iXBT.com (подробнее »)
Об авторе
Внеочередной любитель игр и всего, что с ними связано. Обладаю PS4, хоть и не являюсь сонибоем. Делюсь своим субъективным мнением по поводу отдельных тайтлов и всегда готов к дискуссиям. Пишу материалы ради удовольствия и чтобы отвлечься от болезни, с которой борюсь и которую точно одолею. Да и просто, всем добра, играйте во что нравится и наслаждайтесь.

Сейчас на главной

Новости

Публикации

Обзор MobaPad M6S: максимально удобная альтернатива Joy-Conn для Nintendo Switch

Над альтернативой для штатных Joy-Conn игровой консоли Nintendo Switch работали сразу несколько производителей, причем относительного успеха добился каждый из них, но по возможностям лучше, чем...

Обзор веб-камеры Ugreen 2К: автофокус, два микрофона, удобное крепление

Веб-камера Ugreen представляет собой качественное устройство для видеосвязи и стриминга. Она имеет компактный пластиковый корпус в сочетании серого и чёрного цветов, который обеспечивает надёжную...

Выставка Computex 2024 на Тайване, взгляд визитера. Часть 2 -Произведения искусства в виде ПК, стенды ASrock, MSI, Manli. Leadtek, Зал2, центр Тайбэя

Ежегодная выставка IT-технологий и компаний Computex 2024 на Тайване. Стенды ASRock, MSI, Manli, Leadtek, Общее по Залу 1, Зал 2 кратко, прогулка по Тайбэю: Мемориальный комплекс Чан Кай Ши,...

Почему наш спорт превратился в рекламный трэш. Мнение болельщика

Знаете, я иногда не прочь посмотреть футбол, в том числе — отечественный. Недавно включил очередной матч, и поймал себя на странной мысли: это уже не футболисты, а бегающие по огромному...

Что делать, если вам пришел штраф за чужое нарушение?

Сейчас за ситуацией на дорогах следят не дорожные инспектора. Систему автоматизировали, отдав водителей на попечительство бездушной технике. Камеры видеонаблюдения, расположенные в местах с...

Как подобрать идеальную тормозную жидкость для автомобиля

Пришло время замены тормозной жидкости в вашем автомобиле, и вот вы стоите перед полкой в автомагазине, озадаченные разнообразием канистр. Как не потеряться среди всего этого многообразия и сделать...