В минувший вторник Meta* AI и Papers with Code запустили демо-версию новой языковой модели Galactica на базе нейросети. Эта система предназначалась для «хранения, объединения и анализа научных знаний». Однако через несколько дней систему закрыли, поскольку пользователи начали генерировать с её помощью совершенную чепуху.
Разработчики планировали, что нейросеть будет помогать писать научные статьи, конспекты и так далее. Технические «Галактика» представляет собой подобие GPT-3 от OpenAI. Сервис включает 120 миллиардов параметров, его можно запустить на одном графическом процессоре NVIDIA A100.
Утверждалось, что Galactica обучается на высококачественном наборе научных данных NatureBook, чтобы работать с терминологией, формулами и исходными кодами.
Однако пользователи, по данным СМИ, начали генерировать контент с расистским и оскорбительным содержанием, а также создавать наукоподобные статьи, содержание которых могло привести к потенциально опасными последствиям. Например, один из пользователей сгенерировал вымышленную исследовательскую статью под названием «Преимущества употребления в пищу измельчённого стекла».
Также были и другие проблемы — Galactica не всегда корректно указывала даты тех или иных событий, названия животных и так далее. В итоге пришлось удалить демо-версию, хотя сайт работает.
Подобная ситуация была с чат-ботом Microsoft ещё в 2016 году. Его запустили в Twitter, после чего пользователи быстро научили его расистскому поведению.
*Компания Meta признана экстремистской на территории РФ