Исследователи из Германии проверили юмор ChatGPT

В исследовательской работе, опубликованной двумя немецкими исследователями в среду, 7 июня 2023 года, говорится, что модель ChatGPT-3.5 общается почти на человеческом уровне, но имеет довольно ограниченное знание шуток.

Как сообщает новостное и аналитическое интернет-издание Ars Technica, немецкие исследователи Софи Дженцш и Кристиан Керстинг обнаружили, что чат-бот с искусственным интеллектом предпочитает повторять определенные шутки. В ходе тестов два исследователя из Института программных технологий Немецкого аэрокосмического центра (DLR) и Технического университета Дармштадта обнаружили, что более 90% из 1008 сгенерированных шуток были одними и теми же 25 шутками.

Вместо того, чтобы учиться придумывать новые, чат-бот рассказывал шутки практически без изменений. Однако тесты проводились на версии OpenAI ChatGPT 3.5, а не на более новой версии чат-бота ChatGPT 4. Сообщается, что тесты проводились с запросом ChatGPT без доступа к внутренней работе модели или набору данных.

По словам исследователей, самой популярной шуткой была «Почему чучело получило награду?» / Потому что он был выдающимся в своей области".

Исследователи отмечают, что ChatGPT не может сказать, когда шутка не смешная. Было обнаружено, что чат-бот генерирует то, что было описано как «функциональные, но правдоподобно звучащие объяснения».