Исследование показывает, что ChatGPT допускает ошибки при создании планов лечения рака

ChatGPT активно внедряется во многие сферы нашей жизни, однако новое исследование предполагает, что есть одна ключевая область, где его использование вряд ли будет актуальным в ближайшее время. Исследователи из «Brigham and Women's Hospital» — учебной больницы Медицинской школы Гарварда в Бостоне, обнаружили, что планы лечения рака, созданные революционным чат-ботом от OpenAI, содержали множество ошибок.

Согласно исследованию, опубликованному в журнале JAMA Oncology, при запросе на создание планов лечения для различных случаев рака, треть ответов большой языковой модели содержали неверную информацию. Исследование также отметило, что чат-бот имел тенденцию смешивать правильную и неправильную информацию так, что становилось сложно определить, что является точным. Из общего числа 104 запросов около 98% ответов ChatGPT содержали хотя бы одно рекомендованное лечение, соответствующее рекомендациям Национальной комплексной сети по борьбе с раком (National Comprehensive Cancer Network), говорится в отчете.

Ответы чат-бота часто звучат уверенно и имеют логику, и то, как он может смешивать неправильную и правильную информацию, потенциально опасно. Даже эксперту трудно определить, какая рекомендация неверна"

соавтор исследования Даниэль Биттерман

ChatGPT получил ошеломительный успех с момента своего старта в ноябре 2022 года, достигнув 100 миллионов активных пользователей через два месяца после дебюта. Чат-бот вызвал бурный приток инвестиций в компании по искусственному интеллекту и ожесточенные дебаты о долгосрочном влиянии искусственного интеллекта.

Несмотря на успех ChatGPT, генеративные модели искусственного интеллекта все еще подвержены «галлюцинациям», когда они уверенно представляют информацию, которая вводит в заблуждение или крайне неверна. Хотя попытки интегрировать искусственный интеллект в здравоохранение, прежде всего для оптимизации административных задач, уже идут полным ходом. Ранее в этом месяце большое исследование показало, что использование искусственного интеллекта для скрининга рака груди является безопасным и может почти наполовину уменьшить нагрузку на радиологов.

Специалист по информатике из Гарварда недавно обнаружил, что GPT-4, последняя версия модели, может успешно сдать экзамен на медицинское лицензирование в США — и предположил, что у нее лучшие клинические оценки, чем у некоторых врачей. Тем не менее, проблемы с точностью генеративных моделей, таких как ChatGPT, означают, что они вряд ли в ближайшее время займут место врачей.