NVIDIA представила ИИ-бот Chat with RTX для работы оффлайн с GPU от RTX 30XX

ИИ-боты постепенно проникают во все сферы жизни, но далеко не все готовы доверить умным помощникам, скрывающимся в облаках, конфиденциальные данные, даже если разработчики обещают не использовать их для обучения своих языковых моделей. NVIDIA предлагает владельцам видеокарт от RTX 30XX и выше собственный вариант решения проблем — бот Chat with RTX может работать даже оффлайн, на компьютерах самих пользователей, обучаясь на их «закрытых» данных.

Предложение актуально для компьютеров от Windows 11. Помимо видеокарт NVIDIA поколений 30 и 40 с не менее 8 Гбайт видеопамяти, потребуются новейшие драйверы NVIDIA, а также от 16 Гбайт оперативной памяти. Подчёркивается, что пока речь идёт о демо-версии, поэтому блестящей функциональности ожидать от нового пакета на первых порах не стоит.

Фактически речь идёт о возможности использования Chat with RTX даже на компьютере без доступа к интернету — пользователь сможет обучать ИИ на собственных данных, а за основу берутся открытые языковые модели вроде Mistral и Llama 2. Новый бот может переваривать самые разные форматы файлов, включая xt, .pdf, .doc и .docx, и даже .xml. Более того, при необходимости он сможет получать информацию и из Сети — из видео с YouTube и онлайн-плейлистов с различным медиаконтентом.

Имеются и определённые ограничения. Chat with RTX не запоминает контекста беседы, по некоторым данным, также он лучше подходит для поиска фактов по пакету документов, но не так хорошо справляется с составлением резюме отдельного файла.