Microsoft анонсировала крупные обновления ИИ для Copilot, Windows 11 и Bing

Copilot получил голосовой режим разговора и возможность наблюдать за действиями с позволения пользователя

Microsoft анонсировала серию крупных обновлений ИИ для своего чат-бота Copilot, операционной системы Windows 11 и поисковой системы Bing. Обновления направлены на создание более персонализированного и опыта для пользователей, используя ИИ для генерации результатов поиска, голосовых интерфейсов и рекомендаций.

Выпуская эти обновления, Microsoft заявила, что конфиденциальность и ИИ остаются центральными элементами компании — после того, как в начале этого года она получила негативную оценку от экспертов по безопасности и пользователей после того, как функция отзыва Windows 11, постоянно делающая скриншоты, была встречена негативно.

Приложение Copilot от Microsoft, изначально запущенное как Bing Chat в феврале 2023 года, а затем переименованное в ноябре 2023 года, было обновлено с добавлением голосового режима и возможности наблюдать за действиями пользователя рядом с его экраном — с его разрешения и согласия — и запущено из веб-браузера Microsoft Edge и новой программы под названием Copilot Labs.

Как Microsoft сообщила в своём блоге: «Прежде чем выпустить наши инструменты для всех пользователей, мы тестируем их на небольшом подмножестве, чтобы собрать отзывы, изучить, а затем применить эти уроки в продукте, сделав его, как мы надеемся, сразу лучше и безопаснее».

Новые функции включают в себя: • Copilot Voice, который позволяет пользователям общаться с ИИ посредством естественной речи, предлагая четыре различных голосовых варианта. Он внедряется в англоязычных странах, таких как Австралия, Канада, Новая Зеландия, Великобритания и США, а затем будет доступен в других регионах и языках • Copilot Daily, функция, разработанная для предоставления пользователям удобного обзора, включая сводки новостей и прогнозов погоды, подобранные с учётом их интересов. Информация извлекается из авторизованных поставщиков контента, включая Reuters и The Financial Times • Copilot Vision, экспериментальная функция, доступная для избранных пользователей Copilot Pro. Пользователи могут взаимодействовать с изображениями или веб-страницами, а Copilot будет интерпретировать то, что находится на экране, чтобы помочь в принятии решений, например, сравнивать варианты продуктов или предлагать следующие шаги

Microsoft подчеркнула, что никакие данные этих сессий не сохраняются и не используются для обучения.

Также через Copilot Labs доступна функция Think Deeper, предоставляющая подробные пошаговые ответы на сложные запросы. Цель состоит в том, чтобы предложить более глубокое понимание таких тем, как принятие решений, финансовые сравнения или практические дилеммы, такие как выбор новой машины или места жительства.

Copilot также интегрирует креативные инструменты, такие как визуальный поиск, позволяющий пользователям загружать изображения для анализа ИИ, будь то определение пород собак или предложение идей рецептов на основе фотографии блюда.

ИИ так же поможет совершенствовать текст, предлагая рекомендации по тону и стилю, а также поощряя креативность с помощью инструментов для создания историй, стихотворений и изображений.

Что касается того, какие модели лежат в основе нового опыта Copilot, то представитель Microsoft сообщил: «Мы продолжаем использовать новейшие модели OpenAI. Кроме того, мы также начинаем применять наши собственные внутренние технологии. Такое сочетание даёт нам больше гибкости для применения лучшей модели к взаимодействию каждого клиента с Copilot».

С новыми обновлениями Windows 11 продолжает развиваться в более ИИ-ориентированную операционную систему, особенно для пользователей ПК Copilot+. Эти функции с поддержкой ИИ предназначены для повышения производительности при сохранении оптимизированного, простого в использовании интерфейса.

• Recall позволяет пользователям мгновенно восстанавливать ранее просмотренный контент на своём ПК. Эта функция является опциональной, защищена Windows Hello и гарантирует защиту конфиденциальности пользователя. Информация, такая как данные кредитной карты, останется конфиденциальной с помощью дополнительных фильтров безопасности • Click to Do поможет пользователям быстро выполнять действия, накладывая интерактивные предложения на экран. Будь то переписывание текста, редактирование изображений или запуск веб-поиска, этот инструмент нацелен на ускорение рабочих процессов без необходимости ручной навигации • Улучшенный поиск в Windows 11 использует преимущества ИИ для более интуитивного поиска файлов. Пользователи могут описывать контент, который они ищут, на естественном языке, например «фотографии с вечеринки барбекю», без необходимости запоминать конкретные имена файлов или их расположение. Эта функция распространяется на поиск OneDrive

По словам представителя Microsoft, все модели искусственного интеллекта, обеспечивающие улучшенный поиск, являются собственными моделями.

Эти усовершенствования также распространяются на творческие приложения. Суперразрешение в Photos позволит пользователям масштабировать изображения с низким разрешением, а генеративная заливка и стирание в Paint обеспечат точность редактирования фотографий, например, удаление нежелательных объектов. Эти функции используют встроенный ИИ.

Bing от Microsoft на базе искусственного интеллекта продолжает развиваться с запуском Bing Generative Search. Эта функция выходит за рамки простых запросов на основе ключевых слов, предлагая подробные, контекстно-обогащённые ответы на более сложные вопросы.

Запущенная в бета-версии в США система Bing Generative Search позволит пользователям опробовать её возможности, введя «Bing generative search» в строку поиска и выбрав из карусели демонстрационных запросов, отображаемых в виде «карточек» изображений с подписями над ними.

Bing будет генерировать собственную сводку информации из нескольких источников — аналогично функции Google AI Overviews. Однако решение Microsoft более интерактивное, оно включает всплывающие окна со ссылками на источники и текстом, а также интерактивное оглавление.

Ещё одной из новых функций является кнопка Deep Search, которую пользователи смогут нажать, чтобы получить более глубокое и подробное объяснение темы. Функция разработана для обработки информационных и сложных запросов, таких как решение проблем или изучение незнакомых тем. Цель платформы — увеличить трафик для создателей контента путём поддержания сбалансированной веб-экосистемы. Microsoft предупреждает, что эта функция всё ещё находится в стадии бета-тестирования.

Copilot также предусмотрен для поощрения ответственного использования. ИИ предоставляет ссылки на источники, на которые он ссылается, позволяя пользователям проверять информацию на предмет достоверности. Microsoft включила в систему циклы обратной связи, чтобы пользователи смогли сообщать о неточном или ненадлежащем контенте с помощью встроенных инструментов.

Акцент на конфиденциальности и безопасности появился после того, как Microsoft столкнулась с реакцией пользователей в мае 2024 года после того, как анонсировала функцию отзыва Windows 11 для ПК Copilot+, которая делает серию снимков экрана, хранящихся на устройстве пользователя, и которая должна позволить ПК вернуться в предыдущее состояние по запросу пользователя. Однако исследователи и инженеры по безопасности отметили, что эта функция вела себя во многом как шпионское ПО, особенно с учётом того, что изначально Microsoft представила её как стандартную функцию, установленную и включенную по умолчанию, которую пользователю приходилось отключать с помощью множества трюков. С тех пор она стала доступна только по желанию.