Microsoft и Чикагский университет создали новый математический язык для повышения эффективности LLM

Английский язык — не самый эффективный способ коммуникации для LLM

Команда инженеров и специалистов по искусственному интеллекту из Microsoft, в сотрудничестве с коллегами из Чикагского университета, разработала новый язык, который значительно повышает эффективность коммуникации между большими языковыми моделями (LLM). Исследование, опубликованное на сервере препринтов arXiv, представляетDroidSpeak — язык, основанный на математических принципах, лежащих в основе LLM, который позволяет им общаться более эффективно, чем при использовании английского языка.

Исследователи отмечают, что создание проблемно-ориентированных моделей ИИ, которые специализируются на решении конкретных задач, является перспективным направлением в разработке более мощных систем ИИ. Однако, когда эти модели взаимодействуют друг с другом, они обычно используют английский язык, что может быть не самым эффективным способом коммуникации.DroidSpeak призван решить эту проблему, позволяя LLM общаться на языке, который понимают только они.

Microsoft и Чикагский университет создали новый математический язык для повышения эффективности LLM
Качество генерации против задержки предварительного заполнения для моделей Llama-3-8B, Mistrallite, Llama-3-70B и MAmmoTH2. Источник: arXiv (2024). DOI: 10.48550/arxiv.2411.02820

DroidSpeak основан на идее, что LLM могут общаться, используя математический язык, лежащий в основе их работы. Это позволяет им обмениваться только сгенерированными данными, а не всей информацией, связанной с каждым шагом обработки. Такой подход устраняет узкие места, возникающие при коммуникации LLM, когда они сообщают о каждом шаге, что приводит к необходимости обработки большого объёма информации на каждом этапе.

В ходе испытанийDroidSpeak показал значительное увеличение скорости коммуникации между двумя тестовыми LLM — в 2,78 раза быстрее, чем при использовании английского языка. Однако, для достижения оптимальной работыDroidSpeak, исследователи обнаружили, что необходимо использовать один и тот же тип модели LLM на каждом конце коммуникации. Это оставляет пространство для дальнейшего улучшения языка.

Исследовательская группа предполагает, чтоDroidSpeak, подобно человеческим языкам, будет развиваться со временем, становясь более надёжным и эффективным. Разработка DroidSpeak является важным шагом в создании более мощных и универсальных систем ИИ, способных решать сложные задачи путем взаимодействия специализированных моделей ИИ.

24 ноября 2024 в 10:41

Автор:

| Источник: arxiv.org

Все новости за сегодня

Календарь

ноябрь
Пн
Вт
Ср
Чт
Пт
Сб
Вс