MathGPT установил рекорд, побив ChatGPT и модели ИИ от Microsoft
Компания Mathpresso объявила о том, что ее крупная языковая модель под названием MathGPT установила новый мировой рекорд в области математики, обойдя модели OpenAI и Microsoft. Компания является разработчиком самой обширной в Азии обучающей платформы на основе искусственного интеллекта.
Как сообщается, MathGPT заняла первое место в тестах, оценивающих математические способности, таких как MATH (12,5 тыс. сложных математических задач) и GSM8K (8,5 тыс. задач по математике для начальной школы), побив модель ToRA 13B от Microsoft, которой принадлежал предыдущий рекорд.
В бенчмарке MATH MathGPT превзошел производительность GPT-4 от OpenAI. Совместная разработка Qanda и Upstage начала создавать MathGPT в рамках стратегического партнерства с KT в ноябре 2023 года. Qanda предоставила Upstage данные об обучении, такие как уровень обучения, контекст и взаимодействие, накопленные в результате ежедневного поиска 10 млн задач.
В сентябре 2023 года Mathpresso также получила от KT инвестиции в размере $8 млн на развитие LLM. Upstage обучила его на собственном специализированном решении для предотвращения галлюцинаций и доработала языковую модель на основе естественного языка, чтобы обеспечить логические выводы.
ChatGPT обучается на основе обширных текстовых данных, а не на основе данных, специфичных для конкретной области, таких как знания экспертов. Следовательно, в нем проявляется феномен галлюцинации, когда нейронная сеть генерирует ответы, которые могут убедительно передавать неверную информацию. Это создает серьезную проблему. Особенно в образовательных контекстах, где распространение точной и достоверной информации имеет первостепенное значение. Примечательно, что ChatGPT продемонстрировал низкую точность, особенно в математических областях.
В заявлении Qanda говорится, что они продолжат улучшать точность и производительность MathGPT, и в конечном итоге объединят его со своим обучающим интерфейсом для реализации AI Tutor, помощника в виде ИИ-репетитора.
Qanda поддерживается такими крупными организациями, как Google, TikTok и Softbank Ventures Asia. Приложение распознает текст и математические уравнения с фотографий. Ежедневно в Qanda загружается около 10 млн фотографий по всему миру.