Исследователи из компании Open AI научили искусственный интеллект играть в Minecraft, используя только видеоролики с прохождением. В основе метода тренировки лежало предварительное видеообучение (Video PreTraining, VPT), что позволяло использовать для этого крупный объём неразмеченных данных. Для управления ИИ использовал эмуляторы мыши и клавиатуры.
На первом этапе нейросети показали 2 тысячи часов размеченного видео с игровым процессом из Minecraft. Здесь исследователи демонстрировали, какие кнопки пользователи нажимали во время игры. Это позволило системе научиться угадывать, какие кнопки нажимаются. На втором этапе нейросеть просмотрела уже 70 тысяч часов неразмеченного видео (без данных о нажимаемых кнопках). Все записи были взяты из открытых источников.
В итоге нейросеть смогла научиться не только ходить в игровом мире, но также добывать ресурсы и создавать из них предметы, бегать, плавать, обходить препятствия, охотиться на животных и добывать пищу. ИИ также научился подпрыгивать и ставить блоки под персонажа, чтобы забраться повыше.
На третьем этапе исследователи попросили пользователей, которые принимали участие в проекте, помочь им. Игроки создали новый мир в Minecraft, собрали необходимые ресурсы для старта и изготовили предметы первой необходимости. Всё это записывалось на видео, которое затем показали нейросети. Некоторые даже построили базовые убежища, и нейросеть освоила этот навык. Исследователи использовали метод обучения с подкреплением, что позволило ИИ в итоге создать алмазную кирку.
Учёные полагают, что метод предварительного видеообучения позволит быстро тренировать нейросети на нужные задачи, а также позволит обучить искусственный интеллект пользоваться мышью и клавиатурой. Исходные коды проекта уже опубликованы.
Ранее сообщалось, что Minecraft полностью прошли менее чем за 2 минуты