Искусственный интеллект научился играть в футбол
Изучив опыт компьютерных симуляций за десятилетия, ИИ превратил цифровых гуманоидов из крутящихся малышей в опытных игроков.
Исследователи из компании DeepMind, занимающейся исследованиями ИИ, научили его играть в футбол в компьютерной симуляции с помощью спортивной программы, напоминающей ускоренную версию человеческого ребенка, превращающегося в футболиста. ИИ получил контроль над цифровыми гуманоидами с реалистичной массой тела и движениями суставов.
«Мы не ставим младенцев в матче 11 на 11», говорит Гай Левер из DeepMind. «Сначала они учатся ходить, затем учатся вести мяч, а потом можно играть один на один или два на два».
На первом этапе учебной программы цифровые гуманоиды обучались естественному бегу, имитируя видеоклипы с захватом движения, в которых люди играют в футбол. Второй этап включал отработку дриблинга и ударов по мячу с помощью машинного обучения методом проб и ошибок, которое вознаграждало ИИ за то, что он оставался близко к мячу.
Первые два этапа представляли собой около 1,5 «человеческих» лет симуляционного обучения, которое ИИ ускорил примерно до 24 часов. Но более сложные модели поведения, выходящие за рамки движения и контроля мяча, начали проявляться после пяти смоделированных лет футбольных матчей. «Они изучили координацию, а также приобрели двигательные навыки, которые мы раньше явно не устанавливали в качестве тренировочных упражнений», говорит Николас Хесс из DeepMind.
На третьем этапе обучения цифровым гуманоидам предлагалось забивать голы в матчах два на два. Навыки командной работы, такие как предвидение того, где получить пас, выработались в течение примерно 20-30 смоделированных лет матчей, что эквивалентно двум-трем неделям ИИ. Это привело к продемонстрированным улучшениям в рейтингах голевых возможностей цифровых гуманоидов – реальном показателе того, как часто игрок занимает выгодную позицию на поле.
Такие симуляции не приведут сразу к созданию ярких роботов, играющих в футбол. Цифровых гуманоидов обучали по упрощенным правилам, которые разрешали фолы, обеспечивали границу в виде стены вокруг поля и избегали стандартных положений, таких как вбрасывания или удары от ворот.
По словам Свена Бенке из Боннского университета в Германии, длительное время обучения затрудняет перенос работы непосредственно на настоящих футбольных роботов. Однако было бы интересно посмотреть, будет ли подход DeepMind конкурентоспособным в ежегодной лиге 3D-моделирования RoboCup, говорит он.
Команда DeepMind начала обучать настоящих роботов тому, как подталкивать мяч к цели, и планирует выяснить, работает ли та же стратегия обучения ИИ за пределами футбола.
Комментарии