Open Ai bot Dota 2: как скачать и сыграть против них

OpenAI Five — бот с искусственным интеллектом, разработанный Сан-Франциско, калифорнийской исследовательской организацией OpenAI, победивший профессиональную киберспортивную команду на Dota 2.

Тестирование проходили не так давно под покровительством компании Valve, — не так давно он стал доступен для общественности через режим Arena, позволяющий игрокам бросать вызов в простых встречах. Сразу скажем, что результаты были неутешительными, ведь игровые способности для себя решили проверить десятки тысяч игроков.

  1. Таким образом, после колоссальных 42 729 кооперативных и соревновательных матчей (более 700 из которых были сыграны профессиональными коллективами) в период с 18 по 21 апреля.
  2. Как выступил OpenAI Five? Впечатляет игра компьютерного соперника изрядно, утверждается что OpenA полностью разгромил людей. Ему удалось выиграть 4 075 игр с коэффициентом победы 99,4%.
  3. Фактически, чтобы получить победу, потребовалось 459 игр первому игроку-человеку (из 39 356 в 225 странах, которые играли против OpenAI Five) — шесть часов и девять минут после запуска Arena.

OpenAI Five Bot Dota 2

Как играл Open Ai bot в Dota 2 на Арене

«Arena была масштабным экспериментом для проверки возможности использования OpenAI, учитывая тот факт, что весь Интернет пытается его взломать и вообще как-то с ним посоревноваться. Сообщество Dota объединилось, каталогизируя каждую слабость этого непростого соперника.

В то время как Five еще предстоит многому научиться, никто не смог найти простых в использовании эксплойтов, от которых страдают программируемые пользователем игровые роботы», — сказал технический директор OpenAI Грег Брокман.

«Это дает нам больше уверенности в том, что будущие системы искусственного интеллекта, которые мы развернем в ближайшее время, смогут стать надежными и трудными для прорыва. И, возможно, что еще более важно — мы узнали о ценности сообщества людей, взволнованных изучением программируемой системы, которую мы создали, чтобы по-настоящему понять пределы и последствия того, что мы создали».

OpenAI Five Bot Dota 2

Open Ai bot проигрывал командам людей

OpenAI выделялся другими способами. Только 4 человеческие команды одержали победу в 2 играх подряд против него, и 3 команды выиграли 3 (одна команда выиграла 10 игр — может они тоже роботы?), и только 115 игроков со средним рейтингом соло-матчей 6 500 (63% игроков с рангом 500) смогли побить бота в соревновательном режиме.

В совокупности OpenAI Five отыграли 10,7 лет игрового времени, с которым сталкиваются люди-оппоненты — примерно столько же данных, сколько он генерирует каждые 12 минут обучения в режиме самостоятельной игры. (Игроки провели в среднем два с половиной часа, играя против него, и один человек провел около 30 часов.)

И это привлекло достаточно аудитории среди профессиональных и любительских дотеров: общее количество пользователей Twitch, которые смотрели игры OpenAI Five Arena, составило 486 000, и они смотрели потоки в среднем 7 минут.

OpenAI Five Bot Dota 2

Как OpenAI Bot справился с Dota 2

Продолжение «Защиты древних» (DotA), созданного сообществом мода для Blizzard’s Warcraft III: Reign of Chaos — так называемая многопользовательская онлайновая боевая арена, или MOBA. Две группы по пять игроков, каждая из которых имеет цель захватить и сломать базу, пытаются уничтожить структуру — эншентов — на базе команды противника.

Персонажи игроков (герои) обладают отличным набором способностей и собирают очки опыта и предметы, которые открывают новые атаки и защитные действия. Это сложнее, чем кажется.

Среднее совпадение повторяющихся событий содержит 80 000 отдельных кадров, в течение которых каждый персонаж может выполнить десятки из 170 000 возможных комбинаций действий. Герои на карте заканчивают в среднем 10 000 ходов в каждом кадре, что способствует общей сложности игры более 20 000. И каждый из этих героев, которых более 100, может собирать или покупать сотни игровых предметов.

OpenAI Five пока не может справиться с полной игрой — он может играть только 18 из 115 различных героев и не может использовать такие способности, как руны и иллюзии. И в некоторой степени спорного дизайнерского решения, инженеры OpenAI в предпочли не иметь каких-то преимуществ перед игроками, чтобы получать дополнительную информацию (люди так иногда делают).

Вместо этого используется бот-API Dota 2, избавляя его от необходимости искать карту, чтобы проверить, где может находиться его команда, проверить, готово ли заклинание, или оценить здоровье или расстояние противника. Тем не менее, он может создать команду самостоятельно, которая учитывает выборы противоборствующей стороны.

OpenAI уже давно решает дилемму Dota 2 и демонстрирует раннюю итерацию своего бота, играющего в MOBA — который одолел одного из лучших игроков в мире, Данила «Денди» Ишутина, 1vs 1 матч — в августе 2017 года. В июне он поднялся на ступеньку выше с улучшенной системой OpenAI Five, способной играть пять на пять матчb, в которs[ удалось обыграть команду сотрудников OpenAI, команду зрителей, команду сотрудников Valve. , любительскую команду и полупрофессиональную команду.

OpenAI Five Bot Dota 2

Победы Open AI Бота

В начале августа он выиграл два из трех матчей против команды, побеждавшей 99,95-й процентов матчей. Во время первого из двух матчей Open AI Five начал и закончил сильно, не позволяя его человеческим противникам разрушить любую из его защитных башен. Второй матч был чуть менее односторонним — люди взяли одну из башен OpenAI Five — но AI все же победил.

  • Только в третьем матче игроки-люди одержали победу. OpenAI Five состоит из пяти однослойных сетей с кратковременной памятью (LSTM), состоящих из 4096 единиц — тип рекуррентной нейронной сети, которая может «запоминать» значения в течение произвольного промежутка времени — каждая из которых назначается одному герою. (Это по сравнению с 1024 единицами LSTM в предыдущих версиях.)
  • Сети обучаются с использованием модели глубокого обучения, которая стимулирует их самосовершенствование за счет вознаграждений.
  • В случае OpenAI Five эти награды — это убийства, смерти, помощь, попадания в неправильное место, состояние и другие показатели, которые отслеживают прогресс в Dota 2.

OpenAI Five Bot Dota 2

Как работает Опен Аи Бот Дота 2

Обучающая структура OpenAI — Rapid — состоит из двух частей: набора рабочих, которые запускают копию Dota 2 и сети LSTM, и узлов оптимизатора, которые выполняют синхронный градиентный спуск (существенный шаг в машинном обучении) для видеокарт.

По мере того, как работники развертывали свои планы и приобретали опыт, они информировали узлы оптимизатора, а другой набор работников сравнивает обученные сети (агенты) LSTM с эталонными агентами.

Для самосовершенствования OpenAI Five ежедневно играет в игры на 180 лет — 80% против себя и 20% против прошлых версий — на 256 видеокартах Nvidia Tesla P100 и 128 000 процессорных ядер на облачной платформе Google. Несколько месяцев назад, когда OpenAI начал обучение, управляемые ИИ герои Dota 2 «бесцельно ходили по карте».

Но вскоре ИИ овладел основами, такими как защита героев в фарме на линии, и вскоре после того, как прибил продвинутые стратегии, которые часто использовались на профессиональном уровне.

OpenAI Five Bot Dota 2

Мнения об опен аи бот Дота 2

«Раньше люди думали, что такого рода вещи невозможны при сегодняшнем глубоком обучении», — заявил Брокман в интервью VentureBeat в прошлом году. «Но оказывается, что эти сети [способны] играть на профессиональном уровне с точки зрения некоторых стратегий, которые они обнаруживают… и действительно осуществляют какое-то долгосрочное планирование. Шокирующая вещь для меня заключается в том, что он использует уже существующие алгоритмы, которые у нас уже есть, и которые, по словам людей, были совершенно ошибочными».

Полностью обученные агенты OpenAI Five удивительно сложны. Несмотря на то, что они не могут общаться друг с другом (значение гиперпараметра «командный дух» определяет, как много или как мало каждый агент отдает предпочтение индивидуальным вознаграждениям по сравнению с вознаграждением команды), они — мастера избегания попадания скилов, обмена баллами опыта и даже передовой тактики, как «блокировка крипа», когда герой физически блокирует путь враждебного крипа (базовая часть в Dota 2), чтобы замедлить свой прогресс.

OpenAI Five Bot Dota 2

Игроки Dota 2 уже изучают стили игры OpenAI Five, некоторые из которых удивительно креативны. (В одном матче боты применили механику, которая позволяла их героям быстро перезаряжать определенное оружие, оставаясь вне досягаемости врагов.)

Что касается OpenAI, он применяет некоторые идеи, полученные из других областей: в феврале прошлого года он выпустил Воспроизведение Hindsight Experience Replay (HER), алгоритм с открытым исходным кодом, который эффективно помогает роботам учиться на ошибках, а позже в этом году было опубликовано исследование самообучающейся робототехнической системы, которая может манипулировать объектами с ловкостью человека.

Брокман сказал, что, хотя матчи этого лета были финальной публичной демонстрацией, OpenAI будет «продолжать работать» над OpenAI Five. «Прелесть этой технологии в том, что она даже не знает, что она [играет] в Dota… Речь идет о том, чтобы позволить людям соединить странные, экзотические, но все же очень ощутимые интеллекты, которые созданы … современными технологиями ИИ», — сказал он.

«Игры действительно были эталоном [в исследованиях ИИ]… Эти сложные стратегические игры являются той вехой, к которой мы… все стремимся, потому что они начинают охватывать аспекты реального мира».

1 Звезда2 Звезды3 Звезды4 Звезды5 Звезд (Пока оценок нет)
Загрузка...

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *