В выпуске №7 альманаха «Искусственный интеллект» речь идет о самом перспективном направлении в машинном обучении. Почему самом перспективном? Потому, что обучение с подкреплением (RL) больше всего похоже на то, как учится сам человек или другие высшие животные — на собственном опыте, путем проб и ошибок. И это внушает надежду, что именно так можно построить настоящий ИИ.
Доказательством этому оптимизму служат прорывные результаты в RL, которых от ИИ никто не ожидал еще лет 10 назад: AlphaGo, выигравшая в го у чемпиона мира Ли Седоля; модель OpenAI Five, выигравшая в стратегическую игру Dota2 у команды сильнейших игроков.
«К сожалению, в России область RL развита очень слабо. Мы не стали публиковать список ведущих исследователей в России, ограничившись списком исследовательских организаций. Это крайне печально, ведь именно эта область, на наш взгляд, несет главные прорывы на горизонте 5-10 лет. И у российских исследователей здесь есть шанс. Обучение с подкреплением не требует больших массивов размеченных данных, а ведь это именно то, в чем российские разработчики ИИ пока проигрывают разработчикам других стран. Конечно, обучение с подкреплением требует больших вычислительных ресурсов, но это сегодня уже перестало быть проблемой. Важно, что модели на обучении с подкреплением можно тренировать в виртуальных средах и на генерируемых данных. А это опять таки требует лишь вычислительного ресурса. Но главное, что исследования в области RL требуют глубокого знания математики и поиска нетривиальных решений, здесь недостаточно просто использовать существующие фреймворки. А это именно то, чем сильна российская наука. То есть, резюмируя, работа в области RL является прекрасным стратегическим направлением, ведь она нивелирует наши слабые стороны (отсутствие большого количества данных) и использует наши сильные стороны (глубокое знание математики и фундаментальных дисциплин)», — отметил в предисловии редактор альманаха Игорь Пивоваров.
Свежий выпуск альманаха, как и предыдущие, можно найти на сайте https://aireport.ru/.
