Наука. Машинное обучение на играх Atari 2600

[MasterGH]

DeepMind создала программу, которая может играть в 49-ти видеоиграх, на игровой видео приставке Atari 2600.

 

Универсальность алгоритма DeepMind разработчики объясняют объединением двух типов машинного обучения. Первый из них использует архитектуру мозга, в которой связи между слоями искусственных нейронов укрепляются по мере приобретения опыта. Этот тип, называемый глубинным обучением (deep-learning systems), используется, к примеру, для автоматической классификации фотографий или машинного перевода в различных сервисах Google.


Второй тип машинного обучения называется обучением с закреплением (reinforcement learning). Он основан на особой искусственной системе принятия решений и вдохновлён биологической системой дофаминового вознаграждения у животных и людей.

В качестве входных данных программа DeepMind использует только пиксели экрана и счёт игры. Методом проб и ошибок она учится совершать различные действия — ход влево или вправо, вперёд или назад, атака, защита и так далее. Каждое действие, приводящее к победе или поражению, программа фиксирует и "запоминает". В эксперименте алгоритму потребовалось несколько часов на обучение каждой игре — примерно как среднестатистическому геймеру.

По словам учёных, данное достижение может найти применение в различных сферах человеческой деятельности. Алгоритм может быть использован как для маркетинговых исследований, так и для решения проблем, возникающих при взаимодействии умных роботов с окружающей средой.

Однако разработчики алгоритма DeepMind надеются, что их детище поможет развитию нейробиологии. Анатомию мозга при помощи данной программы изучать не получится, но вычислительные способности мозга можно будет исследовать с совершенно новой стороны.

 

"Мы надеемся, что наша разработка послужит не только развлечением для информатиков, но и поможет развитию фундаментальной науки. Поскольку алгоритм построен по образу и подобию человеческого мозга, он может помочь неврологам в изучении интеллекта и процесса принятия решений", — рассказывает Демис Хассабис (Demis Hassabis), соучредитель DeepMind.

В ближайшем будущем Хассабис и его коллеги планируют обучить свой алгоритм новым задачам, которые помогут достичь предела его вычислительных возможностей.

 

Nature