研究 · 山森聡

研究分野

強化学習
模倣学習
ロボット運動制御
Sim-to-Real Transfer
階層強化学習
位相振幅縮約

総体ビジョン

ロボットが自分で動き回って様々な動作を獲得し、まるで人間や生き物のように成長する。そんな AI の実現は、ロボット工学に人々が期待する成果のひとつです。近年、LLM の成功を受けて Physical AI(実世界で動作する AI)への注目が集まっていますが、その実現は容易ではなく、実用化までには遠い道のりが残されています。

課題の本質は、構造化されたデータの不足にあります。言語の文法は、例外を含みつつも単語単位で区切られた規則的なデータです。一方、実世界の物理現象は、ミクロからマクロまで様々な時間・空間スケールで複雑に相互作用しており、構造を見出すことが難しいデータです。このようなデータから自ら目的を生成して行動するには、ラベルから正解を学ぶ教師あり学習だけでは足りません。データを自ら構造化する教師なし学習と、自ら行動してデータを収集する強化学習の枠組みが不可欠になります。

私は、変分推論的強化学習という数理的な方法論を軸に、教師あり・教師なし・強化学習という基礎的な機械学習手法を組み合わせながら、実世界で動作するロボットの運動制御技術を研究・開発しています。

研究の全体像: 人の運動データとロボット自身の試行から、変分推論で統合した構造化・表現学習を行い、多様なロボットへ運動能力を届ける

運動制御の階層と表現学習

単一のタイムスケール・モダリティの方策学習だけでは、現実の物理現象を捉えきることはできません。タスクや身体に依存しない下位スキルと、それらを組み合わせる上位選択器を分離した「自然な」階層構造が必要です。変分推論的な枠組みを用いて、時間スケールの異なる階層構造をデータから自然に発見し、それと同時に各階層の制御器を学習する方法を追求しています。

運動制御の階層: 上位選択器・中位表現・下位スキル・身体環境の4層を表現学習で貫く

ヒューマノイドによる全身運動制御

運動データを再利用可能な動作表現の獲得

データから動作を学習したあと、早回しや遅回しといった特性を修正したり、異なる作業目的に応用したりする場面は数多くあります。しかし、目的が変わるたびにゼロから学習し直すのは現実的ではありません。動作を構成する要素を分解して学習することで、覚えた動作のうち必要な部分だけを後から編集したり、抽出したスキルを新しい状況で組み合わせて試したりできます。こうした再利用可能な表現によって、少ない試行回数での適応を可能にすることを目指しています。

運動データの再利用: 人の動作を要素(タイミング・形状・強さ)に分解し、任意の速度でロボットが再生する

下の動画は、人のデモンストレーション(左)から動作を学習し、同じ動作を等速(中)・倍速(右)で再生した例です。タイミングだけを後から編集することで、再学習なしに動作速度を変更できます。

人のデモンストレーション(模倣学習)

等速再生(動作速度 z)

倍速再生(動作速度 2z)

モジュラーロボット制御のための強化学習

モジュールの付け替えで形状が変化するロボットは、合体するほど複雑になり、その運動を構成することが難しくなります。腕や脚のような多自由度モジュールごとに運動を段階的に学習し、下位の学習結果を上位で組み合わせることで、多様な形状に対応する運動を生成する枠組みを追求しています。月面探査や災害対応など、自己再構成型ロボットへの応用を見据えています。

Moonbot(モジュラーロボット)の実機動作