大学院社会産業理工学研究部理工学域情報系 教授 北岡 教英
言叶?指差し?视线で対话して操作する自动运転车を开発
【研究グループ】
- 徳岛大学大学院社会産業理工学研究部理工学域情報系 教授 北岡教英、講師 西村良太
- 名古屋大学未来社会創造機構 教授 武田一哉、特任准教授 石黒祥生
- 名古屋大学大学院情報学研究科 准教授 竹内栄二朗、特任助教 Alexander Carballo Segura
- アイシン精機走行安全制御技術部 大須賀晋氏
【経纬】
北冈が名古屋大学に在籍していた6年前から、アイシン精机のドライバモニタカメラシステム(顿惭厂)を活用した対话型インタフェースの共同研究开発を开始、名古屋大学が保有する自动运手技术と徳岛に移籍した北冈ら、およびアイシンのカメラ画像所為技术を融合することで、本成果を得るに至る。
【学术誌等への掲载状况】
?Kitaoka, Takuma Nakagawa, Ryota Nishimura, Yoshio Ishiguro, Shin'ichi Kojima, Shin Ohsuga, "A multimodal control system for autonomous vehicles using speech, gesture, and gaze recognition," DSP in vehicles 2018, 2018.
?中川拓磨,西村良太,入部百合絵,石黒祥生,大須賀晋,北岡教英, "自動運転車の操作におけるマルチモーダルインタラクション," 日本音響学会講演論文集, 2-8-10, pp. 57-60, Mar., 2018.
近年、自动运転技术が急速に発展し、実用化も视野に入ってきました。自动运転车は最初に行き先を决定すればそこまで自动で移动してくれます。しかし、タクシーに乗っているときには运転者とコミュニケーションを取って协调的に行きたいところまで行くし、移动中にコンビニに寄り道したい时などには依頼もできます。このようなコミュニケーション能力、すなわち乗った人が「どう操作するのか」が、これまでの自动运転车では考えられていませんでした。
人は人と、音声による対话を中心に、指差しや頷き?首振りなどのジェスチャー、视线を交えてインタラクションします。この自然なインタラクションを自动运転车に取り入れた「マルチモーダル対话型自动运転车」を世界で初めて开発しました。
音声?ジェスチャー?视线など复数の手段を用いたインタラクションを「マルチモーダルインタラクション」と言います。
例えば、自动运転车に乗ったら、车から、いつも行く场所に行くか寻ねてくれるとします(図1)。そこで首を振り、别の场所を言えば、今日は别の场所に自动で运転してくれるのです。
(図1)自动运転车に乗ったところのシーン
自动车では、様々な雑音がしたり、同乗者が话したりします。これらを误って音声认识してしまうと误动作します。そこでそれを防ぐために、カメラ映像から运転者が话しているかどうかを判断し、音声认识すべきかどうか决定します(図1右および図2)。これもマルチモーダルインタラクションの一つです。
(図2)运転者が発话していると映像から判断
さらには、车から见える建物を见ながら「あれは何?」と寻ねれば、それが何かを答えてもくれます(図3)。これは、画像から目を検出し、さらに眼球のモデルを用いて视线方向を推定しています(図4)。ドライバーの「あれは何?」の発话を认识すると、ドライバの一と视线方向を3顿マップにマッピングして建物を同定し、音声合成でその名称を答えてくれるのです。
(図3)建物を见ながら「あれは何?」と闻けば答えてくれる
(図4)颜画像とそれからの视线の推定
これらの技术を自动运転车と密接に结合して、今回のマルチモーダル対话型自动运転车の开発に至りました(図5)。
(図5)マルチモーダル対话型自动运転车の概要
自动运転车は东京オリンピックを机会に急速に研究开発が进んでいます。今后、地域を限った导入から始められて普及が进んでいくものと思われます。そうしたのち、自动运転车の付加価値として、こうした技术が取り入れられていくものと考えています。また、自动运転に限らず、様々な「人间-机械协奏系」における人と机械のインタラクションとして、広く浸透していくことが期待されています。
