B：複合現実型視覚提示技術の次世代基盤構築

B2：動的に変化する隠背景情報を，体験時に実時間取得して利用するDR
（DV-SV型DR）

研究経過

【動的な隠背景情報の実時間取得によるDR】
　隠背景が動的に変化する場合に，それを実時間取得することによるDRを実現するための研究を行っている．DR表示の最中に隠背景をリアルタイム取得し， それを観察視点に変換して隠蔽領域を置き換える，という処理が必要であるという困難な課題に対して，段階的に難易度を高め，段階ごとに新たな手法を考案 し，その有効性を検証しながら，インパクトの高い学術論文誌や国際会議にその成果を発表してきた．

【H24-25年度】
　隠背景3次元構造が平面と仮定できる場合に焦点を当て，動的に変化する隠背景を，複数のカラーカメラを並列利用することにより取得し，隠背景の3次元構 造が平面であることを利用して，それらの画像を観察者視点画像に視点変換し，観察者視点画像に合成することにより動的な隠背景を除去したDRを実現する手 法を提案し，有効性を検証した．この際，観察者視点の位置姿勢についても，隠背景の3次元構造が平面であることを利用して実時間推定を行った．
　さらに，隠背景の3次元構造は平面近似できないが，隠背景に存在する物体の位置姿勢が変化するだけの場合を想定し，動的に変化する隠背景をRGB-Dカメラによ り取得し，観察者視点における隠背景画像を生成し，それを観察者視点画像に合成することにより動的な隠背景を表示可能なDRを実現する手法を提案し，有効 性を検証した．また，このDR表示をスマートフォンやタブレット端末上で実現することにより，図１に示すように隠背景を遮蔽している領域をインタラク ティブに指定し，その領域の隠背景を表示可能なシステムとしても実装した．

【H26-27年度】
　隠背景の3次元構造が任意形状に変化する場合を想定し，動的に変化する隠背景をRGB-Dカメラにより取得し，RGB-Dカメラにより実時間取得される 隠背景の距離画像を利用して，観察者視点における隠背景画像を実時間生成し，それを観察者視点画像に合成することにより，動的な隠背景を表示可能なDRを 実現する手法を提案し，有効性を検証した．この際，観察者視点の位置姿勢は，遮蔽物体の位置姿勢を推定することによって，遮蔽物体を基準とした座標系で推 定した．このように観察者視点カメラの位置姿勢の基準座標系を設定することにより，対象シーンの形状の動的な変化に影響を受けないDR表示が可能になる．

一方，遮蔽物が動的に変化する状況におけるDR処理の研究も実施した。ここでは，手持ちカメラで撮影した画像シーケンスから，移動している人物や物体を消し，隠背景だけの連結画像を生成する技術を開発した。さらに本技術を用いて移動物体の時間変化状況を連続的に表示したストロボ画像生成手法として活用する研究も実施した（図3）．

【H28年度】
隠背景をRGB-Dカメラにより撮影し，体験者視点における隠背景画像を実時間生成・表示する手法において重要となる複数カメラからの対象形状復元精度を向上させるアルゴリズムを開発した． さらに，このRGB-Dカメラを利用したDRを，ミュンヘン工科大学が開発したARマジックミラーシステムに利用し，対象部位の一部を消去した表示（図4）を実現する研究も開始した。

さらに，(B1) で進めてきた「幾何形状を一切利用しないLight Field Rendering (LFR)」を活用することにより，道具を利用した手作業等を行う場面で，動的に変化する作業対象を道具が隠蔽する問題をDRにより解決するためのシステムを構築し，国際会議のデモ等でその成果をアピールすることができた(図5)

最終年度は特に，(B1)の成果を利用した発展的成果を出すことができた．また，平成27年度末に教員と学生を派遣することによりスタートしたミュンヘン工科大学との共同研究では，動的な遮蔽物体を隠して表示する技術を用いた人体内部構造可視化システムを構築した．ミュンヘン工科大学で研究されていたSLAMと物体セグメンテーション技術を深層学習による物体認識に用いることにより，物体認識をオンサイトで利用するという次世代志向の複合現実感基盤研究をスタートすることができた．さらに，産業応用のためのカメラ位置姿勢推定技術を深化させることにより，複数の企業との共同研究にも発展させることができた．

MR要素技術に関する成果

　上記の，動的隠背景を除去したDR実現のための研究と並行して，DRを包含したMR要素技術について，次のような研究成果を挙げてきた．

【観察者視点のカメラの位置姿勢の実時間推定】
カメラの位置姿勢推定法のほとんどが利用している特徴点ではなく，特徴的な線分に基づくカメラの位置姿勢推定法を提案し，同時に線分の3次元モデル・マッピングを行う手法について研究を進めた． また，線分特徴を用いた独自の手法を開発し，テクスチャが極端に少ないシーンでも有効に機能することを実証し，それを利用したDR応用を実現した．

【視線生成型学習に基づくカメラ位置姿勢推定法】
事前取得・復元した物体の3次元形状モデルに対して，様々な方向から観察したと想定して生成した様々な視線の画像から検出された特徴点の特徴量との照合に基づき観察者視点のカメラ位置姿勢をリアルタイムに推定する視線生成型学習に基づくカメラ位置姿勢推定法を提案し，その高度化のための研究を進めた．

【プロジェクタを利用した複合現実感情報提示のためのトラッキング技術】
プロジェクタにより実物体上に映像データを投影表示することによって，現実空間で複合現実感情報提示を行う「空間型ＡＲ」のための物体トラッキング技術とその応用に関する研究を進めた．

【RGB-Dカメラによるリライティング技術】
RGB-Dカメラにより撮影されたシーンの照明環境を変更するための研究を進めた．