群馬大学 奥 研究室

ロボットビジョンでは，カメラの視野よりも広い範囲を測定したい場合が多い．そのため，カメラは機械的なパン／チルトプラットフォームに取り付けられる傾向があるが，このような機構は，カメラのフレームレートに比べて無視できない応答時間を有する．そこで，当研究室と静岡大学の川人教授らの研究グループと共同で，任意の複数の視線方向をフレーム毎に観測する撮像手法である，ランダムアクセスビジョンを開発した．本手法により，フレーム毎に任意の視線方向の選択が可能で，異なる4方向（X方向）の同時撮影に成功した．さらに，フレーム毎に視線方向をジャンプ・集めて広げる動作や，2軸ミラーを用いたXY方向の視線方向制御による異なる4方向同時撮影も可能であることを確認した．

SFの世界では空中に映像を出現させる技術が描かれることが多く，現実の世界でも様々な手法が提案されている．そこで本研究では，高速視線制御系とレーザーディスプレイを組み合わせ，遠距離の動的対象にプロジェクションマッピングを行うことで空中ディスプレイを実現する手法を提案した．この手法は，飛翔するドローンに吊り下げられたスクリーンにプロジェクションマッピングを行って空中ディスプレイを実現するものである．実際に試作したシステムを用いて約36m先の遠方を飛翔するドローンに装着したスクリーンに動的プロジェクションマッピングを行った結果から，提案手法が空中ディスプレイを実現する原理として有効であることを示した．

従来の動的プロジェクションマッピングの投影方法においては，プロジェクター1台で投影可能な角度範囲が限られることなどが課題として挙げられる．

そこで，当研究室では投影系の周囲を囲むような広範囲に視線制御が可能な高速視線制御系「サッカードミラー３ (Saccade Mirror 3)」とプロジェクターを組み合わせ，広範囲かつ高速な動的プロジェクションマッピングが可能な投影システム「180 projector」 (読み方：One-eighty projector) を開発している．現在の試作システムを用いて行った実験では，急激に加速したり進行方向を変化させながら動く対象に向けての投影や，投影機材を中心とした水平方向の角度範囲 約210度にわたって投影を行う事ができた．

また，試作システムとオンラインシステムのZoomを組み合わせることで，ドローンをアバターロボットとして活用し遠隔地とのコミュニケーションに利用する応用実験に成功した．提案システムを使ったドローンのアバターロボットは，遠隔地の3D空間内を高い自由度で移動することが可能であり，ドローンに光源を載せるのではなく地上からプロジェクターで映像を投影する手法は，エネルギー供給の観点からも適切な手法である．

遊泳細胞のような動き回る微小対象を顕微鏡で観察する場合，対象が視野内から外れたり，フォーカス位置が外れたりする問題があり，微小対象に対する高速三次元トラッキングが求められている．高速三次元トラッキングでは，微小対象の三次元情報を高速に取得することが必要である．しかし既存の光学顕微鏡で三次元情報を高速に計測することは難しかった．そこで本研究では，Tunable Acoustic Gradient index (TAG)レンズという数十～数百キロヘルツオーダーで焦点を変更できる可変焦点レンズと，画像１フレームの撮像時に複数回の短時間露光を任意のタイミングで実行できるTemporally Coded Exposure (TeCE)カメラとを組み合わせて，既存の光学顕微鏡で高速に三次元情報を計測できる高速三次元カメラモジュールを開発した．さらに，このモジュールを利用して遊泳細胞（クラミドモナス）の高速三次元トラッキングを実現した．

​

通常のカメラは一度に特定の焦点距離での画像しか撮影できない．もし複数の異なる焦点距離の画像を撮影したければ，撮影ごとに焦点距離をかえて複数の画像を撮影する必要がある．これを解決する手段として従来ホログラフィやライトフィールドによる画像合成手法があるが，これらの手法では計測した情報から画像再構成演算が必要となる．これに対し，当研究室は静岡大学の川人祥二教授らのグループと共同で，複数の焦点の画像を光学的に同時に撮影する技術である，Simulfocus Imagingを開発した．この技術では光学的に複数の焦点距離の画像を撮影でき，画像の再構成演算が不要であるという利点がある．

現在普及しているヘッドマウントディスプレイ(HMD)では輻輳と調節の矛盾(VAC)とディスプレイの更新速度の遅さという問題がある．前者は眼精疲労やVR酔いを引き起こし，後者はシースルー型HMDを通してアノテーションを現実世界に提示する際に，ディスプレイの更新速度の遅さから物体とアノテーションにズレを生じさせ，体験者に不快感を与える．これに対し，当研究室では高速に焦点距離を変化させることができるTunable Acoustic Gradient index Lensと，高速に画像表示を行うことができるDigital Micromirror Deviceを組み合わせた1000-volume/s高速体積型ディスプレイを開発した．このディスプレイでは1秒間に1000個の体積を表示することができ，上記の問題を同時に解決することができる．

再帰性反射材とは，道路標識や自転車の反射板として身近に利用されている光学素子であり，画像処理用のマーカー(目印)としても利用されている．従来の再帰性反射材は不可食なガラスやプラスチック製であったが，これを食品からのみ形成することで，料理の上や消化管内壁においても無害で安全に利用することが期待できる．これまで，当研究室では寒天を利用した食べられる再帰性反射材が実現できることを示してきた．しかし，寒天はその多くの体積を水が占め，一度空気中に出してしまうと乾燥するにつれて形状が変化し機能を失ってしまうという欠点があった．そこで，再帰性反射材の素材としての要件を満たし，可食であり，なおかつ乾燥に強い素材である，飴を材料とする再帰性反射材を開発した．

近年，スポーツにおいて動的に投影を行うことで視覚的な効果を付与し，新たなエンターテインメントを創り出す取り組みに注目が集まっている．しかし，既存の手法は卓球台へのプロジェクションマッピングなど投影対象が静的なものに留まっていた．プレイ中のボールにも動的に投影を行うことができれば，より効果的な演出が可能になることが期待される．そこで当研究室では，特に卓球を対象に，ラリー中のボールに動的な照明効果を施す手法であるルミポン（Lumipong）を提案し，試作システムの開発と実験を行っている．

多くの三次元計測はアクティブステレオ法やTOFセンサ用いているが，高速な計測が難しい．そこで，当研究室は三次元計測の高速化を目標として，構造化ライトフィールド照明法を提案している．これまで構造化ライトフィールド照明は，異なるフォーカス位置の複数のプロジェクタから異なるパターンを対象物に同時に投影することで生成していたが，この手法では小領域で前後したときに変化する画像情報量が開口径に依存しているため，高い精度を得ることができなかった．そこで構造化ライトフィールドを2台の平行設置プロジェクタで生成することで擬似的な大口径のレンズによる奥行き変化を再現し，高速かつ高精度な距離画像推定を可能にした．

当研究室では，食品を素材とした光学素子を研究・開発しており，その一環として寒天を素材とした食べられる再帰性反射材を開発してきている．これまでこの素子を利用して，料理の上に載せて位置を計測するマーカーとして機能することを実証してきた．しかし，従来のマーカーでは画像内での対象の位置のみがわかり，対象の向きや傾きなどの姿勢までは計測できなかった．そこで，食べられる再帰性反射材を素材として，三次元的な位置と姿勢をすべて計測できる食べられるARマーカーを開発した．開発したマーカーの写真を図に示す．対象の位置・姿勢がわかるマーカーとしては，平面に四角い枠に囲まれた図形を描いた物を利用するARマーカーがよく用いられているが，これまでは不可食の素材で作られていた．今回は食べられる再帰性反射材とスライスチョコレートを組み合わせてARマーカーと同様の図形がカメラから観察できるようにした．

近年，液体を利用した光学デバイスが出現し，注目を集めている．液体は，可視光に対して透明なものが多く，適切に形状を制御することで光学デバイスを実現するのに優れた素材であることがわかってきた．　一方，多くの食品も液体であることを考えると，食品も光学素子の素材として適している可能性が高い．もし，食品を素材とした光学素子が実現できれば，料理と組み合わせることで新たな演出を可能にすることや，人間の消化管の表面に設置することより高精度な検査や診断が可能になることが期待できる．
そこで，当研究室では食品を素材とする光学素子の実現を目標に研究を進め，食べられる再帰性反射材を開発した．

​生物学等の分野で，微小空間の高速な三次元計測が求められている．高速な三次元情報計測の一手段として，顕微鏡のフォーカス位置を光軸方向に走査しながら画像を計測する方法があるが，既存のZスキャナでは高速計測に不十分であった．これに対して，Tunable Acoustic Gradient index (TAG) レンズと呼ばれる機器が登場した．TAGレンズの焦点変動周期は非常に高速であるため，特定の焦点距離における画像を撮像できるイメージセンサは限定される．この問題に対して，カラーストロボ照明をTAGレンズの焦点変動周波数に同期駆動させることで，特定の焦点面をカラー画像の色情報として取得する手法が提案された。本研究室では，この手法の原理を利用して，三次元情報を取得し，高速なフィードバックが可能な顕微鏡システムの開発を行っている．

近年，スマートウォッチなど超小型タッチパネルを搭載したウェアラブルデバイスが普及し始めている．現在のスマートウォッチは時刻などの情報を親機であるスマートフォンから受信し，スマートフォンを取り出すことなくその情報を閲覧する事が主な使用用途である．しかし，メールやチャットにおける返信など，閲覧だけでなく文字入力を行いたい場面が多々ある．

現在主流である音声での文字入力は，手を使わずに入力が可能であることや話す速度で入力が可能であるなどの利点があるが，認識精度の問題や声を出しづらい静かな環境での使用ができないなどの点でソフトウェアキーボードでの文字入力の方が優れている．しかし，ディスプレイが小型である為，既存のスマートフォンや PC の文字入力インターフェースでは快適に入力することは困難である．

そこで，超小型タッチパネル端末向けに，ディスプレイを最大限利用し，ワンストロークで日本語入力が可能な文字入力インターフェース，HARIキーボードを開発した．

動的物体へのプロジェクションマッピングを違和感なく実現するためには，物体の位置・姿勢と投影像とが整合しなければならない．しかし，物体のテクスチャーは投影像によって更新されるため，姿勢の推定は困難となる．ロバストな姿勢推定を実現する方法として，当研究室ではビジョンとプロジェクターを光学的に同軸上，もしくは近傍に設置することを前提とし，特定の散乱特性を持つスクリーン素材の上に再帰性反射材を組み合わせ，再帰性反射材の形状をマーカーとして利用する可視光ステルスマーカーを提案している．

これまで報告されている，2枚の回転鏡を利用する高速視線制御機構であるサッカードミラーは，パン ・チルト方向の視線の制御範囲が60度程度に制約されるという問題点があった．そこでこの制約を根本的に解決する構造として，3枚の回転鏡で構成された「Saccade Mirror 3」を開発している．現在の試作システムはパン方向に260度以上の視線制御範囲を持ち，従来のサッカードミラーよりも広範囲の視線制御が可能である．これにより既存のサッカードミラーが持つ問題を根本的に解決することができる．

高速な物体を追従・撮影することが可能である1msオートパンチルトと呼ばれるシステムは，スポーツ中継のような業務用放送への応用が期待されている．1msオートパンチルトシステムで従来用いられていた物体追従用のアルゴリズムは，HSV色空間で表現された画像中における，色情報の値に依存しているものであった．そのため，背景と対象物体が同色である際に対象物体と背景における差を認識することができないという問題があった．また，HSV色空間における色相では，白色が定義されていないため対象物体が白色である際に扱うことが難しいという制約も存在していた．しかし，スポーツにおいて，野球や卓球のように白色球を用いる機会は多い．そこで，当研究室では白色背景上で高速に移動する白色物体の追従・撮影を行うためのアルゴリズムを研究している．

従来の多くの三次元計測は，三角測量によるステレオ法に基づいている．しかし，この手法は対応点探索に基づいているため，計算量が多くなってしまい高速化が難しいという問題がある．

そこで，当研究室は三次元計測の高速化を目標として，構造化ライトフィールド照明法を提案している．構造化ライトフィールド照明とは奥行き方向にも構造を持っている光であり，特に光源からの距離に対応して二次元的なパターンが変化する物を提案手法では利用する．このような光を計測したい空間に照射すると，光源からの距離に応じて対象の表面に異なるパターンが重畳される．この画像をカメラで計測し，表面のパターンを認識することで対象の距離情報を計測することができる．

プロジェクタの普及に伴って、実空間の物体に映像を投影するプロジェクションマッピングが新たなメディア 技術として注目を集めている。しかし従来のプロジェクションマッピングは専ら静止した物体を投影対象としていた。

そこで、高速視線制御ユニット（サッカードミラー）に 1000 fpsで撮像・画像処理可能な高速ビジョン及び映像提示用のプロジェクタを同軸上に設置することで， 対象にタイムラグ無く継続的に画像を提示する新たな手法を提案し、ルミペンと名付けた。

この技術は，ちょうどオートフォーカスが自動的にフォーカスをあわせるのと同様に，画面の中心に対象がくるように自動的にパン・チルト方向を制御する技術である． 卓球のラリーにおける球のように高速な対象でも，当研究室で開発したサッカードミラーと呼ばれる高速視線制御ユニットと，1000fpsの高速画像処理によって安定して追従でき，あたかも画面中央に球が止まっているかのような「1msオートパン・チルト映像」を記録することができる．