ランダムアクセスビジョン
ロボットビジョンでは,カメラの視野よりも広い範囲を測定したい場合が多い.そのため,カメラは機械的なパン/チルトプラットフォームに取り付けられる傾向があるが,このような機構は,カメラのフレームレートに比べて無視できない応答時間を有する.
そこで,当研究室と静岡大学の川人教授らの研究グループと共同で,任意の複数の視線方向をフレーム毎に観測する撮像手法である,ランダムアクセスビジョンを開発した.
ランダムアクセスビジョンのシステムは,主にカメラの視線を変化させるための高速に振動する共振ミラーと,複数の画像格納領域(tap)を持ち,それぞれナノ秒レベルで独立して露光制御可能な撮像素子であるマルチタップロックインイメージセンサで構成されている.
また,マルチタップロックインイメージセンサを用いることで,1台のカメラで異なる複数方向の画像をほぼ同時に撮影することが可能である.
図1に提案システムの構成図,図2に実際の試作システムを示す.試作システムでは,12 kHzで動作する共振ミラーと4つのtapを持つマルチタップロックインピクセルイメージセンサを用いて実験を行った.
カメラの視線方向は共振ミラーによって常に変化しており,ミラーが特定方向を向いたタイミングで露光を行うことで視線方向を決定する.共振ミラーは1周期 約83 μsと高速に振動しており,画像のモーションブラーを避けるため,露光時間は200 ns程度の非常に短い時間が要求される.このため,短時間の露光で得られる輝度は低く,画像計測の用をなさない.そこで,視線が特定方向を向くたびに短時間の露光を行い,それらを蓄積する多重露光を行って画像の輝度を向上させている.一連の動作の概要を図3に示す.
本手法により,フレーム毎に任意の視線方向の選択が可能で,異なる4方向(X方向)の同時撮影に成功した.さらに,フレーム毎に視線方向をジャンプ・集めて広げる動作や,2軸ミラーを用いたXY方向の視線方向制御による異なる4方向同時撮影も可能であることを確認した.
動画 ランダムアクセスビジョン手法の撮影結果と原理
図1 提案システムの全体構成図
図2 試作システムの外観と構成
図3 ランダムアクセスビジョンの動作原理
参考文献
-
Masumi Mitobe, Hiromasa Oku, Ren Kamata, Keita Yasutomi, Shoji Kawahito: Random access vision: an imaging method to observe arbitrary and multiple gaze directions in frame-by-frame manner, Optics Express, vol.32, 21708-21723 (2024) [doi:10.1364/OE.523537]