top of page
ダイナミックイメージコントロールコンセプト図
研究コンセプト

 

　画像処理技術の高速化やプロジェクターの普及に伴い、動的なシーンに対応する高速かつ適応的な映像撮影・投影技術の可能性が急速に拡大している。本研究室では、シーンの状況に応じて動的に撮像や投影を制御する、新たなメディアテクノロジーである

ダイナミックイメージコントロール

（Dynamic Image Control)

を提唱している。

　ダイナミックイメージコントロールの実現に際しては、画像センサ・処理要素のみならず、光学系・照明系を含むシステム全体の最適化が求められるが、当研究室はこれら要素技術から応用まで全体を研究対象とするところに特色がある。

　新たな表現が求められる映像・メディア分野、画像計測が重要な医療・バイオ・顕微鏡分野、人間に理解しやすい映像が求められるFA・ヒューマンインターフェース分野等の幅広い分野において、対象の本質をとらえ、ユーザーが必要とする映像を提供することで、映像利用の新たな展開を生み出すことを目指している。

Random Access Vision: arbitrary and multiple gaze direction imaging in frame-by-frame manner
01:28

Random Access Vision: arbitrary and multiple gaze direction imaging in frame-by-frame manner

This video introduces Random Access Vision, an imaging technique that observes multiple arbitrary gaze directions per frame. The initial part shows an object captured almost simultaneously from four different locations. The system consists of a resonant mirror that vibrates at high speed to change the camera's gaze direction and a multi-tap lock-in image sensor that allows multiple images to be captured at different timings through multiple exposures. By exposing the camera at the moment when the resonant mirror points in a specific direction, the camera's gaze direction is determined. To ensure image brightness and avoid motion blur, the camera performs very short exposures each time the gaze is directed in a specific direction, accumulating these short exposures through multiple exposures. Additionally, by using the multi-tap lock-in image sensor, it is possible to capture images from multiple different directions simultaneously. With this technique, we succeeded in selecting arbitrary gaze directions per frame and simultaneously capturing images from four different directions (X-direction). Moreover, it was also possible to capture images from four different directions simultaneously by performing operations like jumping, gathering, and spreading the gaze direction for each frame, or by controlling the gaze direction in both X and Y axes using a two-axis mirror. このビデオは、任意の複数の視線方向をフレーム毎に観測する撮像手法である、ランダムアクセスビジョンを紹介しています。冒頭の部分は、対象物体の異なる4か所をほぼ同時に撮影したものです。 本システムは、カメラの視線を変化させるための高速に振動する共振ミラーと、複数の画像を異なるタイミングで多重露光可能な撮像素子であるマルチタップロックインイメージセンサで構成されています。 共振ミラーが特定の方向を向いたタイミングで露光を行うことでカメラの視線方向を決定します。ここで、画像の輝度を確保とモーションブラーを避けるため、視線が特定方向を向くたびに非常に短い時間の露光を行い、それらを蓄積する多重露光を行います。 また、マルチタップロックインイメージセンサを用いることで、異なる複数方向の画像を同時に撮影することができます。 本手法により、フレーム毎に任意の視線方向の選択 および 異なる4方向（X方向）の同時撮影に成功しました。さらに、フレーム毎に視線方向をジャンプ・集めて広げる動作や、2軸ミラーを用いたXY方向の視線方向制御による異なる4方向同時撮影も可能です。
Flying aerial display
01:07

Flying aerial display

This video demonstrates an aerial display based on dynamic projection mapping on a drone. A laser projector displays the letter M on a screen suspended by a drone from a distance of several tens of meters. The screen position was recognized by a high-speed vision at 1000 fps. Both the gaze direction of the high-speed vision and the projection direction of the projector was controlled at high-speed by three rotating mirrors, and the gaze/projection direction was controlled at high speed so that the screen was always tracked at the center of the field of view/projection. This enabled stable image projection on a flying screen. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e このビデオは，ドローンへの動的プロジェクションマッピングに基づく空中ディスプレイ技術を紹介しています．ドローンが吊り下げたスクリーンに数十m離れた場所からレーザープロジェクターでMという文字を表示しています．スクリーンの位置は1000fpsの高速ビジョンで認識しています．高速ビジョンの視線方向とプロジェクターの投影方向は，ともに3枚の回転鏡によって高速に制御できるようになっており，認識したスクリーンの方向に視線方向が向くように高速に制御されています．これにより飛行するスクリーンに対して安定した映像投影を可能にしました． 群馬大学情報学部/大学院理工学府 奥研究室 http://www.okulab.org/
MobileGoturns: Light-Weight Deep Regression Networks for High-speed Visual Feedback
00:56

MobileGoturns: Light-Weight Deep Regression Networks for High-speed Visual Feedback

This video shows stable tracking of a table tennis ball during a rally, even in an environment with sudden changes in ambient lighting and brightness. This stable tracking process is achieved using the MobileGoturns algorithm, a type of convolutional neural network. The algorithm is fast, and on the environment used in this experiment (Intel Core i7 7800X 3.50 [GHz], NVIDIA RTX A5000 24.0 [GB]), it took 1.39 ms to perform a single inference. The algorithm detects the position of the ball about 500 times per second, and records images centered on the ball by controlling the camera's gaze direction with a automated rotating mirror at high speed. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，周囲の照明環境・明るさが急に変わるような環境でも，ラリー中の卓球のボールを安定にトラッキングする様子を示しています．この安定したトラッキング処理は，畳み込みニューラルネットワークの一種であるMobileGoturnsアルゴリズムにより実現されています．このアルゴリズムは高速に処理が可能であり，この実験で利用した環境（Intel Core i7 7800X 3.50 [GHz]，NVIDIA RTX A5000 24.0 [GB]）では一回の処理を1.39msで実行可能でした．このアルゴリズムにより一秒間に500回ほどボールの位置を検出し，回転鏡でカメラの視線方向を高速に制御することで，ボールを中心にとらえた映像を記録しています． 群馬大学情報学部/大学院理工学府 奥研究室 http://www.okulab.org/
180 projector: wide angular range projection mapping method applied to flying avatar robot
01:07

180 projector: wide angular range projection mapping method applied to flying avatar robot

This video demonstrates a method for dynamic projection mapping on a target moving at high speed in a wide area around the projection equipment, using a high-speed gaze control system called saccard mirror 3. And this projection method is named 180 Projector (one-eighty projector). The prototype system successfully projected images over a wide angular range using a rotating mirror, and kept projecting images on a flying drone while allowing the drone to move over a wide area. The video also demonstrates that the drone can be used as an avatar robot by using this system in combination with a teleconference system. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，ドローンのように高速かつ広範囲に動く対象に動的プロジェクションマッピングを可能にする手法である，180 projector (ワン　エイティ　プロジェクター)を紹介しています．180 projectorは，3枚の電動回転鏡により高速かつ広範囲に視線方向を制御するサッカードミラー3と，プロジェクター，高速ビジョンで構成されています．試作システムは180度を超える広い範囲に投影方向を制御でき，飛んでいるドローンを追従しながらドローン上に固定されたスクリーンに映像を安定して投影し続けることができました．また，この投影を利用して，ドローンをアバターロボットとして利用することも可能です．Zoomで接続した遠隔地の人の映像をドローンに投影し，またドローンから撮影した映像をZoomを介して遠隔地に送信した状態で会話を行うことに成功しました． 群馬大学情報学部/大学院理工学府 奥研究室 http://www.okulab.org/
Simulfocus Imaging
01:18

Simulfocus Imaging

This video demonstrates a new imaging method of quasi-simultaneous multi-focus imaging named simulfocus imaging by synchronous control of a special imager with arbitrary multi-exposure and quasi-simultaneous multi-image capturing function called 4- tap lock-in pixel image sensor, and an ultra fast focus tunable liquid lens called TAG lens. Since this imaging is done optically, the images are acquired directly and no reconstruction process is required. There are similar techniques called holography and light field that can measure multiple images of the focus simultaneously, but these techniques require a software to synthesize an image of a specific focus from the measured information. In contrast, the simulfocus imaging technology directly captures each image optically, allowing the camera to acquire images by itself, making it more suitable for use in factories. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，ピントが異なる複数の画像を同時に撮影できる技術であるSimulfocus Imagingにより撮影した結果を示しています．この動画では，4箇所の異なるピント位置の画像をほぼ同時に撮影しており，一番左の画像はピント位置が最もカメラに近く，右に行くに従ってピント位置が遠くなっています．Simulfocus Imagingは，複数の画像を異なるタイミングで多重露光可能なマルチタップロックインピクセルイメージセンサーと，非常に高速に焦点距離を振動させられる液体レンズであるTAGレンズを利用することで実現されています． この撮像は光学的に行われるため，各画像は直接取得され，再構成処理を必要としません．似たような技術として，すべてのピント位置の情報を同時に測定できるホログラフィやライトフィールドと呼ばれる技術がありますが，これらの技術では測定した情報から特定の焦点の画像を合成するためのソフトウェア処理が必要となります．これに対し，Simulfocus Imaging技術は各画像を光学的に直接取得するため，カメラ単体で画像を取得することができ工場などでの使用により適しています． 群馬大学理工学部電子情報理工学科 奥研究室 http://www.okulab.cs.gunma-u.ac.jp/
3D tracking of a swimming cell using Temporally Coded Exposure camera and TAG lens
00:44

3D tracking of a swimming cell using Temporally Coded Exposure camera and TAG lens

3D tracking of a swimming cell was achieved by synchronizing a temporally coded exposure (TeCE) camera and a tunable acoustic gradient index (TAG) lens. Because the TeCE camera can acquire the specific focal plane from a TAG lens at 1000 fps, 3D information acquisition can be accomplished in several milliseconds. In this video, a set of three images captured at different focal planes was used to estimate 3D position of the cell, and an automated XYZ stage holding the container of the cell was controlled to keep the cell in the view volume of the microscope. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は自由に遊泳する細胞を3次元的に追跡しながら映像と軌跡を計測した結果を示しています．TeCEカメラと呼ばれる特殊な多重露光カメラとTAGレンズと呼ばれる高速な可変焦点レンズを組み合わせることで，フレームごとに任意のフォーカス位置の画像を1000fpsで計測できるカメラモジュールを利用しており，3枚の異なるフォーカス位置の画像から対象の3次元位置を推定し，その対象が常に顕微鏡が観察できる空間的な範囲に収まるようにXYZの自動ステージで細胞を含む容器全体の位置を制御することでトラッキング動作を実現しています． 群馬大学理工学部電子情報理工学科 奥研究室 http://www.okulab.cs.gunma-u.ac.jp/
High-speed and Precise 3D Feedback based on SLF applied to Dynamic Projection Mapping
00:55

High-speed and Precise 3D Feedback based on SLF applied to Dynamic Projection Mapping

This video demonstrates dynamic projection mapping on the surface of cloth by measuring the three-dimensional deformation at high speed (ms) and with high precision (mm). The previously proposed structured light field (SLF) has a low measurement accuracy of several tens of mm, so it was not possible to measure delicate human movements. In order to solve this problem, we developed a new structured light field generation method that enables more accurate measurement by installing two projectors in parallel. This makes it possible to detect even slight indentations of about mm in one millisecond. In the movie, a square is drawn by a laser at the place where human pressed, and the size of the square is proportional to the amount of indentation. It can be seen that the square can be drawn in response to the quick movement of a person in an instant. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画では，人間による布の三次元的な変形を高速・高精度に計測することで，布表面に対する動的プロジェクションマッピングをデモンストレーションしています．従来提案していた構造化ライトフィールド(SLF)では計測精度が数十mm程度と低く，人間の繊細な動きなどを計測することはできませんでした．これを解決するため，２台のプロジェクターを並行に設置することでより高精度な計測を可能にする新たな構造化ライトフィールド生成手法を開発しました．これにより，mm程度の僅かな押し込みもミリ秒で検出することが可能になりました．動画では，人間が押した箇所にレーザーで四角を描画しており，四角のサイズは押し込んだ量に比例しています．人間の素早い動きにも瞬時に対応して四角を描画できていることがわかります． 群馬大学理工学部電子情報理工学科 奥研究室 http://www.okulab.cs.gunma-u.ac.jp/
Edible Retroreflector made of Candy
01:00

Edible Retroreflector made of Candy

This video demonstrates an edible retroreflector made of candy. Dynamic projection mapping on a pan-cake based on the prototype as a position marker and compatibility with the conventional optical motion capture systems are also demonstrated. Previously proposed edible retroreflector was made of agar, granulated sugar, and water, so it was weak against drying and lost its function in a short period of time. However, solid foodstuffs like candy are stable against drying. Thus, we developed a method to fabricate an edible retroreflector made of candy using a silicone polymer mold. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e 飴製の食べられる再帰性反射材 この動画では，飴製の食べられる再帰性反射材と，その応用例としてパンケーキ上への動的プロジェクションマッピングのマーカーとして利用した例と，市販の光学的モーションキャプチャーシステムで光学マーカーとして利用した例とを紹介します． これまで当研究室が提案してきた食べられる再帰性反射材は寒天を素材とするものでしたが，体積の半分以上が水で構成されているため，乾燥に弱く比較的短時間で機能を失ってしまうという欠点がありました．そのため，乾燥に強く硬い飴を用いて再帰性反射材を作る方法を研究し，シリコンゴムを型とすることで再帰性反射材に求められる精密な形状をもつ飴を作成することに成功しました． 群馬大学理工学部電子情報理工学科 奥研究室 http://www.okulab.cs.gunma-u.ac.jp/
NEWS

  • 2024年2月 医療的ケア児看護のための映像投影に基づく気晴らしへの取り組みが群馬テレビで報道されました。この取り組みは、群馬大学情報学部の授業の一貫として，医療的ケア児通所施設クローバービーンズの協力のもと実施されたものです．

    • 群大生がVRで企画 外出難しい子どもたちが雪山体験，群馬テレビ「ニュースジャスト６」等，2024年2月19日​

    • ​報道内容のYouTube

​

  • 2023年9月 JST CRESTに奥が分担研究者として提案していた「 超高速光call & responseによる脳とのセッション」（代表：木村幸太郎（名古屋市立大））が採択されました．

​

  • 2023年4月 G7群馬高崎デジタル・技術大臣会合に併設される展示会（4月28日～30日）にて、奥研究室の研究成果の展示を行いました。

​​

​

​

​​

  • 2022年9月 本研究室M2の新井和樹さんが日本ロボット学会若手講演賞を受賞しました．昨年度に講演した以下の内容が評価されての受賞です．

    • 新井和樹，奥寛雅 : フォーカスとシート光のミリ秒制御による高速ライトシート顕微鏡，第39回日本ロボット学会学術講演会(RSJ2021) (オンライン開催，2021.09.10)／予稿集，2K4-03

​

  • 2022年6月 本研究室M2の井内将俊さんが日本機械学会若手優秀講演フェロー賞を受賞しました．昨年度に講演した以下の内容が評価されての受賞です．

    • ​井内将俊，山登一輝，奥寛雅: TAGレンズとイメージインテンシファイアを用いた蛍光ビーズの高速三次元トラッキング，ロボティクス・メカトロニクス講演会2021 (ROBOMECH2021) (オンライン開催，2021.06.07)／講演論文集，1A1-J01

​​

  • 2022年3月 3月23日の学位記授与式で，本研究室M2の樋口詩乃さんが学業優秀者として群馬大学学長から表彰されました．
     

  • 2021年4月 3月に報道された，ドローンにプロジェクションマッピングをすることでアバターロボットとしての利用を可能にする技術が毎日新聞でも報道されました．

    • ​高速で広範囲動く対象に画像を投影 群大大学院研究室が新技術開発 ドローンなど210度追随，毎日新聞（群馬版），２０２１年４月１０日​

​​

  • ​2021年4月 本研究室の所属が情報学部になりました．​2021年度以降に入学する学生の方で本研究室で卒業研究を希望する場合は情報学部に進学することが必要なので注意してください．
    なお，大学院は引き続き理工学府の所属になります．

​

​​

  • 2021年2月 当研究室も参画している研究プロジェクトのシンポジウムが3/1に開催されます．人間を超える知能システムについて先端的な成果が数多く報告されますので，ご興味あれば是非ご参加ください．出席を希望される方は以下のリンク先より参加申し込みをお願い致します．

    • JST ACCEL「高速画像処理を用いた知能システムの応用展開」シンポジウム

    • 3月1日（月）9:30～18:00　Zoom　　

​​

​

  • 2020年11月 当研究室修士2年生の鈴木康平さんのOPJ2020における発表が，第6回OPJ優秀講演賞を受賞しました．

    • ​鈴木康平，深野悠吾，奥寛雅：1000-volume/s高速体積型ディスプレイにおける多ビット画像提示手法の提案，日本光学会年次学術講演会 Optics & Photonics Japan 2020 (OPJ2020) (オンライン開催，2020.11.17)／講演予稿集，17pB4

​​

  • 2020年8月 当研究室と静岡大学の川人祥二教授のグループとの共同研究の成果である，Simulfocus Imaging（複数焦点距離画像の準同時計測）が上毛新聞とぐんま経済新聞で報道されました．

    • ​超高速でシャッター　カメラ1台で4焦点　群馬大と静岡大が開発，上毛新聞，２０２０年８月８日

    • ​画像検査を効率化 異なるピントの画像を同時撮影，ぐんま経済新聞，２０２０年８月１３日

​

  • 2020年7月 奥寛雅准教授が７月１日より教授になりました．

​

  • 2020年4月 特任助教の山登一輝さんが宇都宮大学に助教として異動されました．引き続き当研究室の協力研究員として群馬大学にも所属してもらい共同で研究を行う予定です．

​

​

  • 2019年12月 昨年取材を受けて放送されたサイエンスZEROの内容が国際放送用に編集されたものが12月18日に放送されました．

    • The Leading Edge: Projection Mapping Evolving to New Heights, Science View, NHK WORLD, 2019年12月18日

​​

  • 2019年6月　奥寛雅准教授が以下のテレビ番組にコメンテーターとして出演し，研究室の研究内容を紹介しました．

    • 群馬テレビ ビジネスジャーナル

      • 6月21日（金）22:00-22:30

      • 6月23日（日）9:00-9:30　（再放送）

​

​​

  • 2019年5月　​当研究室修士2年の佐藤美子さんとその研究成果の飴製の食べられる再帰性反射材とがTBSの「未来の起源」という番組で紹介されました．

    • ​5月5日22:54～＠TBS（関東地域，愛知，三重，岐阜）

    • 5月12日20:54～＠BS-TBS（全国放送）

※両日共に同じ内容になります．

​

 

 

 

 

 

​​

​

​

  • 2019年3月　佐藤美子さん（修士１年），船戸優希さん（学部２年）と奥寛雅准教授が情報処理学会のインタラクション２０１９で発表した「飴を材料とした食べられる再帰性反射材の提案と試作」が，以下の２つの賞を頂きました．

    • インタラクティブ発表賞（一般投票）(3月6日)

    • インタラクティブ発表賞（PC推薦）(3月8日)

​

​​​

​​​

​

​・・・過去のニュースを読む

DSC02019-s.jpg
ABOUT US

奥研究室は群馬大学情報学部／大学院理工学府に所属する研究室です。高速画像処理技術と高速な可変光学デバイス・ユニット技術を基盤として、動的な映像制御や新たな画像利用計測手法などを研究しており、次世代メディアテクノロジーの創出を目指しています。

​

※当研究室での研究指導を希望される方は「当研究室を志望される方へ」をご覧ください．

ダイナミックイメージコントロールの応用

  • 光学機器 (カメラ)・業務用放送機材の視線・映像制御

  • 高速対象追跡撮像

  • 高速オートフォーカス・全焦点画像撮影

  • 医療・バイオ・ライフサイエンス・生命科学

    • 顕微鏡・内視鏡作業, 顕微鏡下手術補助

    • 医療検査診断 (細胞検査・血液検査・不妊治療の高速化と高精度化)

  • 製造技術・FA・ロボットにおける撮像制御

  • 監視カメラ高速化・広視野化

  • 動的物体への情報提示

    • 動的プロジェクションマッピング, 拡張現実感 (AR)，複合現実感 (MR)

  • ​食と映像情報メディア

bottom of page