top of page

群馬大学奥研究室

おくラボ

ダイナミックイメージコントロールコンセプト図

研究コンセプト

　画像処理技術の高速化やプロジェクターの普及に伴い、動的なシーンに対応する高速かつ適応的な映像撮影・投影技術の可能性が急速に拡大している。本研究室では、シーンの状況に応じて動的に撮像や投影を制御する、新たなメディアテクノロジーである

ダイナミックイメージコントロール

（Dynamic Image Control)

を提唱している。

　ダイナミックイメージコントロールの実現に際しては、画像センサ・処理要素のみならず、光学系・照明系を含むシステム全体の最適化が求められるが、当研究室はこれら要素技術から応用まで全体を研究対象とするところに特色がある。

　新たな表現が求められる映像・メディア分野、画像計測が重要な医療・バイオ・顕微鏡分野、人間に理解しやすい映像が求められるFA・ヒューマンインターフェース分野等の幅広い分野において、対象の本質をとらえ、ユーザーが必要とする映像を提供することで、映像利用の新たな展開を生み出すことを目指している。

Flying aerial display

01:07

Flying aerial display

This video demonstrates an aerial display based on dynamic projection mapping on a drone. A laser projector displays the letter M on a screen suspended by a drone from a distance of several tens of meters. The screen position was recognized by a high-speed vision at 1000 fps. Both the gaze direction of the high-speed vision and the projection direction of the projector was controlled at high-speed by three rotating mirrors, and the gaze/projection direction was controlled at high speed so that the screen was always tracked at the center of the field of view/projection. This enabled stable image projection on a flying screen. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e このビデオは，ドローンへの動的プロジェクションマッピングに基づく空中ディスプレイ技術を紹介しています．ドローンが吊り下げたスクリーンに数十m離れた場所からレーザープロジェクターでMという文字を表示しています．スクリーンの位置は1000fpsの高速ビジョンで認識しています．高速ビジョンの視線方向とプロジェクターの投影方向は，ともに3枚の回転鏡によって高速に制御できるようになっており，認識したスクリーンの方向に視線方向が向くように高速に制御されています．これにより飛行するスクリーンに対して安定した映像投影を可能にしました．群馬大学情報学部/大学院理工学府奥研究室 http://www.okulab.org/

MobileGoturns: Light-Weight Deep Regression Networks for High-speed Visual Feedback

00:56

MobileGoturns: Light-Weight Deep Regression Networks for High-speed Visual Feedback

This video shows stable tracking of a table tennis ball during a rally, even in an environment with sudden changes in ambient lighting and brightness. This stable tracking process is achieved using the MobileGoturns algorithm, a type of convolutional neural network. The algorithm is fast, and on the environment used in this experiment (Intel Core i7 7800X 3.50 [GHz], NVIDIA RTX A5000 24.0 [GB]), it took 1.39 ms to perform a single inference. The algorithm detects the position of the ball about 500 times per second, and records images centered on the ball by controlling the camera's gaze direction with a automated rotating mirror at high speed. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，周囲の照明環境・明るさが急に変わるような環境でも，ラリー中の卓球のボールを安定にトラッキングする様子を示しています．この安定したトラッキング処理は，畳み込みニューラルネットワークの一種であるMobileGoturnsアルゴリズムにより実現されています．このアルゴリズムは高速に処理が可能であり，この実験で利用した環境（Intel Core i7 7800X 3.50 [GHz]，NVIDIA RTX A5000 24.0 [GB]）では一回の処理を1.39msで実行可能でした．このアルゴリズムにより一秒間に500回ほどボールの位置を検出し，回転鏡でカメラの視線方向を高速に制御することで，ボールを中心にとらえた映像を記録しています．群馬大学情報学部/大学院理工学府奥研究室 http://www.okulab.org/

01:07

180 projector: wide angular range projection mapping method applied to flying avatar robot

This video demonstrates a method for dynamic projection mapping on a target moving at high speed in a wide area around the projection equipment, using a high-speed gaze control system called saccard mirror 3. And this projection method is named 180 Projector (one-eighty projector). The prototype system successfully projected images over a wide angular range using a rotating mirror, and kept projecting images on a flying drone while allowing the drone to move over a wide area. The video also demonstrates that the drone can be used as an avatar robot by using this system in combination with a teleconference system. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，ドローンのように高速かつ広範囲に動く対象に動的プロジェクションマッピングを可能にする手法である，180 projector (ワン　エイティ　プロジェクター)を紹介しています．180 projectorは，3枚の電動回転鏡により高速かつ広範囲に視線方向を制御するサッカードミラー3と，プロジェクター，高速ビジョンで構成されています．試作システムは180度を超える広い範囲に投影方向を制御でき，飛んでいるドローンを追従しながらドローン上に固定されたスクリーンに映像を安定して投影し続けることができました．また，この投影を利用して，ドローンをアバターロボットとして利用することも可能です．Zoomで接続した遠隔地の人の映像をドローンに投影し，またドローンから撮影した映像をZoomを介して遠隔地に送信した状態で会話を行うことに成功しました．群馬大学情報学部/大学院理工学府奥研究室 http://www.okulab.org/

Simulfocus Imaging

01:18

Simulfocus Imaging

This video demonstrates a new imaging method of quasi-simultaneous multi-focus imaging named simulfocus imaging by synchronous control of a special imager with arbitrary multi-exposure and quasi-simultaneous multi-image capturing function called 4- tap lock-in pixel image sensor, and an ultra fast focus tunable liquid lens called TAG lens. Since this imaging is done optically, the images are acquired directly and no reconstruction process is required. There are similar techniques called holography and light field that can measure multiple images of the focus simultaneously, but these techniques require a software to synthesize an image of a specific focus from the measured information. In contrast, the simulfocus imaging technology directly captures each image optically, allowing the camera to acquire images by itself, making it more suitable for use in factories. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は，ピントが異なる複数の画像を同時に撮影できる技術であるSimulfocus Imagingにより撮影した結果を示しています．この動画では，4箇所の異なるピント位置の画像をほぼ同時に撮影しており，一番左の画像はピント位置が最もカメラに近く，右に行くに従ってピント位置が遠くなっています．Simulfocus Imagingは，複数の画像を異なるタイミングで多重露光可能なマルチタップロックインピクセルイメージセンサーと，非常に高速に焦点距離を振動させられる液体レンズであるTAGレンズを利用することで実現されています．この撮像は光学的に行われるため，各画像は直接取得され，再構成処理を必要としません．似たような技術として，すべてのピント位置の情報を同時に測定できるホログラフィやライトフィールドと呼ばれる技術がありますが，これらの技術では測定した情報から特定の焦点の画像を合成するためのソフトウェア処理が必要となります．これに対し，Simulfocus Imaging技術は各画像を光学的に直接取得するため，カメラ単体で画像を取得することができ工場などでの使用により適しています．群馬大学理工学部電子情報理工学科奥研究室 http://www.okulab.cs.gunma-u.ac.jp/

3D tracking of a swimming cell using Temporally Coded Exposure camera and TAG lens

00:44

3D tracking of a swimming cell using Temporally Coded Exposure camera and TAG lens

3D tracking of a swimming cell was achieved by synchronizing a temporally coded exposure (TeCE) camera and a tunable acoustic gradient index (TAG) lens. Because the TeCE camera can acquire the specific focal plane from a TAG lens at 1000 fps, 3D information acquisition can be accomplished in several milliseconds. In this video, a set of three images captured at different focal planes was used to estimate 3D position of the cell, and an automated XYZ stage holding the container of the cell was controlled to keep the cell in the view volume of the microscope. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画は自由に遊泳する細胞を3次元的に追跡しながら映像と軌跡を計測した結果を示しています．TeCEカメラと呼ばれる特殊な多重露光カメラとTAGレンズと呼ばれる高速な可変焦点レンズを組み合わせることで，フレームごとに任意のフォーカス位置の画像を1000fpsで計測できるカメラモジュールを利用しており，3枚の異なるフォーカス位置の画像から対象の3次元位置を推定し，その対象が常に顕微鏡が観察できる空間的な範囲に収まるようにXYZの自動ステージで細胞を含む容器全体の位置を制御することでトラッキング動作を実現しています．群馬大学理工学部電子情報理工学科奥研究室 http://www.okulab.cs.gunma-u.ac.jp/

High-speed and Precise 3D Feedback based on SLF applied to Dynamic Projection Mapping

00:55

High-speed and Precise 3D Feedback based on SLF applied to Dynamic Projection Mapping

This video demonstrates dynamic projection mapping on the surface of cloth by measuring the three-dimensional deformation at high speed (ms) and with high precision (mm). The previously proposed structured light field (SLF) has a low measurement accuracy of several tens of mm, so it was not possible to measure delicate human movements. In order to solve this problem, we developed a new structured light field generation method that enables more accurate measurement by installing two projectors in parallel. This makes it possible to detect even slight indentations of about mm in one millisecond. In the movie, a square is drawn by a laser at the place where human pressed, and the size of the square is proportional to the amount of indentation. It can be seen that the square can be drawn in response to the quick movement of a person in an instant. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e この動画では，人間による布の三次元的な変形を高速・高精度に計測することで，布表面に対する動的プロジェクションマッピングをデモンストレーションしています．従来提案していた構造化ライトフィールド(SLF)では計測精度が数十mm程度と低く，人間の繊細な動きなどを計測することはできませんでした．これを解決するため，２台のプロジェクターを並行に設置することでより高精度な計測を可能にする新たな構造化ライトフィールド生成手法を開発しました．これにより，mm程度の僅かな押し込みもミリ秒で検出することが可能になりました．動画では，人間が押した箇所にレーザーで四角を描画しており，四角のサイズは押し込んだ量に比例しています．人間の素早い動きにも瞬時に対応して四角を描画できていることがわかります．群馬大学理工学部電子情報理工学科奥研究室 http://www.okulab.cs.gunma-u.ac.jp/

Edible Retroreflector made of Candy

01:00

Edible Retroreflector made of Candy

This video demonstrates an edible retroreflector made of candy. Dynamic projection mapping on a pan-cake based on the prototype as a position marker and compatibility with the conventional optical motion capture systems are also demonstrated. Previously proposed edible retroreflector was made of agar, granulated sugar, and water, so it was weak against drying and lost its function in a short period of time. However, solid foodstuffs like candy are stable against drying. Thus, we developed a method to fabricate an edible retroreflector made of candy using a silicone polymer mold. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e 飴製の食べられる再帰性反射材この動画では，飴製の食べられる再帰性反射材と，その応用例としてパンケーキ上への動的プロジェクションマッピングのマーカーとして利用した例と，市販の光学的モーションキャプチャーシステムで光学マーカーとして利用した例とを紹介します．これまで当研究室が提案してきた食べられる再帰性反射材は寒天を素材とするものでしたが，体積の半分以上が水で構成されているため，乾燥に弱く比較的短時間で機能を失ってしまうという欠点がありました．そのため，乾燥に強く硬い飴を用いて再帰性反射材を作る方法を研究し，シリコンゴムを型とすることで再帰性反射材に求められる精密な形状をもつ飴を作成することに成功しました．群馬大学理工学部電子情報理工学科奥研究室 http://www.okulab.cs.gunma-u.ac.jp/

Edible Projection Mapping: application example in a cafeteria

01:01

Edible Projection Mapping: application example in a cafeteria

This video demonstrates how the edible projection mapping can be applied to a practical scene. The supposed scene is a cafeteria in an amusement park. A guest is handed a tray loaded with a pancake on a dish. When a guest moves the tray to a certain area, a movie of a character is projected on the pancake. The projected image is sticking to the pancake using high-speed visual feedback control of projecting direction by automated rotational mirrors, which was proposed as "Lumipen" previously. The pancake position is measured by an edible retrorefrector placed on the pancake. The motion of the character changes depending on the position of the pancake. If a guest shifts the tray in forward direction, the character appears and welcomes the guest, then walks, and finally disappears from the pancake with good-by motion. Oku Laboratory, Gunma University, Japan http://okulab.wixsite.com/okulab-e 食べられるプロジェクションマッピング：カフェテリアを想定した応用例この動画では，料理へのプロジェクションマッピングの応用例として，テーマパークなどのカフェテリアでの応用を想定したデモンストレーションを紹介しています．パンケーキが載せてあるトレイを特定のエリアに動かすと，キャラクターがパンケーキ上に投影されます．キャラクターは常にパンケーキ上にくるように動的に制御されています．これは，当研究室が以前に開発した「ルミペン」により実現されており，また，パンケーキの位置はパンケーキ上に載せた食べられる再帰性反射材を手がかかりに高速カメラで認識しています．人がトレイを進行方向に動かすと，キャラクターがパンケーキ上に表れて，一定の動作をします．さらに動かすとキャラクターは別れの挨拶をしてパンケーキ上から消えます．群馬大学理工学部電子情報理工学科奥研究室 http://www.okulab.cs.gunma-u.ac.jp/

NEWS

2023年4月 G7群馬高崎デジタル・技術大臣会合に併設される展示会（4月28日～30日）にて、奥研究室の研究成果の展示を行います。

2022年11月関西テレビ「報道RUNNER」の特集番組で奥寛雅教授が解説をしました．リンク先のページで番組内容も見られます．
- 「没入感」がカギ　見て楽しむだけじゃない、進化系プロジェクションマッピングの世界　テーブルの上で調理する小さなシェフから最新医療まで，関西テレビ「報道RUNNER」，２０２２年１１月１７日，１７：２０頃

2022年11月ドローンによる空中ディスプレイに関する内容が上毛新聞で報道されました．
- 数10メートル先を飛ぶスクリーンに映像投影の技術開発　群馬大学，上毛新聞，２０２２年１１月７日

2022年10月ドローンによる空中ディスプレイに関する奥寛雅教授のインタビューがエフエム群馬で放送されました．
- 10月26日（水）fm gunma「news ONE」内，18:18頃

2022年9月本研究室M2の新井和樹さんが日本ロボット学会若手講演賞を受賞しました．昨年度に講演した以下の内容が評価されての受賞です．
- 新井和樹，奥寛雅 : フォーカスとシート光のミリ秒制御による高速ライトシート顕微鏡，第39回日本ロボット学会学術講演会(RSJ2021) (オンライン開催，2021.09.10)／予稿集，2K4-03

2022年6月本研究室M2の井内将俊さんが日本機械学会若手優秀講演フェロー賞を受賞しました．昨年度に講演した以下の内容が評価されての受賞です．
- 井内将俊，山登一輝，奥寛雅: TAGレンズとイメージインテンシファイアを用いた蛍光ビーズの高速三次元トラッキング，ロボティクス・メカトロニクス講演会2021 (ROBOMECH2021) (オンライン開催，2021.06.07)／講演論文集，1A1-J01

2022年3月 3月23日の学位記授与式で，本研究室M2の樋口詩乃さんが学業優秀者として群馬大学学長から表彰されました．
2021年4月 3月に報道された，ドローンにプロジェクションマッピングをすることでアバターロボットとしての利用を可能にする技術が毎日新聞でも報道されました．
- 高速で広範囲動く対象に画像を投影群大大学院研究室が新技術開発ドローンなど210度追随，毎日新聞（群馬版），２０２１年４月１０日

2021年4月本研究室の所属が情報学部になりました．2021年度以降に入学する学生の方で本研究室で卒業研究を希望する場合は情報学部に進学することが必要なので注意してください．
なお，大学院は引き続き理工学府の所属になります．

2021年3月本研究室の研究成果である，ドローンにプロジェクションマッピングをすることでアバターロボットとしての利用を可能にする技術が上毛新聞で報道されました．
- 高速ドローンに映像群大大学院研究室が開発アバターや広告活用期待，上毛新聞，２０２１年３月１１日
- 180 Projector（研究内容のページ）

2021年2月当研究室も参画している研究プロジェクトのシンポジウムが3/1に開催されます．人間を超える知能システムについて先端的な成果が数多く報告されますので，ご興味あれば是非ご参加ください．出席を希望される方は以下のリンク先より参加申し込みをお願い致します．
- JST ACCEL「高速画像処理を用いた知能システムの応用展開」シンポジウム
- 3月1日（月）9:30～18:00　Zoom
- https://biz.nikkan.co.jp/j-forum/accel-vision/

2020年12月当研究室の成果も含まれている，以前放送されたプロジェクションマッピングに関する番組がNHKワールドで再放送されました．
- Science View ～Projection Mapping Evolving to New Heights～(驚異の進化！最新プロジェクションマッピング)，NHKワールド，２０２０年１２月１６日（水）

2020年11月当研究室修士2年生の鈴木康平さんのOPJ2020における発表が，第6回OPJ優秀講演賞を受賞しました．
- 鈴木康平，深野悠吾，奥寛雅：1000-volume/s高速体積型ディスプレイにおける多ビット画像提示手法の提案，日本光学会年次学術講演会 Optics & Photonics Japan 2020 (OPJ2020) (オンライン開催，2020.11.17)／講演予稿集，17pB4

2020年8月当研究室と静岡大学の川人祥二教授のグループとの共同研究の成果である，Simulfocus Imaging（複数焦点距離画像の準同時計測）が上毛新聞とぐんま経済新聞で報道されました．
- 超高速でシャッター　カメラ1台で4焦点　群馬大と静岡大が開発，上毛新聞，２０２０年８月８日
- 画像検査を効率化異なるピントの画像を同時撮影，ぐんま経済新聞，２０２０年８月１３日

2020年7月奥寛雅准教授が７月１日より教授になりました．

2020年4月特任助教の山登一輝さんが宇都宮大学に助教として異動されました．引き続き当研究室の協力研究員として群馬大学にも所属してもらい共同で研究を行う予定です．

2020年2月当研究室の研究成果である，高速３次元カメラモジュールがぐんま経済新聞で報道されました．また，「fabcross for エンジニア」様で紹介されました．
- 高速３次元カメラモジュール開発，群大理工学部の奥准教授，画像計測・検査の高速高精度化目指す，ぐんま経済新聞，２０２０年２月１３日
- 市販の光学顕微鏡のフォーカス位置をマイクロ秒で変更できる高速3次元カメラモジュールを開発，fabcorss for エンジニア，２０２０年１月３１日

2019年12月昨年取材を受けて放送されたサイエンスZEROの内容が国際放送用に編集されたものが12月18日に放送されました．NHK On Demandで一定期間視聴できます．
- The Leading Edge: Projection Mapping Evolving to New Heights, Science View, NHK WORLD, 2019年12月18日

2019年6月　奥寛雅准教授が以下のテレビ番組にコメンテーターとして出演し，研究室の研究内容を紹介しました．
- 群馬テレビビジネスジャーナル
  - 6月21日（金）22:00-22:30
  - 6月23日（日）9:00-9:30　（再放送）

2019年6月　当研究室修士2年の木島広夢さんが中心に研究した成果である，高速・高精度の三次元フィードバックに基づく動的プロジェクションマッピングに関する内容をseamless様というサイトで紹介されました．

2019年5月　当研究室修士2年の佐藤美子さんとその研究成果の飴製の食べられる再帰性反射材とがTBSの「未来の起源」という番組で紹介されました．
- 5月5日22:54～＠TBS（関東地域，愛知，三重，岐阜）
- 5月12日20:54～＠BS-TBS（全国放送）

※両日共に同じ内容になります．

2019年3月　当研究室の研究成果である飴製の食べられる再帰性反射材が，３月１１日放送のテレビ東京ワールドビジネスサテライト中のトレンドたまごのコーナーで紹介されました．
- 甘～い反射材，トレンドたまご (T.T.File-4967)，ワールドビジネスサテライト，テレビ東京，2019年3月11日放送
  - 取材時の写真

2019年3月　佐藤美子さん（修士１年），船戸優希さん（学部２年）と奥寛雅准教授が情報処理学会のインタラクション２０１９で発表した「飴を材料とした食べられる再帰性反射材の提案と試作」が，以下の２つの賞を頂きました．
- インタラクティブ発表賞（一般投票）(3月6日)
- インタラクティブ発表賞（PC推薦）(3月8日)

2019年2-3月　当研究室の研究成果が以下の4紙で報道されました．報道された「飴による食べられる再帰性反射材」の詳細はこちらをご覧ください．
- 日刊工業新聞（2月28日），「あめで再帰性反射材　料理・動物の演技など　可食性生かし提案」
- 日経産業新聞（3月5日），「光を反射するアメ，食べられます」
- ぐんま経済新聞（3月7日），「料理でプロジェクションマッピング」
- 東京新聞（3月16日），「甘い反射材」を開発　群大・奥准教授ら　糖と水を原料に

2019年2月　当研究室の研究成果が2月１日付の日経産業新聞にて「寒天で食べられる反射板」として報道されました．報道された「食べられる再帰性反射材」の詳細はこちらをご覧ください．

・・・過去のニュースを読む

ABOUT US

奥研究室は群馬大学情報学部／大学院理工学府に所属する研究室です。高速画像処理技術と高速な可変光学デバイス・ユニット技術を基盤として、動的な映像制御や新たな画像利用計測手法などを研究しており、次世代メディアテクノロジーの創出を目指しています。

※当研究室での研究指導を希望される方は「当研究室を志望される方へ」をご覧ください．

ダイナミックイメージコントロールの応用

光学機器 (カメラ)・業務用放送機材の視線・映像制御
高速対象追跡撮像
高速オートフォーカス・全焦点画像撮影
医療・バイオ・ライフサイエンス・生命科学
- 顕微鏡・内視鏡作業, 顕微鏡下手術補助
- 医療検査診断 (細胞検査・血液検査・不妊治療の高速化と高精度化)
製造技術・FA・ロボットにおける撮像制御
監視カメラ高速化・広視野化
動的物体への情報提示
- 動的プロジェクションマッピング, 拡張現実感 (AR)，複合現実感 (MR)
食と映像情報メディア

bottom of page