How to make

みんなのラズパイコンテスト2016

コンテスト応募テキスト

  1. 応募内容の概要(作品名)
    360度バレットタイム撮影システム
  2. 応募内容の詳細
    1. システム構成
      1. USBカメラ(Webカメラ)60個を直径3.6mの円に内接する正十二角形上に配置しRaspberry Pi B+ 30個でコントロールするバレットタイム撮影システムです。

        bullet-1

        図1 360度バレットタイム撮影システム

      2. 全体構成は図2のとおりです。

        bullet_diagram

        図2 システム構成図

      3. クラスタ・ユニット
        Raspberry Piは8個を1クラスタユニット(図3)とし4ユニット32個がネットワークを組んでシステムを構成します。Raspberry Pi1個に2個のUSBカメラを接続し30個のRaspberry Piで60個のカメラをコントロールします。残りRaspberry Pi 2個は予備機として用います。

        bullet-3

        図3 クラスターユニット(元々は並列計算の授業用教材)

        bullet-2

        図4 正12角形の各辺にカメラを5個づつ設置

    2. 撮影ソフトウェア
      1. カメラ設置サポート
        60個すべてのカメラは同一点に視線を合わせておかなければ静止画を並べて動画とした場合にブレを生じて非常に見にくい動画となるため,カメラ設置時にマーカーを置いてマーカーが画面の中央に来るようにカメラの視線を手動で合わせます。
        このとき,画面中央とマーカーの偏差を求めグラフィック表示して視線合わせをサポートするソフトウエアを作成しました。また,マーカーと画面中央をビッタリ合わせることは困難ですので,最終的なマーカーと画面中央の偏差を記憶させ位置補正データとして用います。(図5)

        makar_traking

        図5 カメラ位置合わせツールの動作検証

      2. 静止画撮影
        赤外線リモコンの信号をデコードして得たシャッター信号をGPIOに入力し,これに同期して静止画を撮影します。撮影した静止画には視線のズレがありますので,これを先に記憶しているマーカーと画面中央の偏差データを使って位置補正して保存します。PythonとOpenCVを用いて作成
      3. 動画生成
        各ノードで撮影した静止画はネットワークを介してファイル共有によりマスターPCに送られます。マスターPCは送られて来た静止画をフリーソフトのffmpegで並べて動画を生成します。 撮影から動画生成完了までの所要時間は約4分です。

    3. 今後の展開
      • Webカメラを単純なネジ止めで多角形フレームに固定しているため,カメラの位置合わせに非常な手間がかかっています。これを解決するためパン,チルト,ロールの3軸を調整スクリューで容易に可変できるマウンターを60個製作する予定です。
      •  使用しているWebカメラの画角が狭く1.8mの距離では大人の全身立像を撮影することができません。これを解決するため広角Webカメラへの換装,もしくは,現在のカメラにワイドコンバージョンレンズを装着して画角を広げる予定です。
      •  生成した動画の動画サイトへの自動投稿機能の付与を試行していす。
      • ジャンブした瞬間を撮影できるような高速精密シャッター同期の実現。
      • カメラ設置フレームのバックを単色スクリーンにしクロマキー処理によりバレットタイム動画と別途用意する360度パノラマ画像を合成して,原っぱ,森,海,海中,宇宙など様々な場所(背景)でのバレットタイム動画の生成。
      • ステレオ・バレットタイム動画を生成し立体視ゴーグルで見る3Dバレットタイムの作成。
      • 3Dスキャナーへの応用。
    4. 製作経緯
      • 2014年
        Raspberry Piクラスターマシンのエンターテイメント的応用としてバレットタイム撮影システムを発案し検証システムを製作し動作テスト。
      • 2015年
        Raspberry Pi B+ 32個カメラ32個による180度バレットタイム撮影システム製作・稼働。
        OpenCVを活用した視線合わせと位置補正を実験
      • 2016年
        カメラを60個に増設し360度撮影システム製作。
        カメラ位置合わせ,静止画位置補正機能実装。
    5. その他
      1. 製作動機1 (先ず、Raspberry Pi並列計算機ありき)
        スーパーコンピュータの原理と並列処理を学習する教材としてRaspberry Pi16個 によるクラスターマシンを製作しました。授業以外では遊んでいるのでエンターテイメント的な応用を種々試してバレットタイム撮影システムの制作に至りました。
      2. 製作動機2 (『箱庭作品』からの脱却)
        日本の(趣味の)工作シーンでは小型で精緻なものが作られるのがその特徴です。
        特に電子工作系ではその傾向が顕著です。私も小さな作品を作りますが、「たまにはでかい作品を作って見よう」と制作しました。
        本システムをRaspberry Piを用いた電子工作の観点から見ると,その物理的大きは他の比ではありません。
      3. 画像処理は素人 (PythonとOpenCVで自学自習)
        画像処理については本システムを制作するまで全くその知識を持っていませんでした。PythonとOpenCVの組み合わせで、Raspberry Pi にWebカメラを接続して静止画を撮影するところからワンステップずつ必要な技法を自学自習しています。
      4. 動作検証が大変 (自宅ねずみ小屋では全展開不可能)
        狭隘な自宅では,このシステムを全展開することができません。自宅ではRaspberry Pi4ノード,カメラ8個程度の小規模システムでハード,ソフトの開発とデバックを行い,不具合なく動作する状態に追い込んで,公民館等の広いスペースを借りてRaspberry Pi 30ノード,カメラ60個のシステムを組んで総合動作試験を行います。
        2016年4月にTechShop会員になりTechShopの工作スペースを利用しております。作業スペースの広さや調整デバッグ環境に問題はないのですが、資材の運搬に手間がかかる問題が生じています。

        jizen_a

        TechShopで動作テスト中

      5.  量が質を変える
        本システムでRaspberry Pi 1個がやっていることは単純です「シャッター信号が来たら静止画撮影し保存する」これだけです。が、RasPi30個とカメラ60個を協調させるとRasPi1個だけ見ているときには思いも付かない効果を得ることができます。
        「量が質を変える」と言うことを、この作品制作を通して実感しています。

技術賞を受賞

prizewinner

 

Copyright © kosakalab All Rights Reserved.
Powered by WordPress & BizVektor Theme by Vektor,Inc. technology.