2.3.1 [初心者向け] Stitcherによる静止画のスティッチング

  1. 静止画ファイルの形式
    image

    • 静止画はjpgまたはdng形式で保存されます。jpg写真はすべてSDカードに保存されます。RAW+JPGで撮影すると、低速度撮影モードのdng (raw) 画像だけが6枚のMicroSDカードに保存されます。それ以外のモードで撮影したjpgファイルとdngファイルはすべてSDカードに保存されます。

    • RAW+JPG で撮影した場合、同じ形式の画像は各メモリーカードの同じ名前のフォルダに保存されます。

    • 画像以外にプロジェクトファイル (pro.prj) とデータファイル (gyro.mp4) を含むフォルダが撮影ごとに作られます。

    • 各レンズで撮影したオリジナルファイルはスティッチング用に origin_*.jpg という名前で保存されます。解像度は4000×3000で、スティッチングにより7680×3840 パノラマ、または7680×7680 3Dパノラマ写真に合成することができます。

    • thumbnail.jpg は解像度1920×960のプレビュー画像です。撮影モードによってはパフォーマンスの影響によりプレビュー画像を作成できません。

  2. Stitcher のインターフェース
    image

    • 上部にはメニューバーがあり、項目はFile (ファイル)、Settings (設定)、Language (言語)、Help (ヘルプ) です。インポート、googleストリートビューへのアップロード、ログの表示、パフォーマンス設定 (ハードソフトデコーディング)、ハードウェアパフォーマンステスト、言語設定、ログのアップロードなどの機能があります。

    • 左側にはファイル一覧が表示されます。フォルダを直接ドラッグしてインポートできます。スティッチングボックスはPro独自のスティッチング機能です。スティッチングボックスは現在Pro 1のみサポートします。

    • Proの公式フォーラムが左下に表示されます。このフォーラムには最新のソフトウェア情報、チュートリアル、技術的な議論、Insta360へのフィードバックや提案を表示します。

    • 中央にはリアルタイムモニター画面が表示され、任意のレンズの撮影画像を表示します。

    • 下部にはタスク ステータスバーがあり、スティッチング処理の進行状況が確認できます。

    • 右上はスティッチング設定領域で、スティッチングのコンテンツタイプ (平面画像と立体画像) やスティッチングモード (オプティカルフローとテンプレート スティッチング) を設定できます。サンプリングタイプやブレンダータイプには通常デフォルト設定があります。被写体が暗い場合に最上位のフレームでスティッチングを最適化するため、デフォルトサークル位置 (Default Circle Position) が使われます。

    • 右下隅には出力設定があり、エクスポート時の解像度や出力ディレクトリパス、出力ファイル名を設定できます。

    • スティッチング効果のプレビューでは、さまざまな再生モードでのスティッチング効果を確認したり、スティッチングのメインアングルを手動で調整したり、最上位のフレームでスティッチングを最適化したり、色補正を行ったりすることができます。

  3. スティッチングの手順

    画像フォルダのインポート
    image

    コンテンツタイプには、モノスコープ、ステレオ(Left Eye on Top (左目を上))、ステレオ(Right Eye on Top (右目を上))、ステレオ(Distinguish two eyes(両目を区別)) があります。
    image

    スティッチングモード用に「new optical flow (新オプティカルフロー) 」または「optical flow (オプティカルフロー)」を選んで、現在の画像に従って新しいテンプレートを作成することができます。

    オプティカルフロー: 基本的なオプティカルフロー アルゴリズムで一般的なスティッチングスピードで処理します。

    新オプティカルフロー: 通常のオプティカルフロー処理よりも約3倍速いスピードで処理しますが、撮影シーンによっては通常のオプティカルフロー処理よりもスティッチング効果が弱くなることがあります。「新オプティカルフロー」 の効果に満足できない場合は通常のオプティカルフローも試して、両者を比較してみることをお薦めします。

    Scene-specific Template (シーン別テンプレート) : 処理速度はもっとも速くなりますが、オプティカルフロー スティッチングではないため、パララックスエラーがある場合や近距離ではその効果は限定的となります。
    image

    Sampling Type (サンプリング タイプ) については、カメラが静止していれば3つのサンプリング タイプに大きな違いはありません。カメラが動いている場合は、一般的な動画スティッチングで行われているようにサンプリング速度を遅くするほど画質は良くなります。
    image

    Blender Type (混合方法) は通常、PCが自動的に選びます。

    CUDA: PCがNVIDIA製ビデオカードを使用している場合、NVIDIA CUDAテクノロジを選ぶとハードウェアアクセラレーションが有効になります。

    OpenCL: PCにNVIDIA製ビデオカードが搭載されていない場合でも、OpenCLによるハードウェアアクセラレーションを利用可能にします。

    CPU: ハードウェアアクセラレーションは使用せず、CPUだけで処理します。
    image

    場面の上部に遮蔽物がある、または暗い場面で、デフォルトサークル位置を使用すると、スティッチング効果が向上することがあります。

    Gyroscopic stabilization (ジャイロスコープによる手ブレ補正) 機能は、2Dパノラマ写真をエクスポートする際に自動的に水平出しをします。
    image

    スティッチング効果のプレビューでは、画面の水平や画角の中心を調整したり、簡単な色補正を行ったりすることができます。Zenith Optimization (天頂補正) 機能は、天井に付いているエアコン排気口に合わせるなどの方法で画角を調整できます。
    image

    解像度は、プリセットされているものを除き、出力設定でカスタマイズできます。
    image

    image

    出力ディレクトリパスと出力ファイル名は設定可能です。設定が完了すると、処理待ちのバッチリストに追加したり、直ちにスティッチングを実行したりできます。
    image

    スティッチング処理の進行状況はタスクバーに表示されます。処理完了後にフォルダを開いてスティッチング処理済みの写真を確認できます。
    image

  4. 特殊撮影した写真のスティッチング

    *. DNG ファイルはRAW+JPGで撮影した際に作られる画像で、オリジナルの情報を保持しており、後処理の余地を多く残しています。後処理では最初にStitcherでスティッチング処理を行う必要があります。スティッチング処理が完了すると、合成したDNG形式でパノラマ画像はPhotoshopで後処理し、パノラマ写真としてjpg形式でエクスポートできます。

    連写モードで撮影した10枚の写真は10枚のパノラマ写真にエクスポートできます。スティッチング中にスティッチング効果をプレビューすることはできません。スティッチング処理が完了すると、output _ *. jpg という名前の写真が10枚生成されます。

    オートブラケットファイルは、異なる露出で撮影した3、5、7、9枚の写真の集合です。スティッチング完了後、高ダイナミックレンジ (HDR) の写真が生成されます。9枚のグループを例に取ると、同時に異なる露出で撮影した9枚のパノラマ写真をエクスポートして別のソフトウェアにインポートし、HDR写真を合成できます。

    異なる露出で撮影した9枚のパノラマ写真と1枚の合成パノラマ写真の例を下に示します。
    image

    Photoshopを使用したHDR画像の作成手順の例を以下に示します。
    image

    image

    image

低速度撮影画像のスティッチング

Insta360 Pro 2で撮影した写真はPIC_* という名前のフォルダに一連の写真グループの形で保存されます。

低速度撮影画像はInsta360 Stitcher を使って最大で8K解像度のパノラマ画像に合成できます。

例えば、低速度撮影した605グループのパノラマファイルをインポートし、8K 解像度の2Dパノラマ写真にエクスポートしてみたところ、処理に12分ほど掛かりました。最終的に605枚のパノラマ写真をG:\footages\Beijing Timelapse フォルダにエクスポートしました。

注意! 低速度撮影した写真をエクスポートする場合、ジャイロスコープ手ブレ補正処理はゴーストが発生するため適用できません。
image

スティッチングプレビューインターフェースで、画面の中心位置を十七孔橋に合わせ、参照ラインを使って水平出しを行ってから保存し、現在設定している効果を適用しています。
image

Adobe Premiere CC2018を起動し、順にインポートします。
image

新しくシーケンスを作成し、解像度を7680×3840に設定します。
image

高解像度の低速度撮影 プロジェクトを処理しているので、高いPC処理能力が必要です。通常、処理中に遅れが生じます。画面が点滅した場合、LRT (Lightroom Timelapse) やDE: Flicker などのソフトウェアを使用してフリッカーを除去することができます。

DE:Flicker プラグインはAfter Effects をサポートし、フリッカーを起こしている箇所を除去し、画像の詳細を自動的に保持して写真全体が自然に見えるようにします。このプラグインは人工光源によるフリッカーを修正するだけでなく、異なる周波数で点滅するフリッカーの原因となる被写体を修正することもできます。

DE:Flicker には以下の3種類のフィルターが含まれます。

DE:Flicker High Speed は高速撮影で生成したフリッカーを処理します。

DE:Flicker Timelapse はタイムラプス撮影で生成したフリッカーを処理します。

DE:Flicker Auto Levels は色や明るさなどの画面属性を自動的に分析し、フリッカーを自動的に除去します。

編集ソフトウェアでは、編集する素材は色補正した後でスティッチングされエクスポートされます。

H.264エンコーディングでの解像度の制限により、エクスポートできるMP4動画の解像度は最大で4096x2048です (Adobe Premiere 2018 Pro CCの最新版では最大解像度8KのH.264形式がサポートされますが、これ以前のバージョンではサポートされません)。より高い解像度の動画を作成する必要がある場合は、他の形式にエクスポートする必要があります。 例えば、QuickTime 形式や、エンコーダとしてGoPro CineForm を選ぶか、またはHEVC 形式を選ぶことができます。 動画は7680×3840の解像度でエクスポートできます。
image

この動画はVRパノラマ動画として設定する必要があることに注意してください。そうすることで、メタデータパノラマ情報が動画に書き込まれます。
image