3.3.1 [初心者向け] Stitcherを使った動画のスティッチング

1. 動画ファイル形式
   
   
   
   • Pro 2で録画した動画はH.264でエンコードされ、MP4形式で記録されます。
     
     
   • 録画ごとにSDカードにフォルダが作られます。このフォルダには動画ファイルの他に、6つの低解像度プロキシ動画、プレビューファイル(Preview.mp4)、プロジェクトファイル(pro.prj)、データファイル(gyro.mp4)が保存されます。6枚のMicroSDカードには6つのレンズそれぞれで撮影したオリジナルの高解像度動画が保存されます。
     
     
   • origin_*.mp4ファイルは6つのレンズそれぞれで録画したオリジナルファイルで、後処理のスティッチングで使います。解像度3840×2160の動画は最大8K解像度の2Dパノラマ動画にスティッチングできます。また解像度3840×2880の動画は最大8K解像度の3Dパノラマ動画にスティッチングできます。
     
     
   • Preview.mp4は解像度1920×960、フレームレート30fpsのプレビューファイルで、露出や構図などがすぐに確認できます。プレビューファイルではFlowState 手ブレ補正は有効にならないことに注意してください。
     
     
2. Stitcherのインターフェース
   
   
   
   • 上部にはメニューバーがあり、項目はFile (ファイル)、Settings (設定)、Language (言語)、Help (ヘルプ) です。インポート、googleストリートビューへのアップロード、ログの表示、パフォーマンス設定 (ハードソフトデコーディング)、ハードウェアパフォーマンステスト、言語設定、ログのアップロードなどの機能があります。
     
     
   • 左側にはファイル一覧が表示されます。フォルダを直接ドラッグするとファイルをインポートできます (Pro 2の複数の記録媒体からファイルをインポートする方法については、1.1.8の手順を参照ください)。
     
     
   • Proの公式フォーラムが左下に表示されます。このフォーラムには最新のソフトウェア情報、チュートリアル、技術的な議論、Insta360へのフィードバックや提案を表示します。
     
     
   • 中央にはリアルタイムモニター画面が表示され、任意のレンズの撮影画像を表示します。
     
     
   • 下部にはタスク ステータスバーがあり、スティッチング処理の進行状況が確認できます。
     
     
   • 右上はスティッチング設定領域で、スティッチングのコンテンツタイプ (平面画像と立体画像) やスティッチングモード (オプティカルフローとテンプレート スティッチング) を設定できます。サンプリングタイプやブレンダータイプには通常デフォルト設定があります。被写体が暗い場合に最上位のフレームでスティッチングを最適化するため、デフォルトサークル位置 (Default Circle Position) が使われます。
     
     
3. ハードウェア性能テスト
   動画のスティッチングには高いハードウェア処理能力を必要とするため、Stitcherを使用する前にスピードテストを実行することをお薦めします。「settings (設定)」から『hardware performance test (ハードウェア性能テスト)』を選びます。テストの実行にはしばらく時間が掛かります。
   
   
   
   
   テスト終了後に結果が表示されます。
   
   
   
4. スティッチングの手順
   動画フォルダのインポート
   
   
   「Content types (コンテンツタイプ)」には、『Monoscopic (モノスコープ)』、『Stereo (Left Eye on Top) (ステレオ(左目が上))』、『Stereo (Right Eye on Top) (ステレオ(右目が上))』があります。
   
   
   スティッチングモード用に「new optical flow (新オプティカルフロー) 」または「optical flow (オプティカルフロー)」を選んで、現在の画像に従って新しいテンプレートを作成することができます。
   
   オプティカルフロー: 基本的なオプティカルフロー アルゴリズムで一般的なスティッチングスピードで処理します。
   
   新オプティカルフロー: 通常のオプティカルフロー処理よりも約3倍速いスピードで処理しますが、撮影シーンによっては通常のオプティカルフロー処理よりもスティッチング効果が弱くなることがあります。「新オプティカルフロー」 の効果に満足できない場合は通常のオプティカルフローも試して、両者を比較してみることをお薦めします。
   
   Scene-specific Template (シーン別テンプレート) : 処理速度はもっとも速くなりますが、オプティカルフロー スティッチングではないため、パララックスエラーがある場合や近距離ではその効果は限定的となります。
   
   
   Sampling Type (サンプリング タイプ) については、カメラが静止していれば3つのサンプリング タイプに大きな違いはありません。カメラが動いている場合は、一般的な動画スティッチングで行われているようにサンプリング速度を遅くするほど画質は良くなります。
   
   
   Blender Type (混合方法) は通常、PCが自動的に選びます。
   
   CUDA: PCがNVIDIA製ビデオカードを使用している場合、NVIDIA CUDAテクノロジを選ぶとハードウェアアクセラレーションが有効になります。
   
   OpenCL: PCにNVIDIA製ビデオカードが搭載されていない場合でも、OpenCLによるハードウェアアクセラレーションを利用可能にします。
   
   CPU: ハードウェアアクセラレーションは使用せず、CPUだけで処理します。
   
   
   Optical flow stitching range (オプティカルフロースティッチングレンジ) はオプティカルフロースティッチングの画像領域を調節したり計算したりするのに使用します。この角度を大きくすると処理速度は遅くなり、スティッチング効果は良くなり、スティッチング距離は近くなります。通常は可能ならば角度を最大にすることをお勧めします (最大角度は2D動画で20度、3D動画で16度です)。
   
   Template stitching range (テンプレートスティッチングレンジ) はスティッチングラインの幅を調節するのに使用します。スティッチング 角度を適度に増やすとスティッチングラインの繋ぎ目が滑らかになりますが、ゴーストが発生する場合があります。
   
   Smooth Stitch (スムーズスティッチ) はアルゴリズム処理で発生するレンズごとの色の違いを除去することで、画像全体で明るさや色の整合性を取ります。
   
   ハードウェアによるデコードやエンコードを行うかどうかはエクスポートする動画の解像度やコンピューターの性能に基づいて判断します。エクスポートする動画の解像度が4Kx4Kよりも大きい場合、またはMacでH.265エンコードした動画の場合、ハードウェアデコードはサポートされません。
   
   
   
   場面の上部に遮蔽物がある、または暗い場面で、デフォルトサークル位置を使用すると、スティッチング効果が向上することがあります。
   
   2Dパノラマ動画をエクスポートする際、ジャイロスコープ手ブレ補正により自動的に水平出しが行われますが、3D動画のスティッチングではジャイロスコープ手ブレ補正をサポートしません。動画の解像度とPCの性能に基づいてハードウェア デコーディングとハードウェア エンコーディングを選んでください。エクスポートされた動画の解像度が4K×4Kよりも高い場合、またはMacでH.265エンコーディングを使用する場合は、ハードウェア デコーディングはサポートされません。
   
   
   ソフトウェア エンコーディングで高速なエンコーディングスピードを選ぶとスティッチング処理は速くなりますが、画質は劣化する可能性があります。
   
   例えば、被写体が静止しているシーンでは、エンコーディングスピードを速くしても画質はあまり劣化しませんが、被写体が動いている場合に高速にエンコーディングするとモザイク ノイズが発生する場合があります。そのため、撮影シーンやスティッチング画質、スティッチング スピードに応じてエンコーディング スピードを適切に選ぶ必要があります。
   
   CudaもしくはOpenCL ハードウェア アクセラレーションを選んだ場合にはハードウェア エンコーディングを使用するため、ソフトウェア エンコーディングのスピードは選べないことに注意してください。
   
   
   特に重要なのは、動画スティッチングでのリファレンスフレームの設定です。Stitcherはリファレンスフレームのスティッチングパラメータをスティッチング処理全体に適用します。そのため、リファレンスフレームを選ぶ際には、動画の中で重要なシーン、例えば被写体となる人物にもっとも近づいた瞬間を含む時間帯のフレームを選ぶか、風景撮影のような遠近感の大きなシーンでリファレンスフレームを設定するようにしてください。
   
   
   スティッチング効果のプレビューでは、リファレンスフレームを変更したり、場面の水平を調節したり、画角の中心を合わせたり、簡単な色補正を行ったりすることができます。Zenith Optimization (天頂補正) 機能は、天井に付いているエアコン排気口に合わせるなどの方法で画角を調整できます。3D動画のスティッチングには水平レベルの調整や画角の中心を合わせる機能はないことに注意してください。
   
   
   エクスポートの対象となる時間帯を適切に選ぶことで、時間とPCのリソースを節約でき、後処理が簡単になります
   
   
   プリセットされた解像度以外はカスタマイズが可能です。
   
   
   
   
   StitcherはH.264とH.265両方のコーディングをサポートします。H.265エンコーディングの方が高画質でファイルサイズも小さくなりますが、サポートしているVRプレーヤーや編集ソフトウェアは多くありません。とりわけ動画を編集する際には、H.265エンコーディングの方がハードウェアの処理能力を必要とします。
   
   
   Profile (プロファイル) はH.264エンコーディング用の設定パラメータです。Baseline / Main / Highの圧縮率が高くなると、プレーヤーのデコーディングにも高い性能が必要となります。
   
   
   一般にStitcherは解像度設定に基づき、プリセットされたビットレートに自動的に合わせます。お薦めのビットレートは4K 2Dパノラマ動画では60Mbps、4K 3Dパノラマ動画では120Mbpsです。
   
   
   Audio Type (オーディオタイプ) で『Spatial (空間再現音声)』音声を選ぶと、4つのサウンドトラックが動画に組み込まれます。『Normal (ノーマル音声)』音声を選ぶと、ステレオ オービットだけが組み込まれます。
   
   
   音声ファイルを動画とは別のファイルとしてエクスポートすることもできます。
   
   
   出力ディレクトリパスと出力ファイル名は設定可能です。設定が完了すると、処理待ちのバッチリストに追加したり、直ちにスティッチングを実行したりできます。
   
   
   スティッチング処理の進行状況はスティッチング タスクバーで確認できます。パノラマ動画のスティッチング中に処理を中止することも可能で、この場合Stitcherはスティッチング処理が完了した部分を自動的に保存します。