3.3.1 [初心者向け] Stitcherを使った動画のスティッチング

  1. 動画ファイル形式
    image

    • Titanで録画した動画はH.264でエンコードされ、MP4形式で記録されます。

    • 録画ごとにSDカード(0)にフォルダが作られます。このフォルダには動画ファイルの他に、8つの低解像度プロキシ動画、プレビューファイル(Preview.mp4)、プロジェクトファイル(pro.prj)、データファイル(gyro.mp4)が保存されます。SDカード(1−8)には8つのレンズでそれぞれで撮影したオリジナルの高解像度動画が保存されます。

    • origin_*.mp4ファイルは8つのレンズそれぞれで録画したオリジナルファイルで、後処理のスティッチングで使います。解像度5280x2972の動画は最大11K解像度の2Dパノラマ動画にスティッチングできます。また解像度4800x3072の動画は最大10K解像度の3Dパノラマ動画にスティッチングできます。

    • Preview.mp4は解像度1920×960、フレームレート30fpsのプレビューファイルで、露出や構図などがすぐに確認できます。プレビューファイルではFlowState 手ブレ補正は有効にならないことに注意してください。

  2. Stitcherのインターフェース
    image

    • 上部にはメニューバーがあり、項目はFile (ファイル)、Settings (設定)、Language (言語)、、CrystalView Video Converter、Help (ヘルプ) です。インポート、googleストリートビューへのアップロード、ログの表示、パフォーマンス設定 (ハードソフトデコーディング)、ハードウェアパフォーマンステスト、言語設定、ログのアップロードなどの機能があります。

    • 左側にはファイル一覧が表示されます。フォルダを直接ドラッグするとファイルをインポートできます (Titanの複数の記録媒体からファイルをインポートする方法については、1.1.8の手順を参照ください)。

    • Titanの公式フォーラムが左下に表示されます。このフォーラムには最新のソフトウェア情報、チュートリアル、技術的な議論、Insta360へのフィードバックや提案を表示します。

    • 中央にはリアルタイムモニター画面が表示され、任意のレンズの撮影画像を表示します。

    • 下部にはタスク ステータスバーがあり、スティッチング処理の進行状況が確認できます。

    • 右上はスティッチング設定領域で、スティッチングのコンテンツタイプ (平面画像と立体画像) やスティッチングモード (オプティカルフローとテンプレート スティッチング) を設定できます。サンプリングタイプやブレンダータイプには通常デフォルト設定があります。

  3. ハードウェア性能テスト
    動画のスティッチングには高いハードウェア処理能力を必要とするため、Stitcherを使用する前にスピードテストを実行することをお薦めします。「settings (設定)」から『hardware performance test (ハードウェア性能テスト)』を選びます。テストの実行にはしばらく時間が掛かります。
    image

    image

    テスト終了後に結果が表示されます。
    image

  4. スティッチングの手順
    動画フォルダのインポート
    image

    「Content types (コンテンツタイプ)」には、『Monoscopic (モノスコープ)』、『Stereo (Left Eye on Top) (ステレオ(左目が上))』、『Stereo (Right Eye on Top) (ステレオ(右目が上))』があります。
    image

    スティッチングモード用に「New Optical Flow (新オプティカルフロー) 」または「Optical Flow (オプティカルフロー)」を選んで、現在の画像に従って新しいテンプレートを作成することができます。

    Optical Flow (オプティカルフロー): 基本的なオプティカルフロー アルゴリズムで一般的なスティッチングスピードで処理します。

    New Optical Flow (新オプティカルフロー): 通常のオプティカルフロー処理よりも約3倍速いスピードで処理しますが、撮影シーンによっては通常のオプティカルフロー処理よりもスティッチング効果が弱くなることがあります。「新オプティカルフロー」 の効果に満足できない場合は通常のオプティカルフローも試して、両者を比較してみることをお薦めします。

    Scene-specific Template (シーン別テンプレート) : 処理速度はもっとも速くなりますが、オプティカルフロー スティッチングではないため、パララックスエラーがある場合や近距離ではその効果は限定的となります。
    image

    Sampling Type (サンプリング タイプ) については、カメラが静止していれば3つのサンプリング タイプに大きな違いはありません。カメラが動いている場合は、一般的な動画スティッチングで行われているようにサンプリング速度を遅くするほど画質は良くなります。
    image

    Blender Type (混合方法) は通常、PCが自動的に選びます。

    CUDA: PCがNVIDIA製ビデオカードを使用している場合、NVIDIA CUDAテクノロジを選ぶとハードウェアアクセラレーションが有効になります。

    OpenCL: PCにNVIDIA製ビデオカードが搭載されていない場合でも、OpenCLによるハードウェアアクセラレーションを利用可能にします。

    CPU: ハードウェアアクセラレーションは使用せず、CPUだけで処理します。
    image

    Optical Flow Stitching Blender Angle(オプティカルフロースティッチング・ブレンダー角度): オプティカルフロースティッチングで画像サイズを調整し計算するのに使用します。この角度が大きくなるとスティッチングスピードが速くなり、スティッチング効果が向上し、最短スティッチング距離が短くなります。通常、最大角度に近くなるように設定すると良い結果が得られます(最大角度は2次元動画の場合で20度、3次元動画の場合で16度です)。

    Template Stitching Blender Angle(テンプレートスティッチング・ブレンダー角度): スティッチング境界の幅とスティッチング角度を適切に調整することでスティッチング境界が滑らかになりますが、重複部分が発生することがあります。

    Stitching Smooth Transition(スティッチング・スムーズ・トランジション): レンズごとの色収差の違いをソフトウェアアルゴリズムで補正することで、画像の明るさと色合いを均一にします。

    解像度またはコンピューターの性能によっては、動画生成時にハードウェアデコーディングまたはハードウェアエンコーディングを使用します。出力動画の解像度が4K * 4K以上またはMacでH.265エンコーディングを使用する場合、ハードウェアデコーディングはサポートされません。

    image

    ソフトウェア エンコーディングで高速なエンコーディングスピードを選ぶとスティッチング処理は速くなりますが、画質は劣化する可能性があります。

    例えば、被写体が静止しているシーンでは、エンコーディングスピードを速くしても画質はあまり劣化しませんが、被写体が動いている場合に高速にエンコーディングするとモザイク ノイズが発生する場合があります。そのため、撮影シーンやスティッチング画質、スティッチング スピードに応じてエンコーディング スピードを適切に選ぶ必要があります。

    CudaもしくはOpenCL ハードウェア アクセラレーションを選んだ場合にはハードウェア エンコーディングを使用するため、ソフトウェア エンコーディングのスピードは選べないことに注意してください。
    image

    特に重要なのは、動画スティッチングでのリファレンスフレームの設定です。Stitcherはリファレンスフレームのスティッチングパラメータをスティッチング処理全体に適用します。そのため、リファレンスフレームを選ぶ際には、動画の中で重要なシーン、例えば被写体となる人物にもっとも近づいた瞬間を含む時間帯のフレームを選ぶか、風景撮影のような遠近感の大きなシーンでリファレンスフレームを設定するようにしてください。
    image

    スティッチング効果のプレビューでは、リファレンスフレームを変更したり、場面の水平を調節したり、画角の中心を合わせたり、簡単な色補正を行ったりすることができます。Zenith Optimization (天頂補正) 機能は、天井に付いているエアコン排気口に合わせるなどの方法で画角を調整できます。3D動画のスティッチングには水平レベルの調整や画角の中心を合わせる機能はないことに注意してください。
    image

    エクスポートの対象となる時間帯を適切に選ぶことで、時間とPCのリソースを節約でき、後処理が簡単になります
    image

    プリセットされた解像度以外はカスタマイズが可能です。
    image

    image

    StitcherはH.264とH.265両方のコーディングをサポートします。H.265エンコーディングの方が高画質でファイルサイズも小さくなりますが、サポートしているVRプレーヤーや編集ソフトウェアは多くありません。とりわけ動画を編集する際には、H.265エンコーディングの方がハードウェアの処理能力を必要とします。
    image

    Profile (プロファイル) はH.264エンコーディング用の設定パラメータです。Baseline / Main / Highの圧縮率が高くなると、プレーヤーのデコーディングにも高い性能が必要となります。
    image

    一般にStitcherは解像度設定に基づき、プリセットされたビットレートに自動的に合わせます。お薦めのビットレートは11K 2Dパノラマ動画では455Mbps、10K 3Dパノラマ動画では750Mbpsです。
    image

    Audio Type (オーディオタイプ) で『Spatial (空間再現音声)』音声を選ぶと、4つのサウンドトラックが動画に組み込まれます。『Normal (ノーマル音声)』音声を選ぶと、ステレオ オービットだけが組み込まれます。
    image

    音声ファイルを動画とは別のファイルとしてエクスポートすることもできます。
    image

    出力ディレクトリパスと出力ファイル名は設定可能です。設定が完了すると、処理待ちのバッチリストに追加したり、直ちにスティッチングを実行したりできます。
    image

    スティッチング処理の進行状況はスティッチング タスクバーで確認できます。パノラマ動画のスティッチング中に処理を中止することも可能で、この場合Stitcherはスティッチング処理が完了した部分を自動的に保存します。
    image