MLB開幕戦で世界が驚いた「自由視点映像」
3月のMLB開幕シリーズでのロサンゼルス・ドジャース対シカゴ・カブス戦、大谷翔平選手のホームランのリプレイで使われた自由視点映像を米メディア「FOX Sports activities」がXで紹介するや、ソーシャルで話題になった。自由視点映像により、大谷選手のバットにボールが当たったところから、カメラはピッチャー後ろからゆっくりと大谷選手の横へとアングルを移し、最終的にホームベース側から打球を見送る視点に切り替わった。
開幕戦ではまた、カブス対巨人で外野選手のファインプレーのリプレイも注目を集めた。リプレイの自由視点映像はファインプレーの動きを選手の後ろから追った後、中継では映っていない選手のガッツポーズもとらえていた。
この自由視点映像技術を実現しているのは「ボリュメトリックビデオ」という映像技術だ。東京ドームでは2023年よりキヤノン製のボリュメトリックビデオシステムを本格的に導入しており、現在は読売ジャイアンツのホームゲームで活用されている。日本テレビの中継でもお馴染みだが、米国の視聴者の目には新鮮に映ったようだ。
カメラ125台で捉えた画像から立体映像を構築
ボリュメトリックビデオは、空間を多数のカメラで撮影し、2次元の撮影データから3次元データを作り出す技術だ。体積（＝quantity）情報を取得することから、Volumetric（ボリュメトリック）と言われる。あらゆる方向から撮影することで、空間を丸ごと記録蓄積することが可能になる。その後、色やテクスチャを貼りレンダリング処理を行う。人物など一部のデータは背景を切り分けて処理する。
複数のカメラ映像を瞬時に切り替えるという手法はすでに用いられているが、ボリュメトリックビデオは撮影した空間全体を3Dデータ化するため、好きなアングルから映像として再現できる。先述の自由視点映像のほか、3Dのフィギュアなどのアウトプットが可能になる。
東京ドームには現在、上部のキャットウォークやバックスクリーン下部などに125台の4Kカメラが設置されている。カメラは「EOS C300 Mark II」を改造したもので、60fpsでの撮影が可能だ。2022年に87台でスタートしたが、毎年台数を増やしてきた。
重要なのは、これら125台のカメラが正確に同期していることだ。カメラのカスタマイズにより1マイクロ秒以下の精度で同期撮影を実現している。これについて、キヤノン イメージング事業本部 IMG第三事業部 IMG32事業推進センター所長 藤井賢一氏は、「同時撮影は重要なポイント。マイクロ秒以下でカメラが同期して、一斉にシャッターを切っています」と説明する。
3秒へのこだわりの背景ーー実用化の転機となったラグビーW杯
ボリュメトリックビデオ生成のための一連の処理を、キヤノンはわずか3秒で完了させる。
この3秒のこだわりは、この技術を開発する過程で得た。これまでの歴史を紐解くと、キヤノンがボリュメトリックビデオ技術の開発を開始したのは2016年。「我々は静止画、一眼カメラを強みとしてきたが、これからは映像、それも3Dにも拡大しようという思いで開発がスタートした」と藤井氏。そこから、「これまでの中継では見られなかったようなシーンを含めて、自分の好きな視点で映像を見られるようにしたい」とアイディアが膨らんでいった。
そこで社内のカメラ、ハードウェア、画像処理、ネットワークの専門家を集めてプロジェクトチームを結成。初期はサッカーに着目して実験撮影を重ねた。藤井氏と同じくIMG32事業推進センターに所属する部長の神谷泰次氏は、「リアルタイム処理ができないため、撮ったデータを持ち帰り実験室で時間をかけて3Dのデータ化していました」と振り返る。
右が同 神谷泰次氏
CIO.com
転機となったのが2019年のラグビーワールドカップ日本大会だ。日産スタジアムに125台のカメラを設置し、決勝を含む6試合を撮影した。この時点では試合の1時間後にボリュメトリックビデオの映像ファイルを提供していたため、残念ながら中継では利用されなかった。しかし、ネット配信で公開された自由視点映像は大きな反響を呼んだ。
中継ですぐに配信されればもっと喜ばれるかもしれないーー目指したのは、放送で使用可能な時間である「3秒で生成」だ。そのために、アルゴリズム、ハードウェア、ソフトウェアなど多面的なアプローチで改善した。
「実は、技術的には”3秒で生成”は実現していました。ただし、自由視点映像にする効果的な試合シーンの選択、リプレイ視聴してもらいたいカメラアングルでの映像制作などに時間を要していたため、1時間後の映像ファイル提出となっていました。放送で使用可能になるために、3秒生成の基本を維持しつつ、高画質化、カメラアングル即時制作、中継とのワークフロー連携が必要でした」と神谷氏は詳細を説明する。
そうやって開発した現在のシステムは、エッジで3Dモデルの生成、そして3Dモデル化された映像データを土台にしたボリュメトリックビデオの生成処理を行う。高速な処理を実現する鍵は独自のハードウェア技術にある。カメラ近くに設置したハードウェアで前処理を行った後にデータをサーバーに送るが、AIを利用した３Dモデル生成に必要な一部の画像処理も行なっているという。ここは、クラウドで多数のサーバーで処理を行うアプローチとは大きく異なる点だ。
こうやって、放送可能なボリュメトリック映像を3秒で実現するに至った。「ボリュメトリックビデオは他社も手掛けているが、ここは我々の強み」と藤井氏は胸をはる。
エンタメから技術伝承まで広がる用途、将来は「ワンソース・マルチユース」を目指す
ラグビーワールドカップで好評を得たことから、スポーツ用途ではNBA（Nationwide Basketball Affiliation）が2021-2022シーズン、2022-2023シーズンで活用するなどのボリュメトリックビデオの事例が生まれている。スポーツ以外にも広がっており、能楽ではボリュメトリックビデオを使うことで役者の動きを立体的に見せる映像が仕上がった。
キヤノンは2020年、神奈川・川崎の事業所にボリュメトリックビデオの専用スタジオを用意した。撮影可能な範囲は8メートルx8メートル。それを、159台の専用カメラが囲む。バスケットなどのスポーツ、ミュージックビデオやファッションショーなどの撮影が行われている。コロナ禍では日本にいる空手の師範が海外の道場に型を配信するという新しい活用方法も生まれた。介護や寿司職人といった匠の技の伝承を目的とした撮影も増えているそうだ。新しいところでは、NHKの連続テレビ小説「あんぱん」のオープニング映像制作が行われた。
このように用途の広がりを感じているが、課題もある。現状で認知が高いとは言い難い技術をどう広げるか、そして起爆につながるキラーアプリケーションがまだ見えていないことだ。
藤井氏らはボリュメトリックビデオ撮影のための設備も課題にあげる。高品質な映像を実現するためには高性能なカメラを多数用意する必要がある。エッジでの処理のためにサーバーなどの機材も必要となり、操作をするオペレーターも配置しなければならない。そのような設備をスタジアムに設置・導入することは時間とコストがかかる。解決の道筋はこれからのようだ。
動画の時代、ボリュメトリックビデオをはじめとしたエッジコンピューティングにおける動画処理は増加が見込まれる。そして、この分野でもAIの影響は無視できない。
エッジITインフラを専門とするIDC Japan株式会社 Knowledge & Analytics、 Enterprise Infrastructureリサーチマネージャーの下河邊雅行氏は、注目技術としてビジョンランゲージモデル（VLM）を挙げる。画像とテキストの両方を扱うAIモデルで、口語形式での映像の操作が可能になる。「VLMとボリュメトリックビデオの融合により、オペレーターの操作が飛躍的に容易になることが予想される」と話す。
ボリュメトリックビデオの認知度やキラーアプリケーションについては、「ラグビー、野球、バスケット以外の様々なスポーツで素晴らしい視聴体験をもたらすことができる。ボリュメトリックビデオを利用する側は「何ができるか」よりも「何がしたいか」の視点と熱い思いが重要。また、スポーツ団体以外のステークホルダーも巻き込んだマネタイズの仕組みづくりも必要だろう」と述べる。
なお、ボリュメトリックビデオはスポーツやエンタメなど既存の事例だけではなく、デジタルツイン環境におけるアバターなどビジネスでも活用の可能性は十分にあるという。「ボリュメトリックビデオが”ナイス・ツー・ハブ”（あればベター）から”マスト・ハブ”（なくてはならない）の技術になるためにはどうすればいいか、業界全体で取り組んでいく必要がある」（下河邊氏）。
キヤノンでは、次のステージとして「ワンソース・マルチユース」を定めている。「現在は配信する側が自由視点を操作するが、ユーザーが自由に操作できたらもっと楽しめるのではないか」と藤井氏。例えば野球であれば二塁手だけを追う、エンタメならグループの中の”推し”だけを見るといった楽しみ方が可能になる。そのためにはデータ容量の問題などの技術課題があり、目下パートナーとともに方法を探っているそうだ。
「視聴者が自由に映像を操作して見られる世界を実現したい。今までには味わえなかった体験を提供できれば、我々にとっても大きなマイルストーンになると考えています」（藤井氏）。
