フレーム補間とは
読み: フレームホカン
フレーム補間とは映像を滑らかに
フレーム補間は、動画の既存フレーム間にAIが中間フレームを生成し、映像を滑らかにする技術である。24fpsで撮影された映像を60fpsや120fpsに変換でき、スポーツ中継のスロー再生や古い映画のリマスターなど、映像品質の向上に幅広く使われている。
かんたんに言うと
パラパラ漫画の間に、AIが「こう動いたはず」という絵を挟み込んで、動きをなめらかにする技術。元の枚数が少なくても、自然な動きの映像に変わる。
オプティカルフローからディープラーニングへ進化した補間技術
フレーム補間の歴史は、2つの連続するフレーム間で各ピクセルがどの方向にどれだけ移動したかを推定する「オプティカルフロー」の研究から始まっている。この動きの情報をもとに、中間時点のピクセル位置を計算して新しいフレームを作り出す。
従来のオプティカルフロー推定はルールベースの手法が主流で、被写体の動きが大きい場面や、物体が重なって隠れる「オクルージョン」が発生する場面では精度が落ちていた。
ディープラーニングの登場がこの状況を変えた。ニューラルネットワークが大量の動画データからピクセルの動きのパターンを学習し、従来手法では推定が難しかった複雑な動きにも対応できるようになった。2019年に登場したDATNが転換点のひとつになり、その後も精度と速度を競う研究が続いている。
RIFEとFILMが牽引するAI補間モデルの現在地
RIFE(Real-Time Intermediate Flow Estimation)は、リアルタイム処理を実現したことで注目を集めたモデルである。中間フレームの生成に必要なフロー推定をコンパクトなネットワークで実行し、一般的なGPUでも実用的な速度で動作する。
Google Researchが2022年に発表したFILM(Frame Interpolation for Large Motion)は、大きな動きへの対応を重視している。被写体が画面を横切るような激しい動きでも、破綻の少ない中間フレームを生成できる。
オープンソースで公開されているモデルが多く、DaVinci Resolveのプラグインや、Topaz Video AIのような商用ソフトウェアにも組み込まれている。映像制作の現場では、撮影後の工程で補間処理を入れることが珍しくなくなっている。
映像制作とゲームで異なる活用の文脈
映像制作では、スローモーション映像の生成が主な用途になっている。高速度カメラを使わずに、通常の24fpsや30fps素材からスローモーション効果を得られるため、撮影機材のコストを下げられる。
スポーツ中継では、ゴール判定やファウル判定のリプレイにフレーム補間が使われている。放送用カメラの映像を補間処理にかけ、肉眼では見えない瞬間をスローで再現する。
ゲームの分野では、NVIDIAのDLSS 3がフレーム生成機能を搭載し、GPUの描画負荷を抑えながら見かけ上のフレームレートを向上させている。ただし、ゲームの場合はプレイヤーの入力に対するレスポンスが遅れる「入力遅延」の問題があり、競技性の高いタイトルでは敬遠されることもある。
アーティファクトの発生と品質上の限界
フレーム補間の最大の弱点は、生成されたフレームに不自然な「アーティファクト」が現れることにある。被写体の輪郭がぼやけたり、背景と前景の境界でゴースト状のにじみが出たりする現象が代表的である。
シーンチェンジ、つまりカットが切り替わる瞬間も厄介で、前のカットと次のカットの中間フレームを無理に生成してしまい、2つのシーンが重なったような映像が出力される。これを防ぐにはシーンチェンジの自動検出が欠かせないが、検出精度は100%にはならない。
映画のリマスターでは、監督が意図的にコマ落としの効果を使っている場面に補間をかけてしまうと、作品の意図を壊すことになる。技術的にできるからといって全てに適用すべきかどうか、判断が求められる場面は多い。
当社の見解
技術選定で重要なのは「最新かどうか」ではなく「自社の課題に合うかどうか」。当社は621件の用語を整理する過程で、各技術の適用範囲と限界を実務で検証してきた。ベンチマークの数字だけで判断せず、自社環境での実測を優先する。
