動画生成AI：Runway Gen-2 を試す

Runway Gen-2 とは

https://runwayml.com/

Runway は、2019年に設立された生成AIスタートアップです。AI 技術を使った動画生成に特化しており、急成長を遂げています。ユニコーン企業になった生成AI企業は数社ありますがその中の１社がRunwayです。

注：ユニコーン企業とは、「創業してからの年数が浅く（10年以内）、企業価値評価額が高い（10億ドル以上）未上場ベンチャー企業」のことです。

Runway Gen-2を使えば、撮影現場に行くことなく、カメラを使用することなく、机上でPCに向かいながら動画を生成することができます。プランは無償プランからいくつかの有償プランまで用意されています。月単位のクレジットを消費する形でサービスを受けることができます。無償プランでも125クレジットが与えられ、合計で数十秒秒程度の動画生成が可能です。有償プランになるとサービスの幅が広がり、商用利用も可能ですので無償プランから開始し使えそうなら有償に切り替えるのがよさそうです。今回のテストは無償の範囲で行いました。

Runway Gen-2 は"text to video",または "image to video" を選択することができます。今回のテストでは"image to video"により動画生成しました。本来なら"text to video"を試すべきですが、結果が思わしくなかったので"image to video"に切り替えました。プロンプトの書き方が未熟だからだと思いますが今後の課題です。

（1）参照画像の生成

　今回のテストでは"image to video"により動画生成しました。参照画像は自分で撮影した写真でもできるようですが、今回はBing Image Creatorで生成しました。複数シーン（クリップ）を生成する場合は複数の画像が必要です。一例を以下に示します。

（2）Runway Gen-2 に参照画像をアップロードし、"generate"指示すると1分程度の処理時間で約4秒の動画が生成されます。生成された動画を延長することも可能であり、その場合は8秒の動画になります。今回は10個程度のクリップを生成しました。一例を以下に示します。

（3）生成した複数のクリップを動画編集ソフトで編集して1本の動画にします。以下に編集した結果をしまします。動画編集ソフトはEDIUS Pro を使用しました。BGMはフリー素材を使用しました（文末参照）。テーマは山ですが途中でイメージが変わりプレデター追加。なんとなく漫画チックになりました。

気になった点：

①途中で人間が変身しているように見える（クライマーの滑落シーン）。変身はRunwayではよくある現象らしくネット上の他の例でも見かける。

②物体や人体の位置関係が不自然なケースがある（クライマーのビレイロープが腰ではなく離れている）。ネットの他の例でもよくある現象らしい。

③動きが期待より少ないことが多い。人物が動かず背景の雲だけが動く等。

画像生成AIに比べると動画生成AIはまだ完成度が低い印象です。今回は時間がなく断念しましたがプロンプトを詳細に書いて指示すればよい結果が得られそうな感触はあります。

使用ツールまとめ：

画像生成：Bing Image Creator: DALLE-2

動画生成：Runway Gen-2

動画編集：EDIUS Pro

BGM: AUDIONAUTIX.COM; THE ASSASINS

https://audionautix.com/

□