画像生成AIでアニメーション生成を試す

イラスト

2023.06.03

今ゲーム開発をしているのですが，キャラクターのアニメーションを描くのが面倒なので画像生成AIを使ってなんとかできないかなぁと思って試してみました．実写動画か落書きアニメーションからアニメーションの連番画像を生成するのが目標です．

基本構成

Stable Diffusion web UI：画像生成AIをブラウザで操作できるツール（実行はローカル環境）
Anything-V4.5：画像生成モデルの一つ．
animeoutlineV4：線画に特化したLoRA（追加学習モデルみたいなやつ）．
ControlNet：ポーズ指定や落書きからの画像生成などいろいろできる便利なモデル．今回は輪郭を抽出するCannyを使う．

下準備

手元に適当な動画が無かったので，フリー素材を探してダウンロード．今回は女性がグッドサインをするシンプルな動画を使用．

親指を立てグッドのハンドサインをする女性の動画｜無料の動画素材サイト「動画AC」

動画ACは無料で高品質な親指を立てグッドのハンドサインをする女性の動画素材を提供しています。フリー動画素材は、ウェブサイトやSNS広告などで使えるHD・4Kをご用意しております。個人、商用を問わず無料でお使いいただけます。

これをffmepgという動画編集プログラムで連番画像に書き出し．300枚ぐらいの連番画像が出力されるが，今回はテストなので適当に以下の5枚をチョイス．

生成

あとはプロンプトとパラメータを適当に（masterpiece, best quality, 1girl, lineart, monochrome, white background, <lora:animeoutlineV4_16:1>）入力し，ControlNetに元の画像を入れて新しい画像を生成するだけだが，それぞれ単体で生成してしまうと絵柄のブレが出てしまうので以下のスクリプトを追加する．連番画像をグリッドで並べて生成することで，画像間のブレを少なくすることができるようだ．