Stable Diffusionの「Inpaint」でAI漫画に不可欠な「キャラの再現性」を高める方法を模索した

AI漫画と「キャラの再現性」

Stable Diffusionなどの画像生成AIが進歩してきて、AIを使った漫画作成も流行ってきてます。その際、必ず問題となるのが「キャラの再現性」です。

漫画で１つのシーンを作るだけでも、１人のキャラをいろんな角度からいろんなポーズで表現する必要があります。その際、キャラの顔や髪型、髪色、服装などが大幅に変わってしまうと、読み手に、同一のキャラと認識してもらえないわけですね。だから、AIで同じキャラをいろんなポーズで生成できること、すなわち「キャラの再現性」は重要な問題となります。

あくまでネットで調べたりしただけですが、実際のAI漫画の作成方法は、同じ顔、同じ髪、同じ服装にするために、プロンプトを工夫して繰り返し生成して、当たりが出るまでガチャを引くような感じで作成するようです。なるべく当たりが出やすいように、プロンプトで再現しやすいキャラにしたり、シンプルな服装にしたり、モノクロで色の範囲を狭めたり、AIで生成しやすいタイプの漫画に限定することが多く、漫画をAIに合わせるようなやり方をとるのが現状ということになります。

この記事では、コミPo!という漫画作成ソフトとStable Diffusionの「Inpaint」機能で「キャラの再現性」を高める試みをしていきます。

キャラの再現性を高める方法

キャラの再現性を高めるために、漫画作成ソフト「コミPo!」とStable Diffusionの「Inpaint」機能を活用します。
コミPo!が何かを説明すると話が長くなるので、簡単にできることとできないことを言います。

逆に、コミPo!で難しい部分は以下のとおりです。

コミPo!の服装の不足をカバーする意味でも、生成AIには期待が寄せられます。コミPo!に存在しない服を、生成AIで用意し、なおかつその服を着たキャラがいろんなポーズをとれるようになればいいなぁと思うわけです。すなわち、「同じキャラ・同じ服装でいろんなポーズ」というキャラの再現性を実現したいわけです。

ということで、コミPo!とStable Diffusionの「Inpaint」機能で、「同じキャラで同じ服装で異なるポーズ」を生成してみます。大まかな手順は以下のとおりです。

つまり、生成AIにゼロからキャラを生成させるのではなく、自分のキャラを用意しておき、そのキャラの再現性を高めるためにキャラのいろんな部分を残すということです。Stable Diffusionの「Inpaint」機能というのは、画像の一部を塗りつぶしてその塗りつぶした部分だけを変化させるという機能です。変化させたくない部分はそのままになるので、これを利用すれば再現性が高まるのはあたりまえですね。

ちなみに、私はコミPo!を使いますが、何もコミPo!じゃないとダメということはなく、いろんなポーズや表情などを用意できる３Dモデルがあれば大丈夫だと思います（だ・け・ど！ コミPo!がおすすめです！！）。手描きでもいいかも（なら、生成AIに頼る必要なし？？）。

Stable Diffusionといっても、いろいろであれこれなので、詳細な説明は入れず、私が使用した環境と設定等をお示しするのみとします。

なお、Google Colaboratoryは無料枠で使っています。したがって、画像生成AIを使ってるとGPUの枠が制限されて数日間使えなくなったりします。当たり画像を生成するまでガチャを回すなんて使い方はできません。したがって、この記事で示した画像は、生成回数１回だけです。１回で５枚生成していますので、５枚の画像から当たりを引くように頑張ってます。

ちなみに、Stable Diffusionの使い方は以下の本で勉強しました。

画像生成AIに興味があるけど、何から始めたらよいかわからない、という人におすすめです。Google Colaboratoryを使ったやり方などを紹介してくれるので、まずは無料で感触をつかみたいという場合にうってつけです。私が使用している「Fooocus 日本語アニメ特化版」の設定やいろんなプロンプトなどの説明もされていますし、Google Colaboratoryを有料版にすることで使用できる他のStable Diffusionのサービスについてしっかり説明してあるので、本格的に使いたい人にも役立ちます。
個人的には、著作権侵害などの注意点について詳しくわかりやすく説明してくれているところがよかったです。
AI漫画を作るにしても、何がよくて何がダメなのかをちゃんとおさえておく必要があります。その区別をつけることで、自信をもってAI漫画に取り組めるのではないかと思います。その観点から考えると、生成AIまかせでどこの誰が作成したかわからないキャラクターにしてしまうより、ある程度、自分独自のキャラクターみたいなものを生成できるほうが良いかも。その意味では、コミPo!ベースでキャラを用意するメリットは大きいかもしれません。その点でも、コミPo!がおすすめです！！

ちなみに、コミPo!は説明書いらずで使えます。ただもっと手の込んだことをしようと思ったら以下の本がおすすめです。

キャラの再現性を高める実験

キャラクターと再現したい服装

コミPo!で以下のキャラクターを作成しました。

いろんなポーズをとらせたときに再現したい服装が右のイラストになります。コミPo!に存在しない服にするため、左のイラストで頭部以外をInpaintで塗りつぶして生成AIに勝手に作らせた服です。

ちなみに、このキャラクターは私のブログ内で使っているキャラクターであるのと、卒論漫画を作成しているのでそちらの主人公キャラということでもあります。名前はモチバで大学４年生です。コミPo!のキャラをベースに、髪型だけ外部ソフトから取り入れて作成したキャラです。

とらせたいポーズ

異なるポーズで同じキャラ・同じ服装にするため、ポーズを３種類用意します。ちなみに、モチバが来ている服は水着です。これはコミPo!にもともとある服装になります。

左から、ノーマルポーズ、こみぽポーズ、走るポーズと定義します。こみぽポーズというのは、コミPo!という漫画作成ソフトでそのように命名されているポーズです。手の形や持っているものはこちらの好みで変更しました。この記事の本題には無関係なので、ここでは真ん中のポーズを「こみぽポーズ」というと認識しておけばよいです。

使用したテキストプロンプト（すべての画像で同じ）

使用したプロンプトは以下のとおりです。Inpaintに用いる画像はポーズごとに異なりますが、テキストのプロンプトはすべての画像で同じにしています。ポーズの指定もありません。

Inpaint機能を使う場合、ポーズをテキストプロンプトで指定しなくても、画像でコントロールできます。画像生成AIは、たぶん「できるだけプロンプトに従いつつ、全体が馴染むように生成してくれる」と思われます。Inpaintの場合、変更したい部分を塗りつぶしていきますが、それ以外は変更されず固定となります。固定したい部分は固定したまま、なおかつプロンプトに従い、全体として馴染むような画像を生成してくれるものと思います。わかりにくいかもしれませんが、以下の実験でみてみましょう。

ポーズ①「ノーマルポーズ」

最初は手順を細かく示します（あんまり細かくないけど）。以下の図をご覧ください。再現したい服からパーツを取り出します（①）。それを指定したポーズ（②）に切り貼りするわけです（③）。

これをStable DiffusionのInpaint機能で修正します。

②の白くぼわっとなっている部分は、Stable DiffusionのInpaint機能で塗りつぶした部分です。この塗りつぶした部分が新たな画像に置き換えられ、塗りつぶされていない部分はそのまま残ります。

生成結果が③ですが、おおもとの服装とはちょっと違う部分がありますね。シャツの模様とか、ジャケットの手首部分とか。そういう細かい部分はInpaintでさらに直したり、別ソフトで直せるかと思います。

ただね、②の状態から５枚生成を１回やっただけで、③が出てきてるんだから優秀じゃないですか？　あとね、勝手に思うところですが、この程度の違いなら漫画のなかではそれほど違和感なく済まないですかね？？

とにかく、次のポーズにいきましょう！（強引？？）

ポーズ②「こみぽポーズ」

こみぽポーズで服装の再現実験です！　その結果は・・・？

・・・・・・。

何かジャケットに余計なヒモらしきものがついてますが、まぁ、いいですかね。大元の服と直接比較してジックリ眺めなければ問題ない！　服の色というか光加減がだいたい合ってるようにみえるから、たぶん誤魔化せるんです。大丈夫大丈夫！！

で、面白いのが、靴とかポーズですね。①をみてください。切り貼りしただけだと、右足の靴なんか破綻してるでしょ？　それをね、生成AIはいい感じに直してくれるんです。ネガティブプロンプトが効いてるのかなと思うんですけど。

それとですね、②の塗りつぶし部分で、手や足などの末端部分を塗りつぶさず残すようにしてますよね。そうすると、生成結果もそれに合わせたポーズにしてくれるんです。

テキストプロンプトでポーズを指定していないけど、求めているポーズに合うように身体の末端部分を残すと、生成AI的には、③のように生成せざるを得ないんだと思います。このやり方でポーズを５枚生成していますが５枚ともだいたい合ってるんです。だからですね、Inpaint機能ではテキストプロンプトでポーズを指定しなくても良いわけです。

では、最後のポーズにいきます。ビシッと決めてください！

ポーズ③「走るポーズ」

走るポーズで服装の再現実験です！　ここまで「完璧」だったから期待が高まります！

・・・・・・(-_-;)

ジャケットの袖に何だか模様らしきものが・・・。いや、大元の画像では角度的に見えてなかったことにすれば大丈夫・・・。

あとジャケットやシャツの胸部分が変な感じになっている・・・？　いやいや、でも走っているわけだから、揺れていると考えれば違和感ないかもしれない。・・・というか動きがある画像なら多少は誤魔化せるかもしれない！　それにしても、①は走っているポーズなだけに「何があったんだ！？」と思ってしまいますね。

そして注目は右足の靴！　①の靴は完全に破綻してます。そして、生成結果の③は・・・？　あれ？　ちょっと変？？　ここの部分は、Stable Diffusionに「無茶ぶりするな！！」と怒られた気分です。さすがに無理があったかも。

反省の意味を込めて、モチバさんに走ってもらいましょう！

あれれ？　漫画の１コマとすれば、そんなに違和感ないかも？？　気のせいかもしれませんが。まぁ、人によって解釈はいろいろあるでしょうかね。ちなみにこの１コマは、先ほどの生成画像をコミPo!に入れて作成したものです。コミPo!だと簡単に作れます。

コミPo!と画像生成AIは相性がいい！

Stable Diffusionの「Inpaint機能」を使って、キャラの再現性を高める実験を行いました。結論としては、細かい部分をちょっと手直しすればたぶん大丈夫なのと、漫画の一部であることを考えれば多少の違和感は誤魔化せるということを考慮すれば、概ねOKではないでしょうか。

そして、このような「100点満点のパーフェクトな結果」をもたらすためには、いろいろなポーズや表情を作れる３Dキャラを活用してStable DiffusionのInpaint機能を使えばよいということが、「科学的に完璧に証明」されました！！

３Dキャラについては、Vroidとかを使うと無料でできることも多いかと思いますが、一番のおすすめはコミPo!です。コミPo!でできることをもう少しとりあげると以下のようになります。

一方、コミPo!では、服もたくさんあるのですが、ストーリー漫画を作るにはバリエーションが不足します。キャラが高校生だったりビジネスマンであれば、制服やスーツで固定すればいいのですが、キャラが大学生とかだったりするとちょっとキツイ。大学生なのに年がら年中同じ服を着せるということになってしまいます。

しかし、この弱点をStable Diffusionで補えるわけです。理由はこの記事で示したとおりです。狙った服を誤魔化しがきく程度には生成できます。私的には、「100点満点のパーフェクト」ですけどね！

その意味で、コミPo!と画像生成AIはすこぶる相性がいいのです！

漫画表現は多くの人に求められる当たり前のスキルになるのではないかと勝手に思う

コミPo!は2010年から存在するソフトで、もともと「絵が描けなくても漫画を作成出来る」ように意図されていました。最近になって、機能的にはコミPo!に比べてはるかに劣るものの漫画制作に使える無料のアプリなどもでてきました（コミPo!もちょー安いです！ あくまでコミPo!推しです！）。

一方、画像生成AIは漫画の絵を、より良いものにしたり不足部分を補ったりしてくれます。こうした技術はもっともっと発展していくと思われますので、近い将来、絵を描かなくても漫画を作ることが当たり前になる気がします。

このことは、漫画家が増えることを意味するのではなく、学校やビジネスとかで誰かに何かを伝えるときに漫画表現によって感情を交えて伝えることが当たり前になっていくのではないかということです。つまり、漫画表現が漫画家だけの特殊スキルではなく、誰もが使えるスキルになるということです。

そしてもしかしたら、漫画表現スキルみたいなものが、社会人基礎力のように働くうえで当たり前に求められるスキルになったりして、それに関連する民間資格みたいなものができたりして・・・。いずれにしても、コミPo!のようなソフトや画像生成AIを使った漫画作成については、どんどん発展していくんだろうと思います。著作権など解決しなければならない問題はあると思いますが、誰もが漫画で表現するという時代が近い将来くるでしょう・・・と勝手に思います。

卒論のための漫画を作っています！

このブログではちょいちょい自作漫画をお示ししています。
そのほかにも、以下の卒論漫画を作成しており、多数の漫画配信サイトで販売しています。
詳しくは以下で紹介しています。

この漫画は卒論を学ぶことを意図した学習漫画です。
学習漫画は単なる文字＋イラストではありません。感情を交えて表現するので、相手に的確に物事を伝える強力な表現方法です。
学習漫画を作ることに興味がある人はぜひ以下の記事をご覧ください。

なお、このブログでは、コミPo!使って漫画を作成しています。頭の中にある妄想を漫画で表現したいと思ったら、手っ取り早く表現することを可能にするツールです。

マニュアルいらずでまずはやってみるで作っていけるのでおすすめです！
無料体験版もありますので、ぜひ活用してみてください！