ゲス顔イオナズン

こんばんは、スタジオ真榊です。今夜はAIイラストの鬼門の一つである「破綻した手の修正」に関する大型記事です。image2imageやNegativeEmbeddings、Controlnet、LoRA、LamaCleanerなど、これまで考案されてきたさまざまな修正方法を網羅的に紹介しつつ、「①修正力の強さ」「②手軽さ」「③侵襲性（手以外への影響）」に分けて実力を検証。2023年6月現在での最適解は何かを探ってみました。

私がAIイラストに触り始めたのは2022年10月。当初はNovelAIのプロンプト研究やイラスト生成に始まり、23年1月にStableDiffusionによるローカル生成に移行、以来Controlnetなど次々に登場する技術の検証に夢中で取り組んできました。

この間実にさまざまな革新と発明が繰り返されてきましたが、いまだに手の崩壊の抜本的解決には至っていません。それほど、見る角度や握り方によって形状が複雑に変化する人間の手はAIによる表現が難しく、高精細なイラストが作れるようになるほどにAIユーザーの悩みの種となってきました。

もちろんこの間、崩壊した手をきれいに修正するべく、AIを使ったさまざまな方法が編み出されてきました。黎明期における最も単純な対策法は、おおまかに肌色で手の形を描いて、その部分だけi2iしてみる方法。次に、ローカル生成ではTextual Invarsionという追加学習方法を使って破綻を防ぐ「NegativeEmbeddings」を使う方法が流行しました。その後、Controlnetの登場によって線画レベルで手を修正したり、Openposeやdepth（深度情報）を利用して手の形を固定させる試みが勃興。最近はLamaCleanerやジェネレーティブ塗りつぶしといった技術が使われるようになり、余計な指をサッと消したり、手全体をいちから描き直してもらったりすることが簡単にできるようになりました。

次の項からは、現在ローカル生成で一般的に行われているこれらの方法について、メリット・デメリットを詳しく見ていきます。

①NegativeEmbeddings

②Depth map library

③Lineartで線画修正

④Openpose Editor

⑤「EnvyBetterHands」LoCON

⑥LoRAで手修正

⑦消しゴムマジック

こんばんは、スタジオ真榊です。今夜はこれまでの差分研究の総決算として、Controlnetで表情、服装、ポーズ、背景を全て任意に変更する方法、つまりキャラクターの同一性を維持しながら全く違うイラストを作るやり方について解説していきたいと思います。

前回までの検証では、主にInpaintOnlyを活用することで、表情・服装・ポーズ・背景の差分を個別に作れることが実証できました。では、これらすべてを同時に行うにはどうしたらいいでしょうか。つまり、キャラクターの同一性が失われない最低限の情報だけを完全に保持しながら、それ以外の部分を一つ残らず全て任意に変更するということです。それも、何度も生成→入力を繰り返すのではなく、一度の生成で。

前回の記事冒頭でも紹介したこちらのイラストは、1回の生成でキャラの顔周辺以外を全て変更したものです。キャンバス上のほとんどの線が重ならないにもかかわらず、しっかり同一人物に見える出来に仕上がっているのではないでしょうか。

今回の記事では、このイラストが完成に至るまでの設定方法を詳しく紹介しつつ、さらにopenposeやwildcardなどと組み合わせる方法を検証していきます。

こんばんは、スタジオ真榊です。今回は「差分イラストを作ろう」シリーズの第三回、背景・立ち絵編です。ここまで、表情や服装、ポーズなどキャラクターの一部分についての改変方法について見てきましたが、今回は対象がキャンバス全体に広がります。

このように、キャラクターを保持しながら背景やシーンを自由に差し替えることができるようになれば、画面全体が自由にControl可能になるということ。これまで全３回で見てきた差分の技術を総動員すると、キャラクターの一貫性を保持しながらあらゆる要素を自由に変更できるようになることが分かってきました。

こちらの左→右への変化は、生成を何度も繰り返したように見えるかもしれませんが、たった1回の生成でキャラクターを保持しながらのシチュエーション変更（表情・服装・ポーズ・背景の同時コントロール）に成功しています。今回はこの最後のピースに当たる「背景差分・立ち絵差分」の作り方について検証していきたいと思います。

こんばんは、スタジオ真榊です。前回の「表情・服装編」に続き、Controlnetで作れる現状で一番簡単な差分の作り方について検証したいと思います。今回は「ポーズ差分編」です！

このように、ポーズを一部だけ改変したり…

キャラデザインや背景を維持したまま、Openposeで全身異なるポーズに変更したりする方法について検証しています。

前回の予告では、今回は「ポーズ・背景編」のはずだったのですが、ポーズ変更が大変奥深く、またそれなりに検証成果も得られたので、前後編でなく上中下の３本立てでお送りしたいと思います。

【※今回は記事の最後に成人向け要素（全裸程度）がありますのでご注意ください】

珍しく日中からこんにちは！スタジオ真榊です。

今日ははいわゆる「差分」の作り方に関する記事をお届けします。差分と言えば、表情差分やポーズ差分、服装差分や背景差分、セリフ差分など、主にイラストやゲームなどにおける画像バリエーションのことですね。

AIイラストでは、これまでも主にマスク部分のimage2imageを使った差分作りが行われてきましたが、このところControlnetやジェネレーティブ塗りつぶしをはじめとしたさまざまな技術がそろってきましたので、この記事では2023年6月現在の最適解を探ってみたいと思います。

今回元画像として使用するのはこちらのイラスト。

実験では、こちらのイラストの表情差分・服装差分・背景差分・ポーズ差分を作ってみます。ちょこちょこ書き進めていたのですが、ずいぶん長い記事になってしまったので、前後編に分けてお届けしたいと思います。