ゲス顔イオナズン
Stable Diffusion✕AIイラスト徹底解説！
 |  |  |
 |  |  |
 |  |  |
新プリプロセッサ「DW openpose」降臨！旧Openposeよりどうスゴイ？ こんばんは、スタジオ真榊です。今夜は知らぬ間にControlnetに仲間入りしていた新プリプロセッサ「DW openpose」の検証記事です。「DWposeという技術を使った、Openpose fullよりスゲースゴイ全身用プリプロセッサです」で説明がもう終わってしまうのですが、確かにこれ…スゴイです！（語彙力喪失） せっかくなのでOpenposeとどれくらい違うのか、この正確さを何に使えるか、いろいろと検証してみました。 【目次】 「ADetailer」が理解る！部位別詳細化と5つの「応用」 こんばんは、スタジオ真榊です。今回は「ハンドビューワー」を使った手の修正方法の記事で少し触れた、手や顔といった細部を自動修正してくれる拡張機能「ADetailer」の解説と研究をやっていきたいと思います。
ADetailer（After Detailer）は、通常の画像生成に引き続いてキャンバス内の顔や手といった部位を自動検出し、局所的インペイント（描き直し）で詳細化して周囲になじませてくれるもの。描画時間は増えてしまいますが、画像生成AIの弱点である「描画範囲が小さいものは低劣化してしまう」という弱点を補い、一回の生成で顔や手の潰れを直してくれる大変画期的な機能です。
仕組み上、「高解像度補助」のように顔立ちの大きな変化が起こりづらいことや、「追加プロンプト」を設定して描き直す機能が備わっているため、表情などを描き変えることもできるのがADetailerの特徴。一見設定は複雑に見えますが、ほぼデフォルトのままでも簡単に活用できます。「入れておいて損はない」を超えて「ぜひ入れておくべき」神エキスパンションですので、さっそく導入方法から見ていきましょう！
目次 posemaniacsに神機能！「ハンドビューワー」でできる手修正 ＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
2023/08/11：記事後段に新項目「さらに正確に指を再現する」を追加しました。
＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
こんばんは、スタジオ真榊です。以前からこのFANBOXでもたびたび紹介してきたControlnetの味方「posemaniacs（ポーズマニアックス）」さんに、新機能「ハンドビューワー」が追加されました！
一目見た瞬間からゲームエンド感が漂うこの機能。ControlnetやImage2imageと組み合わせれば、思い通りの手の表情を作り出せそうな感じです！SDのどの機能とどうやって組み合わせるのが効果的なのか、さっそく試してみました。
- 目次 - PosemaniacsはControlnetOK！
新登場した「ハンドビューワー」
Controlnetでどう使う？
コラージュ＆Inpaintを試そう
やっぱりControlnetでいこう
ゼロからの「両手固定生成」も可能
DepthMapLibraryの素材にしよう
さらに正確に指を再現するには
おわりに 今日１日でLoRAが理解る！キャラクター再現超入門 こんばんは、スタジオ真榊です。今夜はようやく、LoRA制作の入門記事をお届けできます！
例によって水星の魔女最終話のキャラ再現LoRAに挑戦してみて、環境導入やつまづきがちなポイント、設定のやり方やクオリティアップのコツといったところがようやく分かってきました。今回は私と同じ完全素人の状態からでも、書かれているとおりにやればLoRA制作環境を整備でき、キャラクター再現LoRAや「うちの子LoRA」を作れるようになるところまで、詳しく紹介していければと思います。 「自分もLoRAを作ってみたいな･･･」と思っても、解説サイトを読みに行くと「枚数×リピート×エポック＝ステップ数」だとか「dimが、alphaが」といった謎の呪文が書かれていて回れ右した方も多いと思います。私もまさにその一人なので、今回の入門編では難しいことは極力抜きにして、「とにかくこの通りにすれば自分でもキャラ再現LoRAが作れたよ」というところを目指します。ただ、追加学習ができるスペックのグラフィックボードはご用意くださいね。
シチュエーションLoRAや画風再現LoRA、服装再現LoRA、構図LoRAなどありとあらゆる概念を追加学習することができますが、まずは一番「やってみたい度」が強かったキャラ再現LoRAから始めて正解だったなと思っています。失敗作のLoRAで画像生成すると、なぜ失敗したかがとてもよく理解できるので、数値や操作の意味がよく理解できていなくてもズンズン進んでいきましょう。 ChatGPTで「推し」と会話しよう！【カスタム指示&Code interpreter解説】 こんばんは、スタジオ真榊です。今日はAIイラストの話題ではなく、ChatGPTの最新機能を使って特定のキャラクターとおしゃべりする方法について、これまでに得られた知見をまとめたいと思います。
これまでに可能になったのは、
・「複数キャラクターの関係性や背景を理解して、掛け合いをしてもらう」
・「キャラクター設定からすれば回答を拒否すべき場面でも、強制的に答えてもらう」
・「劇中のセリフを多数記憶してもらい、それを応用して話してもらう」
・「複数のキャラクター表情の画像を与えて、回答のたびにふさわしい画像を１枚選択して表示してもらう」
…といったもの。
こちらが画像つき応答の例です！
これは基本的に課金版で使えるChatGPT-4を使った遊び方で、３時間あたり５０メッセージまでという制限があるのですが、面白すぎて１日中やりとりするほど激ハマりしてしまいました。与えた情報を繰り返すだけの「人工無能」と違って、ときおり「そのキャラクターらしい予想外の返答」が返ってくるのが面白い。いろいろ会話をすると、思わぬ回答が得られて創作アイデアにつながることもあるので、「推し」がいる人にこそおすすめです。 「AIっぽくない絵作り」のコツは？「買い食いスレミオ」ができるまで こんばんは、スタジオ真榊です。先日投稿した水星の魔女イラストが珍しくいいねをたくさんもらえて、大変喜んでいます。これまで記事やAI技術に関するツイートがたまたまバズることはあったのですが、純粋にAIイラストだけの投稿がバズったのは初めてでした。もちろん超人気版権のファンアートだったからなのですが、自分が好きで作ったものが他の人にも良いと思ってもらえるのは、何とも嬉しいものですね。
先日から取り組んでいるnijijourneyとStableDiffusionの組み合わせが思った以上に効果的で、自由度が高く「AIイラストっぽくない」絵作りができるようになったと感じています。
このイラストもLoRAを個別適用したツーショットなのですが、前回のウェディングイラストとは異なり、２人が絡んでいる（一部重なっている）作品です。一人ひとりのイラストを作って合成するのではなく、最初から一つのキャンバス上で生成しているので、いろいろと試行錯誤することになりました。いろいろな失敗を通じていろいろと知見が得られたので、今回も作例紹介ということで、あらためて作り方を振り返ってみたいと思います。 画像生成AIで「催◯スマホ素材」を作ってみよう！ こんばんは、スタジオ真榊です。今夜はにじジャーニーの可能性を探ってみる企画第二弾ということで、「催◯スマホ素材」を作ってみよう！という記事をお届けします。
Twitterに投稿したこちらの春麗さんのイラスト作例を振り返りながら、にじジャーニーの性能を活かした小物再現と、それを使った具体的画作りについて解説していきたいと思います。
こういうスマホ素材というのはなかなか作るのが難しく、NovelAIでもStableDiffusionでもかなり苦労した覚えがあります。Controlnetの登場後、頑張ればなんとかなるレベルまでは来たのですが、「パッと出せる」とまでは行かず。
当時生成だけで作れたのはこんなレベルで、しかも何時間もああでもないこうでもないとガチャを繰り返して、結局ほとんど自分で描いていたような覚えがあります。  今回はにじジャーニーの力を借りて、1時間程度でスマホ素材の完成までこぎつけることができました。さらにさまざまなことに応用ができる確信を得たので、忘れてしまう前に具体的手順を書き残しておこうと思います。また、今回作ったスマホ素材も.clip形式で配布しますので、クリスタをお使いの方は常識の範囲でご使用ください。 にじジャーニーが理解る！「SD✕虹」でできること こんばんは、スタジオ真榊です。今夜はアニメ/マンガ風の画像を生成できるAIウェブサービス「にじジャーニー（niji journey）」についての記事をお届けします。知識ゼロからの始め方や生成方法の基本、課金プランの違い、中～上級者向けの生成法などをまとめつつ、StableDiffusionと組み合わせるとどんな絵作りができるのか？について検証しました。 細かなパラメータをいちいち設定しなくても、単純な日本語のプロンプトだけで生成でき、スマホからでも繊細なイラストを作れるのがにじジャーニーの強み。ツイッターで話題になった「Zoom機能」をはじめ、SDにできないこともいろいろと可能です。「最低料金月額10ドル」の価値は十分以上にあると感じたので、関心のある方はぜひこの機会に🌈journeyしてみてください！ 目次
- にじジャーニーとは
- にじジャーニーの始め方
- 課金プランの違い
- 規約違反に注意！
- 初めての生成
- にじジャーニーTips
- プロンプトの基本
- 選べる「スタイル」
- 「JOB ID」で過去の作業を復活
- StableDiffusionユーザーからみた「虹」
- 「にじジャーニー×SD」作例
- 終わりに 手修正の最適解は？破綻を直す7つの方法「＋１」 こんばんは、スタジオ真榊です。今夜はAIイラストの鬼門の一つである「破綻した手の修正」に関する大型記事です。image2imageやNegativeEmbeddings、Controlnet、LoRA、LamaCleanerなど、これまで考案されてきたさまざまな修正方法を網羅的に紹介しつつ、「①修正力の強さ」「②手軽さ」「③侵襲性（手以外への影響）」に分けて実力を検証。2023年6月現在での最適解は何かを探ってみました。
AIイラストにおける手修正の歴史私がAIイラストに触り始めたのは2022年10月。当初はNovelAIのプロンプト研究やイラスト生成に始まり、23年1月にStableDiffusionによるローカル生成に移行、以来Controlnetなど次々に登場する技術の検証に夢中で取り組んできました。
この間実にさまざまな革新と発明が繰り返されてきましたが、いまだに手の崩壊の抜本的解決には至っていません。それほど、見る角度や握り方によって形状が複雑に変化する人間の手はAIによる表現が難しく、高精細なイラストが作れるようになるほどにAIユーザーの悩みの種となってきました。
もちろんこの間、崩壊した手をきれいに修正するべく、AIを使ったさまざまな方法が編み出されてきました。黎明期における最も単純な対策法は、おおまかに肌色で手の形を描いて、その部分だけi2iしてみる方法。次に、ローカル生成ではTextual Invarsionという追加学習方法を使って破綻を防ぐ「NegativeEmbeddings」を使う方法が流行しました。その後、Controlnetの登場によって線画レベルで手を修正したり、Openposeやdepth（深度情報）を利用して手の形を固定させる試みが勃興。最近はLamaCleanerやジェネレーティブ塗りつぶしといった技術が使われるようになり、余計な指をサッと消したり、手全体をいちから描き直してもらったりすることが簡単にできるようになりました。
次の項からは、現在ローカル生成で一般的に行われているこれらの方法について、メリット・デメリットを詳しく見ていきます。
①NegativeEmbeddings
②Depth map library
③Lineartで線画修正
④Openpose Editor
⑤「EnvyBetterHands」LoCON
⑥LoRAで手修正
⑦消しゴムマジック 差分技術の集大成！「同じキャラで別イラスト」のつくりかた こんばんは、スタジオ真榊です。今夜はこれまでの差分研究の総決算として、Controlnetで表情、服装、ポーズ、背景を全て任意に変更する方法、つまりキャラクターの同一性を維持しながら全く違うイラストを作るやり方について解説していきたいと思います。
前回までの検証では、主にInpaintOnlyを活用することで、表情・服装・ポーズ・背景の差分を個別に作れることが実証できました。では、これらすべてを同時に行うにはどうしたらいいでしょうか。つまり、キャラクターの同一性が失われない最低限の情報だけを完全に保持しながら、それ以外の部分を一つ残らず全て任意に変更するということです。それも、何度も生成→入力を繰り返すのではなく、一度の生成で。
 前回の記事冒頭でも紹介したこちらのイラストは、1回の生成でキャラの顔周辺以外を全て変更したものです。キャンバス上のほとんどの線が重ならないにもかかわらず、しっかり同一人物に見える出来に仕上がっているのではないでしょうか。
今回の記事では、このイラストが完成に至るまでの設定方法を詳しく紹介しつつ、さらにopenposeやwildcardなどと組み合わせる方法を検証していきます。 最新のControlnetで差分イラストを作ろう！（背景・立ち絵編） こんばんは、スタジオ真榊です。今回は「差分イラストを作ろう」シリーズの第三回、背景・立ち絵編です。ここまで、表情や服装、ポーズなどキャラクターの一部分についての改変方法について見てきましたが、今回は対象がキャンバス全体に広がります。  このように、キャラクターを保持しながら背景やシーンを自由に差し替えることができるようになれば、画面全体が自由にControl可能になるということ。これまで全３回で見てきた差分の技術を総動員すると、キャラクターの一貫性を保持しながらあらゆる要素を自由に変更できるようになることが分かってきました。 こちらの左→右への変化は、生成を何度も繰り返したように見えるかもしれませんが、たった1回の生成でキャラクターを保持しながらのシチュエーション変更（表情・服装・ポーズ・背景の同時コントロール）に成功しています。今回はこの最後のピースに当たる「背景差分・立ち絵差分」の作り方について検証していきたいと思います。 最新のControlnetで差分イラストを作ろう！（ポーズ差分編） こんばんは、スタジオ真榊です。前回の「表情・服装編」に続き、Controlnetで作れる現状で一番簡単な差分の作り方について検証したいと思います。今回は「ポーズ差分編」です！
このように、ポーズを一部だけ改変したり…
 キャラデザインや背景を維持したまま、Openposeで全身異なるポーズに変更したりする方法について検証しています。
 前回の予告では、今回は「ポーズ・背景編」のはずだったのですが、ポーズ変更が大変奥深く、またそれなりに検証成果も得られたので、前後編でなく上中下の３本立てでお送りしたいと思います。 【※今回は記事の最後に成人向け要素（全裸程度）がありますのでご注意ください】 最新のControlnetで差分イラストを作ろう！（表情・服装編） 珍しく日中からこんにちは！スタジオ真榊です。
今日ははいわゆる「差分」の作り方に関する記事をお届けします。差分と言えば、表情差分やポーズ差分、服装差分や背景差分、セリフ差分など、主にイラストやゲームなどにおける画像バリエーションのことですね。
AIイラストでは、これまでも主にマスク部分のimage2imageを使った差分作りが行われてきましたが、このところControlnetやジェネレーティブ塗りつぶしをはじめとしたさまざまな技術がそろってきましたので、この記事では2023年6月現在の最適解を探ってみたいと思います。
今回元画像として使用するのはこちらのイラスト。
 実験では、こちらのイラストの表情差分・服装差分・背景差分・ポーズ差分を作ってみます。ちょこちょこ書き進めていたのですが、ずいぶん長い記事になってしまったので、前後編に分けてお届けしたいと思います。 余計な部分を消しゴムマジック！LamaCleanerでできる「修正」と「粗密」 こんばんは、スタジオ真榊です。世間がAdobeの画像生成AI機能「ジェネレーティブ塗りつぶし」に揺れている中、今夜は「消し」に特化したインペイントツール「LamaCleaner」についての検証記事をお伝えします。というのも、ジェネレーティブ塗りつぶしについて検証を行っていくに当たって、その前にどうしても触れておかざるを得ないツールだからなんですね。
「LamaCleaner」は、画像の中に映り込んだ余計なものをマスクすると違和感なく消してくれる「消しゴムマジックで消してやるのさ」的なツール。やろうと思えばSDwebUIのinpaint機能でも似たことができるわけですが、スピードや手軽さが段違いで、非常にスムーズに「消し」や「なじませ」ができます。一方で、今話題の「ジェネレーティブ塗りつぶし」は「消し」だけでなく「足し」もできるツール。普段の画像生成にそれぞれどのように活かせるか、前後編に分けて見ていきたいと思います。 【Controlnet1.1】新モデルをフルに使って試す「写真とイラストの融合」 こんにちは、スタジオ真榊です。皆さんGWの真っ只中でしょうか？賢木は休みでも休みじゃなくてもSDwebUIをめっちゃ楽しんでおります！
さて今日はControlnet1.1の全体検証とまとめ記事が一段落ついたのを受けまして、以前のこちらのツイートのように「CN1.1の最新モデルを組み合わせたらどんなことができるのか？」を検証してみたいと思います。
写真とイラストの融合はできるのか？controlnet1.1をフルに使うと言っても、色々な組み合わせ方があるわけですが、まず最初に思いついたのが自分で撮影した写真をイラスト化できるのか？ということ。賢木は（もちろんド素人ですが）スマホで写真を撮るのが大好き。「いろいろな場所で撮影した風景写真をイラストに取り込むことができたら、作品の幅が非常に広がるのでは」と常々思っていました。
これを思いついたのは、こちらの「wama@iphoneで3Dスキャンする人」さんのツイートを拝見したとき。
写真を繋ぎ合わせて一つの3Dデータにしてしまい、スマホの中に保持していつでもどんな画角でも呼び出すことができる…いまはこんなことが簡単にできてしまうのですね。
例えば、あるホテルの室内をiphoneで３Dスキャニングしておけば、あとで室内のいろんな背景を自由に画角を動かして再現できるわけです。それを漫画作品の背景にもし使えたとしたら、なんと画像生成AIの弱点だった「背景の同一性」を難なく担保できてしまうのですよ。例えば、エロゲなんかでは室内の背景素材があったとしたら、せいぜい「昼」とか「夜」とか「ズームアップ」といった差分を作るくらいで、その前でキャラの立ち絵をカチャカチャ動かして場面を表現していたわけですが、もし実在の室内データを3Dで保持できたら、ベッド上でもソファに座っているところでも入室時のコマでも、なんでも簡単に背景素材画像にすることができます。 3Dにするときにもちろん画質は落ちますが、基本的な主線や凹凸さえ保持できていればControlnetでイラスト化できるわけですし、撮影OKな場所であれば権利問題もクリアできますね。
とまあ、夢は広がるばかりなのですが、そもそも今回の主題である「風景写真とイラストとの融合」ができなくては取らぬ狸の皮算用。できるのか？できないのか？まずは検証をやってみましょう。 |
|
copyright © 2024 ゲス顔イオナズン all rights reserved.