ステイブルディフュージョンでキャラを描き分ける「Latent Couple」について
こんばんわ。今夜も書きます。
ステディでAI画像を描いていると、2人以上を描いた時に、表情や服装が同じになることは多いです。
そこで必要になるのが「Latent Couple」という機能。
この機能を使えば、複数人の特徴を分ける事が出来ます。
詳細は下記のサイト様をご覧ください。
ここで注意しなければならないのが、フォージは別です。
検索しても出ないやん、と思った方は、下記のサイト様の方法を行いましょう。
Forge Attention Coupleのインストール方法
ExtensionsタブのInstall from URLに上記のURLを入力してInstallボタンを押します。
Installボタンの下に「Installed into ～」が出ればインストール完了です。
インストール後は、ステディを更新して、フォージカップル機能を使いましょう。
使う事で、下の様な画像を描けます。
二人の表情が完璧に分かれていますね。背景も変える事が出来ています。
設定画面は下の様になります。
使用したプロンプトは下記です。
2girls,walking hand in hand,horse ears,horse tail,from above,upper body,
satono diamond \(umamusume\),,,,long hair,yellow dress,pumps,,,smile,black background,facial profile,look at each other, ?,
kitasan black \(umamusume\),,,,bob hair with one french braid,T-shirt, denim pants,sandals,Surprised,^^^,yellow background,front face,looking at viewer,full-face blush, ,
注意しなければならないのは、共通プロンプトを先頭か末尾のどちらに置くか。
また、2人の場合は、
共通のプロンプト
一人目のプロンプト
二人目のプロンプト
といった様に3行で書く必要があり、余分な改行は許されません。多分。
プロンプトに改行を入れまくっている私には使いにくい機能です。
特にダイナミックプロンプトでキャラを変える場合、{キャラ1|キャラ2}というのを1行に纏めなければいけない事になります。多分。
使えるのか近々試します。
といったところで、今回の記事も終わります。
それではまた。
AI動画について
こんにちわ。今日も書きます。
最近、AI動画が流行ってきていますね。昨日の記事でも言ったかな。
自分が使っているAI動画のサイトも纏めておこうと思います。
・hailuoai
映像サイズがデカいですね。
サイズの指定場所が無さそうなので、
AI動画用に少し小さめの画像を用意した方が良さそうです。
1日に3枚は無料分で作れると思っています。
明日にクレジットが増えているか確認しましょう。
・pixverse
映像を上げようとしたのですけど、胸が怪しかったので止めています。
こちらも1日2回は無料で作成できるかと。生成速度も速くなっています。
有名なキリングAIは、無料だと生成速度が3時間とかになるので、気長な人用。
- mp4をgifに変換
ちなみに、はてなブログは（FC2も）mp4を掲載できない様なので、GIFに変換しました。
・convertio
オンラインで変換できる、とても便利なサイトです。先ほど見つけました。
今回はこの辺で。良い休日を。
ComfyUIを入れてHunyuanVideoの動画生成を試してみた結果
あけましておめでとうございます。（遅い）
新年一つ目の記事になります。
最後の記事がいつだったか忘れました。
近況では、中居さんが電撃引退したり、色々ありました。
だれかとなかいの岡田さんとの会話見たかったのに残念。まっちゃん助けて。
話を戻すと、何度か記事を書こうとしていましたが、挫折して今に至ります。
色々ありました。
今回はComfyUIを入れるべく、対応を纏めておきます。
参考にしたざすこさんのようつべはこちら。
その後、参考にしたサイトはこちら。
GitHubでデータをダウンロードまずは、GitHubのComfyUI公式ページにアクセスし、必要なデータをダウンロードします。
しました。
容量は1.5G。
解凍したら「ComfyUI_windows_portable」フォルダが出ます。
サイズ：4.93 GB (5,304,309,542 バイト)
Cドライブ直下に移動しておきます。
C:\ComfyUI_windows_portable
速攻で開きました。
ざすこさんのようつべで一通り対応した後に放置していたので、新たなDLは不要だったかも。
実行を押してみます。
描けました。
エラーが出て描けないよ、という方は、チェックポイントが入っていないかも。
下記のフォルダに、ステイブルディフュージョン等で使用するモデル（チェックポイント）を入れて、こんふぃUIで読み込んでください。
C:\ComfyUI_windows_portable\ComfyUI\models\checkpoints
一番左にあるボックスがチェックポイントの読み込みだったはずです。
では引き続き、HunyuanVideoのインストールへ進みます。
モデル
ファイルのダウンロードと配置
Nvidia環境
- clip_l.safetensors ->
models\clip- llava_llama3_fp8_scaled.safetensors ->
models\text_encoders- hunyuan-video-t2v-720p-Q4_K_M.gguf ->
models\unet- hunyuan_video_vae_bf16.safetensors ->
models\vae
ダウンロードして、それぞれ→に書いてある自分のフォルダへ入れます。
C:\ComfyUI_windows_portable\ComfyUI\models\clip
この辺りです。
ダウンロードしたGGUFモデルを用いるためのノードを追加します。
何もない空間で右クリック→Add Node→bootleg→Unet Loader (GGUF)をクリックすると、GGUFモデルをロードできるノードが出現する
出ないです。
まず、こんふぃUIマネージャーを入れる必要があるっぽい。
ComfyUI-Managerのインストール
まずはターミナルを開いて以下のパスに移動してください。
右クリック→ターミナルで開くから開けます。ポータブル版 cd C:\ComfyUI_windows_portable\ComfyUI\custom_nodesComfyUI-Managerをクローンします。
git clone https://github.com/ltdrdata/ComfyUI-Manager.git
書いてあることは出来たっぽいです。
ComfyUIを起動して、メニューの一番下にManagerが追加されていればインストール完了です。
追加されてないのよね。どゆこと？
再起動したら右上に出ました。ブラウザ再読み込みではなく、
C:\ComfyUI_windows_portable\run_nvidia_gpu.bat からの起動。
ちなみに他のステディを起動していたりするとコマンドプロンプトの重複エラーとかで起動せず。こんふぃUIに集中しましょう。
先へ進みます。
ComfyUI Managerを使って「ComfyUI-GGUF」をインストールしましょう。「GGUF」で検索すると出てきます。
インストール後、エラー？
なんだ、再起動が必要と言うだけですか。再起動ボタンを押します。
できない。。
接続中？は無視してブラウザを更新してみます。
bootlegが出ました！ ようやく先に進めます。何してたんでしたっけ？
何もない空間で右クリック→Add Node→bootleg→Unet Loader (GGUF)をクリックすると、GGUFモデルをロードできるノードが出現するので、上記でダウンロードしたGGUF量子化モデルを選択します。
一番上？
こう？
最後に、
拡散モデルを読み込むとつながっていたエッジ（矢印）をUnet Loader (GGUF)につなぎ直して、拡散モデルを読み込むを消したら完了です。
とりあえず繋ぎ直せました。拡散モデルのボックスは消す必要あります？
一先ず終わりらしいので、実行を押してみます。
動作してるっぽい。
ダメでした。ファイルサイズの問題？？
長さを1にして再試行。
何やら成功しているようです。
アニメーションWEBPを生成しているようです。
アニメーションWEBPとは？？
アニメーションを再生できるWebP形式のファイルのことです。 一部のブラウザで採用されているファイル形式です。
なるほど、クロムにドロップしたら、長さ5にした画像は若干動いていました。
長さ1は普通の画像と変わらない感じですね。動きなし。
▼使用プロンプト（デフォ）
- anime style anime girl with massive fennec ears and one big fluffy tail, she has blonde hair long hair blue eyes wearing a pink sweater and a long blue skirt walking in a beautiful outdoor scenery with snow mountains in the background
- 巨大なフェネックの耳とふわふわの大きな尻尾を持つアニメ風のアニメの女の子。金髪、長髪、青い目をしており、ピンクのセーターと長い青いスカートを着て、雪山を背景にした美しい屋外の風景の中を歩いています。
そして成功した画像を掲載したかったですが、未対応のファイル形式でした。無念。
ともあれ、あまり性能は良くない感じです。
メモリ不足で高画質動画は無理そうですし、今はまだ実用段階ではないですね。
ローカルでの動画生成は諦めましょう。超高性能PCをお持ちの方は、お試しください。
別件ですが、FLUX,1も導入し無事に描けました。
左上をfluxにしないと真っ黒な画像になりますので注意。
導入の参考にしたのは、ざすこさんのようつべです。
詳細は省略。万が一需要があれば追記など考えます。
今年は簡略化した記事で、気軽に更新していければと思います。
情報量だけ詰め込めば問題ないでしょう。何も書かないよりはね。。
それでは今年も宜しくお願いします。
１６．StableDiffusion： 道草 雑草子さんのファンアート企画に参加
お久しぶりです。
8月も終わりが迫り、台風も近付く昨今、皆さま如何お過ごしでしょうか。
私はステディとAIイラストについて格闘する毎日です。
今日まで色々な事がありましたが、記事にするのを後回しにしていました。
今回の記事も出来る限り、まとめましょう。
＞最近の出来事
・固有キャラの発見：マシュ（Fate）、アクア、ダクネス（このすば）、甘露寺蜜璃（鬼滅の刃）
・掛け布団を描くプロンプトの発見
・ファンアートや企画ものへの参加
ざすこさんのファンアート用です。
プロンプトを共有しておきます。
・LINEスタンプ用の画像を作成
LINEスタンプを作るにあたり、表情を調べる必要が出てきました。
「Animagine XL 3.1」の様な新しいモデルでしか反応しない表情もある様です。
（＞ω＜）や（＝ω＝）の様な目も、ハッサクでは反応しませんでした。
プロンプト
1child Wild boar,
solo,cute big eyes,
chibi, baby,full body,Simple body,
private clothes,glasses,
Simple background,white background,全表情大図鑑
{
0
42ちらっ
(looking away:4.0),
ちらっ壁から覗く
(peeking out upper body,wall:2.0),|
① 幸せな笑顔o
(Happy Smile:2.0)
|
②笑顔？：汗付きの笑顔
(xd:3.0)
|
③ 喜びo
(Great Joy:2.0)
|
④ 明るい表情o：キラキラ？栗みたいな口
(Cheerful:2.0)
|
⑤ ニヤニヤするo
(Grin:2.0)
|
⑥ 大笑いするo：2.0は強すぎ
(big laugh:1.2)
|
⑦ 口を開けて笑うo：笑う？栗みたいな口
(:d:1.5)
|
⑧ 意地悪な笑顔o
(Smirk:2.0)
|
⑨ 怒ったo：歯を食いしばる？口を開ける？怒りマーク
(Angry:2.0)
|
⑩イライラしたo：口を閉じる・怒りマークありなし
(Annoyed:2.0)
|
⑪激怒o：怒りマーク無し・ある
(Furious:2.0)
|
⑫ふくれ面o
(pout:2.0)
|
⑬ 怯えたo：涙付き
(Scared:2.0)
|
⑭ ニッコリo
(^_^:2.0)
|
⑮ 動揺・困惑o：効いてる？真剣あせあせ
(Upset:3.0)
|
⑯ウィンクo
one eye closed
|
⑰悲しいo：あせあせないことも
(Sad:2.0)
|
⑱目を閉じて泣くo：涙ポロポロ、号泣よだれ
(closed eyes, tearful:1.5)
|
⑲にっこり？x：なんか気付いたマーク？効いて無さそう
(:p:4.0)
|
⑳にっこり？：効いてる？
(;p:4.0)
|
㉑恥ずかしいo：涙付きなし
(Embarrassed:1.5)
|
㉒赤面するo：あせあせ
(Blush:1.5)
|
㉓鼻を赤くするo
(Nose Blush:1.5)
|
㉔シャイな表情o：赤面？
(shy:1.5)
|
㉕驚いたo：！マーク・Σ
(Surprised:1.5)
|
㉖じとめ？x：なぜかω
(jitome:3.0)
|
㉗真顔o
(expressionless:1.5)
|
㉘真剣なo：真剣にテレビ見る感じ
(Serious:1.5)
|
㉙舌を出すo
(Stick Out Tongue:1.5)
|
㉚ωo：3-4だと崩れる
(;3:2.0)
|
㉛恥じらいo：汗・赤面・目ギンギン
(sweat, blush, narrow eyes, open mouth:1.5)
|
㉜エクスタシー、唾液・つばo：疲労困憊
girl,
(sweat, blush, closed eyes, open mouth Saliva:1.5)
|
㉝ウィンクo
(wink, one eye closed:1.5)
|
㉞眠たいo：眠くて怒ってる感じ
(Sleepy:1.5)
|
㉟目がハートo
(heart-shaped pupils:1.5)
|
36祈りo
(pray:1.5)
|
37楽しいo：あせ？
(fun:2.0)
|
38ハート目o
girl,
(heart-shaped eyes:2.0)
|
39暗い顔o
(shaded face:2,0),
|
40叫ぶo
(screaming:2.0),
|
41嫌悪しているo：怒りマーク＋赤面＋涙
(disgusted:1.5),
|
42ちらっ
(looking away:4.0),
|
43軽蔑o
(contempt:2.0),
|
44疲れたo：目の下にクマ
(tired:2.0),
|
45目を細めるo：眠い
(half closed eyes:2.0),
|
46ちらっ壁から覗く
(peeking out upper body,wall:2.0)|
47ごめん泣き顔
(tears:3.0),
|
48厳しい、冷たい(表情)軽蔑する顔o
(stern:1.5)
|
49溜息？吹き出し？ぐるぐる目
(sigh:1.5),
|
50眉をひそめるo：怒り
(frown:1.5),
|
51膨らんだ頬o
(puffy cheeks:1.1),
|
52冷評、軽蔑する顔x：猪じゃなくなる
(sneer:1.0),
|
53歯を食いしばるo
(teeth:1.5),
|
54怒るo：ちょっと？
(little angry:1.5),
|
55|
56顔をしかめた表情o
(Scowling face:1.5),
|
57|
58目を細めた様子o：眠い
(Narrowed eyes:2.0),
|
59にらむo
(glare:2.0),
|
60空虚な目o：ヤバい
(empty eyes:1.1),
|
61あわあわした口o：赤面
(wavy mouth:1.5),
|
62小さく離れた唇o：キス
(parted lips:1.5),
|
63片目を試すo：なんかおかしい
(half closed one eye:4.0),
|
64ジト目o：怒り？
(disgusted eyes:1.5),
|
65神経質な笑いo：気を使ってる笑えない我慢してる感じ
(nervous smile:1.5),
|
66楕円形の紅潮o：ギャグっぽい
(blush stickers:1.5),
|
67ひるむx：殴られたみたいな？
(wince:4.0),
|
68哀れんで？x
(pitying:4.0),
|
69サディスティックなニヤニヤ笑いo
(evil grin:1.5),
|
70微笑、軽い笑顔o
(light smile:2.0),
|
71照れo：笑い？
(blushing:1.5),
|
72アヘ顔o
girl,
(ahegao:1.5),
|
73小悪魔スマイルo
(evil smile:2.0),
|
74荒い吐息o
(heavy breathing:2.0),
|
75小悪魔スマイルo：舌ペロ
girl,
(seductive smile:1.5),
|
76泣き笑いo：泣き？
(sad smile:3.0),
|
77唖然とした？o：怒りマーク
(Stunned:2.0),
|
78唖然とした笑い？o：変な笑い
(Stunned smile:2.0),
|
79口開けろo：5までいくと崩れるので大口開けるのは無理
(open mouth:2.0),
|
80雑まとめ
girl,
見下す
(looking down:2.0),
side view, 横顔
facial profile,
(spreading legs,hand on hip:2.0)
(look aside,facial profile:2.0)
catchlight eyes, 瞳のハイライト
glowing red eyes, 光る瞳
|
81笑顔o：
(laughing with closed eyes:2.0)
|
82ズーンo：
(turn pale,gloom,expression:2.0),
|
83ぐぬぬo：合わせ技
(wavy mouth,upset,:1.5)
|
84ぐるぐる目o：
(@_@:1.5)
|
85><：「Animagine XL 3.1」モデルなら効くっぽいx
(>_<:1.5)
|
86らきすたのこなたみたいな目：「Animagine XL 3.1」モデルなら効くっぽいx
(=_=:1.5)
|
87漫画風な泣き方o：普通
(O_o,sobbing,crying with eyes open:1.2)
|
88：ハート目o
(Eyes are heart marks:2.0)
|
89：ハート目o
(heart shaped pupils:2.0)
|
90：スター目o
(star-shaped eyes:2.0)
|
91：スター目o
(star shaped pupils:2.0)
|
92？
(solid circle eyes:3.0)
|
93輪っかの目？
(ringedeyes:3.0)
|
94たれめx
(tareme:3.0)
|
95つりめx
(tsurime:3.0)
|
96三白眼x
(sanpaku:3.0)
|
97輝く目o
(glow eyes:2.0)
|
98鋭い歯o：猪だから？
(sharp teeth:4.0)
|
99憂鬱？：ちょっと緊張？
(depressed:4.0)
|
100パニックx
(panicking:4.0)
|
101心配o
(worried:4.0)
|
102退屈：しょんぼり？
(bored:4.0)
|
103狂いx
(crazy:4.0)
|
104残念：しょぼん？
(disappointed:3.0)
|
105軽蔑？x
(disdain:4.0)
|
106絶望？x
(despair:4.0)
|
107妬み？目が水滴
(envy:4.0)
|
108しかめ？x
(grimace:4.0)
|
109凝視？x
(kubrick stare:4.0)
|
110寂しい？x
(lonely:4.0)
|
111混乱？x
(confused:4.0)
|
112目が上o：アヘ？
girl,
(rolling eyes:1.5)
|
113イライラo
(frustrated:2.0)
|
114酔っ払い：赤面？
(drunk:4.0)
|
115
嬉しいx
(Pleased:4.0)
泣く
(Cry:4.0)
|
116|
不安・心配x
(Uneasiness:2.0)
号泣
(Bawl:2.0)
|
117
恐れたx
(Afraid:2.0)
とても驚いた
(Amazed:2.0)
|
42反感を感じるx
(repulsed:4.0),
|
46/47
片目を見開くx
(left wide-eye:4.0),
激怒したx
(irate:4.0),
|
55/57
しかめっ面x
(Furrowed brow:4.0),
にらみつけるような表情x
(Glowering look:4.0),
},
ネガティブ
text, logo, signature,
navel, name plate,
本来、プロンプト内には日本語は入れないのですが、
それでも生成は出来ますので、分かりやすく追加してあります。
可愛い女の子のクオリティを上げたい場合などは、日本語を消しましょう。
↓イメージでの覗きイノシシ画像
プロンプト
1child Wild boar,
solo,
cute big eyes,
chibi, baby,
full body,Simple body,
private clothes,glasses,
Simple background,white background,face out through the gap in the door,
head out of the door,
Turn your face and body at an angle and peek out from behind the wall.
Make your upper body peek out from the wall,
Peek out the upper body from the pillar,
hide in the wall,
hide behind a pillar,
peek through the wall,
ネガティブ
lower body,
text, logo, signature,
navel, name plate,
さて、プロンプトの掲載をしたところで、今日は〆ます。
色々と忙しくなっていますので、また後日、
しっかりと記事を作成したいと思います。
LINEスタンプ作りについては、ちゃんとした記事を作成したいと考えています。
それではまた。
１５．StableDiffusion：Dynamic Promptsの使用例 ＆ 高画質化 ＆ フォルダの詳細表示タブ変更について
お疲れ様です。
お盆休み、如何お過ごしでしょうか。
出社している中小企業の皆様、大変お疲れ様です。私もです。
さて、今回の記事ではダイレクトプロンプト…じゃなく
ダイナミックプロンプトについて書いていきます。
早速、私のダイナミックプロンプト使用例を紹介します。
▼入力するプロンプト
1girl, solo,
remilia scarlet,
looking at viewer,{
① 幸せな笑顔
Happy Smile
|
② 嬉しい
Pleased
|
③ 喜び
Great Joy
|
④ 明るい表情
Cheerful
|
⑤ ニヤニヤする
Grin
|
⑦ 口を開けて笑う
:d
|
⑧ 意地悪な笑顔
Smirk
|
⑨ 怒った
Angry
|
⑩イライラした
Annoyed
|
⑪激怒
Furious
|
⑫ふくれ面
pout
|
⑬ 怯えた
Scared
|
⑭ 恐れた
Afraid
|
⑮ 動揺・困惑
Upset
|
⑯不安・心配
Uneasiness
|
⑰悲しい
Sad
|
nervous smile,
|
wince
|
㉔シャイな表情
shy
|
pitying, 哀れんで
|
evil grin, サディスティックなにやにや笑い
|
light smile, 微笑、軽い笑顔
|
blushing, 照れ笑い
|
㉞眠たい
Sleepy
|
evil smile, 小悪魔スマイル。メスガキ風
|
seductive smile,
|
sad smile,
|
Stunned
|
Stunned smile,
}Stained glass,
▼ネガティブプロンプト
nsfw,long body, missing fingers ,skin spots ,acnes,skin blemishes, [:(bad_prompt_version2:1.2):21],
(low quality, crude quality, substandard quality:1.4),sitting, open mouth,
私は今回、プロンプトの中に日本語の説明を含めています。
プロンプト内の日本語は、生成結果に多少の影響は与えますが、
他のプロンプトを無効にするなどの大きな影響は与えない様です。
恐らくステディにより半角スペースへ変換されていると考えています。
※個人的想像
番号なども途中からメチャクチャになっていますけど、
これはプロンプトの紹介をしていた記事から丸パクりした上で、
追加したい表情を適当に入れた結果になります。
細かい事は良いんだよ！（ぶっきらぼう）
実際の作成画像がこちら。
えー…合計は何枚でしょうか。
ダイナミックプロンプトに指定した「|」は28ありますので、
合計29の表情を入れています。
Combinatorial batchesに指定した値は…いくつだっかな…？
こういう時は画像のファイル名を見ましょう。
00212-831637087.pngから、00675-831637550.pngまで作成されていました。
464枚を29で割ると16です。つまり4を指定していたことになります！！
※なぜか4×4で作成されます。
しっかり表情が1種類につき4枚ずつ、順番で並んでいます。
（表情の違いが分かりにくい並びもありますけど…）
それが4回繰り返され、作成完了です。
例えば、Combinatorial batchesに10を指定した場合、29×10×10ですので、
2900枚の画像が作成されます。
PCパンクしますわ。
ちなみに、img2img-gridsで自動生成されるpngのガイド画像は0.99Gでした。
464枚で約1Gなら、2900枚では、ガイド画像だけで約6Gになるかもしれません。
生成される画像群と合わせれば、12Gを超えそうです。
空き容量には気を付けましょう。
また当然の様に、有名キャラ（レミリアスカーレット様）を使っていますけれど、
二次創作ですので問題ありません。多分。
二次創作（同人活動）について調べたところ、まだグレーゾーンのままで、
著作者に訴えられる可能性はある様です。
ただ裁判には数十万ほどの費用がかかるため、
大した影響も無い場合、見て見ぬふりをして頂ける現状となっています。
東方の著作者ZUN様の機嫌は損ねないよう、美しいレミリャ様を描きましょう。
いかがでしたでしょうか。
今回は、プロンプトが反応したレミリア様の表情をパターン化して出しました。
前回のめぐみんに続き、有名キャラを使用しましたけれど、
やはり詳細が決まっているキャラですので、漫画にするのも簡単な気がします。
※と思いましたが、服装などは変わったりしたので、大して変わらないかもです。
・高画質化機能の使い方
続けて、高画質化について学んだので、ここに簡単に書いておきます。
申し訳ないことに疲れているので短くまとめます。
画像サイズが大きく（2048×2048などに）して生成すると、
かなり絵が崩れやすいです。
そこで登場するのが、基本機能として搭載されている「Hires. fix」です。
例えば768×1024をサイズ指定して、Hires. fixを有効にすると、
デフォルトでは倍化、つまり1536×2048の画像が生成されます。
この画像は、1536×2048を指定して作成した時の画像とは別物です。
768×1024で作成される画像を、そのまま大きく作成したものになります。
ここで注意なのは、1024以上の画像では、自分はエラーとなりました。
ただ、AIイラストのサイトには、2048以上のサイズもあったような…
どなたか方法をご存じの方がいらっしゃいましたら、教えてくださいませ。
・詳細で表示されるタブの直し方
こちらも学んだので、解説してくださっている方のリンクだけ置いておきます。
ご迷惑であれば、すぐに消します。
以下は、最近と今後について、共有になります。
最近のルーチンワーク
・イロミライの企画（お題）を見る
・AIピクチャーのお題を見る
・イロミライの企画を、イロミライのお題で作成して投稿する
・AIピクチャーのお題を、適切に作成して投稿する
・patreonにボツ画像を含めて全て投稿する。
・放置少女の宣戦
・DMMゲームのデイリー作業
今後の予定
・固有名詞が反応するキャラを探す
・数ページの漫画を作る
・LINEスタンプを作る
この辺りを考えています。
明日からは、しばらくお休みさせていただきます。
また1週間後にお会いましょう。
それではまた。
１４．StableDiffusion Forge版にDynamic Promptsを導入
ネットに情報がありません。（ブチ切れ）
私の調べ方が悪いのかもしれないのですけれど、
ステディのForge版には元々Dynamic Promptsが入っておらず、
無印と同様にインストールする必要があると思うのですよ。
しかし、その情報がネットのどこにもありません。
誰も書いていないのでしょうか？？
そんなことはないと思うのですけど、見つからなかったので、
私が第一人者として書きます。
グーグル先生は教えてくれませんでしたが、適当に試したら反映できました。
ちなみに、無印版のインストール方法は、下記の記事で書いています。
７．StableDiffusionと合わせて使いたいモザイクツールの紹介と、Dynamic Promptsの導入
※ずっとダイレクトプロンプトだと思っていました。
簡単に説明すると、無印でインストールしたファイルを、
Forge版の同名フォルダ内にコピーします。
C:\【指定フォルダ】\stable-diffusion-webui\extensions\sd-dynamic-prompts
↓
C:\【指定フォルダ】\webui_forge_cu121_torch21\webui\extensions\sd-dynamic-prompts
終わりです。
Forge版にダイナミックプロンプトが出ました。
まだ感覚的なものですけれど、Forge版の方が生成速度は確かに早いかもしれません。
今度、計測してみたいと思います。気が向いたら。。
今回の記事は短いですけど、この辺で。
DMMのブラウザゲーを処理しに行きます。
それではまた。
１３．StableDiffusion：Forge版のインストール ＆ 拡張機能「ControlNet」の導入（OpenPose）
お疲れ様です。
お盆休み、如何お過ごしでしょうか。
私はStableDiffusion（以下ステディ）漬けです。
これまで、あまり拡張機能は無闇に入れず、
できる限りプロンプトだけで頑張ってきましたけれど、限界がきました。
『OpenPose』機能は代用が利かない、ということで
『ControlNet』をステディに入れましょう。
ControlNet（以下コントロールネット）は、OpenPoseが含まれる拡張機能です。
OpenPoseは、キャラのポーズを指定できる拡張機能です。
「こういうポーズをしてほしい」というのは、言葉だけで伝えるのが大変です。
リアルであればジェスチャーで伝えたり、実際の絵を見てもらえばよいですけど、
Img2imgのインペイントでも、元絵によっては引用が難しかったりします。
前置きが長くなっているので、早く入れましょう。
無理でした。※今のままでは。
結論から申しますと、OpenPoseの有効化を確認するまで、
メチャクチャ苦労しました。気が狂いそうです。
これも全て、私のステディに関する知識不足が故。仕方ありません。
OpenPose（以下オープンポーズ）を使う上で、
巷で共有されている基本的な情報を理解できていなかったため、
初心者の皆様と知識を共有させて頂きたく候。
「SDXL」とは何か？
正式名は「Stable Diffusion XL(SDXL)」であり、
これはステディの別バージョンの様にも感じますが、
単なる1つのモデル名です。
私がメインで使っている「hassakuXLHentai_v13.safetensors」などと同じです。
SDXLのファイル名は「sd_xl_base_1.0.safetensors」でした。
重要なのは、SDXLの初期モデルが、既に過去の遺物であるという事です。
なぜSDXLモデルがキャーキャーもてはやされたのかと言えば、
このモデルに、ベースとなる新機能が色々と入ったからの様です。
そのため、このモデルをベースとして、
我々が使っている高性能のモデル達が生み出されていったことになります。
つまり、モデル達の親です。
「SDXLで作成しないとダメ」などと言われているのは、
SDXLがマージされて（基となって）作成されたモデルでのみ機能する
コントロールネットなどがある、という意味です。恐らく合っています。
これを理解していないと、「SDXLが最新のStableDiffusionです！」などという
意味不明で、訳の分からない発想になってしまいます。過去の自分を殴りたい。
改めて申しますが、SDXLは単なるモデルの一つです。今となっては不要です。
最新のコントロールネットも、SDXLの初期モデルでは使えません。
これからステディを始める人は、間違えないようにしてください。
私は上記の理解ができておらず、丸2日ほど無駄にしました。
四六時中、なぜオープンポーズは使えないのか、エラーの原因は何なのか、
原因も分からず、ネットで調べても見つからない、
検索で出るのは英語のページだらけ、翻訳してみても内容が違う、
肝心のエラー原因は、どこにも乗っていない・・・！！
発狂しそうでした。もう嫌です。
そんな苦労をして辿り着いた結論を、この記事に書きまとめておきます。
ここまで理解すれば、
コントロールネットのオープンポーズが使えなかった理由、
ステディでの画像作成時にエラーを出す理由が分かります。
使っているモデルが、オープンポーズ（コントロールネット）非対応
という事です。
私の所持しているモデル（全て商業利用可能）では、下記の様な結果でした。
▼コントロールネット可能
・anyloraCheckpoint_bakedvaeBlessedFp16.safetensors
・blazingrealdrive_V03j.safetensors
・sd_xl_refiner_1.0.safetensors
・cyberrealistic_v50.safetensors
・realisticVisionV51_v51VAE.safetensors
▼コントロールネット不可
・breakdomainxl_V06d.safetensors
・fiamixRebootHNSFW_v80.safetensors
・hassakuXLHentai_v13.safetensors
・sd_xl_base_1.0.safetensors ※Stable Diffusion XL(SDXL)
上記を理解できておらず、コントロールネット不可のモデルを使用していた場合、
「ControlNetをインストールしたのにエラーが出て使えない！」
という出口の見えない迷路に足を踏み入れます。
お気を付けください。
そういえば、彼方此方のControlNetを説明しているサイトで、
モデルによって効かないという説明はあったような……。
どこのモデルなら確実に使える、という情報も添えてほしかったですね。
私の理解が乏しい訳ではないですよ。万人の理解できる説明が必要なのです。
説明が不十分なのです！（責任転嫁）
そんな愚痴はどうでも良く、結果的にオープンポーズは使えました。
ただ、上記で分かる通り、私の愛用するハッサク様のモデルは非対応です。
ハッサク様の最新バージョンで対応されていないかな…？ 後で調べます。
上記の問題とは全く関係ないのですけど、
Forge版のステディを使うようになりました。
旧ステディ（無印）は基本の画像サイズが512*512、Forge版は512*640です。
Forge版は、無印の計量版という説明でした。
ちなみに、SDXL（モデル）は
1024*1024のサイズを生成ベースとしている様です。
SDXLがマージされた（親となった）モデルを使う場合、
1024*1024が最も綺麗に描けるという事でしょう。多分。
巨大な画像サイズで人体が崩れやすくなるのは、このためと思われます。
Forge版の方が生成スピードも上がるようですので、
使用するための手順を載せておきます。
・Forge版をインストール
参考にさせて頂いたサイトは下記です。
手順はサイトを見て頂くとして、簡単に説明すると
１．下記リンクを開く
https://github.com/lllyasviel/stable-diffusion-webui-forge?tab=readme-ov-file
２．下記の様なリンクからファイルをダウンロード
>>> Click Here to Download One-Click Package (CUDA 12.1 + Pytorch 2.3.1) <<<
３．7zファイルをダウンロードして解凍する
４．[update.bat]を実行する
５．[run.bat]を実行する
以上です。これは楽です。
当然、旧ステディ（無印）のモデルなどは引き継がれていないので、
そのままではデフォのモデルで画像が生成されます。
AUTOMATIC1111版のモデルをForge版に共有する
こちらも行います。
AUTOMATIC1111版が保存されている[stable-diffusion-webui]のフォルダにカーソルをあわせて、[Shft]+[右クリック]をして、[パスをコピー]を選択します。
Forge版が保存されている[webui_forge_cu121_torch21]フォルダから[webui]フォルダを開き、[webui-user.bat]ファイルにカーソルをあわせて、[右クリック]をして、メニューから[編集(E)]をクリックします。
とりあえず「webui-user.bat」をメモ帳で開きましょう。
「set COMMANDLINE_ARGS=」部分に、コピーしたパスと
「 --forge-ref-a1111-home 」を追記します。
コピーしたパスに含まれる¥(バックスラッシュ)を、/(スラッシュ)に置き換える。
set COMMANDLINE_ARGS= --forge-ref-a1111-home "C:\PNeoneo\stable-diffusion-webui"
↓
set COMMANDLINE_ARGS= --forge-ref-a1111-home "C:/PNeoneo/stable-diffusion-webui"
こうして保存です。
Forge版ステディを起動します。
読み込めました。
以上になります。疲れました。
・ControlNetのインストール
オープンポーズはコントロールネットに入っていますので、インストールします。
参照サイトは忘れました。（疲労故の省略）
WebUIを開いてExtensionsタブに飛びます。
そうしたらInstall from URLをクリックして一番上のテキストボックスに
https://github.com/Mikubill/sd-webui-controlnet.git
を入力し、Installボタンをクリックします。
難しい事ではありません。
・OpenPoseのインストール
コントロールネットをインストール後、オープンポーズなどの
専用モデルをダウンロードしなくてはいけません。
ここで、私の陥った地獄、もといエラーなどを見てみましょう。
下記からダウンロードしたものを入れてみると、実行時にエラーが出ました。
RuntimeError: mat1 and mat2 shapes cannot be multiplied
※直訳：ランタイムエラー: mat1 と mat2 の形状を乗算できません
？？
要は、ダウンロードしたファイルが、
自分の使っているモデルに合わなかったようです。
仕方が無いので、別の記事を参考にします。
参照させていただいた記事はコチラ。
一括でモデルをダウンロードする方法
ControlNetモデルを一括ダウンロードする方法を紹介します。
コマンドプロンプトで次のコマンドを実行します。
↓下部
その後、次のコマンドを実行します。
from huggingface_hub import snapshot_download
その後、次のコマンドを実行します。
snapshot_download(repo_id="comfyanonymous/ControlNet-v1-1_fp16_safetensors", revision="main",allow_patterns="*.safetensors", local_dir="/home/user/stable-diffusion-webui/models/ControlNet")
ダウンロードが始まります。
なかなか終わらないなと思い、Enterを押していくと、
下で再度入力できる状態になりました。
改めて命令を打ち込みます。
snapshot_download(repo_id="comfyanonymous/ControlNet-v1-1_fp16_safetensors", revision="main",allow_patterns="*.safetensors", local_dir="/home/user/stable-diffusion-webui/models/ControlNet")
終わっていました。どういうことなの。。
ただ、ダウンロードされると思っていた場所に、ファイルがありません。
C:\【指定フォルダ】\stable-diffusion-webui\models\ControlNet
当然、ステディにも読み込めません。
ログを確認すると、下記の場所にダウンロードされていました。
C:\\home\\user\\stable-diffusion-webui\\models\\ControlNet
ファイルを丸ごと移動させます。
ステディで読み込んでみます。
ようやく出ました。
私の場合、使用するコントロールネットのモデルは下の2つだけにしました。
・control_lora_rank128_v11p_sd15_canny_fp16.safetensors
・control_lora_rank128_v11p_sd15_openpose_fp16.safetensors
フォルダ内にある他のファイルは、全てゴミ箱へ送って消去しました。
容量も大きいので、個別ダウンロードの方が時間もかからず良かったと思います。
ステディのコントロールネット部分に画像を突っ込み、
「Preprocessor」部分の爆発マークを押し、オープンポーズのプレビューを表示します。
↓
さて、当たり前の様に著作物の画像を使っていますけれど、
私的利用ですので問題は無い認識です。怒られたら謝罪して記事を消します。
著作物に関連した生成画像の配布や販売はダメ、ゼッタイ。
余談ですが、めぐみ〇というキャラを知っていますでしょうか。
「小説家になろう」のサイトから有名となり、少し前にアニメも3期が放送された
「この素晴らしい世界に祝福を！」という人気小説の主役級キャラです。
少し前に、KAD〇KAWAへのサイバー攻撃でニコ動が見れなくなり、
無料でアニメを配信していた、このすばも見られなくなりました。
9話、10話、11話をコメント付きで見れなくなりました。なんてこった。
結局、アベマで続きは見られたのですけど、
ちょっと尻すぼみだった印象なので、ある意味では良かったのかもしれません。
まさか4期まで引っ張るとは。。作画も崩壊気味だったような。
なんと現在（2024/8/12）も、アベマでは無料で見ることが可能です。
無料あと12日間視聴できます
とても面白いアニメなので、是非どうぞ。（宣伝）
なぜ〇ぐみんの話を出したかというと、私が使っているモデルで
プロンプトに「megumin」を入れると、見事に描いてくれたからです。
という事は、他にも反応するキャラがいるはずです。
モデルに登録されているキャラを探すのも、面白そうですね。
自分の未熟な知識では、
Lora（ステディで使用されるプロンプトの機能）で登録されているキャラは、
服装を変えることができないと思っていました。
これは「Spelai」というAIイラストのアプリで得た、誤った知識です。
Spelaiには有名なキャラが何人も登録されており、キャラを選ぶと、
選んだキャラのAIイラストが作成できます。
そこで登録されているキャラの服を変えられなかったため、
この機能がLoraであり、それにより、Lora＝服がキャラ専用服で固定、という
誤った認識を持っていました。
ステディでは、〇ぐみんの服装を変えることができました。
話が脱線しているので、戻しましょう。
・オープンポーズの詳細設定
腰用の点は無いのですね。
首から左右の尻まで一直線ですので、
腰を曲げたい時はどうしようもないのでしょうか？
棒人間の編集をしたら、「ControlNetにポーズを送信」を必ず押しましょう。
これを忘れると、頑張った努力が水の泡です。（一敗）
認識されない部位は、不足しているパーツとして非表示になっています。
認識されていないパーツは、左の文字に取り消し線が入っています。
細かく設定し直した棒人間が下の画像になります。
※顔の各2点は、目と耳です。
指の線は、どれがどれだか分かりにくいですけれど、
左の文字部分にthumbやindex fingerなどが書かれており、
それぞれ非表示にしたりするなどで見分けられます。
編集をしたら、左上にある「ControlNetにポーズを送信」を必ず押しましょう。
また、設定したポーズは保存することもできます。
当然、そのポーズを読み込むこともできます。
左枠の下の方にある「ポーズコントロール」を使用してください。
作成したデータは「JSONをダウンロード」で保存し、
「JSONをアップロード」で読み込みます。
読み込むと、既存の棒人間と重複してしまうため、
左枠からPerson1を削除します。
完成です。
絵に人を2人入れたい場合は、棒人間を増やして対応できそうですね。（未確認）
複数のモデルで生成し、反映の結果を見てみましょう。
・cyberrealistic_v50
parameters
meguminn,
Steps: 20, Sampler: Euler a, Schedule type: Automatic, CFG scale: 7, Seed: 0, Size: 1024x1024, Model hash: a88d556f69, Model: エロ実写_cyberrealistic_v50, ControlNet 0: "Module: openpose_full, Model: control_lora_rank128_v11p_sd15_openpose_fp16 [1f2abd70], Weight: 1, Resize Mode: Crop and Resize, Processor Res: 512, Threshold A: 0.5, Threshold B: 0.5, Guidance Start: 0.0, Guidance End: 1.0, Pixel Perfect: False, Control Mode: Balanced, Hr Option: Both", Version: f2.0.1v1.10.1-previous-231-g08958f84
「meguminn」と間違えていたので、めぐみんコスになりませんでした。
体の向きも理想とは違っています。左手も怪しいですね。
・blazingrealdrive_V03j
・anyloraCheckpoint_bakedvaeBlessedFp16
棒人間のポーズは、しっかりと反映されていますね。
元絵のポーズと違っているのは、棒人間の作成に問題があるのだと思います。
また、プロンプトに元絵の情報を入れていけば、近い絵も描けると思います。
腰や胸に点がありませんから、2Dの棒人形では、腰をどちらに曲げているのか、
背を反っているのか、曲げているのか、分からない気がしますね。
ググってみたところ、腰に点がある棒人間の画像は見つかったりしたのですけど、
どうすれば使用できるのか説明されておらず、分かりませんでした。
「dw openpose」という新機能もあるそうですけど、
上記の点は改善されていないようですので、不要そうです。
商用利用すると250万を請求されるという話も見たので、スルーが無難でしょう。
ちなみに、コントロールネットが使えないハッサクモデルで
Img2imgから作成した画像は下記です。
・hassakuXLHentai_v13
parameters
1girl, asymmetrical legwear, bandaged leg, bandages, belt, black hair, black legwear, blurry, blurry background, cape, collar, depth of field, dress, eyepatch, fingerless gloves, gloves, hat, holding, holding staff, looking at viewer, megumin, open mouth, red dress, red eyes, short hair, short hair with long locks, single thighhigh, solo, staff, thighhighs, witch hat
Steps: 20, Sampler: Euler a, Schedule type: Automatic, CFG scale: 7, Seed: 2467949896, Size: 1600x1200, Model hash: 918a547849, Model: CN不可＿hassakuXLHentai_v13, Denoising strength: 0.6, Version: f2.0.1v1.10.1-previous-231-g08958f84
あれ？ これで良いのでは…？
どうしてオープンポーズを必須だと思ったのでしょうか……？？
あ、そうです、これは単純な例で、漫画などで好きなポーズがあった場合、
吹き出しや他のキャラが邪魔して、好きなポーズを書けない場合が多いのです。
オープンポーズを使えば、Img2imgが読み取れない部分
（エディタで非表示になっている部位など）を、強制的に表示させて、
描いてもらう事が出来るのです！
ですので、オープンポーズは使えるに越したことはないのです！！
そういう事にしておきましょう。
コントロールを使えないモデルについては、
使えるモデルで生成した絵をImg2imgから読み込めば良さそうですね。
それでは今日の記事は、この辺で。
長文お疲れ様でした。夜ご飯を食べましょう。
追記：
作成しためぐみんの画像、二次創作になるので問題ないと思っていますが、
実際のところは問題ないのでしょうか。
その辺りに詳しい人がいましたら、この記事の内容が問題ないのか、
教えていただきたいです。
NGでしたら画像を消したり謝罪と賠償を行う所存です。
この辺り、同人や著作権に詳しくないと危うい部分ですね。。
