StableDiffusion AI Conver Stop Motion TEST V1
這是Stable Diffusion轉換動態的紀錄
這個測試有帽子遮住五官有小披風有全身轉動的完整動態可參考,跟抖音那種整張臉填滿的條件是差距很大的,我想會有更大的作業參考價值.
我認為真的實際應用的大概只有im2img而且denoise還必須低於0.3以下不能讓AI發揮太多才有穩定可用的品質,一但高於0.4有太多的不可控
另外純模型轉換的穩定性較高,只要低denoise無論ai是否能正確辨識內容至少他想辦法用你給的畫面與配色去填滿,如果太高的denoise反而會多出許多小東西加上每張多的小東西部一樣就會很髒很亂很閃
如果搭配LORA也有不少問題,因為LORA的訓練內容一樣會干擾內容物的生成,除非你的LORA就是自己練得確認畫面都乾淨無比非常單純,不然你得不到穩定的結果就算低到0.2一樣噴出許多鬼東西,因為你訓練的圖檔中的許多雜物都會被不受控制的跑出來
如果搭配CONTRLET那結果更慘,我發現CONTROLNET的權重其實非常高勝制是以壓過原本的IMG2IMG畫面去執行的
這裡就會遇到兩個問題:
BATCH模式下的CONTRLET只能吃BATCH的原圖去生成CONTRLET資訊,你無法直接給修好的圖去穩定運算,除非你有手幹幾千張的心理準備而且還要接受即便手幹幾千張一樣會有不穩的閃爍問題與覺悟.
CONTRLET的權重是一個"獨立的權重"不受原本IMG2IMG的權重加權影響,所以當你調低CONTRLET的權重那更慘
這個權重只是影響CONTRLET的控制圖層的影響力,一但調低會偏離CONTRLET的的約束,而且因為"CONTRLET的權重凌駕IMG2IMG之上"的原因會造成:
原本全身的骨架畫面權重最高2還知道這個畫面是要全身,調成權重0.2還會跑出大特寫,完全"無視IMG2IMG的辨識資訊"
不要以為調低CONTRLET的權重,會去吃IMG2IMG的東西,反而更像是IMG2IMG只要開啟CONTRLET那原本的IMG2IMG會直接被CONTRLET的資訊給取代,產生出更不可控的結果(因為沒有原畫面的約束).
如果CONTRLET算出來是錯誤的結果,那該畫面會測底錯誤到底例如無法辨識正反面,不像IMG2IMG那樣還有原畫面的的約束產生一個類似的模糊結果乎巄過去.
上面就我周末的爆肝研究心得