한국 수묵화 모델 사용 가이드 (SD1.5기반)

이전에 제작했던 하이퍼넷트워크에 이어서 이번엔 파인튜닝 한 나온 모델을 공유합니다. 그리고 모델 사용 가이드로 남깁니다. 데이터는 공유마당에 있는 김홍도 그림 중 선별 한 자료와 Ai허브에 올라와 있는 한국화 데이터셋 입니다.

모델에 사용된 자료 출처

공유마당 링크 / Ai허브 링크

허깅페이스 모델 주소

https://huggingface.co/gagong/korean-sumukhwa-model-ver-1

Civitai 주소

https://civitai.com/models/81845/

학습과정

이미지를 768×768사이즈로 바꾼뒤, clip_interrogator를 통해 프롬프트를 만들었습니다. 이후 한국 수묵화 자료에 gksrnrghk라는 프롬프트를 붙이고, 김홍도 그림에는 rlaghdeh라는 프롬프트를 추가로 붙였습니다.

이 이미지를 다시 512×512사이즈로 바꾼 뒤 Stable Tuner를 이용해서 학습을 했습니다. 사용한 설정은 아래와 같습니다.

pretrained model: runwayml/stable-diffusion-v1-5

seed: 3434554

resolution: 512

train batch size: 24

num train epochs: 60

learning rate: 5e-6

원래 768 모델을 생각하고 제작했으나, 실행할 수 있는 환경이 제약이 크고 컨트롤넷을 사용할 수 없었기에 512모델 1.5버전으로 다시 작업을 했습니다.

자료가 이미 준비 되어있기 때문에 경우에 따라서는 (예산이라든지) 새롭게 학습 할 지도 모르겠습니다.

사용 가이드

한국 수묵화 데이터는 6000장 정도 김홍도 그림은 1000장 정도 사용되었습니다. 그런 이유인지, 한국 수묵화 스타일로 하려면 CFG Scale를 2-7 사이로 김홍도 그림의 스타일로 하려면 4-12사이를 추천합니다. 두개의 스타일 모두 활용할 경우 중간 값으로 하는 것을 추천합니다. 스텝수에도 영향을 받기 때문에 적절한 값을 찾는 것이 중요합니다.

작동을 잘 하지만 기법에 대한 프롬프트도 적용이 되어있으며 사용할 때는 아래 프롬프트를 사용하면 됩니다. (하지만 미묘한 차이만이 발생합니다.)

백묵법: baegmyobeob

몰골법: molgolbeob

구륵법: guleugbeob

김홍도 그림을 강조하고 싶으면 rlaghdeh style, rlaghdeh painting이란 프롬프트를 같이 사용하면 좀더 강조가 됩니다.

샘플 이미지

txt2img의 샘플이미지 입니다.

한국화의 경우 높은 CFG에서 흑백이 아닌 컬러가 나오기 시작합니다.