학습되어 있는 모델을 병합하기도 하고 Lora를 병합하기도 하는데, 그간 관심이 없었다. 저는 모델 병합해서 뭔가 만들 생각이 없었고 Lora를 쓰지않기 때문이다.
하지만 Lora를 쓴 LCM이란 것이 나오면서, 좀 더 빠르게 이미지를 만들기 위해 이를 쓰지 않을 수 없었고, 이번 기회에 모델 병합에 쓰이는 도구들을 지난번 학습 프로그램 처럼 정리해 보았다.
모델 병합의 경우 여러가지 프로그램이 있기 보다는 각 Stable Diffusion모델을 돌리는 프로그램들이 기본적으로 제공하거나, 확장기능으로 제공되고 있다. 기본 기능의 경우 공식적으로 제공되는 가이드를 링크 걸었다.
병합 도구들
Stable diffusion WebUI
기본 기능으로 모델 병합을 제공하지만 제한적인 성능으로 아래의 확장 기능을 쓰는 것이 좋을 것으로 생각된다.
- SuperMerger 링크
모델끼리 병합하는 기능, 그리고 Lora를 병합하는 기능 모두 제공이 됩니다. 가장 많이 쓰이는 도구로 보인다. 일반적으로 가장 풍부한 기능을 가진 것으로 보인다.
- ModelMergeBlockNumer 링크
좀 더 상세하게 병합할 수 있는 확장기능으로 보인다.
- sdweb-auto-MBW 링크
다른 확장기능은 없나 싶어서 찾아본 도구입니다. 위의 확장기능보다는 업데이트나 사용자가 적어 보인다.
Comfy UI
다행히 주로 쓰는 Comfy UI에서도 기본적으로 병합기능이 제공되었다. 특히 여러개의 모델과 Lora를 한번에 병합할 수 있는 것으로 보인다.
- ModelMergeBlockNumer
위에 WebUI에 있는 기능으로특별히 이 확장기능을 사용하면 좀 더 세분화된 설정을 할 수 있을 것으로 추측된다.
InvokeAI
Stable Diffusion을 구동하는 프로그램 중 하나인 Invoke AI는 확장프로그램이 아니라 자체적으로 병합 도구를 제공하고 있다. 회사에서 개발했기에 위의 플러그인 보다는 좀 더 지속적으로 유지보수가 이루어질 것으로 생각이 된다.
병합에 도움되는 정보
병합을 금지한 모델
인터넷에서 구할 수 있는 모델 파일 중 병합을 금지한 것도 찾아볼 수 있습니다. 대표적으로 epiCPhotoGasm이 병합을 금지하고 있다.
DAAM 링크
그림에서 어떤 키워드가 어떤 레이어에 영향을 줘서 그림이 그려지는지 분석하는 프로그램 입니다. 병합할 매우 유용할 것으로 생각됩니다.
추천 글
SuperMerger 관련
ModelMergeBlockNumer 관련
- (AI) AI를 이용해서 고퀄리티 그림체 이미지 모델 만들기 튜토리얼 14 – 루리웹
링크
답글 남기기