Multi-Concept Customization of Text-to-Image Diffusion 실습
Github
https://github.com/HelloAcorn/custom-diffusion-pogny
custom-diffusion-pogny/outputs/txt2img-samples/samples at main · HelloAcorn/custom-diffusion-pogny
pogny 캐릭터로 학습 돌린 컨텐츠. Contribute to HelloAcorn/custom-diffusion-pogny development by creating an account on GitHub.
github.com
참고 블로그
Custom Diffusion 실습
일단은 먼저 가상환경을 pyenv로 만들어 보자 conda가 default 로 설정 되었기 때문에 밑에 명령어를 통해 비활성화 시켜주자 deactivate conda config --set auto_activate_base false 그 다음 우분투에서 pyenv설정법
aisj.tistory.com
- 세팅이 잘 안되는 부분들이 있었는데 요거 보면서 수정하였음.
포그니
Prompt : <new1> cartoon poly bear
포그니 (더 많은 데이터셋)
Prompt : <new1> cartoon poly bear
포그니와 무무
Prompt : a photo of <new1> cartoon_poly_bear and <new2> cartoon_cat playing together
결론
- 기존 dreambooth 방법 대비 학습속도의 개선은 유의미함. 요즘 외부 사이트에 파인튜닝을 맞겨도 5분 내외로 끝나는걸 보아하니 위와 비슷한 방법론들로 학습하는것으로 추정됨.
- SD1.4 모델 자체의 한계점때문에 이미지의 퀄리티 자체는 보장받지 못하는 이쉬움 존재.