본문으로 건너뛰기

Checkpoint, LoRA, VAE 적용

Checkpoint, LoRA, VAE를 적용하려면 먼저 관련 파일을 다운로드해야 합니다. Stable Diffusion web UI만으로도 텍스처 생성은 가능하지만, 최적의 퀄리티를 위해서는 이러한 모델파일을 다운로드하여 적용해야 합니다.

아래 가이드에서는 모델을 다운로드하고 적용하는 방법을 자세히 설명합니다.

모델 다운로드​

Civitai​

Civitai은 Stable Diffusion AI 모델 공유 플랫폼입니다. 여러 모델을 검색하고 리뷰를 보거나 다운로드할 수 있습니다.

Hugging Face​

Github​

모델 적용​

Checkpoint 적용​

다운로드한 Checkpoint 파일을 Stable Diffusion web UI와 UModeler X의 AI 텍스처링에서 사용하려면, 파일을 특정 경로에 넣고 적용해야 합니다.

  1. 다운로드한 Checkpoint 파일을 stable-diffusion-webui/models/Stable-diffusion 폴더에 복사합니다. Alt text
  2. Stable Diffusion web UI에서 좌측 상단에 Stable Diffusion checkpoint 영역 옆 버튼을 클릭하여 목록을 새로고침합니다. Alt text
  3. 새로고침 후, 드롭다운 메뉴에서 새로 추가한 Checkpoint를 확인할 수 있습니다. Alt text

LoRA 적용​

LoRa 파일 역시 특정 경로에 넣고 적용해야 합니다.

  1. 다운로드한 LoRa 파일을 stable-diffusion-webui/models/Lora폴더에 복사합니다. Alt text
  2. Stable Diffusion web UI에서 Generate 버튼 아래에 있는 버튼들중 Show/Hide extra networks 버튼을 클릭합니다. Alt text
  3. 아래에 표시된 영역에서 Lora 탭을 클릭합니다. Alt text
  4. 우측에 있는 Refresh 버튼을 클릭하면 경로에 넣었던 LoRA가 표시됩니다. Alt text
  5. 해당 LoRA를 클릭하면 프롬프트에 입력이되며 적용이 완료됩니다. Alt text

VAE 적용​

VAE 파일도 특정 경로에 넣고 적용하면 되지만, 적용방법이 조금 다릅니다.

  1. 다운로드한 VAE 파일을 stable-diffusion-webui/models/VAE폴더에 복사합니다. Alt text
  2. Stable Diffusion web UI에서 Settings 탭을 클릭합니다. Alt text
  3. Stable Diffusion을 클릭 후, SD VAE에 있는 새로고침 버튼을 클릭합니다. Alt text
  4. 새로고침 후, 드롭다운 메뉴에서 새로 추가한 VAE를 확인할 수 있습니다. Alt text
  5. 원하는 VAE를 선택 후, Apply settings 버튼을 클릭하여 적용합니다. Alt text

.ckpt와 .safetensors​

Stable Diffusion에 관련된 모델은 .ckpt와 .safetensors 와 같은 형태로 배포 되고 있습니다.

각 형식의 차이점과 문제점을 고려하면, 가능한 경우 .safetensors 형식으로 다운로드하는 것을 권장합니다. 아래에서는 이 두 형식의 차이점과 .ckpt 형식이 가진 잠재적 문제에 대해 자세히 설명하고 있습니다.

.ckpt 형식​

.ckpt 형식은 딥러닝 모델의 중간 학습 상태를 저장(이것이 Checkpoint 체크포인트라고 불리는 이유입니다.)하는 데 사용됩니다. 이 형식을 사용하면 나중에 모델을 다시 실험하거나 튜닝하기가 편리합니다.

하지만 .ckpt 형식은 파이썬의 피클 pickle 모듈을 사용하여 데이터를 저장하므로 보안 문제가 있을 수 있습니다.

정보

pickle 모듈​

pickle 모듈은 파이썬에서 데이터를 바이너리 형식으로 파일에 저장("직렬화")하고 다시 불러오는("역 직렬화") 과정을 도와줍니다.

마치 음식을 통조림에 보관하고 나중에 꺼내 먹는 것과 비슷하며, 프로그램을 종료해도 중요한 데이터를 잃지 않게 해줍니다. 하지만 신뢰할 수 없는 소스에서 받은 데이터를 역직렬화할 때는 보안 문제로 주의가 필요합니다.

악의적으로 작성된 .ckpt 파일을 사용하면, 파일을 열 때(언 피클) 임의의 코드가 실행될 수 있어 PC가 공격받을 위험이 있습니다.

아래는 pickle 모듈에 대한 공식문서내 경고 중 일부입니다.

경고

pickle 모듈은 안전하지 않습니다.​

pickle 모듈은 안전하지 않습니다. 신뢰할 수 있는 데이터만 언 피클 하십시오.

언 피클 시 임의의 코드를 실행하는 악의적인 피클 데이터를 구성할 수 있습니다. 신뢰할 수 없는 출처에서 왔거나 변조되었을 수 있는 데이터를 절대로 언 피클 하지 마십시오.

.safetensors 형식​

.safetensors 형식은 기존 .ckpt 파일의 보안 취약점을 해결하면서도 더 빠른 모델 로딩을 가능하게 하는 새로운 파일 형식입니다.

.safetensors 형식을 사용하는 것을 추천하며 현재 대부분의 최신 모델은 이 형식으로 배포되고 있습니다.