AI 이미지 생성하기 (with. replicate)

회사에서 AI 해커톤을 진행 중이고, 참여하여 개발 중에 있다.

AI를 사용하는게 어려울줄 알았는데

llm를 이용한 챗봇, 이미 만들어진 모델을 이용하여 이미지, 영상 생성하는 것, 등등 모두 손쉽게 할 수가 있었다.

프롬프트를 생성해 주는 모델도 있어서, 아이디어만 있으면 프롬프트 생산도 어렵지가 않다.

그리고 여기 ai 모델 및 컴퓨터까지 제공해 주는 플랫폼(replicate)이 있다.

해당 사이트 블로그에서는 파인 튜닝하는 법까지 친절하게 안내되고 있다.

여기서 이미지를 학습시켜서 생성하는 방법에 대해 간략히 작성해본다.

이미지 생성 모델 파인튜닝하기

로라 모델을 사용하면 이미지로 학습시켜서 모델을 만들 수가 있다.

replicate에서는 해당 학습을 시킬수 있는 컴퓨팅 자원이 제공되고 있다.

lora-trainer 학습 시키고자 하는 사진 최소 10장 이상 필요하고 압축하여 zip파일을 제공하면 모델이 만들어진다.

시간은 대략 10분정도 걸리고 요금은 대략 $1 정도..?

본인은 연예인 인물 하나를 고르고, 해당 인물 사진 10장으로 학습을 시켰다.

생성된 모델로 이미지 생성하기

모델이 생성되면 프롬프트 넣어서 돌리면 이미지가 생성된다. 다만 프롬프트를 어떻게 할지가 고민인데, 이것도 llm에게 부탁하면된다.

Ensure the character is known by the name "***"
Based on the provided prompt, Write better prompts for an image generation model.

myPrompt: ... 샬라샬라

대강 이런식으로 하고 대충 아이디어 떤지면 잘 작성해준다.

잘 작성된 프롬프트를 학습된 모델에 넣고 돌리면

그럴싸한 이미지가 만들어 진다.

저작권 등의 문제가 있을 수 있어서 결과물은 비밀이다.

참고자료

Published on