[NVIDIA 퍼퓨전]_AITIMES_뉴스기사('23.08.02)

https://www.aitimes.com/news/articleView.html?idxno=152718 

엔비디아, 초소형 이미지 생성 AI ‘퍼퓨전’ 공개 - AI타임스

NVIDIA

새로운 이미지 생성 인공지능 도구 퍼퓨전(Perfusion) 공개

퍼퓨전은 불과 100KB 크기의 모델과 4분의 훈련 시간

원하는 이미지를 생성하는 것이 특징

디크립트

• 엔비디아와 텔아비브 대학이 협력
• 객체의 정체성을 유지하면서 동시에 개인화한 이미지를 생성할 수 있는 퍼퓨전이라는 소형 텍스트-이미지 생성 AI 도구를 개발
• 작은 크기의 모델과 짧은 훈련 시간에도 불구하고 효율성 측면에서 스테이블 디퓨전이나 미드저니와 같은 선도적인 AI 이미지 생성기의 성능을 능가함

핵심 아이디어는 '키 잠금(Key-Locking)'

이미지 생성 중 '고양이'나 '의자'와 같이 사용자가 추가하려는 개념을 일반적인 범주로 확대

고양이는 '고양이과'라는 더 넓은 개념과 연결

이렇게 하면 AI 모델이 정확한 훈련 샘플과 딱 맞아떨어지는 '과적합'에 치중하는 것을 방지

• 과적합은 창의적인 이미지 생성을 어렵게 만듦

생성할 고양이를 고양이의 일반적인 개념에 연결, 모델은 다양한 포즈, 외모 및 주변 환경에서 고양이를 묘사 가능

• 그러나 임의의 고양이가 아니라 의도된 고양이처럼 보이게 만드는 본질적인 '고양이 속성'을 여전히 유지
• 키 잠금을 통해 핵심 정체성을 유지하면서 사용자 지정 개념을 유연하게 렌더링할 수 있게 됨

3가지 유형의 키 잠금

글로벌 키 잠금(Global Lock)

• 더 많은 시각적 가변성을 허용
• 사람과 같은 자세로 책을 읽기, 요리사 의상을 입은 고양이 등 사물이나 활동의 뉘앙스를 정확하게 묘사 가능

로컬 키 잠금(Local Lock)

• 로컬 역시 사물이나 활동의 뉘앙스를 표현가능하지만 글로벌만큼 효과적이지 않음

트레인드-K(Trained-K)

• 훈련 이미지와 호환성은 뛰어나지만, 대신 텍스트와의 유사성은 줄어드는 효과

퍼퓨전

• 별도로 개념을 학습해 단일한 결과물을 내는 기존 AI와 달리, 텍스트 프롬프트에 따라 학습한 여러 개념을 혼합해 단일 이미지로 결합할 수 있음
• 개념은 최종 이미지를 생성하기 위해 런타임 프로세스 중에만 개별적으로 학습하고 병합
• 사용자는 '고양이', '선글라스', '의자' 와 같은 이미지를 병합한 텍스트 프롬프트를 통해 이미지 생성 프로세스를 도출할 수 있음

주목할 만한 기능

• 추론 중에 이미지 유사성과 텍스트 유사성 사이의 균형을 제어하는 기능
• 사용자는 재훈련할 필요 없이 단일 100KB 모델을 조정, 텍스트 유사성과 이미지 유사성 간의 균형을 조절, 최적의 밸런스를 선택할 수 있음
• 이 경우 편향 값을 높이면 이미지 유사성이 줄어들고, 편향값을 낮추면 이미지 유사성이 커지는 방식

왼쪽부터 편향이 높음 -> 낮음

• 그러나 AI 모델을 너무 많이 미세조정(Fine tuning)하면 반복적인 결과가 나올 수 있음
• 프롬프트를 엄격하게 따르면 좋지 않은 결과가 나올 수 있음
• 생성기가 프롬프트에 얼마나 가깝게 도달하는지 조정하는 유연성이 중요한 부분
• 퍼퓨전은 이미지 유사성과 텍스트 유사성 사이의 균형을 제어하는 기능 덕분에 다른 AI 이미지 생성기에 비해 뛰어난 이미지 유사성과 텍스트 유사성을 제공
• 전체 모델을 재훈련해야 하는 방법과 달리 효율적인 크기 덕분에 미세조정 중 이미지 업데이트가 가능