[OpenAI_Shap-E]_AITIMES_뉴스기사('23.05.15)

https://www.aitimes.com/news/articleView.html?idxno=151099 

오픈AI, 3D 모델 생성하는 오픈소스 ‘쉐이프-E’ 공개 - AI타임스

OpenAI, Shap-E를 공개

Shap-E

텍스트(Text)와 이미지(Image)를 입력하면 3D 모델을 자동 생성하는 인공지능(AI)도구

특징

단일 NVIDIA V100 GPU환경에서 3D 모델을 생성할 경우

• 텍스트를 입력할 경우 약 13초
• 이미지를 입력할 경우 약 1분

생성방법

• 다양한 카메라 위치에서 촬영한 정지 사진을 이용해 3D모델을 생성하는 NeRF 기능
  • NeRF : ‘NeRF’는 AI 딥러닝을 통해 3D 공간의 색과 밀도를 자체적으로 학습하여 2D 이미지로부터 새로운 3D 공간을 복원해내는 기술이다. 
    
    출처 : 인공지능신문(https://www.aitimes.kr)
• 개체의 3차원의 장면을 생성한 다음 확산 모델을 적용해 개체의 모양과 질감을 완성

Shap-E
강점	약점
질감과 같은 개체의 세밀한 부분을 잘 포착	개체에 여러 속성을 결합하거나 개체의 정확한 수를 생성 어려움

약점에 대한 해결 방법

• 레이블이 지정된 대규모 3D 데이터 세트에서 모델을 훈련시켜야함
• 다른 3D 생성 기술과 결합하는 방법
• ex) NeRF와 유사한 기능을 사용하는 '드림퓨전(DreamFusion)'과 결합하여 사용
  드림퓨전은 이메진(Imagen)이라는 텍스트에서 이미지를 생성하는 확산 모델을 이용, 3D 모델을 만듦

활용 가능성

• Shap-E는 디자이너가 새로운 제품과 프로토 타입을 만들 수 있음
• 제조업체에서 제조 공정을 개선하고 오류를 줄이기 위해 부품 및 조립품의 3D 모델을 만들 때 활용 가능

다른 OpenAI의 오픈소스 모델, Text to 3D Model - Point-E(포인트-E)

• NeRF 기술을 적용한 Shap-E와 달리 Point-E는 특정 개체의 3D 모양을 나타내는 공간 상의 여러 점의 집합인 포인트 클라우드를 기반으로 3D 모델을 생성
• Shap-E는 Point-E 모델보다 더 빠르고, 더 상세하고, 정확하게 3D 모델을 생성가능