SAM 3D Body and Object

Meta(Facebook Research)에서 2025년 11월, SAM 3와 함께 공개한 'SAM 3D'

SAM 3D는 단일 모델이 아니라, 목적에 따라 사물(Objects)과 신체(Body)를 위한 두 가지 모델로 나뉘어 공개되었습니다.

1. 공식 GitHub 저장소

용도에 따라 두 개의 저장소로 분리되어 있습니다.

• SAM 3D Objects (사물용):
  • 주소: https://github.com/facebookresearch/sam-3d-objects

• SAM 3D Body (인체용):
  • 주소: https://github.com/facebookresearch/sam-3d-body

---

2. SAM 3D의 핵심 특징

기존의 SAM이 2D 이미지를 '분할(Segmentation)'하는 데 초점을 맞췄다면, SAM 3D는 단 한 장의 2D 이미지에서 3차원(3D) 형태를 복원하는 생성형 모델입니다.

A. SAM 3D Objects (사물 3D 복원)

• 단일 이미지 3D 변환: 단 한 장의 사진만으로도 객체의 기하학적 형태(Geometry), 텍스처(Texture), 배치(Layout)를 예측하여 완전한 3D 모델로 만들어냅니다.
• 가려짐(Occlusion) 해결: 이미지가 부분적으로 가려져 있거나 복잡한 배경 속에 섞여 있어도(Clutter), 보이지 않는 뒷모습이나 형태를 추론하여 복원하는 능력이 뛰어납니다.
• 현실 이미지(Natural Images) 특화: 통제된 실험실 환경이 아닌, 일반적인 사진(In-the-wild)에서도 강력한 성능을 발휘합니다.
• 용도: e커머스(상품 3D 보기), AR/VR 콘텐츠 생성 등에 활용 가능합니다.

B. SAM 3D Body (인체 3D 복원, 3DB)

• 전신 메쉬 복원 (Full-body HMR): 사진 속 사람의 자세(Pose)뿐만 아니라 손, 발, 몸 전체의 형태를 정밀한 3D 메쉬(Mesh)로 복원합니다.
• 프롬프트 제어: 사용자가 점(Point)이나 박스(Box)로 특정 인물을 지정하면, 해당 인물의 3D 형태를 즉시 생성합니다.
• 새로운 표현 방식 (MHR): 'Momentum Human Rig (MHR)'라는 새로운 방식을 도입하여, 뼈대(Skeletal structure)와 표면 형태(Surface shape)를 분리해 더욱 정확하고 자연스러운 인체 모델을 만듭니다.

 

요약

SAM 3D는 "사진 한 장으로 보이는 모든 것을 3D로 만든다(3Dfy Anything)"는 목표를 가진 프로젝트입니다.

• 사물이 필요하다면  SAM 3D Objects
• 사람의 동작과 형태가 필요하다면  SAM 3D Body
  를 참고하시면 됩니다.

 

 

 

https://youtu.be/AEIw8JPslAE