facebookresearch seamless_communication

동시통역

Seamless는 언어 전반에 걸쳐 보다 자연스럽고 진정한 의사소통을 가능하게 하는 AI 모델 제품군입니다. SeamlessM4T는 약 100개 언어를 지원하는 대규모 다국어 다중 모드 기계 번역 모델입니다. SeamlessM4T는 여러 언어에 걸쳐 운율과 음성 스타일 요소를 보존하는 모델인 SeamlessExpressive와 약 100개 언어에 대한 동시 번역 및 스트리밍 ASR을 지원하는 모델인 SeamlessStreaming의 기반이 됩니다. SeamlessExpressive 및 SeamlessStreaming은 다국어, 실시간 및 표현력 있는 번역을 특징으로 하는 통합 모델인 Seamless로 결합됩니다.

SeamlessM4T 모델은 다음 작업을 지원합니다.

• 음성-음성 번역(S2ST)
• 음성-텍스트 번역(S2TT)
• 문자를 음성으로 번역(T2ST)
• 텍스트-텍스트 번역(T2TT)
• 자동 음성 인식(ASR)

SeamlessStreaming 모델은 다음 작업을 지원합니다.

• 음성-음성 번역(S2ST)
• 음성-텍스트 번역(S2TT)
• 자동 음성 인식(ASR)

SeamlessM4T 모델

모델명#params검문소측정항목

SeamlessM4T-대형 v2	2.3B	🤗 모델카드 - 체크포인트	측정항목
SeamlessM4T-대형(v1)	2.3B	🤗 모델카드 - 체크포인트	측정항목
SeamlessM4T-매체(v1)	1.2B	🤗 모델카드 - 체크포인트	측정항목

https://github.com/facebookresearch/seamless_communication

GitHub - facebookresearch/seamless_communication: Foundational Models for State-of-the-Art Speech and Text Translation