메타 : 대규모 언어 모델(LLM)을 공개

LLaMA(Large Language Model Meta AI)를 공개 했다. 

https://ai.facebook.com/blog/large-language-model-llama-meta-ai/

• LLaMA은 텍스트 생성이나 대화, 자료 요약, 수학, 단백질 생성 등에서 많은 가능성을 보여줌.
• 메타는 이 개방형 연구 모델에 전념.
• LLaMA를 연구원이나 학계, 정부, 시민단체 등에 비상업적 라이선스로 제공.
• 아직 페이스북이나 인스타그램 등에 도입하지는 않음.

기본형인 66B(매개변수 650억개)를 비롯해 7B(70억개) 13B(130억개) 33B(330억개) 등 용도에 맞춰 리소스를 줄일 수 있도록 다양한 버전을 출시

메타는 세계에서 가장 많이 사용되는 언어 20가지의 텍스트를 훈련에 사용했다고 설명했다.

오픈AI의 'GPT-3.0'와 'GPT-3.5(챗GPT)'는 매개변수가 1750억개, 구글의 'PaLM'은 5400억개
LLaMA는 LLM 훈련에 사용하는 토큰(텍스트 데이터 단위)의 양을 늘여, 품질을 높임.
LLaMA는 65B와 33B에 1조4000억개, 가장 작은 모델인 LLaMA 7B의 경우에도 1조개를 사용했다고 밝혔는데, 이는 구글의 딥마인드가 지난해 9월 공개한 최근 LLM '친칠라'의 1조4000억개와 같은 수준이다. 

메타는 이처럼 LLM을 공유, 많은 연구자가 미세조정을 통해 다양한 분야에 활용할 수 있도록 할 방침이다. 많은 개발자가 LLaMA을 사용하고 테스트 결과를 공유하면, 기존 챗봇의 문제점을 해결하는 데에도 큰 도움이 될 것으로 보고 있다.  '책임 있는 AI'에 접근할 방법을 자세히 설명하는 'LLaMA 모델 카드'도 공유한다.

LLM 'OPT-175B' 이를 기반으로 '블랜더봇3'이란 챗봇을 제작했고, 과학 논문을 생성해주는 AI 도구 '갤럭티카'를 출시. 하지만 부정확하고 인종차별적인 문구를 작성한다는 지적이 나오면서 사흘 만에 서비스를 중단했다.  

https://github.com/facebookresearch/llama

GitHub - facebookresearch/llama: Inference code for LLaMA models

• 총 219 GiB
  • 7B 12.55 GiG
  • 13B 24.24 GiB
  • 30B 60.59 GiB
  • 65B 121.62 GiB