Alphaca

Alpaca는  LLaMA 언어모델을 Stanford 사용자의 명령어에 언어모델이 잘 답변할 수 있도록 Instruction-following 데이터로 파인튜닝한 모델입니다.

스탠포드 알파카(Stanford Alpaca)는 스탠포드 대학교 연구팀이 개발한 자연어 처리(NLP) 기술을 기반으로 하는 AI 프로그램입니다. 알파카는 대화를 이끌어 나가는 인공지능 기술로, 자연어 처리를 통해 사용자와 의미있는 대화를 나눌 수 있습니다. 이 프로젝트의 목표는 인공지능이 사람처럼 대화를 이해하고, 자연스럽게 응답할 수 있는 능력을 개발하는 것입니다.

스탠포드 알파카는 다양한 분야의 정보를 학습하고, 이를 바탕으로 사용자의 질문에 정확하고 신속하게 답변할 수 있도록 설계되었습니다. 기계 학습, 딥 러닝, 자연어 처리, 인공신경망 등의 기술이 활용되어, 다양한 언어를 사용하는 사용자와도 원활한 의사소통을 가능하게 합니다. 이 프로그램은 학술 연구, 기업, 고객 지원 등 다양한 분야에서 활용될 수 있습니다.

meta's LLaMA

 

Alpaca는 text-davinci-003(175B)보다 훨씬 작은 7B 모델이지만 유사하게 동작한다고 합니다.  Backbone으로 두고 Instruction tuning을 한 모델입니다.

데이터의 품질이 매우 뛰어나다고 할 수는 없겠지만 모델을 Alignment하기에는 어느정도 충분한 데이터를 생성한 것으로 보입니다. 52,000건의 데이터를 생성하는데는 $500 정도의 비용이 들었다고 합니다.

self-Instruct를 통해 생성한 데이터로 A100(80GB) 8대의 환경에서 Supervised Fintuning(SFT)을 하면 3 epoch에 3시간정도 소요되며, 일반적인 명령어에도 잘 답변할 수 있는 모델이 탄생하게 됩니다. 이때 발생한 비용은 $100 이하로 들었다고 합니다.

기욤램플 "LLaMA-13B는 대부분의 벤치마크 테스트에서 OPT나 GPT-3보다 뛰어난 성능을 발휘했으며, LLaMA-65B도 친칠라 70B나 PaLM 540B에 필적할 경쟁력을 보여줬다"

구글, 의료전문 LLM '메드-PaLM' 공개...헬스케어 AI 소개

ref.v

ref.t