Vicuna

Vicuna : llama를 사용자 대화로 파인튜닝한 오픈 소스 챗봇

• 라마를 파인튜닝한 13B 모델.
• ShareGPT의 70K 공개된 데이터로 학습함.
• GPT-3로 평가했을 때 ChatGPT, Bard의 90% 성능을 달성함.
• Vicuna-13B를 트레이닝할 때 300달러가 들어감.
• 트레이닝 코드와 실행 코드를 공개함. : GitHub - lm-sys/FastChat: The release repo for "Vicuna: An Open Chatbot Impressing GPT-4"
• 비쿠냐 온라인 데모 : FastChat

Gradio

 

• GPU로 돌리면 28GB (경량화 시 18GB) 정도가 필요하다.
• CPU로 돌리면 60GB의 CPU 메모리가 필요하다고 한다.
• 훈련을 시킬 때는 80GB A100 8대로 가능하다고 한다.
• llama를 chatgpt의 사용자 대화로 파인튜닝한 모델인 셈이다.
•