본문 바로가기
AI/LLaMA, Alpaca, Vicuna

GPT4All

by wenect 2023. 4. 2.

GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo는 2023년 3월 20일부터 26일까지 GPT-3.5-Turbo OpenAI API를 사용하여 대화 쌍을 수집하고 이를 통해 학습한 챗봇입니다. 이 챗봇은 단어 문제, 이야기 설명, 멀티턴 대화 및 코드를 포함한 대규모 선별된 상호작용 말뭉치로 훈련되었습니다. 이들은 데이터, 데이터 선별 절차, 훈련 코드 및 최종 모델 가중치를 공개적으로 공개하여 개방적인 연구와 재현성을 촉진하기 위해 제공됩니다. 또한, CPU에서 모델을 실행할 수 있도록 모델의 4비트 양자화 버전도 공개적으로 제공됩니다.

LLaMa 기반 ~800k GPT-3.5-Turbo 세대로 어시스턴트 스타일의 대규모 언어 모델을 교육하기 위한 데모, 데이터 및 코드

GPT4All은 대규모 데이터를 사용하여 훈련된 챗봇입니다. 이 챗봇은 단어 문제, 이야기 설명, 멀티턴 대화 및 코드를 포함한 조수 상호작용의 대규모 선별 말뭉치로 훈련되었습니다. 이들은 대부분의 공개적으로 사용 가능한 데이터 세트에서 수집되었습니다. 이들 데이터는 공개적으로 제공되며, 데이터 정제 절차, 훈련 코드 및 최종 모델 가중치도 공개적으로 제공됩니다. 또한 4 비트 양자화 모델도 공개적으로 제공됩니다. 이 모델은 CPU에서 거의 모든 사람이 실행할 수 있습니다.

GPT4All은 LLaMA 7B의 인스턴스에서 세부 조정된 여러 모델을 훈련합니다. 초기 공개 릴리스와 관련된 모델은 LoRA (Hu et al., 2021)로 훈련되었습니다. 이 모델은 437,605 개의 후처리된 예제를 사용하여 4 회 에포크 동안 훈련되었습니다. 자세한 모델 하이퍼 파라미터 및 교육 코드는 관련 저장소 및 모델 교육 로그에서 찾을 수 있습니다.

GPT4All의 데이터와 교육 세부 정보는 연구를 가속화하기 위해 출시됩니다. GPT4All 모델 가중치와 데이터는 연구 목적으로만 사용하도록 의도되어 있으며 상업적 사용은 금지됩니다. GPT4All은 비상업적 라이센스가있는 LLaMA를 기반으로합니다. 조수 데이터는 OpenAI의 GPT-3.5-Turbo에서 수집되었습니다.

https://github.com/nomic-ai/gpt4all

 

GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories an

gpt4all: a chatbot trained on a massive collection of clean assistant data including code, stories and dialogue - GitHub - nomic-ai/gpt4all: gpt4all: a chatbot trained on a massive collection of cl...

github.com

사용샘플중 운동과 관련 해서 보도록 하자

레그 레이즈
  1. 발을 어깨 너비로 벌리고 무릎을 약간 구부린 채 서십시오.
  2. 팔을 앞으로 똑바로 들어 올리십시오.
  3. 천천히 무릎을 구부리고 발뒤꿈치를 바닥에서 들어 올립니다.
  4. 이 자세를 3초 동안 유지한 다음 천천히 발뒤꿈치를 다시 바닥으로 내립니다.
  5. 운동을 10회 반복합니다.
  6. 무릎이 발끝을 넘지 않도록 합니다.
  7. 등을 곧게 펴고 복부 근육을 사용하십시오.
  8. 엉덩이가 처지거나 등이 구부러지지 않도록 하십시오.
  9. 팔을 곧게 펴고 팔꿈치를 고정하십시오.
  10. 머리가 떨어지거나 어깨가 올라가지 않도록 하십시오.
  11. 운동 내내 정상적으로 호흡하십시오.
  12. 운동을 반복하기 전에 30초 동안 휴식을 취하십시오.
  13. 강해지면 점차 반복 횟수를 늘리십시오.

'AI > LLaMA, Alpaca, Vicuna' 카테고리의 다른 글

Vicuna  (1) 2023.04.16
ChatDoctor  (1) 2023.04.01
Alphaca  (4) 2023.03.30
메타 : 대규모 언어 모델(LLM)을 공개  (0) 2023.03.08

댓글