GPT4All: Training an Assistant-style Chatbot with Large Scale Data Distillation from GPT-3.5-Turbo는 2023년 3월 20일부터 26일까지 GPT-3.5-Turbo OpenAI API를 사용하여 대화 쌍을 수집하고 이를 통해 학습한 챗봇입니다. 이 챗봇은 단어 문제, 이야기 설명, 멀티턴 대화 및 코드를 포함한 대규모 선별된 상호작용 말뭉치로 훈련되었습니다. 이들은 데이터, 데이터 선별 절차, 훈련 코드 및 최종 모델 가중치를 공개적으로 공개하여 개방적인 연구와 재현성을 촉진하기 위해 제공됩니다. 또한, CPU에서 모델을 실행할 수 있도록 모델의 4비트 양자화 버전도 공개적으로 제공됩니다.
LLaMa 기반 ~800k GPT-3.5-Turbo 세대로 어시스턴트 스타일의 대규모 언어 모델을 교육하기 위한 데모, 데이터 및 코드
GPT4All은 대규모 데이터를 사용하여 훈련된 챗봇입니다. 이 챗봇은 단어 문제, 이야기 설명, 멀티턴 대화 및 코드를 포함한 조수 상호작용의 대규모 선별 말뭉치로 훈련되었습니다. 이들은 대부분의 공개적으로 사용 가능한 데이터 세트에서 수집되었습니다. 이들 데이터는 공개적으로 제공되며, 데이터 정제 절차, 훈련 코드 및 최종 모델 가중치도 공개적으로 제공됩니다. 또한 4 비트 양자화 모델도 공개적으로 제공됩니다. 이 모델은 CPU에서 거의 모든 사람이 실행할 수 있습니다.
GPT4All은 LLaMA 7B의 인스턴스에서 세부 조정된 여러 모델을 훈련합니다. 초기 공개 릴리스와 관련된 모델은 LoRA (Hu et al., 2021)로 훈련되었습니다. 이 모델은 437,605 개의 후처리된 예제를 사용하여 4 회 에포크 동안 훈련되었습니다. 자세한 모델 하이퍼 파라미터 및 교육 코드는 관련 저장소 및 모델 교육 로그에서 찾을 수 있습니다.
GPT4All의 데이터와 교육 세부 정보는 연구를 가속화하기 위해 출시됩니다. GPT4All 모델 가중치와 데이터는 연구 목적으로만 사용하도록 의도되어 있으며 상업적 사용은 금지됩니다. GPT4All은 비상업적 라이센스가있는 LLaMA를 기반으로합니다. 조수 데이터는 OpenAI의 GPT-3.5-Turbo에서 수집되었습니다.
https://github.com/nomic-ai/gpt4all
사용샘플중 운동과 관련 해서 보도록 하자
레그 레이즈
- 발을 어깨 너비로 벌리고 무릎을 약간 구부린 채 서십시오.
- 팔을 앞으로 똑바로 들어 올리십시오.
- 천천히 무릎을 구부리고 발뒤꿈치를 바닥에서 들어 올립니다.
- 이 자세를 3초 동안 유지한 다음 천천히 발뒤꿈치를 다시 바닥으로 내립니다.
- 운동을 10회 반복합니다.
- 무릎이 발끝을 넘지 않도록 합니다.
- 등을 곧게 펴고 복부 근육을 사용하십시오.
- 엉덩이가 처지거나 등이 구부러지지 않도록 하십시오.
- 팔을 곧게 펴고 팔꿈치를 고정하십시오.
- 머리가 떨어지거나 어깨가 올라가지 않도록 하십시오.
- 운동 내내 정상적으로 호흡하십시오.
- 운동을 반복하기 전에 30초 동안 휴식을 취하십시오.
- 강해지면 점차 반복 횟수를 늘리십시오.
'AI > LLaMA, Alpaca, Vicuna' 카테고리의 다른 글
Vicuna (1) | 2023.04.16 |
---|---|
ChatDoctor (1) | 2023.04.01 |
Alphaca (4) | 2023.03.30 |
메타 : 대규모 언어 모델(LLM)을 공개 (0) | 2023.03.08 |
댓글