LLM_MIT_License

Dolly 1.0은 스탠포드대학 LLM인 알파카(Alpaca) 개발팀이 오픈AI API를 이용해 만든 데이터세트에서 30달러에 걸쳐 학습되고 있으며 데이터세트에는 오픈AI와 경쟁하는 모델 작성은 허용하지 않는다는 약관을 포함한 chatGPT 출력이 포함되어 있기 때문에 불행하게도 상용 이용이 불가능했다.

알파카 외에 버클리AI리서치의 코알라(Koala)나 GPU 미탑재 노트북에서도 실행 가능한 경량 채팅 AI인 GPT4ALL, 챗GPT에 필적하는 성능이라는 비쿠나(Vicuna) 등이 이 규정 제한으로 상용 이용이 금지되어 있다.

LLM들은 공개된 일반적인 내용에 대해 많이 알고 있습니다. 공개된 특정분야에 대해 파인튜닝을 진행하면 우리만의 LLM을 가질수 있을것으로 기대해 봅니다.

상업적 목적이 사용가능한 LLM 
- GPT4All v2
    - https://github.com/nomic-ai/gpt4all
    - 회사: nomic AI
    - GPT-J 6B.  (EleutherAI) 상업적 사용가능
    - finetune은 Alpaca 일부 사용하는 듯(OpenAI 경쟁 상품 X)
    - Windows/Mac/Linux Installer 제공
    - CPU / 느림
    
- Dolly 2
    - https://github.com/databrickslabs/dolly
    - 회사: databricks
    - Pythia(EleutherAI) 상업적 사용 가능
    - finetune 데이터(15k) 회사 인력 이용해 만들어서 공개
    - 12B, 7B, 3B 모델 공개
    - transformers 패키지 이용해서 쉽게 사용 가능 (7B, 14GB 다운로드, 15GB VRAM) - 12B는 24GB VRAM에서 불가
    
- OpenAssistant
    - https://github.com/LAION-AI/Open-Assi...
    - 서비스: https://open-assistant.io/
    - LLama 기반 모델(상업용 사용 X) / Pythia 기반 모델
    - 웹사이트 내 게임화로 fine tuning 데이터를 지속적으로 모으고 있음.
    
- RedPajama 프로젝트
    - https://www.together.xyz/blog/redpajama
    - 1.2 Trillion token 교육 데이터 공개
        - LLama 7B, 13B 모델: 1.0 trillion token
        - LLama 33B, 65B 모델: 1.4 Trillion token
    - LLama 기본 모델(Foundation model)을 오픈소스로 다시 만드는 프로젝트
    - 아직 training된 모델은 없고 데이터만 작업한 상태
        - https://huggingface.co/datasets/toget...
    
- StableLM
    - Stable Diffusion 만든 Stability.ai에서 공개
    - 1.5 Trillion token으로 교육 (The Pile 확장?)
    - 3B, 7B 공개, 15B, 30B, 65B 공개 예정. 175B(GPT-3와 동일 크기) 계획중
    - Alpaca 방법으로 file-tune 모델도 공개 (Non commercial license)
    - 7B 데모: https://huggingface.co/spaces/stabili...
    - transformers 패키지 이용해서 쉽게 사용 가능 (7B, 30 GB 다운로드, 17GB VRAM)