Project Jo

구글 코랩을 이용한 파인 튜닝 코드를 작성하다 보면 다들 된다는 내용이 나는 되지 않는걸 확인할수 있다.(나만 찾을수 없는건지 코드 내용을 이해하지 못하는건지...)작성이 완성된 코드를 여기에 정리하고, 최종 목표인 특정 제품에 대한 전문 AI 를 만들수 있도록 준비해 보겠다. 1. colab 환경에서 필요한 라이브러리 설치#@title colab 환경에서 필요한 라이브러리 설치!pip install -q transformers datasets peft accelerate bitsandbytes 2. 허깅페이스 로그인#@title 허깅페이스 로그인from huggingface_hub import notebook_loginnotebook_login() 3. 데이터 준비 (전채를 학습하는 코드)#@title..

지금까지 많은 자료를 찾아가며 파인 튜닝에 대한 접근을 진행해 왔다.FineTuning: 메모리 부족으로 llama3.1 8B 를 실행할수 없어서 포기Persona: 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 포기LangChain: 정확도가 떨어지며 속도가 몹시 느려서 포기그러나 Apple 의 메일에서 "머신 러닝 튜토리얼 시작하기" 라는 링크가 보여 클릭해 보니 Xcode 의 Create ML 앱 영상 몇개를 보다보니 WWDC 에서 "Apple GPU에서 머신 러닝 및 AI 모델 학습시키기" 영상이 있는것이 아닌가!!Apple GPU에서 머신 러닝 및 AI 모델 학습시키기해당 영상을 보면서 다시한번 양자화가 가능하다면 로컬에서 파인튜닝에 문제가 없을것으로 ..

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.그럼 Lla..