FineTuning

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.

예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.

그럼 Llama 에서 FineTuning 이 가능할까? HuggingFasce 를 이용해 어찌어찌 하면 된다는 다수의 글들을 확인하였고, 가지고 있는 MAC MINI 에 실행하려 했지만 Llama3.1 8B 조차 돌릴수 없는 비루한 사양을 확인 하였다...
(Ollama 를 이용한 실행시 메모리가 부족하지 않았던건 Ollama 에서 양자화 튜닝을 진행했기에 그렇다는 글들을 보았다.)

그래서 여러대의 맥을 한대 모아 진행하기 위한 클러스터를 먼저 진행하기 위해 EXO 를 사용 했지만, 애플 실리콘에서 여러가지 문제가 있어 진행하기 어려웠다.
(기존 개발 환경에 어떤 영향을 미칠지 몰라 쉽게 진행할수 없었다..ㅠ)

따라서 FineTuning 을 비슷하게 흉내 내기 위해 Role 의 System 을 이용해 페르소나를 설정해 테스트 해보려 한다.

메모리 계산 (로딩만을 위한 용량)
• FP16 정밀도 사용: 각 파라미터는 2바이트를 사용합니다.
• 8B(80억) 파라미터 모델: 8B x 2바이트 = 16GB 메모리 필요
• 70B(700억) 파라미터 모델(Llama-3.3-708): • 70B x 2바이트 = 140GB 기본 메모리 필요.

참고 링크들

GitHub - exo-explore/exo: Run your own AI cluster at home with everyday devices 📱💻 🖥️⌚

Mac M1에서 exo 설치하기: 완벽 가이드

ChatGPT Fine-tuning 예시 | 언제, 어떻게 해야 하는가

[Python] Llama3를 파인튜닝을 통해 나만의 데이터로 학습 및 Huggingface에 적재해보자. - 미완성의신

실전! LLM 파인튜닝-GPT3.5 파인튜닝(2/2)

[우아한 스터디] LLM(LLaMA3) Fine-Tuning 방법 정리

llama 3.1 간단하게 Fine Tuning 하기