Project Jo

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.그럼 Lla..

Ollama 는 localhost 만 접속이 허용된다. 따라서 외부에서 접근하기 위해서는 바인딩 IP 를 0.0.0.0 으로 설정해 줘야 한다.* 바인딩 IP 란 접속을 허용하는 IP 를 의미한다. (0.0.0.0 은 모든 접근을 허용)아래 명령어를 터미널에서 입력 후 Ollama 를 재시작 한다.launchctl setenv OLLAMA_HOST "0.0.0.0:11434"설정 방법 공식 사이트 설명https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server ollama/docs/faq.md at main · ollama/ollamaGet up and running with Llama 3.3, DeepSee..

Llama 3.1 설치 및 테스트를 진행한다.1. Llama 홈페이지를 참고해 설치를 진행한다.https://llama.meta.com/docs/llama-everywhere/running-meta-llama-on-mac/ Running Meta Llama on Mac | Llama EverywhereFor this demo, we are using a Macbook Pro running Sonoma 14.4.1 with 64GB memory. Since we will be using Ollamap, this setup can also be used on other operating systems that are supported such as Linux or Windows using similar st..