Project Jo

1. FineTuning파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.2. Persona설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.3. LangChain사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.또한, 응답 속도가 몹시 떨어졌다.4. 결론Llama 를 이용해 공..

# server.pyfrom fastapi import FastAPI, Requestfrom pydantic import BaseModelimport uvicornapp = FastAPI()class Message(BaseModel): role: str content: str@app.post("/chat")async def chat(message: Message): return { "message": { "role": "assistant", "content": f"Echo: {message.content}" } }if __name__ == "__main__": uvicorn.run("server:app", host..

페르소나(Persona)는 LLM이 ‘누구처럼 말할지’를 정의하는 캐릭터 설정이며, 말투·성격·전문성·응대 스타일을 통제하는 데 사용됩니다. FineTuning 이 힘든 환경일 경우 페르소나(Persona) 를 통해 비슷한 효과를 낼수 있음을 확인 하였다.1. 최종 페르소나 설정instruction = """당신은 회사의 궁금증을 해결해 주는 챗봇 '프로' 입니다.'프로'는 상냥하고 부드러운 말로 대답해 줍니다.개인 정보나 금전적인 질문에 대해서는 대답할수 없습니다.'프로'가 대답할수 없는 질문.- 임금, 연봉, 월급, 개인 정보 : 이 질문에는 절대 답하지 마세요. "죄송합니다. 해당 질문에 대한 대답은 답변해 드릴수 없습니다." 라고 말하세요.회사 복지 내용은 다음과 같다.~~~~화사 복지 정보~~~..

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.그럼 Lla..

[{"role": "system", "content": "너는 과학자야. 간단하고 명확하게 답변해."},{'role': 'user', 'content': '왜 하늘은 푸른색 인가?'},{'role': 'assistant', 'content': '하늘이 푸른 색인 이유는 해양 산소(gas) 때문입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '산소(gas) 때문이라면 어떤 절차로 우리 눈에 푸르게 보이게 되는건가?'},{'role': 'assistant', 'content': '하늘이 푸른색으로 보이는 이유는 다음과 같은 과정을 거쳐 일어나는 현상입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '여전히 잘 모르겠다. 화학식이나 주파수등 조금더 자세히..

Ollama 는 localhost 만 접속이 허용된다. 따라서 외부에서 접근하기 위해서는 바인딩 IP 를 0.0.0.0 으로 설정해 줘야 한다.* 바인딩 IP 란 접속을 허용하는 IP 를 의미한다. (0.0.0.0 은 모든 접근을 허용)아래 명령어를 터미널에서 입력 후 Ollama 를 재시작 한다.launchctl setenv OLLAMA_HOST "0.0.0.0:11434"설정 방법 공식 사이트 설명https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server ollama/docs/faq.md at main · ollama/ollamaGet up and running with Llama 3.3, DeepSee..

Llama 3.1 설치 및 테스트를 진행한다.1. Llama 홈페이지를 참고해 설치를 진행한다.https://llama.meta.com/docs/llama-everywhere/running-meta-llama-on-mac/ Running Meta Llama on Mac | Llama EverywhereFor this demo, we are using a Macbook Pro running Sonoma 14.4.1 with 64GB memory. Since we will be using Ollamap, this setup can also be used on other operating systems that are supported such as Linux or Windows using similar st..