Project Jo

이전에 바이브 코딩을 진행하기 위해 MCP 라는 방법을 소개하고 테스트해 보았다.아직 Xcode 와 정확히 호환이 되지 않아 잠시 잊고 있었는데, 돌연 좋은 생각이 나서 정리해 보려고 한다.MCP 란?AI 모델과 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것!즉, 웹 검색이 가능한 것 처럼 사용자의 정보를 AI 모델이 가져가 정리하고 검색하고 요약하고 등등등 을 할수 있다는 이야기다.그렇다면 나는 어떤것이 가능한가?특정 제품에 대한 AI 나, 개인화 비서 같은 기능을 꼭 파인튜닝이나 페르소나를 통해 넣을 필요가 없을수도 있다.웹 검색을 하듯 AI 가 필요한 정보를 바로바로 제공해 준다면 문제 없이 비슷한 기능을 할수 있을것이다.- 개인화 비서구글의 캘린더, 메일, 연락처 등의 정보를 AI 가 접근할수..

1. FineTuning파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.2. Persona설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.3. LangChain사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.또한, 응답 속도가 몹시 떨어졌다.4. 결론Llama 를 이용해 공..

페르소나(Persona)는 LLM이 ‘누구처럼 말할지’를 정의하는 캐릭터 설정이며, 말투·성격·전문성·응대 스타일을 통제하는 데 사용됩니다. FineTuning 이 힘든 환경일 경우 페르소나(Persona) 를 통해 비슷한 효과를 낼수 있음을 확인 하였다.1. 최종 페르소나 설정instruction = """당신은 회사의 궁금증을 해결해 주는 챗봇 '프로' 입니다.'프로'는 상냥하고 부드러운 말로 대답해 줍니다.개인 정보나 금전적인 질문에 대해서는 대답할수 없습니다.'프로'가 대답할수 없는 질문.- 임금, 연봉, 월급, 개인 정보 : 이 질문에는 절대 답하지 마세요. "죄송합니다. 해당 질문에 대한 대답은 답변해 드릴수 없습니다." 라고 말하세요.회사 복지 내용은 다음과 같다.~~~~화사 복지 정보~~~..

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.그럼 Lla..

[{"role": "system", "content": "너는 과학자야. 간단하고 명확하게 답변해."},{'role': 'user', 'content': '왜 하늘은 푸른색 인가?'},{'role': 'assistant', 'content': '하늘이 푸른 색인 이유는 해양 산소(gas) 때문입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '산소(gas) 때문이라면 어떤 절차로 우리 눈에 푸르게 보이게 되는건가?'},{'role': 'assistant', 'content': '하늘이 푸른색으로 보이는 이유는 다음과 같은 과정을 거쳐 일어나는 현상입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '여전히 잘 모르겠다. 화학식이나 주파수등 조금더 자세히..

Ollama 는 localhost 만 접속이 허용된다. 따라서 외부에서 접근하기 위해서는 바인딩 IP 를 0.0.0.0 으로 설정해 줘야 한다.* 바인딩 IP 란 접속을 허용하는 IP 를 의미한다. (0.0.0.0 은 모든 접근을 허용)아래 명령어를 터미널에서 입력 후 Ollama 를 재시작 한다.launchctl setenv OLLAMA_HOST "0.0.0.0:11434"설정 방법 공식 사이트 설명https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server ollama/docs/faq.md at main · ollama/ollamaGet up and running with Llama 3.3, DeepSee..