Project Jo

이전에 바이브 코딩을 진행하기 위해 MCP 라는 방법을 소개하고 테스트해 보았다.아직 Xcode 와 정확히 호환이 되지 않아 잠시 잊고 있었는데, 돌연 좋은 생각이 나서 정리해 보려고 한다.MCP 란?AI 모델과 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것!즉, 웹 검색이 가능한 것 처럼 사용자의 정보를 AI 모델이 가져가 정리하고 검색하고 요약하고 등등등 을 할수 있다는 이야기다.그렇다면 나는 어떤것이 가능한가?특정 제품에 대한 AI 나, 개인화 비서 같은 기능을 꼭 파인튜닝이나 페르소나를 통해 넣을 필요가 없을수도 있다.웹 검색을 하듯 AI 가 필요한 정보를 바로바로 제공해 준다면 문제 없이 비슷한 기능을 할수 있을것이다.- 개인화 비서구글의 캘린더, 메일, 연락처 등의 정보를 AI 가 접근할수..

1. 문제점특정 제품에 특화된 AI 를 만들기 위해서 여러가지 조사를 진행 하였고, 문제점은 다음과 같다.RAM 부족내 Mac-MINI 의 사양은 Apple M2 16GB 이다.이전에 확인한 내용대로 Llama3.1 8B 로딩만을 위한 RAM 용량은 16GB 이고, 양자화가 되지 않은 모델은 메모리 부족으로 동작하지 않는 부분을 확인 하였다.트큰 부족페르소나(Persona)로 역활을 부여하고 사전 지식을 넣으면 특정 제품의 설명이 길어질 경우 사용자와 대화할때 토큰이 부족해 긴 대화를 이어가기 어렵다. 2. 해결 방법양자화 방법을 숙지하면 모든 문제가 해결될것 같아 GPT 를 괴롭히며 정보를 얻었고 다음과 같은 결론에 도달 하였다.1. LLaMA 3.1 8B를 Fine-tuning 한다.초기 LLaMA ..

wxPython은 Python 프로그래밍 언어를 위한 크로스 플랫폼 GUI 툴킷입니다.Mac OS, Windows, Linux 및 Unix 기반 시스템과 같은 다양한 플랫폼에서 작동합니다. 1. 설치pip install wxpython 2. 화면 표시import wxclass MainWindow(wx.Frame): def __init__(self): super().__init__(parent=None, title='TEST', size=wx.Size(500, 200)) base_sizer = wx.BoxSizer(orient=wx.VERTICAL) self.SetSizer(base_sizer)app = wx.App()window = MainWindow()window.Show()app.M..

MCP(Model Context Protocol)란?Model Context Protocol (MCP)은 Anthropic Claude가 출시한 오픈소스 프로토콜로, AI 모델과 개발 환경 간의 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것입니다. 표준화된 컨텍스트 정보 접근 방식을 제공함으로써, MCP는 AI 모델이 코드를 더 잘 이해하고 처리할 수 있게 하며, 개발자가 단일 표준을 통해 AI 애플리케이션과 다양한 데이터 소스를 연결할 수 있도록 합니다. 최근 AI 의 화두는 바이브 코딩(vibe coding)이다. 지금부터 그 준비를 하면서 정리를 진행 하고자 한다.AI 모델은 클로드(Claude)를 선택 하였다.인간 언어의 이해도, 특히 언어를 가리지 않고 이해도가 매우 뛰어나 한국어의 이해도또..

1. FineTuning파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.2. Persona설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.3. LangChain사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.또한, 응답 속도가 몹시 떨어졌다.4. 결론Llama 를 이용해 공..

# server.pyfrom fastapi import FastAPI, Requestfrom pydantic import BaseModelimport uvicornapp = FastAPI()class Message(BaseModel): role: str content: str@app.post("/chat")async def chat(message: Message): return { "message": { "role": "assistant", "content": f"Echo: {message.content}" } }if __name__ == "__main__": uvicorn.run("server:app", host..

페르소나(Persona)는 LLM이 ‘누구처럼 말할지’를 정의하는 캐릭터 설정이며, 말투·성격·전문성·응대 스타일을 통제하는 데 사용됩니다. FineTuning 이 힘든 환경일 경우 페르소나(Persona) 를 통해 비슷한 효과를 낼수 있음을 확인 하였다.1. 최종 페르소나 설정instruction = """당신은 회사의 궁금증을 해결해 주는 챗봇 '프로' 입니다.'프로'는 상냥하고 부드러운 말로 대답해 줍니다.개인 정보나 금전적인 질문에 대해서는 대답할수 없습니다.'프로'가 대답할수 없는 질문.- 임금, 연봉, 월급, 개인 정보 : 이 질문에는 절대 답하지 마세요. "죄송합니다. 해당 질문에 대한 대답은 답변해 드릴수 없습니다." 라고 말하세요.회사 복지 내용은 다음과 같다.~~~~화사 복지 정보~~~..

Fine-Tuning은 이미 대규모 데이터로 사전 학습(pretraining)된 LLM 모델을 특정 목적이나 도메인에 맞춰 추가 학습시키는 과정을 말합니다. 즉, 기존 모델의 언어 능력은 그대로 유지하면서, 특정 업무(Task) 또는 특정 도메인(Domain)에 대해 더 잘 작동하도록 만드는 것이 목적 입니다.예를 들어 OpenAI의 GPT나 Meta의 LLaMA 같은 모델은 위키피디아, 뉴스, 책 등 일반적인 데이터를 기반으로 학습되었죠. 그런데 여러분 회사의 고객지원 챗봇에 이 모델을 쓰고 싶다면? 제품명, 내부 용어, 고객 응대 방식 등을 알지 못하는 기본 모델은 좋은 답변을 못할 수 있어요. 이럴 때 자사 고객상담 데이터로 파인튜닝을 하면, 모델이 그에 맞게 잘 대응할 수 있게 됩니다.그럼 Lla..