Project Jo

이전에 바이브 코딩을 진행하기 위해 MCP 라는 방법을 소개하고 테스트해 보았다.아직 Xcode 와 정확히 호환이 되지 않아 잠시 잊고 있었는데, 돌연 좋은 생각이 나서 정리해 보려고 한다.MCP 란?AI 모델과 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것!즉, 웹 검색이 가능한 것 처럼 사용자의 정보를 AI 모델이 가져가 정리하고 검색하고 요약하고 등등등 을 할수 있다는 이야기다.그렇다면 나는 어떤것이 가능한가?특정 제품에 대한 AI 나, 개인화 비서 같은 기능을 꼭 파인튜닝이나 페르소나를 통해 넣을 필요가 없을수도 있다.웹 검색을 하듯 AI 가 필요한 정보를 바로바로 제공해 준다면 문제 없이 비슷한 기능을 할수 있을것이다.- 개인화 비서구글의 캘린더, 메일, 연락처 등의 정보를 AI 가 접근할수..

1. 문제점특정 제품에 특화된 AI 를 만들기 위해서 여러가지 조사를 진행 하였고, 문제점은 다음과 같다.RAM 부족내 Mac-MINI 의 사양은 Apple M2 16GB 이다.이전에 확인한 내용대로 Llama3.1 8B 로딩만을 위한 RAM 용량은 16GB 이고, 양자화가 되지 않은 모델은 메모리 부족으로 동작하지 않는 부분을 확인 하였다.트큰 부족페르소나(Persona)로 역활을 부여하고 사전 지식을 넣으면 특정 제품의 설명이 길어질 경우 사용자와 대화할때 토큰이 부족해 긴 대화를 이어가기 어렵다. 2. 해결 방법양자화 방법을 숙지하면 모든 문제가 해결될것 같아 GPT 를 괴롭히며 정보를 얻었고 다음과 같은 결론에 도달 하였다.1. LLaMA 3.1 8B를 Fine-tuning 한다.초기 LLaMA ..