Project Jo

구글 코랩을 이용한 파인 튜닝 코드를 작성하다 보면 다들 된다는 내용이 나는 되지 않는걸 확인할수 있다.(나만 찾을수 없는건지 코드 내용을 이해하지 못하는건지...)작성이 완성된 코드를 여기에 정리하고, 최종 목표인 특정 제품에 대한 전문 AI 를 만들수 있도록 준비해 보겠다. 1. colab 환경에서 필요한 라이브러리 설치#@title colab 환경에서 필요한 라이브러리 설치!pip install -q transformers datasets peft accelerate bitsandbytes 2. 허깅페이스 로그인#@title 허깅페이스 로그인from huggingface_hub import notebook_loginnotebook_login() 3. 데이터 준비 (전채를 학습하는 코드)#@title..

지금까지 많은 자료를 찾아가며 파인 튜닝에 대한 접근을 진행해 왔다.FineTuning: 메모리 부족으로 llama3.1 8B 를 실행할수 없어서 포기Persona: 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 포기LangChain: 정확도가 떨어지며 속도가 몹시 느려서 포기그러나 Apple 의 메일에서 "머신 러닝 튜토리얼 시작하기" 라는 링크가 보여 클릭해 보니 Xcode 의 Create ML 앱 영상 몇개를 보다보니 WWDC 에서 "Apple GPU에서 머신 러닝 및 AI 모델 학습시키기" 영상이 있는것이 아닌가!!Apple GPU에서 머신 러닝 및 AI 모델 학습시키기해당 영상을 보면서 다시한번 양자화가 가능하다면 로컬에서 파인튜닝에 문제가 없을것으로 ..

클로드 + MCP 를 통해 인터넷 검색 권한과 파일 접근 권한을 주고, 바이브 코딩(?) 으로 웹사이트 구축에 성공하였다.마무리 하고 보니 뭔가 야매 같기도 하고, 코드 편집기도 안쓰니 폼도 안나고...VS Code 에 Claude 를 넣어 진정한 바이브 코딩을 완성해 보려 한다. 1. VS Code 설치 Download Visual Studio Code - Mac, Linux, WindowsVisual Studio Code is free and available on your favorite platform - Linux, macOS, and Windows. Download Visual Studio Code to experience a redefined code editor, optimized for ..

이전 정리를 통해 MCP 를 통해 웹 검색도 가능하게 했고, 파일 시스템에 접근도 가능하게 만들었다.이제 클로드 AI 를 통한 바이브 코딩의 준비는 모두 마쳤다고 생각 된다.간단한 개시판 웹 사이트를 만들어 바이브 코딩을 테스트해보자.조금 오버스팩이 될수도 있지만, 지금 개발중인 컴퓨터의 환경에 최대한 영향을 주지 않는 방향이 필요하기에 Docker 도 사용해 본다. (처음 사용해본다...) 1. Docker Desktop 설치특별한것 없다... 홈페이지에 들어가서 설치를 진행해준다... Docker: Accelerated Container Application DevelopmentDocker is a platform designed to help developers build, share, and ru..

이전에 바이브 코딩을 진행하기 위해 MCP 라는 방법을 소개하고 테스트해 보았다.아직 Xcode 와 정확히 호환이 되지 않아 잠시 잊고 있었는데, 돌연 좋은 생각이 나서 정리해 보려고 한다.MCP 란?AI 모델과 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것!즉, 웹 검색이 가능한 것 처럼 사용자의 정보를 AI 모델이 가져가 정리하고 검색하고 요약하고 등등등 을 할수 있다는 이야기다.그렇다면 나는 어떤것이 가능한가?특정 제품에 대한 AI 나, 개인화 비서 같은 기능을 꼭 파인튜닝이나 페르소나를 통해 넣을 필요가 없을수도 있다.웹 검색을 하듯 AI 가 필요한 정보를 바로바로 제공해 준다면 문제 없이 비슷한 기능을 할수 있을것이다.- 개인화 비서구글의 캘린더, 메일, 연락처 등의 정보를 AI 가 접근할수..

1. 문제점특정 제품에 특화된 AI 를 만들기 위해서 여러가지 조사를 진행 하였고, 문제점은 다음과 같다.RAM 부족내 Mac-MINI 의 사양은 Apple M2 16GB 이다.이전에 확인한 내용대로 Llama3.1 8B 로딩만을 위한 RAM 용량은 16GB 이고, 양자화가 되지 않은 모델은 메모리 부족으로 동작하지 않는 부분을 확인 하였다.트큰 부족페르소나(Persona)로 역활을 부여하고 사전 지식을 넣으면 특정 제품의 설명이 길어질 경우 사용자와 대화할때 토큰이 부족해 긴 대화를 이어가기 어렵다. 2. 해결 방법양자화 방법을 숙지하면 모든 문제가 해결될것 같아 GPT 를 괴롭히며 정보를 얻었고 다음과 같은 결론에 도달 하였다.1. LLaMA 3.1 8B를 Fine-tuning 한다.초기 LLaMA ..

MCP(Model Context Protocol)란?Model Context Protocol (MCP)은 Anthropic Claude가 출시한 오픈소스 프로토콜로, AI 모델과 개발 환경 간의 통합된 컨텍스트 상호작용 표준을 구축하기 위한 것입니다. 표준화된 컨텍스트 정보 접근 방식을 제공함으로써, MCP는 AI 모델이 코드를 더 잘 이해하고 처리할 수 있게 하며, 개발자가 단일 표준을 통해 AI 애플리케이션과 다양한 데이터 소스를 연결할 수 있도록 합니다. 최근 AI 의 화두는 바이브 코딩(vibe coding)이다. 지금부터 그 준비를 하면서 정리를 진행 하고자 한다.AI 모델은 클로드(Claude)를 선택 하였다.인간 언어의 이해도, 특히 언어를 가리지 않고 이해도가 매우 뛰어나 한국어의 이해도또..

1. FineTuning파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.2. Persona설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.3. LangChain사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.또한, 응답 속도가 몹시 떨어졌다.4. 결론Llama 를 이용해 공..