Project Jo

지금까지 많은 자료를 찾아가며 파인 튜닝에 대한 접근을 진행해 왔다.FineTuning: 메모리 부족으로 llama3.1 8B 를 실행할수 없어서 포기Persona: 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 포기LangChain: 정확도가 떨어지며 속도가 몹시 느려서 포기그러나 Apple 의 메일에서 "머신 러닝 튜토리얼 시작하기" 라는 링크가 보여 클릭해 보니 Xcode 의 Create ML 앱 영상 몇개를 보다보니 WWDC 에서 "Apple GPU에서 머신 러닝 및 AI 모델 학습시키기" 영상이 있는것이 아닌가!!Apple GPU에서 머신 러닝 및 AI 모델 학습시키기해당 영상을 보면서 다시한번 양자화가 가능하다면 로컬에서 파인튜닝에 문제가 없을것으로 ..

[{"role": "system", "content": "너는 과학자야. 간단하고 명확하게 답변해."},{'role': 'user', 'content': '왜 하늘은 푸른색 인가?'},{'role': 'assistant', 'content': '하늘이 푸른 색인 이유는 해양 산소(gas) 때문입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '산소(gas) 때문이라면 어떤 절차로 우리 눈에 푸르게 보이게 되는건가?'},{'role': 'assistant', 'content': '하늘이 푸른색으로 보이는 이유는 다음과 같은 과정을 거쳐 일어나는 현상입니다. 어쩌구저쩌구~'},{'role': 'user', 'content': '여전히 잘 모르겠다. 화학식이나 주파수등 조금더 자세히..

Ollama 는 localhost 만 접속이 허용된다. 따라서 외부에서 접근하기 위해서는 바인딩 IP 를 0.0.0.0 으로 설정해 줘야 한다.* 바인딩 IP 란 접속을 허용하는 IP 를 의미한다. (0.0.0.0 은 모든 접근을 허용)아래 명령어를 터미널에서 입력 후 Ollama 를 재시작 한다.launchctl setenv OLLAMA_HOST "0.0.0.0:11434"설정 방법 공식 사이트 설명https://github.com/ollama/ollama/blob/main/docs/faq.md#how-do-i-configure-ollama-server ollama/docs/faq.md at main · ollama/ollamaGet up and running with Llama 3.3, DeepSee..

1. 서론AI는 최근 빠르게 발전하며 우리 일상의 중심 기술로 자리 잡고 있습니다. 이 중에서도 대규모 언어 모델(LLM)과 온 디바이스 AI는 두 가지 대표적인 방식으로, 각각의 고유한 특성을 가지고 있습니다.대규모 언어 모델, 예를 들어 ChatGPT는 클라우드 기반으로 방대한 데이터를 학습하여 광범위한 질문에 대응할 수 있는 능력을 갖추고 있습니다. 그러나 이 모델은 서버와의 실시간 연동이 필수적이며, 따라서 인터넷 연결이 요구됩니다. 반면, 온 디바이스 AI는 사용자 기기 내에서 직접 데이터를 처리하기 때문에 빠른 응답 속도와 더 나은 개인정보 보호를 제공합니다.휴대폰 제조사들이 온 디바이스 AI에 집중하는 이유는 두 가지로 요약할 수 있습니다. 첫째, 데이터를 클라우드로 전송하지 않음으로써 개인..

Llama 3.1 설치 및 테스트를 진행한다.1. Llama 홈페이지를 참고해 설치를 진행한다.https://llama.meta.com/docs/llama-everywhere/running-meta-llama-on-mac/ Running Meta Llama on Mac | Llama EverywhereFor this demo, we are using a Macbook Pro running Sonoma 14.4.1 with 64GB memory. Since we will be using Ollamap, this setup can also be used on other operating systems that are supported such as Linux or Windows using similar st..