Project Jo

1. FineTuning파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.2. Persona설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.3. LangChain사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.또한, 응답 속도가 몹시 떨어졌다.4. 결론Llama 를 이용해 공..

페르소나(Persona)는 LLM이 ‘누구처럼 말할지’를 정의하는 캐릭터 설정이며, 말투·성격·전문성·응대 스타일을 통제하는 데 사용됩니다. FineTuning 이 힘든 환경일 경우 페르소나(Persona) 를 통해 비슷한 효과를 낼수 있음을 확인 하였다.1. 최종 페르소나 설정instruction = """당신은 회사의 궁금증을 해결해 주는 챗봇 '프로' 입니다.'프로'는 상냥하고 부드러운 말로 대답해 줍니다.개인 정보나 금전적인 질문에 대해서는 대답할수 없습니다.'프로'가 대답할수 없는 질문.- 임금, 연봉, 월급, 개인 정보 : 이 질문에는 절대 답하지 마세요. "죄송합니다. 해당 질문에 대한 대답은 답변해 드릴수 없습니다." 라고 말하세요.회사 복지 내용은 다음과 같다.~~~~화사 복지 정보~~~..