챗봇(Chat Bot)

1. FineTuning

파인 튜닝을 진행해 Huggingface 에 올리고 직접 실행하려 했지만, PC 의 사양이 낮아 llama3.1 8B 를 실행하수 없어 실패 하였다.

2. Persona

설정에 직접 사전 지식을 넣어 챗봇을 실행하니 원하는 기능을 얻을수 있었다.
다만, 사전 지식이 많아지면 llama3.1 8B 의 프롬프트 갯수를 초과할수 있는 단점이 있어 장기적으로 사용은 어려워 보인다.

3. LangChain

사전 지식의 PDF 를 랭체인으로 넣어 제공했더니 PDF 를 검색해서 알려줄뿐 해당 지식을 사용하여 정리된 정보를 주지는 않았다.
프롬프트를 개선해 조금 나아 졌지만, 정확도와 답변의 내용 수준이 많이 떨어져 사용하기에 무리가 있다.
또한, 응답 속도가 몹시 떨어졌다.

4. 결론

Llama 를 이용해 공부를 하는 내 첫번째 목적은 특정 제품에 대한 지식을 넣어 챗봇을 만드는것 이었다.
지금까지 공부하며 각 방법에 대한 한계를 경험했고 이제는 마무리 하려 한다.

RAG (Retrieval-Augmented Generation) 기반 LangChain + 문서 전처리 + 요약 임베딩을 진행 한다면 FineTuning과 흡사한 효과를 낼수 있다고 하지만, 속도가 떨어 지는건 어쩔수 없는것 같다.

PC 가 여유로운 사양이라면 FineTuning 을 진행하며 조금더 공부해 보는것은 좋을것 같다...
이제는 Llama 를 놓아주고 Open AI 인 Chat GPT API 를 공부해 보겠다.

참고 링크들

랭체인 LangChain 이란 무엇인가? | 인사이트리포트 | 삼성SDS

로컬 호스트 LLM 오픈소스 OLLAMA 기반 PDF 지식 챗봇 서비스 간단히 만들어보기

세이노의 가르침 PDF를 학습한 챗봇 구현하기