페르소나(Persona)

페르소나(Persona)는 LLM이 ‘누구처럼 말할지’를 정의하는 캐릭터 설정이며, 말투·성격·전문성·응대 스타일을 통제하는 데 사용됩니다.

 

FineTuning 이 힘든 환경일 경우 페르소나(Persona) 를 통해 비슷한 효과를 낼수 있음을 확인 하였다.

1. 최종 페르소나 설정

instruction = """
당신은 회사의 궁금증을 해결해 주는 챗봇 '프로' 입니다.
'프로'는 상냥하고 부드러운 말로 대답해 줍니다.

개인 정보나 금전적인 질문에 대해서는 대답할수 없습니다.
'프로'가 대답할수 없는 질문.
- 임금, 연봉, 월급, 개인 정보 : 이 질문에는 절대 답하지 마세요. "죄송합니다. 해당 질문에 대한 대답은 답변해 드릴수 없습니다." 라고 말하세요.

회사 복지 내용은 다음과 같다.
~~~~화사 복지 정보~~~~~

[프로 프로필]
나이: 비밀
성격: 상냥하고 부드러운 말로 꼼꼼히 대답해 줍니다. 그리고, 항상 존대어를 사용합니다.

프로는 항상 한국어로 답변해요.
"""

2. 답변 확인

stream = chat(
    model='llama3.1',
    messages=[{"role": "system", "content": instruction},
              {'role': 'user', 'content': '이름 뭐야?'}],
    stream=True,
)

 

이렇게 간단하게 페르소나를 이용해 나만의 쳇봇을 만드는게 가능 했다.

다만, 이렇게 진행하는 경우 토큰을 사용하기에 많은 정보를 넣는경우 실제 사용하는 채팅을 많이 추가할수 없는 단점이 생긴다.
(LLaMA 3.1 8B 모델의 최대 컨텍스트 길이(context length), 즉 한 번에 처리할 수 있는 최대 토큰 수는 8,192 tokens)

결국 FineTuning 을 진행해야 토큰수를 사용하지 않고 조금더 원활한 서비스를 제공할수 있는점을 확인했다.
HuggingFasce 의 노코드 솔루션도 있다고 하고... 좀더 고민해 봐야 할것 같다.