누구나리포터 LAB에서 AI Engineer로 활동하며, graph 기반의 의사결정 모델을 개발하면서 겪은 흥미로운 이슈를 공유하려고 합니다. 위와 같이 똑같은 질문을 여러번해도 약간의 포멧 차이만 있을뿐, 일관성 있게 응답해주지만일부 케이스들에서는 사용자 경험이 완전히 달라지는 답변을 하기도 합니다. "분명 temperature값고 0.0으로 하고, 완전히 똑같은 질문을 했는데 왜 결과가 달라지지? 누가 코딩 이상하게 한거 아니야?"프롬프트의 온도를 temperature=0.0으로 설정했는데도 같은 질문을 여러 번 반복하면 미세하게 다른 답변이 나오는 현상을 발견했습니다. 처음엔 코드나 설정의 문제라고 생각했지만, 실제로는 ChatGPT와 같은 대규모 언어모델(LLM)의 비결정적(non-determin..
