LLM의 계산오류 부정확성을 없애기 위한 방안

Question

안녕하세요!개인프로젝트를 하고있는데, 회사에서 사용할 수 있는 웹기반 ERP를 만들려고 합니다.이때, GPT처럼 LLM을 기반으로 회사의 정보를 찾아올 수 있는 기능을 구축하려고 하는데, 이때 RAG를 사용하면 회사의 단순한 내용을 찾아올 수 있는 것으로 알고있습니다. 하지만, 직원이 더욱 복잡한 질문(계산)을 할 경우 LLM의 큰 단점이 단순한 계산도 오류를 내는 문제가 있기 때문에, 이 계산 오류를 없애고 싶습니다. 현재 어떤 방식으로 이런 계산 오류를 줄일 수 있을까요?현재 생각하고 있는것은, 관리자 -> LLM에게 질문 -> 일반 지식 질문일 경우(Vector DB), 계산이 필요한 질문일 경우(snowflake) -> 추출한 결과 반환 이런 플로우로 진행하려고 하는데, 어떤 방식이 가장 현시점 좋다고 생각하시나요?제가 중요하게 생각하는 부분은 회사의 권한에 따라, 검색되는 정보가 달라야하고, 계산이 정확해야한다고 생각하는데 이걸 잘 처리할 수 있는 방법으로 구축하고싶습니다.

anydog · Answer

계산을 LLM에게 맡기면 안됩니다.LLM 외부에 계산 로직을 만들고 LLM은 계산 결과만을 사용하는 방향으로 만드셔야 합니다.

집킨 · Answer

일반적인 질문은 RAG를 쓰면 되고, 계산이 필요한 작업은 CoT프롬프팅을 해보거나 수학적 계산에서 높은 점수를 받은 모델을 허깅페이스에서 찾아서 쓰거나 ReAct로 계산 특화 함수를 만들거나 하셔야죠명심할건 LLM에게 100%정답률을 기대하면 안됩니다

돌아온크리미드림 · Answer

Function calling이나 tool calling 이용하시면 됩니다. 공식을 인자로 받아서 실행시켜주는 함수를 만들어두고 llm에 등록 해두면 되겠져?https://python.langchain.com/docs/tutorials/qa_chat_history/한번 따라해 보시고 적용하시면 될듯요

삽살개발 · Answer

llm 은 확률형 이죠

LLM의 계산오류 부정확성을 없애기 위한 방안

4개의 답변

#llm 목록