openai api 템플릿 지정방법이 없나요?

Question

springboot를 사용중인데openai를 이용해 간단한 작업을 하나하려하는데요.질문은 string으로 주면 원하는 포맷의 응답을 받을겁니다.원하는 응답포맷은 정해져있고 (ex, 오늘날씨는 OO입니다. 현재시간은 OO 입니다. 등등 간단한 응답 몇가지 고정)그래서 질문요청시 템플릿,실제질문을 같이 전달해주려하는데, 찾아보니깐 질문이 길어질수록 비용이 더나간다고 해서,템플릿은 고정인데 계속해서 보내야하는게 비용낭비인것 같아, 관리페이지에서 템플릿같은걸 등록할수있는지 찾아봤는데, 따로 관련내용을 찾지못했습니다. 템플릿을 미리 설정해두는게 불가능한걸까요?? 이해가 어려우실까봐 현재 템플릿 간단한 예시를 보여드립니다 &#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;요청 prompt 응답템플릿 A1: {날짜,시간} {도시명} 날씨는 {날씨정보} 입니다. B1: {장소}의 현재 시간은 {시간} 입니다. C1: {명사}는 {의미} 라는 뜻을 가지고 있습니다. D1: 이해할수없는질문입니다. 아래질문에서 위의 응답템플릿에에 맞는 대답만 진행해줘. 질문: {동적질문 ex)내일 날씨알려줘} &#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;&#61;원하는 응답 B1: 내일 서울시의 날씨는 맑음 입니다.

AskeTeddy · Answer

추론이 들어가는 작업은 ai 관여없이 자동화 하기 힘듭니다.질문마다 어떤 템플릿을 써야하는지 알게 하는 것도 추론입니다.RAG(임베딩 기반으로 템플릿 검색)을 통해 llm 에게 보내는 실제 질문은 '문맥에 맞는 템플릿'을 전달하므로, 기존 질문 보다는 적어질 수 있습니다.예시)<기존 방식>질문: "질문: 내일 날씨알려줘 템플릿 리스트:A1: {날짜,시간} {도시명} 날씨는 {날씨정보} 입니다.B1: {장소}의 현재 시간은 {시간} 입니다.C1: {명사}는 {의미} 라는 뜻을 가지고 있습니다.D1: 이해할수없는질문입니다.적절한 템플릿 형태로 답변줘"질문: "내일 날씨알려줘 템플릿: {context} 템플릿 형태로 답변해줘"임베딩 llm: RAG에서 해당 문맥은 어떤 템플릿이 필요한지 찾는다 -> {context}를 해당 템플릿으로 교체한다 -> llm가공된 질문: "질문: 내일 날씨알려줘 템플릿: {장소}의 현재 시간은 {시간} 입니다. 템플릿 형태로 답변해줘"

심모 · Answer

말씀해주신 내용을 참고해서 아래와 같이 구현했습니다.제가 직접 vector store를 구현하기엔 무리가 있어 openai에 Embedding(https://platform.openai.com/docs/api-reference/embeddings/create) 을 사용하였습니다.---1. 응답 템플릿이 아닌 질문 템플릿을 생성하여 질문템플릿 리스트를 각각 openapi를 이용해 하여 vector화 하여 DB에 저장- 실제질문과 비슷한 문맥을 만들어야 하기 때문에 응답중심의 템플릿이 아닌 질문템플릿을 사용-DB저장내용은 질문템플릿에 대한 백터값, 해당질문에 대한 응답 포맷2. 실제 질문을 openai를 이용해 vector화 한 후 DB에 저장된 질문템플릿 vector들과 모두 비교하여, 가장 일치율이 높은것은 선택3. 일치율이 가장 높은 질문템플릿의 응답포맷과 실제 질문을 복합하여 openai에 질문하여 최종응답포맷에 맞게 변환----이렇게 진행하여 질문발생시 총2번(질문백터화, 최종응답포맷생성)의 openai api를 사용하지만 openai의 비용은 횟수가 아닌 질문길이에 영향을 받기 때문에 비용절감 효과.----실제 테스트결과 요청템플릿과 실제질문의 문장이 너무 단순해서 그런지 백터의 일치율이 정확하지 않았습니다.

openai api 템플릿 지정방법이 없나요?

2개의 답변

Q&A 목록