대학생이 AI가 자꾸 기억 D.L. Chat : 리셋되는 게 빡쳐서 1주일만에 직접 만든 3 - Tier무한 기억 LLM
안녕하세요.
LLM을 매일 달고 사는 평범한 대학생입니다. (평소에 Gemini Pro 2계정 + Cursor Pro 2계정을 한도 끝까지 돌려막기하며 씁니다.)
저는 대화량이 늘어날수록 매번 제 배경과 맥락을 처음부터 다시 설명해야 하는 LLM의 '망각'이 너무 불편했습니다. 결국 못 참고 제 입맛에 맞게 직접 만들었습니다.
원래는 개인용으로 만들었습니다. 프로토타입을 2일 동안 만들고 써봤는데, 제 스스로의 경험이 너무 쾌적해져서 솔직히 이걸 세상에 내지 않으면 세상이 손해 보는 것 같다는 알 수 없는 자신감과 근거없는 오만함(?)에 퍼블리싱을 결심했습니다.
본업 개발자도 아니고 응용통계학을 공부하는 학생의 취미 프로젝트지만, 나름 1주일간 Cursor 계정만 4개를 프로+로 풀 한도 태워가며 예외 상황과 동시성 문제, 데이터 정합성 디테일을 집요하게 깎았습니다. 단순히 대화 기록을 다 때려 넣는 게 아니라, SQLite와 Pinecone을 엮어 Tier 1(글로벌 자아), Tier 2(워크스페이스 지식), Tier 3(벡터 아카이브)로 구조화된 선택적 검색 파이프라인을 구축했습니다.
개인적으로는 지금 그 어떤 llm보다 개인사용자의 경험에는 가장 만족스러운 결과를 줄거라 생각합니다.
서버비도 제가 다 내고있으니 아래 자료들 구경한번 해보시고 꼭 써보셨으면 좋겠습니다.
솔직히 자신만만하게 썼지만 잘 모르는 대학생의 아이디어 구현물 정도의 수준일수도 있습니다. 그렇지만 아이디어 구상과 다양한 예외상황 및 버그수정, 나만의 디테일을 살리는 고민들로 일주일을 정말 밀도있게 살아본 좋은 경험이었습니다. 한번 구경만 해보세요. 후회는 안할겁니다.
사용하신다면 세팅메뉴에 피드백 보낼 수 있으니 많은 피드백 주셨으면 좋겠습니다. (기말고사만 처리하고 최대한 답변해보겠습니다…시험기간이라 딴짓이 재밌네요…)
감사합니다.
Service Link : https://dl-chat-49232436682.asia-northeast3.run.app/
Overview & Technical Whitepaper : https://gist.github.com/Dominic-YG-Lee/d49861c8bc9889bd8c94625e0c4432be
