Elasticsearch 관련 질문 드려도 될까요?

Question

안녕하세요. RDBMS 데이터를 Elasticsearch로 이관해 검색엔진 기능을 활용하려고 합니다.제가 생각하는 구현 내용의 방향을 잘 잡지 못하고 있고, 시작부터 잘못된 것은 아닌지 하는 걱정에 질문을 올리게 됐습니다.내용 읽으신 후 조언이나 의견 남겨주시면 정말 감사드리겠습니다.검색 대상인 RDBMS 테이블의 범위(수)가 매핑 테이블 포함해 약 20개 정도 되는데 (1:N 관계 설정)검색창 UX에 검색어를 입력하여, 위 테이블에 존재하는 모든 필드를 대상으로 한 검색을 진행하고 싶습니다.RDBMS의 연관 관계를 유지해, Elasticsearch로 데이터를 이관하고, 키워드를 사용한 검색시 위 테이블에 저장되어 있는 모든 관련 정보를 출력해낼 수 있는 방법이 있을까요?(현재 Logstash를 사용해 각 테이블에 해당하는 인덱스를 각각 생성해주고, 각 인덱스에 통합 검색이 가능한 공통 필드를 추가해 검색 가능하게 하고, 조인 테이블에서 참조하고 있는 원 테이블의 key를 얻어오고 있습니다.이 key를 가지고, RDBMS에 요청을 다시 보내 데이터를 가져오고 있어서, ES의 기능을 제대로 활용하지 못하고 있다 생각합니다.)긴 글 읽어주셔서 감사드립니다

킁킁탐정 · Accepted Answer

ES에서 지원하는 연관 관계라는건 RDBDMS에 비하면 빈약하기 때문에최대한 RDBDMS을 반정규화해야 합니다. 그래서 N:M 관계라고 해도근본적으로 용도가 다른 ES에서 검색에 이용하기가 쉽지 않습니다.반정규화를 하면 데이터양과 중복이 많아지게 됩니다.반면 검색에 사용하기가 쉬워지고 관계라는게 옅어지기 때문에검색 결과로 사용할 때도 별다른 RDBDMS의 JOIN 쿼리가 필요하지 않게 됩니다.결국 최종적으로 사용자에게 보여지는 모든 데이터를 단순화해서 ES에 저장해검색과 결과 출력에 사용하는게 편리하고 빠릅니다. 물론 자원은 낭비됩니다.이 부분은 일종의 트레이드 오프라고 생각하시면 됩니다.ES는 영구적인 지속 데이터를 위한게 아닌 자주 전체를 삭제하고 다시 데이터를입력하여 갱신하는 거의 휘발성으로 사용된다고 보시면 좋습니다.다음의 문서를 참고하면 약간의 도움을 얻을 수 있습니다.https://www.elastic.co/kr/blog/managing-relations-inside-elasticsearch

킁킁탐정 · Answer

단순하게 ES에 필요한 모든 DB 필드를 저장하고 사용하면 됩니다.하지만 DB와 다르게 검색에 쓰이는 필드와 실제 DB 필드를 가공해 출력할 내용을 함께 저장하시면 됩니다.필요하다면 DB에서 사용하던 ID도 그대로 사용하시면 됩니다.예를 들어 First name과 Last Name인 DB 필드가 있다면 검색시 First Name과 Last name를 둘 다 사용하고실제 사용자 결과를 출력할 때는 이 두 필드를 합쳐서 Full name를 만들어야 한다면 이 모두를 ES에 저장하시면 됩니다.그러므로 아주 특별한 이유가 없다면 기존 DB에서 검색 자체나 내용을 가져올 필요가 없습니다.

Elasticsearch 관련 질문 드려도 될까요?

2개의 답변

Q&A 목록