디비에서 etl 로 효율적 사용 문의합니다

Question

ETCL/ETL을 다른분들은 어떻게 사용하시는지 저도 헷갈려서 질문 올립니다. ETL툴이 솔루션회사에서 주력상품으로 만든거라서 다양하고 강력한 기능이 많은 배치잡용 도구입니다 -- 특히 dw나 dw 바로 밑 레벨인 mart 구축에서요. 상기툴을 1) 단순 삼파일 (탭으로 데이터가 구분된 Text file) 생성하고 LOAD하는 용도 -- SQL 비지니스 로직은 따로 프로그램에서 작성 -- 레이어(Layer)가 SQL프로그램 ,ETL 이렇게 두개로 나누어집니다. -- shell+sql (쉘 스크립트 안전성 검증 필수) 2) ETL의 내부에서 마우스로 merge, 로직구현 마치 PL/SQL 로직처럼 그림 그리듯 비지니스 로직 심는것 -- 특정 솔루션 회사 툴에 종속되는 개발, 개발자가 좀 바보되는 느낌등 -- 데이터 삼파일 생성, SQL등을 툴 내부에 다 넣습니다.. 툴 안에서 마치 flow chart 만들듯이 작업 -- ETL툴 많은 기능 제대로 사용 (벤더 의존적) 저는 1)번으로 개발할려고 하는데요 이게 맞는지 궁금합니다. [기본 업무흐름] 계정계 마감데이터가 저녁에 DW에 쌓이면 다음날 새벽에 SQL 작업을 해서 타겟 mart에 필요한 데이터만 ETL로 내립니다 (source) Sybase --> (target) Oracle [mart 구축절차] 1. 대용량DW영역에서 필요한 데이터만 배치성 조회 2. sybase 마트 영역에 1번 데이터 적재 (ETL툴기능/shell+sql) 3. oracle 마트 영역에 2번 데이터 적재 (ETL툴기능/shell+sql) 4. OLAP성 WAS 프로그램은 Oracle 쪽 온리인성 조회 [ETL 절차] 1. 업무SQL로 sybase 테이블에 필요한 데이터만 인서트 (from DW) 2. ETL로 삼파일 생성 3. 각 삼파일 행건수 == Sybase 테이블의 데이터건수 가 일치하면 통과 &#160;&#160; * 쉘 안에서 wc -l sam파일명 ,sqlplus로 로그인해서 해당 테이블 건수 count등 이런 복잡한 쉘이 있습니다 4. 삼파일을 Oracle에 적재 5. 각 삼파일 행건수 == Oracle 테이블의 데이터건수 가 일치하면 통과 잡 성공종료 6. mart 데이터작업관련 sybase,oracle 동기화 완료&#160; 결국 ETL 툴에서 해주는 일을 shell 스크립트와 SQL 프로그램을 직접 작성해서 합니다. SQL만 따로 분리되어 있으니 배치프로그램 관리가 상당히 편한데 shell 스트립트를 상당히 잘 작성해야 합니다. 1) 케이스의 단점은 - 비싸게 구입한 툴을 너무 단순한 기능(txt 파일생성과 디비적재)으로만 활용 - 거의 sqlLoader 그 정도로만 이용 2) 케이스의 단점은 - 툴에 의존하니 일단 업무flow등이 시각적으로 보기가 좋지만 SQL이 툴안에서 쪼개져 있어서 나중에 관리가 힘들다는것 DBA/SE 또는 배치플젝을 전문적으로 하시는 개발자님들은 어떻게 생각하시는지 궁금합니다

ddddd · Answer

ETL등을 사용 개발등을 좀해본 개발자로써 한말씀 드릴께요~ ^^ 우선 정확히 포인트는 다 찝고 계시네요. 일단 위에서 툴사용법을 1. 현재 하고자하신방법, 2. ETL툴기능 적극활용. 우선 ETL툴을 제대로 활용하는 방법은 2번이 맞겠죠. 허나 툴기능을 적극활용하기에는 어려움이 많습니다. 툴기능 습득이 꽤 난감하죠. 1번안이나 2번안이나 장단점은 많습니다. 정답은 둘다 가능합니다. 실제로 개발할때도 1,2번 둘다 사용해서 만든적도 많구요. 여기서 포인트는 DB가 대용량이냐? 아니냐?에도 살짝 있는데요. 혹시 현재 하고자 하는 작업이 평균 2천만건이상? (수억건)대 등의 대용량 DB에 적용하실려고 하신다면... DB 서버의 성능이 그닥 좋지 않다면... 2번으로 가야할수도 있습니다. 그이유는 ETL작업을 1번처럼 할시 DB서버의 리소스를 과다하게 잡아먹습니다. 왜냐면 뒤에서 SQL,SHELL등을 이용할테니 그거자체도 DB서버의 리소스를 잡아먹죠. 2번안처럼 ETL툴기능을 적극 활용하는이유는 대부분의 ETL툴은 자체 ETL서버를 두게 됩니다. 저렇게 SQL등으로 구성할껄 ETL기능사용으로 하게되면 DB리소스를 최대한 덜 잡아먹으면서 DB부하를 최소화 하여 DATA를 집계할수 있는장점이 있죠. SHELL -> SQL등을 거치기에 문제 발생시 어느부분인지 찾기가 힘들수도 있네요. ^^ 그리고 수정사항이 생길시에도 여기저기 손댈때가 많을수도... PS> 참고로 건수체크를 wc -l 명령으로 하실려고 한다 하셨는데 이부분이 대용량 DB면 오류나 시간상 극악의 문제가 생길수 있습니다. 제가 모 카드사 사이트에서 마이그 작업을 했었는데 대용량파일을 건수체크할시 시간이 과다 소요되거나 틀린결과를 보여주는일이 간혹 있었긴 하네요. 이상 이구요 혹시 또 궁금한점 있음 질문주세요^^

마라톤매냐 · Answer

쉘스크립트의 파일처리(ETL에서 만들어내는 SAM데이터 파일)가 시스템부하를 유발 할 수도 있겠네요 좋은 조언 감사합니다. 예로 여신수신거래내역(통장의 입출금,자동이체 내역등) 같은건 천만건이 훌쩍 넘을수 있으니 ... 하지만 이것의 최종결과 물이 max가 20만건 이하라면 shell에서 파일행 (wc 명령어)건수 체크가 별 문제 없지만, 천만건이 넘는다면 쉘에서 과부하등 여러문제가 있어서 ETL툴에 해당 작업을 맏기는게 효과적이다고 생각됩니다. &#160; Ddd님 친절한 경험담 감사합니다

마라톤매냐 · Answer

아 그리고 한글이 삼파일에 있는경우 unix 의 euc-kr 에서 어긋나는 한글오타가 있으면 wc 명령어가 잘 작동안되네요 이런경우는 sybase oracle 양쪽을 쉘에서 접속해서 양자를 크로스 체크해서 두개 마트의 동기화가 필요할듯요

larcyuki · Answer

툴이 있으면 구지 쉘로 짤 필요가 있을지가 의문입니다. 쉘로 짤 경우 프로그램을 작성한 사람은 이해가 빠르겠지만, 새로 투입 되는 사람이라면 그 툴을 다룰 줄 아는 사람이 시각화 된 업무를 보는 게 더 빠르다고 봅니다. 아직 많지는 않지만 인파나 데이터 스테이지 같은 툴은 다뤄본 인력들도 구하기 어렵지는 않은 정도로는 알고 있습니다. 툴을 사용해 개발자가 바보 된다는 느낌 보다는 컴퓨터가 처리 할 수 있는 기능은 사람이 하지 않아도 되는 정도로 생각하면 되지 않을까 싶네요. 없으면 모르겠지만, 있는 데 툴의 기능을 사용하지 않는 것도 낭비라고 생각합니다.

마라톤매냐 · Answer

1)번 shell 스크립트 + sql + etl 이 조합을 선호하는 이유는 아무래도 power of text때문입니다. shell이 어떻게보면 프로토콜을 해석해주는 역할을 하고 ETC툴의 역할을 최소화 하는거죠 -- 단순함의 미학이 좀 느껴집니다. -- 몇년후 차세대하게되어 ETL 툴이 바뀌었을 경우, 좀더 쉽게 적용하겠죠 &#160;&#160; 왜냐면 ETL 물을 매우 단순하게 사용했으므로 배치잡의 선후행 flow의 시각화는 좀더 이 목적에 부합하는 batch 잡 매니저 이런것을 활용하면 될것 같은데, 하지만 아무래도 ETL 툴만큼 세밀하게 flow char를 세밀히 시각화는 힘들것 같다는 생각이 듭니다

dasomtou · Answer

1번 용도로 데이타스테이지나 인파를 사용하는거는 좀 툴이 아까워 보이네요 (한두푼도 아니고) 1번 용도로 한정했을 때 벤더 기술지원 이슈도 거의 없을것 같은데 오픈소스(talend 등) 사용해도 충분하긴하죠, unload load 프로그램만 따로 짜도 돼고

디비에서 etl 로 효율적 사용 문의합니다

6개의 답변

Q&A 목록