천발무금
976
2017-12-02 18:11:56
0
302

[java] 하둡 MR 돌릴 때 MR돌렸던 원본데이터 삭제 문의입니다.


안녕하세요. 초보개발자입니다.

다름아니라, 지금 java로 하둡 MR을 개발하고 있는데요.

프로세스는 아래와 같습니다.


원본 파일(분석할 데이터 파일) -> 하둡 잡 -> 하둡 매퍼 -> 하둡 리듀스 -> 분석된 데이터를 파일로 떨굼


리듀스 부분에 특정 조건에 따라 데이터를 분석하거나 분석하지 않게하는 2가지 분기가 있습니다.


이 때 데이터 분석이 돌아간 원본 파일(분석할 데이터 파일)은 파일 삭제하고,

데이터 분석이 돌아가지 않은 파일은 다른 경로로 이동시킬 예정입니다.


이 때, 데이터 분석이 돌아간 원본 파일(분석할 데이터 파일) 삭제하는 법 관련된 블로그 글이나 답변 주시면 감사드리겠습니다. 원본 파일(분석할 데이터 파일) 삭제하는 법만 알면 응용해서 데이터 분석이 돌아가지 않은 파일도 다른 경로로 이동시킬 수 있을 것 같아서요.


라이브러리는 org.apache.hadoop 쓰고있습니다.

0
  • 답변 0

  • 로그인을 하시면 답변을 등록할 수 있습니다.