개슬픈보초
40
2021-08-12 11:23:23 작성 2021-08-12 11:37:27 수정됨
8
784

2TB 정도 되는 서버 폴더들 한번에, 효율적으로 옮기는 방법


안녕하세요...왕초보입니다..ㅠ

회사에서 네이버클라우드를 이용하여 클라우드 서버를 운영하고 있는데 서버 비용이 너무 많이 들어서 

자체 서버를 만들어 거기다 데이터를 옮기려고 합니다

문제는 서버들이 각각 2TB정도 되는데요, scp로 데이터를 옮기려니 하나 옮기는데도 너무너무 오래걸리고 압축을 해서 옮기려고 해도 압축 자체가 너무 오래 걸리거나  용량이? 없다고 하면서 압축이 취소되거나 하네요 

이걸 어떻게 옮겨야 효율적일지 ㅠㅠ 조언 부탁드립니다 

진짜 왕초본데 회사에서 서버 만드는거부터해서 데이터 옮기는 것 까지 이걸 혼자서 하라고 시켜서 죽겠어요..... ㅠㅠ 

0
  • 댓글 8

  • 캐티
    5k
    2021-08-12 11:28:46

    대용량 파일은 토렌트로 옮기는것이 좋스빈다.

    구간을 나눠서 전송하기 때문에 효율적인 것이저.

    인터넷을 거치게 되어있다는 단점이 있긴 하저. 하지만 뭐 그 파일의 해시가 길기 때문에 여튼 중간에 파일을 가로채긴 어렵스빈다.

    좀 더 발전했으면 전송전 데이터를 암호화하는 과정이 들어갔으면 좋았을것 같쩌여. 이렇게 까지는 지원하는 앱이 없을 꺼빈다.

    -2
  • OKKY
    3k
    2021-08-12 11:30:20
    해당 게시물은 관리자에 의해 Tech Q&A에서 사는얘기로 이동 되었습니다.
  • 돈까스
    5k
    2021-08-12 12:02:04

    정확한건 모르겠지만...


    scp 에 압축 옵션이 있습니다. 압축을 하고 scp를 하지 마시고, scp 압축 옵션을 사용하세요.

    어떤 경우에는 압축을 안하는게 나을수도 있지만, 보통 cpu 자원이 충분하면 압축을 하는게 조금이라도 낫습니다.


    파일이 너무 자잘하게 많다고 하면 자잘한 파일들은 압축을 해서 한 파일로 만드는 것이 유리합니다.

    전송하는데 효율도 차이나고, 복사한 것에 대한 검증을 할 때에도 하나의 파일만 검증을 하는 것이 낫죠.


    정말 대량의 데이터를 빨리 옮겨야 한다고 하면 (네트워크 대역폭에 비해서),

    그냥 디스크를 물리적으로 연결해서 복사하는게 나을수도 있습니다.

  • jjna0825
    414
    2021-08-12 12:13:06

    2T 정도이고, 1회성이라고 하면....

    명령어 돌려놓고 다음날 확인하시면 됩니다. 매번 해야하면 주기적으로 백업을 하면 되고요

  • 돈까스
    5k
    2021-08-12 12:43:10

    서버들이 각각 2TB라고 하는 걸 보니 한개는 아닌 것 같아요. :)

    용량과 네트웍 대역폭으로 계산하면 얼마걸릴지 대략 나오거든요.


    이런 경우에는 일단 단순한 복사 방법을 걸어놓으시고, 다른 방법들을 시도해보세요.

    시간을 크게 단축할 수 있는 방법을 찾으면 그걸로 단축을 하시면 되고,

    이것저것 시도해봐도 안됐다고 하면 그냥 원래 예측한 시간에 끝나게 되니까요.

  • 쿠잉
    4k
    2021-08-12 12:53:14

    제가  써본방법중 이게 제일 빨랐습니다.

    https://hakurei.tistory.com/307


  • 삼식이
    1k
    2021-08-12 13:45:14

    서버에서 파일 땡겨올때 ftp만한게 없죠

  • 천사와악마
    2k
    2021-08-12 18:21:54

    2TB 트래픽... 음... 

    고객센터에 문의해보시죠. 그게 가장 베스트 일것 같습니다

  • 로그인을 하시면 댓글을 등록할 수 있습니다.