DataSync로 S3에 데이터 이관하기

DataSync는 보통 S3에 데이터 이관할 때 사용하는 서비스이다.

 

만약 온프레미스에서 아래 세 가지에 충족하지 않는다면 Site-to-Site VPN을 이용해 DataSync AMI로 EC2를 생성해 구성해야 한다.

 

Amazon EC2에 에이전트 배포

• EC2 생성할 때 AMI에서 datasync를 검색해서 가장 최신의 AMI를 선택하기

 

 

• DataSync AMI로 만든 EC2의 보안그룹
  • HTTP(80)이 인바운드 허용되어 있어야함
  • SSH(22)는 에이전트에 직접 접근해서 작업할 때 진행 필요

 

 

EC2 만들 때 Public IP 활성화 필수 !

 

Public 통신일 경우

• 이 /share/tmp 폴더에 있는 파일을 S3에 옮길 것이다.
• 이건 같은 계정에 Public IP가 달린 EC2 인스턴스이다.

 

Amazon EC2에 에이전트에서 활성화 키 가져오기

1. datasync agent EC2에 접속

- admin으로 접속해야함

ssh -i "hyo-key-al2023.pem" admin@ec2-13-125-156-157.ap-northeast-2.compute.amazonaws.com

 

2. 활성화 키를 얻기 위해 0 선택

 

3. region 입력하기

 

4. 1 (Public endpoints) 선택하면 활성화 키를 얻을 수 있음

 

에이전트 등록하기

1. datasync → 에이전트 생성
2. 다음과 같이 입력
   • 위에서 했던 방식으로도 활성화 키를 얻을 수 있고, 그게 아니라면 아래 사진처럼 datasync AMI의 Public IP를 넣어서 자동으로 가져올 수 있음

 

위치 생성

• NFS(소스가 될 서버)의 Public 주소 입력

 

• 위치를 하나 더 생성해서 Amazon S3로 설정하여 타겟이 될 S3 버킷 설정하기

참고로 IAM Role에 들어가야할 정책은 대충 다음과 같다.

• 신뢰관계는 datasync로 설정하면 알아서 AWSDataSyncFullAccess와 AWSDataSyncReadOnlyAccess가 들어감

#S3에 접근하기 위해 추가로 들어가야 하는 정책
s3:GetBucketLocation
s3:ListBucket
s3:ListBucketMultipartUploads
s3:AbortMultipartUpload
s3:DeleteObject
s3:GetObject
s3:ListMultipartUploadParts
s3:PutObjectTagging
s3:GetObjectTagging
s3:PutObject

 

 

태스크 생성

1. 소스 위치에서 NFS 서버 설정

 

2. 대상 위치에서 S3 선택하기

 

3. 나머지는 다 기본으로 설정해주기

 

 

마이그레이션 시작

1. 시작 - 기본값으로 시작

 

2. 버킷에 알아서 들어와있다

 

3. 태스크 기록에서 얼마만에 성공했는지 볼 수 있음

 

 

보통 2TB면 33시간 ..? 정도 걸린다고 했던 것 같다.

로딩이 좀 길 뿐 금방 되긴 하는듯