[AWS] 여러가지 Storage

AWS Storage Family

 

Snowball Edge

Snowcorn

- 데이터 마이그레이션을 해야하는데, 너무 커서 네트워크 마비될 정도라고 하면 쓰기 좋음

- 저렇게 생긴 물리적인 장치를 받게 되고 물리적인 경로로 데이터 전송

- 기기별로 용량과 속도가 다름

- 엣지 컴퓨팅에서도 쓰임

- Snowmobile은 실제 트럭으로 데이터 옮김

 

AWS FSx

- 써드 파티 고성능 파일 시스템

FSx for Lustre

FSx for Windows File Server

FSx for NetApp ONTAP

FSx for OpenZFS

- 대표적으로 4개 지원

 

AWS Gateway

- 온프로미스와 클라우드 데이터 간의 가교 역할

S3 File Gateway

FSx File Gateway

Volume Gateway  

Tape Gateway

- 종류 들이 있음

 

AWS DataSync

- 대량 데이터 이동 및 동기화 해주는 솔루션

 

요약

• S3: Object Storage

• S3 Glacier: Object Archival

• EBS volumes: Network storage for one EC2 instance at a time

• Instance Storage: Physical storage for your EC2 instance (high IOPS)

• EFS: Network File System for Linux instances, POSIX filesystem

• FSx for Windows: Network File System for Windows servers

• FSx for Lustre: High Performance Computing Linux file system

• FSx for NetApp ONTAP: High OS Compatibility

• FSx for OpenZFS: Managed ZFS file system

• Storage Gateway: S3 & FSx File Gateway, Volume Gateway (cache & stored), Tape Gateway

• Transfer Family: FTP, FTPS, SFTP interface on top of Amazon S3 or Amazon EFS

• DataSync: Schedule data sync from on-premises to AWS, or AWS to AWS

• Snowcone / Snowball / Snowmobile: to move large amount of data to the cloud, physically

• Database: for specific workloads, usually with indexing and querying

 

수백 TB의 데이터를 Amazon S3로 이전한 후, EC2 인스턴스 플릿을 사용해 처리해야 합니다. 광대역은 1Gbit/초입니다. 여러분은 데이터를 더 빠르게 이전하고, 가능하면 전송 중에 데이터를 처리했으면 합니다. 어떤 방법을 추천할 수 있을까요?

자체 네트워크 사용하기

Snowcone 사용하기

AWS 데이터 이전 사용하기

Snowball Edge 사용하기

 

여러분은 수백 TB의 데이터를 AWS S3로 최대한 빨리 이전시켜야 합니다. 여러분의 네트워크 대역폭을 사용해보려 했으나, 업로드 프로세스가 완료되기까지 약 3주가 소요됩니다. 이런 경우 어떤 접근법이 권장될까요?

AWS Storage Gateway - 볼륨 Gateway

S3 멀티파트 업로드

AWS Snowball 엣지

AWS 데이터 이전 서비스