728x90
반응형
AWS Snow Family
- AWS Snow Family : 보안성 있는 휴대기기 -> edge에서 데이터를 수집하고 처리하거나, 데이터를 AWS 안팎으로 마이그레이션
- Use cases
- Data migration : 많은 양의 데이터를 제한없이 전송하기위한 경우 -> AWS에서 우편을 통해 물리적인 기기를 배송 -> 해당 기기에 데이터를 올리고 다시 AWS에 배송 (네트워크가 아닌 물리적 배송방식을 이용)
- Snowcone
- Snowball Edge
- Snowmobile
- Edge computing
- Snowcone
- Snowball Edge
- Snowball Edge
- TBs or PBs 용량의 데이터를 AWS와 교환하기 위해 사용
- 전송작업당 비용 지불
- Storage Optimized : 80TB 하드디스크 용량 제공, block volume이나 S3 호환
- Compute Optimized : 42TB 하드디스크 or 28TB NVMe 용량 제공
- Snowcone
- 작은 휴대기기, 견고하고 안전
- 열악한 환경에 강함
- 가벼움, 드론탑재 가능
- 8TB HDD or 14TB SSD 제공
- 공간제약이 있는 경우 활용
- 오프라인으로 데이터 전송 or 기기에 데이터를 담은 후에 인터넷을 통해 데이터센터에 연결 (AWS DataSync 서비스 사용, 사전 설치 되어있음)
- Snowmobile
- 데이터를 옮기는 실제 트럭임
- 1EB(1,000PB)급 데이터를 옮길 수 있음 (한 대당 100PB 가능, 1EB는 10대 필요)
- 에어컨이 있어 온도조절 가능
- 실시간 GPS 추적 및 비디오 감시
- Data migration을 위한 처리과정
- AWS console에서 기기배송 요청
- Snowball client or AWS OpsHub 설치
- Snowball을 설치된 서버에 연결하고 파일복사 시작
- 전자마커를 통해 목적지 AWS시설로 기기반송
- S3 Bucket에 데이터 로딩
- Snowball에서 데이터 완전삭제
- Edge Computing : Edge 위치에서 데이터를 생성하고 해당 데이터를 기기내 AWS인스턴스를 활용하여 처리한다음 AWS에 반송하는 case (Edge : 인터넷이 없거나 Cloud에서 멀리 떨어진 환경, ex. 도로 위 트럭, 바다 위 배, 지하광산 등) -> Snowball Edge, Snowcone 활용
- 해당 Snowcone 기기들은 EC2 인스턴스와 Lambda Function 실행 가능 (AWS IoT Greengrass 서비스 활용)
- 장기렌트 가능
OpsHub : 컴퓨터에 설치하는 소프트웨어 -> Snow Device에 연결하고 설정할 수 있음, 파일전송 및 Snow Family의 인스턴스를 시작하고 관리 가능
Snowball 데이터를 Glacier로 옮기는 방법
- Snowball 데이터를 먼저 S3로 옮김
- S3 lifecycle policy를 생성하여 object를 Glacier로 전환
Amazon FSx
- Amazon FSx : AWS에서 완전 관리해주는 서비스로 타사의 고성능 파일 시스템을 실행 (RDS에서 MySQL or Postgres를 실행하는 것과 동일개념)
- FSx for Windows File Server
- SMB protocol과 Windows NTFS를 지원
- 사용자 보안 추가, ACL로 Access 제어 가능
- Linux EC2 인스턴스에도 Windows Fil Server 마운트 가능
- DFS (Distributed File System)을 활용하여 File System 그룹화 가능 (온프레미스와 결합 가능)
- 초당 수십GB, 수백만 IOPS, 수백PB 데이터 확장
- SSD : 지연시간이 짧아야 하는 경우 (DB, 미디어 처리, 데이터 분석 등)
- HDD : 비용이 저렴, 더 넓은 스펙트럼 (홈 디렉토리, CMS 등)
- Private하게 온프레미스에서 접근 가능
- Multi-AZ 가능
- 재해복구 목적으로 S3에 매일 백업
- FSx for Lustre
- Lustre (Linux + Cluster) : 분산 파일 시스템, 대량 처리 연산에 활용 (머신러닝, HPC 등)
- 동영상처리나 금융모델링, 전자설계 자동화 등의 app에서 활용
- 확장성이 높음
- 초당 수백GB, 수백만 IOPS, ms보다 짧은 지연시간
- SSD : 지연시간이 짧아야 하는 경우
- HDD : 처리량이 많거나 크기가 큰 시퀀스 파일 작업에 활용하는 경우
- FSx로 S3를 File System처럼 읽을 수 있음 (다시 연산 출력값을 S3에 쓸 수 있음)
- VPN 및 직접 연결을 통해 온프레미스 서버에서 활용 가능
- FSx File System Deployment Options
- Scratch File System
- 임시 스토리지로 데이터 복제 x (파일 유실 가능성 있음)
- High burst 사용 가능 (최적화로 성능을 높일 수 있다는 말, 200MBps per TiB)
- 단기 처리데이터에 쓰임
- 비용 최적화 가능
- 추가 데이터 저장소로 S3 Bucket을 둘 수 있음
- Persistence File System
- 동일 AZ에 데이터복제됨
- 민감 데이터의 장기 처리 및 Storage에 활용
- FSx for NetApp ONTAP
- AWS 관리형 NetApp ONTAP File System
- NFS, SMB, iSCSI Protocol 호환
- 온프레미스의 ONTAP이나 NAS에서 실행중인 워크로드를 AWS로 옮길 수 있음
- 스토리지는 자동으로 확장/축소됨
- 복제 및 스냅샷 기능 제공
- 저비용, 데이터 압축, 데이터 중복제거 가능
- 지정시간 복제 기능 -> 신속한 복제 및 스테이징 File System 구축 가능
- 호환 OS
- FSx for OpenZFS
- AWS 관리형 OpenZFS File System
- 여러 버전에서의 NFS Protocol과 호환 가능
- ZFS에서 사용된 워크로드를 AWS로 옮길 때 사용
- 최대 백만 IOPS, 지연시간은 0.5ms 이하
- 스냅샷, 압축 기능 제공
- 지정시간 동시 복제 기능 -> 새로운 워크로드 테스트 시에 유용
- 호환 OS
AWS Storage Gateway
AWS에서는 Hybrid Cloud 권장 (Hybrid Cloud : 일부는 AWS, 나머지는 온프레미스인 환경)
Cloud Migration이 오래걸림
보안/규정 준수 요건이 있는 경우
S3는 EFS/NFS와는 다른 Storage 기술 -> S3를 온프레미스에 연결하는 방법 고안 필요 -> AWS Storage Gateway 활용
AWS Storage Cloud Native Options
AWS Storage Gateway : 온프레미스 데이터와 클라우드 데이터 간의 다리역할
Use cases
- 재해복구 목적으로 온프레미스 데이터를 클라우드에 백업
- 백업 및 복구 목적으로 Cloud Migration 및 Cloud간 Storage 확장 (Cloud엔 Cold Data, 온프레미스엔 Warm Data)
- 파일 액세스 지연을 줄이기 위해 온프레미스 Cache 활용
- Storage Gateway Types
- S3 File Gateway
- FSx File Gateway
- Volume Gateway
- Tape Gateway
- S3 File Gateway
- S3 class중 Glacier는 활용 불가
- 온프레미스 app -> AWS S3 Bucket, 온프레미스에서는 NFS or SMB protocol을 활용하여 S3 File Gateway에 요청을 보냄
- S3 File Gateway는 해당 요청을 받아 HTTPS요청으로 변환하여 S3 Bucket에 전달함
- S3 Life Cycle Policy를 통해 Object를 Glacier로 저장 가능
- S3 File Gateway를 통해 받은 데이터는 해당 Gateway에 캐싱됨
- 각 File Gateway마다 IAM Role 생성 필요
- SMB Protocol을 활용하는 경우, 사용자 인증을 위해 Gateway와 Active Directory를 통합해야 함 -> 사용자가 File Gateway에 접근할 때 인증처리 진행
- FSx File Gateway
- Amazon FSx for Windows File Server에 Native Access 제공 -> 온프레미스에서의 접근 가능
- 온프레미스에서 접근 가능함에도 불구하고 FSx File Gateway를 사용하는 이유는 캐싱기능 떄문
- SMB, NTFS, Active Directory 호환 가능 -> 그룹 파일 공유나 온프레미스를 연결할 홈 디렉토리로 사용 가능
- Volume Gateway
- iSCSI protocol 사용
- Volume이 EBS snapshot으로 저장되어 필요에 따라 온프레미스에서 Volume을 복구할 수 있음
- Cached volumes : 저지연 접근
- Stored volumes : 전체 데이터가 온프레미스에 있고, 주기적으로 S3에 백업
- Tape Gateway
- 물리적으로 Tape을 사용하는 백업 시스템이 있는 회사가 백업으로 Tape대신 Cloud에 데이터를 백업할 수 있도록 해줌
- VTL (Virtual Tape Library)로 Amazon S3와 Glacier를 이용
- 기존 백업 데이터를 iSCSI 인터페이스를 사용하여 백업
- Hardware appliance
- 온프레미스에 Gateway를 설치할 가상서버가 없는 경우에 활용 (Amazon.com에서 신청)
- Hardware appliance를 Amazon에서 주문 후, 온프레미스에 물리적 설치 -> Gateway로 설정
- Summary
AWS Transfer Family
AWS Transfer Family : FTP protocol로 S3 및 EFS에 데이터를 전송하려는 경우 사용
Supported Protocols
- AWS Transfer for FTP
- AWS Transfer for FTPS
- AWS Transfer for SFTP
DataSync
DataSync : 데이터 동기화를 통한 대용량의 데이터를 한곳에서 다른 곳으로 옮김
온프레미스나 AWS의 다른 클라우드로 데이터를 옮길 수 있음
서버를 NFS, SMB, HDFS, others... 다른 프로토콜에 연결해야 함 -> 연결할 온프레미스나 다른 클라우드의 Agent가 필요
다른 Storage간 데이터 Migration도 가능 -> Agent 불필요
복제는 일정을 지정하여 주기적으로 실행
파일 권한과 메타데이터 저장기능이 있음 -> NFS POSIX 파일 시스템 및 SMB 권한 준수
Agent 하나의 task가 초당 10Gb까지 사용 가능, 대역폭 제한 가능
네트워크 용량이 부족한 경우, Snowcone 장치 사용 가능 (DataSync Agent가 사전에 설치)
NFS or SMB 서버에 연결하려면 DataSync Agent 설치 필요
동기화 가능 Storage list
- Glacier를 포함한 모든 Storage Class의 S3
- Amazon EFS
- Amazon FSx
- SMB/NFS 프로토콜의 온프레미스 파일을 AWS로 동기화하는 예시
- 서로다른 AWS Storage 서비스간 동기화 예시
Storage 비교
반응형
'개발 > AWS' 카테고리의 다른 글
| [AWS] AWS Container Service (0) | 2024.06.01 |
|---|---|
| [AWS] SQS, SNS, Kinesis, Active MQ (0) | 2024.06.01 |
| [AWS] CloudFront and Global Accelerator (0) | 2024.05.26 |
| [AWS] Amazon S3 (3) (0) | 2024.05.25 |
| [AWS] Amazon S3 (2) (0) | 2024.05.22 |