woongs dogfoot

CloudFront

• CloudFront : CDN (Content Delivery Network), 웹사이트의 컨텐츠들을 서로 다른 edge location에 캐싱하여 읽기 성능을 높임
  
  
  

• 특징

1. 전세계 216개의 edge location 활용
2. 컨텐츠가 여러 location에 분산되어 있어 DDoS(동시에 모든 서버가 공격받는 방식) 공격에서 보호받을 수 있음
   
   
   

• 미국의 사용자는 주변 edge location에 호주에 있는 S3 Object를 요청하면, edge location을 통해 호주의 S3 Bucket에 접근함 -> 그후 해당 컨텐츠는 edge location에 캐싱되어 다른 미국 사용자가 바로 받아올 수 있음
  
  
  

• Origin(AWS 인스턴스를 말하는 듯) 제공 방식

1. S3 Bucket으로 CloudFront를 통해 파일을 분산하고 캐싱할 수 있게 설정 (CloudFront를 생성하면서 origin 선택) -> S3 Bucket에는 CloudFront만 접근할 수 있게 설정 -> OAC (Origin Access Control) 활용 (Legacy OAI (Origin Access Identity) 대체) -> CloudFront의 접근권한은 S3 Bucket 권한에 따름 -> CloudFront에서 OAC 활성화 후, CloudFront를 허용하는 S3 Bucket policy를 선택해주면 됨
2. Ingress : CloudFront를 통해 S3 Bucket으로 데이터를 보낼 수 있음
3. S3 Bucket 말고도 Load Balancer, EC2 등의 HTTP Origin을 제공받을 수 있음
   
   
   

• CloudFront 동작방식 : client가 Edge location에 get 요청을 보내면, edge location의 CloudFront는 해당 객체가 캐싱되어 있는지 먼저 확인 -> 캐싱되어 있지 않는 경우, 원본 origin으로 가서 객체를 가져옴 -> 가져온 객체는 캐싱됨

• Origin이 CloudFront에 의해 Object를 전달할 경우, 해당 origin은 OAS(Origin Access Control)에 의해 관리되고, S3 Bucket policy와 같은 개별 origin policy에 의해 접근을 제어

• CloudFront (정적 컨텐츠) vs S3 Cross Region Replication (동적 컨텐츠도 포함)

ALB or EC2 as an Origin

• EC2 : public EC2 필수, edge location의 public ip가 EC2에 접근할 수 있도록 Security Group을 설정해줘야 함

• ALB : private EC2 가능 (public ALB와 연결 가능), public ALB 필수, edge location의 public ip가 ALB에 접근할 수 있도록 Security Group을 설정해줘야 함

Geo Restriction

• Geo Restriction : 지역에 따라 Object 접근을 제한하는 기능 -> 접근이 가능한(Allow List) 또는 불가능한(Block List) 지역 list를 만드는 방식
  
  
  

• Use cases : 컨텐츠 저작권법으로 인한 제한이 필요할 때 등

• CloudFront의 Geographic restrictions에서 설정 가능
  
  
  

Pricing

• Edge Location마다 데이터 전송 비용이 상이
• Price Classes (global Edge location 수를 줄이는 방식으로 가격 절감)

1. Price Class All : 모든 region 대상
2. Price Class 200 : 가장 비싼 region을 제외한 대부분의 region 대상
3. Price Class 100 : 저렴한 region 100개만 대상

Cache Invalidations (무효화)

• Cache Invalidations : 전체 또는 일부의 cache를 새로고침하여 캐시의 TTL을 모두 삭제하는 기능 (특정 Object 대상 전달 필요)
• CloudFront는 백엔드의 업데이트 사항을 인지하지 못함 -> TTL로 캐시가 만료되기 전까진 백엔드의 업데이트 사항을 못받음 -> Cache Invalidations 활용

Global Accelerator

• 문제 상황

1. global application을 global 사용자들이 접근함
2. application은 하나의 region에만 배포되어 있음
3. 하나의 region에만 있기 때문에 전세계 사용자가 해당 ALB로 public internet을 통해 접근하게 되면 상당한 지연시간 발생
4. public internet으로 인한 지연시간을 최소화하기 위해 AWS Network 활용 필요 -> Global Accelerator 활용

• Unicast vs Anycast

1. Unicast : 하나의 client 한 개의 Server IP일 때, 해당 IP로 접근하게 되면 해당 Server로 접근
2. Anycast : 하나의 client 한 개의 Server IP이고, 여러 서버가 한 개의 Server IP를 공유할 때, client가 해당 ip로 접근하게 되면 동일 ip를 공유하는 다수의 Server중 client로부터 가장 가까운 서버로 접근하게 됨 -> Global Accelerator의 원리
   
   
   

• Global Accelerator

1. 두 개의 고정 ip 제공 -> 보안성 확보
2. 두 개의 고정 ip에 요청 시, Anycast원리대로 edge location을 통해 AWS 네트워크를 거쳐 application에 요청이 전달됨
3. Elastic IP, EC2, ALB, NLB가 활용됨
4. 아무것도 Caching하지 않음
5. HTTP가 아닌 서비스에 유용

• Health Checks

1. Global Accelerator가 application에 대한 Health Check 진행
2. 특정 Region의 ALB에 대한 Health check에 실패하면, Global Accelerator의 정상 endpoint로 자동화된 장애조치 진행
   
   
   

• Global Accelerator vs CloudFront

• 실습 -> 생성된 Global Accelerator의 Listener로 테스트 시, 현재 위치와 가까운 Region의 Endpoint로 redirect 됨 (Global Accelerator의 Listener로 요청 -> 가장 가까운 edge location -> edge location에서 가까운 endpoint로 routing -> 해당 endpoint의 application에 접근)

1. Global Accelerator 생성
2. Listener 설정 (포트/TCP/UDP 등)
3. Listener를 통해 접근할 Endpoint group 설정 (Endpoint group은 Target application이 있는 Region)
4. Endpoint group의 Endpoint 설정(target application), Endpoint type은 ALB/NLB/EC2/Elastic IP 중 택 1

Object Encryption

• 암호화 종류

1. SSE (Server-Side Encryption)
   • SSE-S3 : Amazon S3에서 관리하는 키를 이용 (default)
   • SSE-KMS : KMS 키를 이용하여 암호화 키 관리
   • SSE-C : 고객이 제공한 키 사용 (client에서 키 제공)
2. CSE (Client-Side Encyption) : 클라이언트 측의 모든 걸 암호화한 다음에 S3에 업로드
   
   
   

• SSE-S3

1. AWS가 처리/관리/소유하는 키를 이용 (사용자가 접근할 수 없음)
2. Encryption Type : AES-256
3. request header에 "x-amz-server-side-encryption":"AES256" 설정 필요

• SSE-KMS

1. KMS (키 관리 서비스)를 이용해서 client가 자신의 키를 직접 관리 -> 사용자가 통제 가능 -> KMS에서 신규 키 생성 가능
2. CloudTail (AWS 로깅 서비스) 이용하여 키 사용을 검사할 수 있음
3. request header에 "x-amz-server-side-encryption":"aws:kms" 설정 필요

• SSE-KMS 제한사항
  • S3에 KMS키 활용 암호화된 Object를 업로드하고 다운로드하기 때문에 사용자가 직접 KMS키를 사용해야 함
  • 복호화 : KMS 키의 자체 API인 GenerateDataKey를 활용하여 Object를 복호화 함
  • 복호화 시, KMS API 호출 건은 초당 API 호출에 합산됨 (region마다 다르지만 초당 API 호출에 제한이 있음) -> 쓰로틀링 발생 가능성 있음

• SSE-C

1. 외부에서 관리되는 키 사용 (client가 서버로 해당 키 전송)
2. AWS에서는 해당 키를 저장하지 않음
3. 반드시 HTTPS를 이용하여 요청해야 함

• CSE (Client-Side Encryption)

1. 클라이언트가 직접 데이터를 암호화한 다음에 Amazon S3에 전송하는 방식 (복호화도 마찬가지)
2. 클라이언트측 암호화 라이브러리를 활용한다면 쉽게 구현 가능

• SSL/TLS (전송 중 암호화)

1. S3에는 HTTP/HTTPS 두 개의 endpoint 존재 (HTTPS endpoint에서 전송 중 암호화 제공)
2. HTTPS 권장
3. 강제화 방법 : Bucket 정책 활용
   • Bucket Policies를 활용하여 암호화를 강제하고 올바른 암호화 헤더가 없는 경우에는 S3 API호출을 거절할 수도 있음

CORS

• CORS : Cross-Origin Resource Sharing, 웹 브라우저 기반 보안 메커니즘
  
  
  

• 작동 원리

1. origin : scheme (protocol) + host (domain) + port (ex. https://www.example.com)
2. 메인 origin에서 다른 origin에 대한 요청을 허용하거나 거부
   • same origin : http://example.com/app1 = http://example.com/app2
   • defferent origin : http://www.example.com != http://other.example.com
3. 웹 브라우저가 main origin에 접속한 상태에서 다른 origin으로 요청해야하는 상황일 때, 다른 origin에서 CORS헤더(Access-Control-Allow-Origin) 허용을 하지 않는 이상 요청이 전달되지 않음 (ex. 웹 브라우저가 front 서버에 접속한 상태에서 back 서버에 요청을 보내야 할 때, front서버 origin != back서버 origin)
   
   
   

• 예제

1. 웹 브라우저가 https://www.example.co(main origin)에 요청하여 index.html을 받아옴
2. 받아온 index.html에서 https://www.other.com(cross origin)에 file을 요청
3. cross origin에 main origin 값을 실어 사전요청을 보냄
4. cross origin에서 CORS를 허용했다면, main origin으로부터 GET/PUT/DELETE 호출을 허용
5. 웹 브라우저에서 cross origin에 파일을 요청하여 받아옴

• S3에 적용한다면, S3는 cross origin으로서 CORS 허용 필요 (permissions - CORS 에서 JSON 형식으로 설정 가능)

MFA Delete

• MFA Delete : S3상에서 중요한 작업을 진행할 때, 특정 Device(ex. Google Authenticator, MFA Hardware Device 등)에서 생성한 코드를 통한 인증을 강제화 하는 것
  
  
  

• object의 특정 version을 삭제하거나, versioning 옵션을 중단할 때 두 가지 경우에 주로 사용됨

• MFA 활용을 위해서 Bucket Versioning을 활성화해야 함

• Bucket소유자(root 계정)만 활성화할 수 있음

• MFA Delete 활성화는 CLI를 통해서 가능

• MFA Delete가 활성화된 상태에서 객체 버전 삭제를 할 경우, CLI를 통해서 MFA Delete를 비활성화한 후에 삭제 진행해야 함
  
  
  

S3 Access Logs

• S3 Access Logs : S3 Bucket에 접근한 모든 case는 다른 S3 Bucket에 log로 저장
  
  
  

• Amazon Athena와 같은 데이터 분석 도구로 분석 가능

• logging bucket은 같은 region내에 있어야 함 -> 같은 region내에 Bucket 생성 후 logging되도록 설정하면 됨

• properties -> Server access logging 설정 -> Enable -> log가 저장될 bucket 선택 -> bucket 정책 자동 현행화
  
  
  

• 주의사항 : 로깅 버킷과 모니터링 버킷을 동일하게 설정x -> 로깅 loop가 생성되어 로깅이 무한반복됨

Pre-Signed URLs

• Pre-Signed URLs : URL에 private bucket의 특정 object에 public하게 접근할 수 있는 권한을 부여 -> URL을 받는 사용자는 생성한 사용자에게 GET/PUT권한을 상속받음 -> 외부의 사용자에게 특정 Object에 대한 권한을 부여해야할 때 사용
  
  
  

• Console, CLI, SDK에서 생성 가능

• Object actions -> share with presigned URL

• 만료시간

1. Console : 최대 12시간
2. CLI : 최대 168시간

• use cases

1. 로그인한 유저에게만 파일을 다운로드할 수 있게끔 함
2. 사용자 list가 계속 변하는 경우, url을 동적으로 생성하여 권한 부여 지속
3. 일시적으로 외부 사용자가 bukcet에 접근해야할 경우

Glacier Vault Lock

• Glacier Vault Lock : Worm(Write Once Read Many) 모델 적용을 위해 활용, 한번 Glacier Vault에 Object를 넣으면 수정/삭제가 불가하도록 lock을 걸어버림 (관리자나 그 누구도 삭제를 못함) -> 규정준수나 데이터 보존에 유용
  
  
  

• Glacier에 Vault lock policy 설정 -> 더이상 정책을 변경할 수 없도록 해당 정책을 lock
  
  
  

S3 Object Lock

• 특징

1. Bucket 전체 대상의 lock이 아닌 Bucket 내 Object에 개별적으로 lock 가능
2. 특정 Object의 특정 version이 특정 시간동안 삭제되는 것을 막을 수 있음
3. Object Lock 활성화를 위해서 Versioning 활성화 필요
4. Worm(Write Once Read Many) 모델 적용
5. 법적 보존 모드 설정을 통해 모든 Object를 무기한으로 보존 가능 -> s3:PutObjectLegalHold IAM 권한을 가진 사용자는 법적 보존 모드 설정 및 삭제 가능
   
   
   

• Retention mode

1. Compliance mode
   • Glacier Vault Lock과 유사
   • 사용자 그 누구도 수정/삭제 불가
   • Retention mode도 변경 불가
2. Governance mode
   • 좀 더 유연성이 필요할 때 사용
   • 대부분의 사용자가 수정/삭제 불가
   • IAM을 통해 권한을 부여받은 사용자는 Object의 보존기간을 변경하거나 바로 삭제할 수 있음

• 두 가지 모드 모두 Object 보존기간 설정 필요
  
  
  

S3 Access Points

• 사용자와 데이터가 많아질 수록 Bucket 정책 등 관리가 까다로워짐 -> Access Points 활용 -> S3 Bucket에 접근하기 위한 다양한 방법 정의

• 특정 S3 Bucket prefix에 대한 Access Points를 생성하고, 해당 point에 prefix에 맞는 Bucket policy 설정 (용도에 따라 단일 Access points에 다수의 prefix를 연결하는 policy 설정 등 가능)
  
  
  

• 특징

1. 각 Access Points는 각각 특정 DNS를 가짐
2. Access Point는 public 인터넷이나 private VPC에 연결될 수 있음

• private VPC -> S3 Access point : VPC에 endpoint를 생성하면 VPC 내부의 EC2 인스턴스는 해당 endpoint에 정의되어 있는 VPC policy에 맞게 S3 Access point로 접근하게 되고, 해당 Access point의 정책에 맞게 Bucket내 데이터에 접근할 수 있게된다. -> 결론적으로 VPC endpoint policy, S3 Access point policy, Bucket policy 세 가지 보안 정책 설정이 필요함

S3 Object Lambda

• S3 Object Lambda : S3 Bucket에 호출하여 Object를 받기 전에 해당 Object를 수정하려는 경우에 사용
  
  
  

• 특징

1. S3 Access point 사용 필요
2. S3 Bucket 외의 Access point를 생성하여 Lambda function에 연결될 수 있도록 설정 -> S3 Lambda Access point를 생성하여 특정 application으로 Lambda의 처리 결과본 전달 -> 결과적으로 특정 application은 Lambda access point를 통해 Lambda를 호출하여 S3 Access point를 통해 S3 객체를 가져오고, 해당 객체를 Lambda function이 수정하여 다시 Lambda access point를 통해 application으로 전달
3. Object 수정본을 위한 Bucket을 생성하여 별도의 버전을 관리할 필요 없음

Moving between Storage Classes

• 수동으로 Object의 Storage Class를 옮길 수 있지만, LifeCycle Rules에 의해 자동으로도 옮겨질 수 있음

LifeCycle Rules

• Transition Actions : 다른 Storage class로 이전하기 위한 Object 설정 (ex. 생성 60일 후에 Standard class로 이동)

• Expiration Actions : 객체 삭제를 위한 Object 설정 (ex. 일정 만료기간이 지나면 Object 삭제, 특정 버전 삭제, 로그 삭제, 불완전한 객체 삭제 등)

• 특정 경로나 Tag로 Object를 제한할 수 있음 (tag ex. 특정 부서의 object 등)
  
  
  

• Scenario 1

• Scenario 2

• Storage Class Analysis : 매일 S3 Bucket의 상태를 확인하여 Storage class 추천 및 통계를 담은 report를 생성
  • Standard 및 Standard IA는 호환되지 않음
  • report 확인까지 24~48시간 소요될 수 있음
  • report를 통해 합리적인 lifecycle rules를 설정할 수 있음

Requester Pays

• As-Is : S3 Bucket 소유자가 스토리지 및 데이터 전송에 대한 비용 모두 지불
• To-Be (Requester Pays) : S3 Bucket 소유자는 스토리지 비용을, 데이터 요청자가 데이터 전송 비용을 지불 -> 데이터를 다른 사용자 계정과 공유할 때 유용 (요청자가 익명이면 안됨, AWS 인증 필요)

Event Notifications

• Event : 객체 생성/삭제/복구, 복제 등과 같은 작업 (ex. S3 자체적 자동으로 image 썸네일 생성 등)

• Event Notifications는 filtering이 가능 (ex. *.jpg object의 이벤트만 알림으로 받고 싶다 등)

• Event Notifications의 대상은 설정 가능 (ex. SNS, SQS, Lambda Function 등)

• 알림은 몇 초면 전송되나 간혹 몇 분이 걸리는 경우도 있음

• properties - Event Notifications 에서 설정 가능
  
  
  

• IAM Permissions : 알림을 전송하기 위해 IAM 권한(SNS, SQS 등)이 있어야 함 -> S3 IAM Role을 사용하는 것이 아닌 Target Resource Policy에 정의함 -> 우리와 같은 사용자가 S3 Bucket에 접근할 때, S3 Bucket 정책에 기반하는 것과 비슷하다고 보면 됨 -> 보통 target이 policy 설정

• ex) S3 Event Notification을 SNS 토픽에 전송하기 위해 SNS Resource Policy를 할당해야 함 (SNS 토픽에 첨부하는 IAM Policy)

• Amazon EventBridge : S3의 모든 event Notification이 EventBridge로 전송됨 -> EventBridge에 설정된 규칙을 기반으로 다른 AWS 서비스에 Event 전송 -> 직접 Event Notification를 전송하는 것보다 다양한 filtering 옵션 등과 같은 기능을 활용할 수 있음

S3 Performance

• Amazon S3는 요청이 많으면 자동으로 확장됨 (지연시간 : 100~200ms)

• Amazon S3는 prefix 및 초당 3500개의 PUT/COPY/POST/DELETE 요청과 5500개의 GET/HEAD 요청을 지원 -> 고성능

• prefix 수에 제한이 없음 (prefix는 object의 path라 보면 됨) -> 4개의 prefix에 요청을 분산하면 초당 22000개의 GET/HEAD요청 처리 가능
  
  
  

• 최적화 방법

1. Multi-Part upload : 100MB넘는 파일 권장, 5GB넘는 파일은 필수 -> upload 병렬화 -> 전송속도 증가
2. Transfer Acceleration : 파일을 AWS 엣지 로케이션으로 전송, 데이터를 target region의 Bucket에 저장 -> 빠른 AWS 네트워크 활용을 통해 전송속도 증가
   • Multi-Part upload와 동시 사용 가능

3. Byte-Range Fetchs
   • 파일의 특정 바이트 범위를 가져와 GET 요청 병렬화 -> 실패의 경우 재시도 (복원력 높음) -> 다운로드 속도 증가
   • 파일의 첫 50바이트가 헤더라는 등 파일의 정보를 안다면, 파일에 대한 바이트 요청 범위를 설정할 수 있음

Select

• 파일 검색 시, 검색 후 필터링 하면 불필요하게 많은 데이터를 검색하게 됨 -> Select 기능 사용
• Select : SQL을 활용한 서버측 필터링 기능 -> 필요한 데이터만 필터링하여 조회 가능
• 데이터 검색 및 필터링에 드는 CPU 비용 절약 가능
• 적은 양의 데이터 전송에 따른 데이터 전송 속도 증가
  
  
  

S3 Batch Operations

• S3 Batch Operations : 단일 요청으로 S3 Object에서 대량 작업 수행
  
  
  

• Use cases

  1. 한 번에 많은 S3 Object의 메타데이터와 property 수정 가능
  2. S3 Bucket간 Object 복제 가능
  3. 암호화되지 않은 모든 Object를 암호화
  4. ACL(권한), tag 수정
  5. S3 Glacier에서 많은 object 복구
  6. Lambda 함수를 호출하여 S3 Batch Operations의 모든 객체에서 사용자 지정 작업 수행
     
     
     

• 파라미터 : 객체 list, 수행할 작업 -> 객체 list는 S3 Inventory 기능을 활용하여 가져옴

• S3 Inventory : S3 Select를 활용하여 적절히 객체를 filtering하여 전달해줌

• Why? Batch Operations
  1. retry 관리 가능
  2. 진행상황 추적 및 작업완료 알림 가능
  3. 보고서 생성 가능
     
     
     

S3 Storage Lens

• Storage Lens : 스토리지 이해/분석/최적화 하는 데 도움이 되는 서비스 -> 이상징후, 비용효율성 등 감지하여 전체 AWS조직을 보호 (30일 사용량 및 활용 메트릭 제공)

• 데이터 수집 범위

  1. AWS 조직
  2. AWS 특정 계정
  3. regions
  4. buckets
  5. prefixs
     
     
     

• 특징

1. Custom Dashboard 제작 가능
2. csv or parquet 형식으로 사용량과 메트릭에 관한 report를 S3 Bucket을 통해 받아볼 수 있음
3. use cases
   1. 가장 빠르게 성장하거나 사용하지 않는 bucket이나 prefix 식별 (storage 관점)
   2. multi-part 업로드에 실패한 객체가 있는 bucket이 무엇인지? (storage 관점)
   3. 어떤 object를 더 저렴한 storage class로 옮길 수 있는지? (비용 관점)
   4. 데이터 보호 사례를 따르지 않는 bucket 식별 (데이터 보호 관점)
   5. Bucket이 어떤 object에 대한 소유권 설정을 하고있는지? (Bucket 소유권 관점)

• Defualt Dashboard

1. 무료 및 고급 지표에 대한 요약된 인사이트와 트렌드 확인 가능
2. Multi-Region, Multi-Account의 모든 데이터 확인 가능
3. Amazon S3에 의해 사전 구성
4. 삭제는 불가하지만 비활성화는 가능

• Metrics

1. Summary Metrics : S3 Storage에 관한 insight
   • StorageBytes : Storage 및 Object의 크기를 파악 (모든 버전 포함 -> 실제로 차지하는 용량, 불완전한 multi-part object도 포함)
   • ObjectCount : Storage의 Object 수 파악
2. Cost-Optimization Metrics : 비용에 관한 insight
   • NonCurrentVersionStorageBytes, IncompleteMultipartUploadStorageBytes, etc...
3. Data-Protection Metrics : 데이터 보호에 관한 insight
   • VersioningEnableBucketCount : 버전관리 활성화 Bucket 수
   • MFADeleteEnableBucketCount, SSEKMSEnableBucketCount, CrossRegionReplicationRuleCount, etc...
4. Access-management Metrics : S3 Bucket 소유권에 관한 insight
   • ObjectOwnershipBucketOwnerEnforcedBucketCount, etc...
5. Event Metrics : S3 Event Notifications에 관한 insight
   • EventNotificationEnabledBucketCount : Event Notification이 구성된 Bucket의 수
6. Performance Metrics : Transfer Acceleration에 관한 insight
   • TransferAccelerationEnabledBucketCount : Transfer Acceleration이 활성화된 Bucket의 수
7. Activity Metircs
   • AllRequests, GetRequests, PutRequests, ListRequests, BytesDownloaded, etc...
8. Detailed Status Code Metrics : HTTP 상태 코드에 관한 insight
   • 200OKStatusCount, 403ForbiddenErrorCount, 404NotFoundErrorCount, etc...
     
     
     

• 무료 metric vs 유료 metric

Amazon S3

• Use Cases

1. 백업과 스토리지로 활용 (ex. 파일, 디스크, 재해복구 등)
2. 아카이브 용도로 활용 -> 검색 용이
3. Hybrid Cloud Storage -> 온프레미스 스토리지가 있는 상태에서 클라우드로 서비스를 확장
4. application, file, image 등 미디어를 호스팅할 수 있음
5. 다량의 데이터를 저장하고 빅데이터 분석 수행
6. 정적 웹사이트 호스팅
   
   
   

• S3 Buckets

1. 파일(=객체) 저장 용도
2. 상위 레벨 디렉토리로 표시
3. 계정 안에 생성되고, 모든 region의 고유한 이름이 있어야 함 (전역 서비스로 착각x -> 특정 region 국한 서비스)
4. region 수준 정의
5. Name convention
   • 대문자(x)
   • 밑줄(x)
   • 길이 3~63
   • ip(x)
   • 소문자나 숫자로 시작
   • 접두사 제한 (ex. xn--, -s3alias 등)
   • 문자, 숫자, 하이픈 사용
6. 인터넷망에서 bucket내부 object에 접근하기 위해서 public 설정 필요 (default는 amazon credential을 활용하여 private하게 접근)
   
   
   

• S3 Objects

1. body는 본문의 내용 (file 등)
2. Object당 최대 크기는 5TB
3. 크기가 5GB 이상이라면, multi-part로 업로드하여 여러 부분으로 나누어 업로드
4. key-value 형태의 메타데이터 존재 (object에 관한 부가정보)
5. tags (유니코드 최대 10개 key-value쌍), 보안과 lifecycle에 유용
6. Version ID를 갖기도 함
   
   
   

• S3 Object key

1. 모든 Object는 key를 가짐
2. key는 파일(object)의 전체 경로
   • s3://my-bucket/my_file.txt -> key : my_file.txt, 상위디렉토리 : s3://my-bucket/
   • s3://my-bucket/my_folder1/another_folder/my_file.txt -> key : my_folder1/another_folder/my_file.txt
   • key = 접두사 + file(object) name
3. 디렉토리의 개념은 없음 (디렉토리처럼 보이지만, 핵심은 key)
   
   
   

Security

1. 사용자 기반

• IAM 정책 : 특정 사용자(동일 계정의 IAM User(?))에게 특정 S3 API 호출 허용
• IAM Role : 특정 EC2 인스턴스에게 특정 S3 API 호출 허용
  
  
  

2. 리소스 기반

• S3 Bucket 정책 : S3 console에서 할당 가능, 특정 사용자에게 bucket 접근을 허용 (교차계정, 다른 계정의 IAM User)
• Object ACL (Object Access Control List) : 가장 세밀한 권한
• Bucket ACL (Bucket Access Control List) : Object 보다 덜 세밀한 권한
  
  
  

3. 암호화

• 암호키를 사용하여 S3 object 암호화
  
  
  

=> S3 Object에 접근할 수 있는 경우는 위에서 언급된 사용자 기반 IAM 권한을 얻거나, 리소스 기반 정책이 허용할 경우

• S3 Bucket Policies

1. JSON기반의 정책
   • Resource : 정책이 적용되는 bucket과 object 명시
   • Effect : Allow/Deny 선택
   • Action : 정책에서 명시할 작업(API)
   • Principal : 해당 정책을 적용할 대상(사용자)

• Public Access : S3 Bucket Policy

• Cross-Account Access : S3 Bucket Policy

• User Access : IAM permissions

• EC2 Access : IAM Roles

• Block Public Access

1. 기업 데이터 유출을 방지하기 위한 추가 보안 계층
2. Bucket 생성 시, 설정
3. Bucket Policy를 통해 Public Access를 허용하더라도 해당 설정이 활성화되어 있으면, public 접근 불가
4. 잘못된 Bucket Policy 설정으로 인한 유출사고 방지
5. public Bucket Policy 설정 시에만 비활성화해야 함
   
   
   

Website

• S3를 활용하여 정적 웹사이트 hosting 가능
• S3 Bucket 설정 중, properties - static website hosting 설정에서 활성화 필요
• index.html 파일 업로드 필요
• S3 Bucket에 대한 권한 허용 필요
  
  
  

Versioning

• S3에서 File의 버전 관리 가능
• Bucket 설정에서 활성화 필요 (properties - bucket versioning)
• 동일한 key를 upload하고 파일을 덮어쓰는 경우 버전 2, 버전 3... 생성
• 의도치 않은 File 삭제 방지 -> versioning이 활성화되어 있는 상태에서 파일을 삭제할 경우, 삭제마커가 추가되어 삭제가 versioning됨 -> 복구 가능
• 파일 버전을 삭제한 경우, 파일이 삭제되는 것이 아닌 해당 버전만 삭제
• 이전 버전으로 roll-back 가능
• 유의1 : 버전 관리가 적용되지 않은 모든 파일은 null 버전을 갖게됨
• 유의2 : 버전 관리를 중단해도 이전 버전을 삭제하진 않음

Replication

• management - Replication rules 에서 복제설정
• source bucket, destination bucket 둘다 Versioning 활성화 필요
• S3에 알맞는 IAM Role 할당(Bucket에 대한 읽기/쓰기 권한) 필요
• 복제는 비동기식으로 진행 (background 진행)
• 서로 다른 AWS 계정간 사용 가능
• 복제를 활성화한 후, 새로 추가되는 object만 복제 대상이 됨
• 기존 object 복제를 위해 S3 Batch 복제를 활용해야 함 (기존 object, 복제실패 object 복제)
• 삭제작업 복제를 위해 삭제마커(version)도 복제하면 됨 (설정에서 가능, Delete marker replication 활성화)
• version삭제는 복제 불가
• chaining 복제 불가 (bucket 1 -> bucket 2 -> bucket 3 (x))
  
  
  

1. CRR (교차 리전 복제)

• source bucket과 destination bucket의 region이 다름
• region간 지연시간 감소를 위해 사용
• AWS 계정간 복제를 위해 사용
  
  
  

2. SRR (같은 리전 복제)

• source bucket과 destination bucket의 region이 동일
• 다수 S3 Bucket간 통합
• 개발환경과 운영환경 실시간 동기화
  
  
  

Storage Classes

• 객체 생성 시, class 선택가능 (properties - storage class)

• 수동으로 수정도 가능

• S3 Lifecyle 설정을 통해 기간에 따른 class간 객체이동 자동화도 가능 (management - lifecycle rules)
  
  
  

• Durability (내구성) : S3로 인해 객체가 손실되는 횟수, 모든 class에서 동일

• Availability (가용성) : 서비스가 얼마나 용이하게 제공되는지, class에 따라 다름 (ex. 99.99% : 1년에 53분 동안 서비스 사용 불가)
  
  
  

• Classes

1. Standard - General Purpose

   • 가용성 : 99.99%
   • 자주 access하는 데이터를 위해 사용
   • 지연시간이 짧고 처리량이 높음
   • 두 개의 기능장애를 동시에 버틸 수 있음
   • use cases : 빅데이터 분석, mobile/game application, 배포 등

2. Standard - Infrequent Access (IA)

   • 가용성 : 99.9%
   • 자주 access하진 않지만, 빠른 접근이 필요할 때 사용
   • General Purpose보다 비용이 저렴 (검색 비용 발생)
   • use cases : 재해복구, 백업 등

3. One Zone - Infrequent Access

   • 가용성 : 99.5%
   • 단일 AZ 내에서 높은 내구성 (99.999999999%)
   • AZ가 파괴된 경우, 데이터를 잃게 됨
   • use cases : 온프레미스 데이터 2차 백업, 재생성 가능한 데이터 저장 등

4. Glacier

   • Glacier = cold storage, 아키이빙과 백업을 위한 저비용 객체 스토리지

   • 스토리지 및 검색 비용 부과
     1) Instant Retrieval

     • 밀리초 단위 검색
     • 분기에 한번 access하는 데이터에 적합
     • 최소 보관 기간은 90일

     2) Flexible Retrieval

     • Expedited : 1~5분 내에 데이터 수집 가능
     • Standard : 3~5시간 내에 데이터 수집 가능
     • Bulk : 5~12시간 내에 데이터 수집 가능 (free)
     • 최소 보관 기간은 90일

     3) Deep Archive

     • Standard : 데이터 수집까지 12시간 소요
     • Bulk : 데이터 수집까지 48시간 소요
     • 비용이 가장 저렴
     • 최소 보관 기간은 180일
     • 장기간 저장에 적합

5. Intelligent Tiering

   • 사용 패턴에 따라 access tier간 객체 이동
   • 월별 모니터링 비용과 객체 이동(tiering) 비용 발생, 검색 비용은 없음
   • FrequentAccess : default
   • InfrequentAccess : 30일 동안 access하지 않는 object전용
   • ArchiveInstantAccess : 90일 동안 access하지 않는 object전용
   • ArchiveAccess : 90일부터 700일 이상 access하지 않는 object전용, 객체 자동이동은 optional
   • DeepArchiveAccess : 180일부터 700일 이상 access하지 않는 object전용, 객체 자동이동은 optional
     
     
     

• Storage classes 성능 비교

• Storage classes Price