[AWS] S3

이 글은 Udemy의 AWS Certified Solutions Architect - Associate 2019 강의를 개인 학습용도로 정리한 글입니다

---

S3는 개발자와 IT팀에 안전하고 견고하고 높은 확장성을 가진 Object Storage를 제공한다. Amazon S3는 쉽게 사용할 수 있고, 웹상에서 수 많은 데이터를 저장하고 검색하기 위한 간편한 인터페이스를 제공한다.

 

S3란 무엇인가?

 

- S3는 파일을 저장하기 안전한 장소이다.

- Object 기반 저장소이다.

- 데이터는 여러 디바이스와 장소로 퍼진다.

 

S3 기초 정리

 

- S3는 Object 기반 저장소로 파일의 업로드를 허용한다.

- 파일은 0Bytes 에서 5TB 까지 저장 가능하다.

- 제한이 없는 저장소이다.

- 파일은 Bucket에 저장된다.

- 생성되는 URL는 예를들어 다음과 같다 (ex - https://s3-eu-west-1.amazonaws.com/{버킷명})

- 따라서 S3의 네이밍은 글로벌하게 유니크해야 한다. 

- S3에 파일을 업로드 할 때 성공시 HTTP 200 코드를 반환한다.

 

Object Based Storage

 

S3는 객체 기반(Object-based)의 저장소이다. 객체를 단지 파일로 생각하면 된다. 객체는 다음과 같은 요소들을 포함한다.

 

- Key(객체 이름)

- Value(데이터이며 바이트 시퀀스로 구성된다)

- Version ID(버저닝을 위해 중요하다)

- Metadata(저장된 데이터를 위한 데이터)

- 그 밖에(Access Control List, Torrent)

 

S3의 데이터 영속성

 

- 새로운 객체를 PUTS하기 위해 wirte consistency 이후 read한다.

: 만약 S3에 파일을 업로드 한 경우 곧바로 읽기가 가능하다. 즉 쓰기 이후 바로 읽을 수 있다. 이것은 단지 S3안에 객체를 놓았다(put)는 것이다.

- PUTS와 DELETE overwrite에 대한 결과적 일관성(Eventual Consistency)

: 만약 객체를 업데이트 하거나 삭제하여 객체를 덮어쓴다면 이것은 단지 결과적 일관성을 보장한다. 그렇기 때문에 만약overwrite 이후 곧바로 객체를 얻을 경우 버전 1일 수도 있고 버전 2일 수도 있지만 몇 초 이후 시도한다면 항상 버전 2를 얻을 수 있다. 

 

S3가 보장하는 것

 

- S3 플랫폼에 99.99%의 가용성을 제공하도록 설계

- 99.9%의 가용성을 아마존이 보장

- S3의 정보에 대한 99.999999999%의 내구성을 아마존이 보장

 

S3의 특징

 

- 스토리지 티어구분

- 라이프사이클 관리

- 버전관리

- 암호화

- 객체 삭제를 위한 MFA(Multi Factor Authentication)

- Bucket 정책과 ACL(Access Control List)을 이용한 데이터 보안

 

S3 스토리지 클래스

 

'S3 Standard'

99.99%의 가용성, 99.999999999% 내구성을 갖춘다

여러 설비의 여러 장치에 걸쳐 중복 저장되며, 두 설비의 손실을 동시에 방지하도록 설계됨

 

'S3-IA(Infrequently Access)'

접근 빈도가 낮은 필요시 즉각적인 접근이 가능한 데이터를 위함

S3 Standard에 비해 낮은 요금이지만 검색에 대한 비용이 부과

 

'S3 One Zone - IA'

S3-IA에서 데이터를 보관을 위한 다중 존이 필요하지 않을 경우에 활용

 

'S3 - Intelligent Tiering'

퍼포먼스 충돌 또는 동작 오버헤드가 없이 가장 효율적인 비용을 지불하는 엑세스 티어로 데이터를 자동으로 이동하도록 디자인됨

 

'S3 Glacier'

S3 Glacier는 보안되고 견고하며 데이터 아카이빙을 위한 낮은 비용의 저장소 클래스이다. 온프레미스 솔루션에 비해 경쟁적이거나 저렴한 비용으로 모든 양의 데이터를 안정적으로 저장할 수 있다. 검색 시간을 분에서 시간단위로 설정할 수 있다.

 

'S3 Glacier Deep Archive'

검색 시간으로 12시간이 허용되는 Amazon의 S3 서비스중 가장 낮은 비용의 스토리지 클래스이다.

 

S3의 비용

 

저장소(Storage)

요청 빈도(Request)

저장소 관리 비용(Sotrage Management Pricing)

데이터 전송 비용(Data Transfer Pricing)

전송 가속화(Transfer Acceleration)

Cross Region Replication Pricing

- 고가용성을 위한 Bucket Replication

 

Storage Gateway

 

AWS Storage Gateway는 on-premises IT 환경과 AWS 저장소 인프라 사이의 연결을 매끄럽고 안전하게 제공하기 위해 클라우드 기반의 저장소와 on-premises 소프트웨어 장비를 연결시키는 서비스이다. 이 서비스는 확장성과 비용 절감을 위한 AWS cloud에 안전하게 데이터를 저장한다.

 

File Gateway(NFS & SMB)

: 파일은 object의 형태로 S3 bucket에 저장되어 NFS(Network File System) 마운트 포인트를 통해 접근된다. 소유자, 권한, 타임스템프는 S3에서 object의 user-metadata로 견고하게 저장된다. 일단 object가 S3로 전송되면 native S3 object 처럼 관리할 수 있고 버저닝이나 라이프사이클 관리와 같은 bucket 정책과 cross-region replication 또한 가능하다.

 

Volume Gateway(iSCSI)

: iSCSI 블록 프로토콜을 사용하여 디스크 볼륨과 함께 애플리케이션을 제공하는 볼륨 인터페이스. 이러한 볼륨에 기록된 데이터는 볼륨의 시점 스냅샷으로 비동기식으로 백업되고 클라우드에 Amazon EBS 스냅샷으로 저장될 수 있다. 스냅샷은 오직 변화된 블럭만 캡처하는 증분 백업이다. 모든 스냅샷 스토리지는 또한 압축되어 스토리지 비용을 최소화한다.

 - Stored Volumes

   : 저장된 볼륨을 사용하면 기본 데이터를 로컬에 저장하면서 해당 데이터를 AWS에 비동기식으로 백업할 수 있다.

 - Cached Volumes

   : 캐시된 볼륨을 사용하면 자주 액세스하는 데이터를 스토리지 게이트웨이에 로컬로 유지하면서 기본 데이터 스토리지로 Amazon S3(Amazon Simple Storage Service)를 사용할 수 있다.

 

Tape Gateway(VTL)

: 테이프 게이트웨이는 데이터를 AWS 클라우드에 보관할 수 있는 지속적이고 비용 효율적인 솔루션을 제공한다. VTL 인터페이스를 통해 기존 테이프 기반 백업 애플리케이션 인프라를 활용하여 테이프 게이트웨이에 생성하는 가상 테이프 카트리지에 데이터를 저장할 수 있다.