Amazon Simple Storage Service
아마존 S3(Amazon S3, Simple Storage Service)는 아마존 웹 서비스에서 제공하는 온라인 스토리지 웹 서비스이다. 아마존 S3는 웹 서비스 인터페이스를 통해 스토리지를 제공한다. 아마존이 S3를 출시하고 최초로 공개적으로 웹서비스를 이용할 수 있게 된 것은 2006년 3월 미국 그리고 유럽은 2007년 11월이다. 처음 서비스를 시작할 당시는 데이터를 송수신 할 때 사용되는 네트워크의 데이터 전송 요금 및 요청당 비용 등과 함께, 최종 사용자는 매달 1GB당 0.15 미국달러를 지불하여 사용할 수 있었다. 2008년 11월 1일부터 50TB 이상을 사용하는 사용자들에게는 할인 가격을 제공하였다.
Categories
Projects
- WeSQL - S3를 저장소로 사용하는 혁신적인 MySQL 배포판
- STU - 아마존 S3 TUI 탐색기
- s3mini - Node 및 엣지 플랫폼용 초경량·초고속 S3 클라이언트
- s3grep - S3를 위한 초고속 병렬 grep 도구
- S3 Files
BYO S3
Amazon S3 에서 사용하는, Bring Your Own S3 의 약자입니다. 즉, 개인 기기나 라이선스를 직접 가져오는 S3 라는 의미.
서비스 제공업체의 기본 저장공간 대신 사용자가 직접 소유하고 관리하는 자체 아마존 S3 버킷(또는 호환 스토리지)을 연결하여 데이터나 파일을 저장하는 방식을 뜻합니다.
Rules for bucket naming
The following rules apply for naming S3 buckets:
- Bucket names must be between 3 and 63 characters long.
- Bucket names can consist only of lowercase letters, numbers, dots (.), and hyphens (-).
- Bucket names must begin and end with a letter or number.
- Bucket names must not be formatted as an IP address (for example, 192.168.5.4).
- Bucket names can't begin with xn-- (for buckets created after February 2020).
- Bucket names must be unique within a partition. A partition is a grouping of Regions. AWS currently has three partitions: aws (Standard Regions), aws-cn (China Regions), and aws-us-gov (AWS GovCloud [US] Regions).
- Buckets used with Amazon S3 Transfer Acceleration can't have dots (.) in their names. For more information about transfer acceleration, see Amazon S3 Transfer Acceleration.
Presigned URL로 업로드
- S3에 파일을 업로드하는 세 가지 방법
- AWS S3 Pre-signed URL 15분만에 expire될 때, :: Jflip의 기술 블로그
- 미리 서명된 URL을 통해 객체 공유 - Amazon Simple Storage Service
- 미리 서명된 URL로 작업 - Amazon Simple Storage Service
- Presigned URL을 이용하여 S3로 파일 업로드
- Boto3를 활용한 Amazon S3 사전인증 URL 사용하기 | 문서번역모음
S3_Presigned_URL_Upload_Flow.png
- 클라이언트에서 이미지 업로드를 진행한다.
- 먼저 파일 이름과 타입으로 업로드를 위한 인증된 url을 생성한다.
- 생성된 url에 이미지 데이터를 첨부하여 요청을 보내면 해당 S3에 업로드된다.
S3 에서 비디오 스트리밍 하는 방법
- FFmpeg:Tool/FFmpeg:Example:HLS/HLS/S3 참고.
- How to Serve HLS Video from an S3 Bucket | HTTP Live Streaming
- Adaptive Streaming with MPEG-DASH and HLS using AWS
- AWS S3를 사용 해서 HLS 재생을 위한 CloudFront 환경 구축
- How to Upload FFmpeg Output Directly to Amazon S3 | Saturn Cloud Blog
- AWS Batch를 활용하여 미디어 처리를 위한 관리형 FFmpeg 워크플로우 구성하기 | AWS 기술 블로그
List of Object Storage Softwares
- Cloud Service
See also
- Object Storage
- AWS
- Copyparty - 거의 모든 기기를 파일 서버로 만드는 오픈소스
- Filesystem
- Litestream VFS
Favorite site
- Wikipedia (en) Amazon S3
- 사례별로 알아본 안전한 S3 사용 가이드 | 우아한형제들 기술블로그
- AWS S3가 느린 HDD 위에서 초당 1페타바이트를 처리하는 방식 | GeekNews
- [원문] How AWS S3 serves 1 petabyte per second on top of slow HDDs
- AWS S3는 대규모 멀티테넌트 객체 스토리지 서비스로, 높은 가용성과 내구성을 낮은 비용에 제공
- 구식이고 느린(≈120 IOPS) HDD를 활용하지만, 초저가·대용량 저장 매체의 경제성을 극대화함
- S3는 내부 저장계층(ShardStore)을 로그 구조(LSM) 로 설계해 쓰기 경로를 순차 I/O에 맞추고, 읽기 경로는 Erasure 코딩(5-of-9) 과 대규모 병렬화로 성능문제를 상쇄함
- 클라이언트·프런트엔드·스토리지 전 구간에서 멀티파트 업로드, 바이트 범위 GET, 커넥션 풀, 헤지 요청 등으로 테일 지연을 줄이고 처리량을 합산함
- 무작위 분산 배치와 Power of Two Random Choices, 지속 리밸런싱, 규모가 커질수록 부하가 평탄화되는 데코릴레이션으로 핫스팟을 피하며, 결과적으로 >1 PB/s 급 처리량을 실현함