소리 없는 비용의 습격: Cloud Storage FinOps와 데이터 수명 주기(Life Cycle) 최적화 전략

콜드 스토리지, 핫 스토리지 같은 말들이 왜 있는지 생각해보다가 S3 를 비용을 우습게 생각하는 경우들이 많은거 같더라구요. 그래서 이런 저런 커뮤니티 찾아보니 다들 비슷하더군요. 그래서 글 한번 적어봅니다.

"S3는 저렴하다"라는 착각이 만든 비용의 늪

클라우드 인프라를 운영하며 가장 관리하기 까다로운 영역 중 하나가 바로 스토리지입니다. 컴퓨팅 자원(EC2 등)은 사용하지 않을 때 끄거나 사양을 낮추는 방식으로 즉각적인 비용 절감이 가능하지만, 스토리지는 한 번 생성되면 데이터가 삭제되기 전까지 비용이 계속 누적되는 '축적의 영역'이기 때문입니다.

 

일반적으로 $1GB$당 몇십 원 수준인 S3의 단가는 저렴해 보입니다. 이로 인해 로그 데이터, 백업 파일, 이미지 리소스를 무분별하게 쌓아두는 경향이 생깁니다. 하지만 데이터 규모가 $TB$를 넘어 $PB$(Petabyte) 단위로 누적되면 스토리지 청구서는 전체 인프라 비용의 핵심 변수가 됩니다. 특히 저장 비용뿐만 아니라 API 요청 비용, 데이터 전송 비용(Outbound), 데이터 검색(Retrieval) 비용이 결합되면 이는 '소리 없는 비용의 습격'으로 변합니다. 본문에서는 데이터 가치에 따라 저장 비용을 최적화하는 Storage FinOps의 핵심인 수명 주기(Lifecycle) 전략을 심도 있게 분석합니다.

출처: 생성형 이미지, Gemini

---

데이터의 온도계: 액세스 패턴에 따른 계층 분류

성공적인 스토리지 FinOps의 첫걸음은 데이터의 '액세스 패턴'을 분석하여 적절한 계층(Tier)에 배치하는 것입니다.

데이터 유형	권장 스토리지 클래스	특징	지연 시간(Latency)
Ultra Hot	S3 Express One Zone	고성능 머신러닝, 실시간 분석용	$10ms$ 미만
Hot	S3 Standard	빈번한 액세스, 실시간 서비스용	$ms$ 단위
Warm	S3 Standard-IA	월 1회 미만 조회, 즉시 접근 필요	$ms$ 단위
Cold	S3 Glacier Instant Retrieval	분기 1회 조회, 장기 보관용	$ms$ 단위
Frozen	S3 Glacier Deep Archive	연 1~2회 조회, 법적 보관용	$12 \sim 48$ 시간

이 온도차를 무시하고 모든 데이터를 'Standard' 계층에 방치하는 것은 사용하지 않는 유휴 리소스에 대해 최대 비용을 지불하는 것과 같습니다.

---

S3 Intelligent-Tiering: 알고리즘 기반의 자동 최적화

수천만 개의 객체(Object)에 대해 엔지니어가 일일이 접근 패턴을 분석하는 것은 불가능합니다. 이를 자동화하기 위해 설계된 클래스가 S3 Intelligent-Tiering입니다.

작동 원리와 경제적 분석

S3 Intelligent-Tiering은 객체 레벨에서 액세스 패턴을 모니터링하여 30일 동안 접근이 없는 객체를 자동으로 'Infrequent Access' 계층으로 이동시킵니다. 다시 접근이 발생하면 즉시 'Frequent Access' 계층으로 복구합니다.

• 주의해야 할 팩트체크: 이 클래스는 객체당 월별 모니터링 및 자동화 비용($\$0.0025/1,000 \text{개 객체}$)이 발생합니다.
• 수학적 임계점: 객체 크기가 매우 작은 경우(예: $128KB$ 미만), 절감되는 저장 비용보다 모니터링 비용이 더 클 수 있습니다. 따라서 객체의 평균 크기가 큰 이미지나 로그 아카이브 파일에 적용하는 것이 비용 효율적입니다.

출처: 생성형 이미지, Gemini

---

수명 주기 정책(Lifecycle Policy)의 정교한 설계

계층 이동을 넘어, 불필요한 데이터를 완전히 삭제하거나 아카이빙하는 규칙을 코드로 관리(IaC)해야 합니다.

객체 버전 관리(Versioning)의 비용 함정

데이터 보호를 위해 버저닝을 활성화하면 동일한 파일의 사본이 여러 개 저장됩니다. 예를 들어 $1GB$ 파일을 10번 수정하면 실제 청구는 $10GB$에 대해 발생합니다.

• 최적화 전략: '이전 버전(Non-current version)'에 대해 7~30일 후에는 삭제하거나 Glacier로 이동시키는 별도의 정책을 반드시 수립해야 합니다. 특히 지속적으로 갱신되는 구성 파일이나 로그성 파일에 버저닝이 걸려 있다면 심각한 비용 유출 경로가 됩니다.

불완전한 멀티파트 업로드(Aborted Multipart Upload) 정리

대용량 파일 업로드 중 네트워크 오류로 중단되면, 업로드된 데이터 조각들은 S3에 'Ghost' 상태로 남아 비용을 발생시킵니다. 이는 일반적인 객체 목록에는 보이지 않지만 용량은 차지합니다.

• 기술적 조치: 수명 주기 설정에서 "7일 후 불완전한 멀티파트 업로드 삭제" 옵션을 활성화하는 것만으로도 대규모 데이터 인프라에서 수백 달러의 숨은 비용을 제거할 수 있습니다.

---

EBS 스냅샷과 고립된 리소스(Orphaned Resources) 관리

스토리지 FinOps는 객체 스토리지에만 국한되지 않습니다. 블록 스토리지인 EBS(Elastic Block Store)와 그 백업 자산인 스냅샷 관리도 중요합니다.

1. 미사용 EBS 볼륨 탐지: 인스턴스는 종료되었지만 삭제되지 않고 'available' 상태로 남아 비용을 발생시키는 볼륨을 자동화 도구로 탐지해야 합니다.
2. 스냅샷 증분 비용의 오해: 스냅샷은 증분(Incremental) 방식이라 저렴하다고 생각하기 쉽지만, 원본 볼륨이 삭제된 후에도 첫 번째 풀 스냅샷 데이터는 남게 됩니다. AWS Data Lifecycle Manager(DLM)를 활용하여 보관 주기(Retention)를 30일 혹은 7일로 엄격히 제한하는 거버넌스가 필요합니다.

---

전이 비용(Transition Cost)의 비판적 분석

엔지니어링 관점에서 가장 많이 간과하는 것이 전이 비용(Transition Fee)입니다. 데이터를 Standard에서 Glacier로 옮길 때, 데이터의 크기와 상관없이 API 요청 건수당 비용이 발생합니다.

• 팩트체크: 만약 $10KB$ 크기의 파일 $1,000,000$개를 Glacier로 옮긴다면, 전이 비용으로만 약 $\$50.00$($\$0.05/1,000 \text{건}$ 기준)가 발생할 수 있습니다. 이 경우 절감되는 저장 비용보다 전이 API 비용이 훨씬 커지는 역전 현상이 발생합니다.
• 해결책: 작은 파일들은 하나로 압축(Tarball 등)하여 객체 수를 줄인 뒤 전이하거나, Intelligent-Tiering의 자동화 로직에 맡기는 것이 유리합니다.

---

데이터의 가치는 시간의 함수다

스토리지 FinOps의 본질은 데이터의 생애 주기를 이해하고, 시간이 흐름에 따라 데이터의 경제적 가치가 하락하는 속도에 맞춰 저장 비용도 함께 하강하도록 아키텍처를 설계하는 것입니다. "일단 저장하고 나중에 생각하자"는 태도는 기술적 부채와 함께 눈에 보이지 않는 막대한 지출을 야기합니다.

 

정교한 수명 주기 정책과 자동화된 계층화 전략은 인프라의 확장성과 비용 효율성이라는 두 마리 토끼를 잡게 해줄 것입니다. 투명하게 관리되는 스토리지는 시스템의 안정성을 뒷받침할 뿐만 아니라, 비즈니스가 지속 가능하게 성장할 수 있는 튼튼한 토대가 됩니다. 기술적 탁월함은 최고 성능뿐만 아니라, 그 성능을 유지하기 위한 경제적 효율성에서 비로소 증명됩니다.

 

옛날에 HDD 이런데 저장할 때보단 성능이 매우 많이 좋아졌습니다. 다만, 그 저장 비용에 대한 쓰는 사람이 지게 되어버린 현실 참 슬프지만 성능 측정 할 때마다 참 행복합니다

 

참고 자료 및 기술 표준:

• AWS Well-Architected Framework (Cost Optimization): 클라우드 스토리지 계층화 및 수명 주기 관리의 베스트 프랙티스를 참고하였습니다.
• S3 Storage Class Analysis Documentation: 데이터 액세스 패턴 분석을 통한 클래스 최적화 방법론을 반영하였습니다.
• FinOps Foundation - Cloud Storage Optimization: 엔터프라이즈 환경에서의 대규모 데이터 비용 거버넌스 프레임워크를 기반으로 작성되었습니다.
• AWS Pricing Updates (2025/2026): 최신 S3 Express One Zone 및 Glacier retrieval 요금 체계를 팩트체크하였습니다.