왜 Netflix와 Apple은 Rust, PostgreSQL, Iceberg를 선택했을까?
“현대 데이터 인프라의 구축 방식에 구조적 변화가 일어나고 있습니다.”
LinkedIn, Apple, Netflix, Tencent 등 세계 유수의 기술 기업들은 대규모의 실시간 데이터 파이프라인을 관리하기 위해 공통적인 기술들을 채택하고 있습니다. 이 선택들은 우연이 아닙니다. 확장성, 개방성, 유연성에 대한 시장의 니즈를 반영한 구조적 전환이기 때문입니다.
이 글에서는 Rust, PostgreSQL, S3, Apache Iceberg와 같은 기술들이 어떻게 현대 데이터 스택의 기반이 되었는지 설명하고, 이러한 기술들을 통합하여 구축한 차세대 클라우드 네이티브 스트리밍 데이터베이스인 RisingWave도 함께 소개하겠습니다.
🚀 Rust: 성능과 안전성을 모두 갖춘 언어
Rust는 시스템 개발자들 사이에서 가장 주목받는 언어로 빠르게 자리잡았습니다.
2024년 Stack Overflow 설문에서 가장 선호되는 언어 (83%)
crates.io 기준 일일 다운로드 수: 42,712
활발한 커뮤니티 활동:
r/rust(322k),r/learnrust(31k),r/rust_gamedev(40k)AWS, Dropbox, Cloudflare 등 주요 인프라 기업에서 채택
Rust는 메모리 안전성과 제로 비용 추상화(Zero-cost Abstractions)를 제공하여 고성능·동시성 시스템 구축에 최적화된 언어입니다. 스트리밍 데이터 엔진을 개발하기에 특히 적합합니다.
🐘 PostgreSQL: 익숙하면서도 강력한 SQL
PostgreSQL은 단순한 OLTP용 데이터베이스에서 벗어나, 이제는 현대 데이터 인프라의 핵심 SQL 인터페이스로 진화했습니다.
DB-Engines 선정 올해의 DBMS 3년 연속 수상 (2024)
2024년 Stack Overflow 조사 기준 48.7%의 개발자가 사용
Apache Spark, Flink, dbt, BI 도구들과의 높은 호환성
TimescaleDB, RisingWave 등 신생 데이터베이스들의 주요 프로토콜
PostgreSQL은 안정성과 확장성의 균형을 잘 이루고 있어, 다양한 데이터 워크로드에 적합한 범용 SQL 엔진으로 널리 사용되고 있습니다.
☁️ Amazon S3: 클라우드 시대의 스토리지 표준
Amazon S3는 단순한 객체 저장소를 넘어, 현대 데이터 시스템의 기본 구성 요소로 자리매김했습니다.
저장된 객체 수: 350조 개 이상
초당 요청 처리 수: 1억 회 이상
내구성: 99.999999999% (일명 '11 9s')
MinIO, Cloudflare R2, DigitalOcean, IBM Cloud 등도 S3 API 채택
S3는 저렴한 비용, 무한한 확장성, 뛰어난 접근성을 제공하여 클라우드 기반 분석, 아카이빙, 실시간 처리 시스템의 핵심 스토리지로 자리 잡았습니다.
❄️ Apache Iceberg: 오픈 데이터 레이크의 미래
Apache Iceberg는 대규모 분석 데이터를 관리하는 방식에 혁신을 일으키고 있습니다.
Netflix, Apple, AWS, Adobe, LinkedIn, Tencent, Pinterest 등에서 채택
생태계 확장: Databricks의 Tabular 인수, Snowflake의 Polaris Catalog, Dremio의 하이브리드 카탈로그
Trino, Flink, BigQuery, StarRocks, Redpanda 등 다양한 시스템에서 지원
배치와 스트리밍 데이터의 통합, Zero-ETL 구현 가능
Iceberg는 단순한 테이블 포맷이 아닌, 벤더 종속 없는 개방형 데이터 아키텍처를 위한 계약 모델로 자리 잡고 있습니다.
💡 RisingWave: 차세대 스트리밍 데이터 스택의 실현
RisingWave는 위에서 소개한 모든 기술들을 기반으로 구축된 클라우드 네이티브 스트리밍 데이터베이스입니다.
Rust 기반 고성능 스트리밍 엔진
PostgreSQL 프로토콜로 도구 호환성과 사용 편의성 확보
Amazon S3를 스토리지 계층으로 활용해 비용 효율성 및 유연성 제공
Apache Iceberg를 통해 스트리밍 및 히스토리 데이터를 통합 처리
RisingWave를 사용하면 복잡한 엔지니어링 없이도 SQL로 실시간 데이터를 수집, 처리, 분석할 수 있습니다. 벤더 락인 없이 오픈 스탠다드 기반의 현대적 데이터 워크플로우를 경험할 수 있습니다.
