Amazon S3: 20 év adattárolás élén. És utána mi következik?

| Olvasási idő: 4 perc |

Miért volt ennyire meghatározó az S3?

Erre könnyű a válasz: mert egyszerű volt.

Az S3 egy object storage szolgáltatás. Ez azt jelenti, hogy fájlokat (object-eket) tárolunk benne, kulcs-alapú eléréssel, nem klasszikus fájlrendszerként.

A valódi ereje nem ebben van, hanem abban, hogy:

• gyakorlatilag korlátlanul skálázódik
• nem kell szervereket kezelni
• API-n keresztül bárhonnan elérhető
• és nagyon magas tartósságot biztosít (durability)

Ez a kombináció 2006-ban forradalmi volt. És szerintem még ma is az.

Mire használják valójában az S3-at?

Sokan azt gondolják, hogy az S3 „csak egy fájltároló”.

A valóságban viszont rengeteg különböző use case épül rá. Nézzünk meg néhányat, amikkel én is rendszeresen találkozom.

1. Backup és archiválás

Ez a klasszikus.

• adatbázis mentések
• logok tárolása
• hosszú távú archiválás (pl. törvényi megfelelőség miatt)

Az S3 lifecycle policy segítségével az adatokat automatikusan lehet költséghatékonyabb ú.n. storage class-ba mozgatni (pl. Glacier, Deep Archive).

Sok cég esetében azonban néha hiba csúszik a gépezetbe: feltöltik az adatokat az S3-ba, de lifecycle szabály nincs létrehozva, majd csodálkoznak, hogy a költségek elszállnak.

2. Statikus weboldalak kiszolgálása

S3 + CDN (CloudFront) = egyszerű és olcsó web hosting.

Tipikus példa:

• landing page
• dokumentációs oldal
• egyszerű frontend app (React, Vue)

Nem kell VM, nem kell Kubernetes. Ez az a „simplicity”, amit sokan túl korán elfelejtenek. Pedig itt szinte ingyen van.

3. Data lake alap

Ez már egy komolyabb use case.

Az S3 gyakran a data lake alapja:

• raw adatok tárolása
• strukturált és strukturálatlan adatok együtt
• későbbi feldolgozás (pl. Athena, Glue)

Itt már megjelenik az adatstratégia, amely egy új színtere egy cég életének. És itt szokott elcsúszni a legtöbb projekt: nincs naming convention, nincs partitioning, így később nehéz kezelni.

4. AI és machine learning

Az elmúlt évek egyik legnagyobb változása. Az S3 ma már az AI pipeline-ok egyik alapja:

• training datasetek tárolása
• model artifactek mentése
• inference input/output tárolás

AWS oldalon például a SageMaker is erősen épít rá, de ugyanez igaz más platformokra is. Nehéz olyan megoldást találni, ahol az S3-at nem használjuk. Igazi alappillér.

5. CI/CD és DevOps

Ezt kevesebben említik, pedig napi szinten használjuk.

• build artifactek tárolása
• Terraform state backend (S3 + locking)
• telepítési csomagok

Egy egyszerű példa: Egy pipeline build-el egy alkalmazást, majd feltölti S3-ba, és onnan olvassa fel a kódot az AWS Lambda.

Egyszerű, stabil, jól működik.

6. Log és observability adatgyűjtés

Sok rendszer logjai végül S3-ban landolnak:

• Terheléselosztó és alkalmazás naplófájlok
• CloudTrail események
• Hálózati információs naplófájlok

Innen tovább lehet őket feldolgozni (pl. Athena vagy más tool-ok).

Mi változott 20 év alatt?

Őszintén? Az alap koncepció szinte semmit és nekem pont ez tetszik.

Ami változott:

• több storage class (költségoptimalizálás)
• jobb biztonsági kontrollok (IAM, encryption, bucket policy)
• esemény alapú működés (S3 event → Lambda)
• integráció más szolgáltatásokkal

Az alap modell ugyanaz maradt. Ez ritka az IT-ban és a jelenlegi világunkban.

És mi jöhet ezután?

Itt érdemes kicsit megállni. Igyekszem biztos dolgokat írni és nem csupán találgatni.

1. S3 mint adatplatform alap

Egyre több rendszer épít közvetlenül S3-ra, nem csak tárolásként, hanem:

• query layer-rel
• metadata kezeléssel
• verziózással

Ez már nem a klasszikus storage használat.

2. AI-first adatkezelés

Az AI miatt az adatok szerepe megváltozott:

• nem csak tároljuk, hanem használjuk is folyamatosan
• nem csak a struktúrált adat értékes, hanem minden adat számít

Az S3 ebben központi szereplő maradhat.

3. Egyszerűség visszatérése

Ebben a túlbonyolított világban, szükség van az egyszerű és megbízható dolgokra és ilyenkor sokan visszatérnek az alapokhoz:

• S3
• egyszerű pipeline
• kevesebb komponens

Ez nem visszalépés, hanem érettség.

Buktatók S3 használat közben

Ez fontos, mert könnyű belefutni:

• nincs lifecycle policy: drága lesz
• nem megfelelő access control: biztonsági kockázat
• hiányzó elnevezési stratégia: káosz
• minden adat egy bucket-ben: kezelhetetlen

Ezek nem technikai problémák, hanem tervezési hibák, amelyek átgondoltsággal könnyen orvosolhatók.

A következő 20 év előtt

Az S3 nem látványos. Nincs UI varázslat, nincs „wow” élmény, de ott van minden mögött.

Az elmúlt 20 évben az egyik legstabilabb alapköve lett a cloud világnak és nem csak az AWS-ben lakó szolgáltatásoknak.

És ha valamit érdemes megérteni mélyen – akár kezdőként is –, akkor ez az. Mert nem csak egy szolgáltatást tanulsz meg. Hanem azt, hogyan gondolkodik a modern infrastruktúra az adatokról.