Amazon OpenSearch: 3 Möglichkeiten zur Kostensenkung

Durch das Aufkommen von Microservices, dem Trend zur Containerisierung und serverloser Infrastruktur fallen an unterschiedlichen Stellen Logs an. Üblicherweise werden diese an zentraler Stelle gesammelt.

Amazon OpenSearch ist ein beliebter Service für die zentralisierte Sammlung, Suche und Analyse von Logeinträgen.

Dieser Service hat jedoch einen kleinen Nachteil: Standardmäßig werden Daten nicht gelöscht. Mit der Zeit wächst der Speicherbedarf für die anfallenden Daten und somit auch die Kosten. Schon bei kleineren Projekten können Kosten in Höhe von mehreren tausend Euro im Monat anfallen.

Heute möchte ich drei Möglichkeiten vorstellen, um die Kosten zu reduzieren.

UltraWarm Storage

Vor allem für große Datenmengen lohnt sich ein Blick auf UltraWarm Storage. Standardmäßig werden die Indizes auf EBS Volumes abgelegt. Nicht so bei UltraWarm Storage. Dort wird AWS S3 genutzt und somit eine kosteneffiziente Variante geschaffen.

UltraWarm Storage eignet sich vor allem für ältere Daten, auf die nicht regelmäßig zugegriffen wird und die nicht mehr verändert werden.

Rechenbeispiel

On-Demand

Region eu-central-1
On-Demand Instanz – r5.large.search: 0,224 USD
EBS Volume: – gp3: 0,1452 USD

Bei 1000 GB Speichernutzung und 30 Tagen Laufzeit im Monat: 306,48 USD

UltraWarm

UltraWarm Instanz – ultrawarm1.medium.search: 0,284 USD
UltraWarm Volume: 0,026 USD

Bei 1000 GB Speichernutzung und 30 Tagen Laufzeit im Monat 230,48 USD

Hier können schon bei 1000 GB bis zu 25% der Kosten reduziert werden.

Index Retention

Mit der Zeit sammeln sich viele Logeinträge an. Doch wie relevant sind Logs, die vor fünf Jahren erstellt wurden?

Teilweise müssen Logs aufgrund von Compliance Vorgaben lange Zeit aufbewart werden. Ist dies nicht der Fall, kann mit einer Index Retention die Aufbewahrungszeit automatisch festgelegt werden. Nach Ablauf dieser Zeit wird der Index automatisch gelöscht und somit Speicherplatz und Kosten reduziert.

Index Retention kann über eine State Management Policy definiert werden. Hier können auch Übergänge von EBS-basiertem “Hot” Storage zu S3-basiertem “UltraWarm” Storage definiert werden.

Kosteneinsparungen können je nach anfallender Logmenge und definierter Retention erreicht werden, da EBS-Volumes wesentlich kleiner dimensioniert werden.

Reserved - 1 Jahr

Wie auch EC2 bietet der Amazon OpenSearch Service ebenfalls die Möglichkeit Kapazitäten im voraus zu buchen. Dies ist bei OpenSearch sinnvoll, da in der Regel die Instanztypen konstant bleiben und lediglich die Anzahl der Nodes skaliert wird.

Eine 1-jährige Reservierung hat gegenüber einer On-Demand Instanz einen Kostenvorteil von 31%.

Fazit

Amazon OpenSearch bietet viele Möglichkeiten, um ohne komplexe Architekturänderungen Kosten einzusparen. In meinen Kundenprojekten habe ich die Erfahrung gemacht, dass OpenSearch einen großen Posten auf der AWS Rechnung einnehmen kann.

Daher lohnt es sich die Nutzung der Logs zu überdenken und alte Logeinträge zu hinterfragen.

Du möchtest mithilfe der Cloud durchstarten? Dann kann ich dir auf dreierlei Weise meine Unterstützung anbieten:
  1. Mein Well-Informed Newsletter erscheint alle zwei Wochen und hält dich auf dem neusten Stand.
  2. In einem AWS Well-Architected Review entfalten wir deine vollen Potenziale!
  3. Bei einem persönlichen Beratungsgespräch lösen wir deine Probleme.
Du benötigst noch mehr Informationen? Dann nimm gerne direkt Kontakt mit mir auf.


    Bitte lese dir unsere Datenschutzerklärung durch.

    Hendric Jabs

    Hendric Jabs

    Ich bin Wirtschaftsinformatiker (M. Sc.) und AWS Cloud Solutions Architect. Seit 2014 beschäftige ich mich leidenschaftlich mit Amazon Web Services und habe bereits seit 2015 einer Vielzahl von Kunden zu einer erfolgreichen Cloud Nutzung verholfen. Im Jahr 2021 habe ich für das Digital Career Institute den ersten AWS re/Start Kurs in Deutschland als leitender Dozent durchgeführt.
    LinkedIn
    XING
    Email