Einführung
Da die meisten Unternehmen zunehmend auf Cloud-Speicher für ihre Daten zurückgreifen, ist die Migration zu Amazon S3 eine beliebte Wahl geworden. S3 bietet Skalierbarkeit, Langlebigkeit und Kosteneffizienz und ist damit ideal für die Speicherung großer Datenmengen. Bei der Migration und Überwachung von Daten in S3 ist die Wahl der richtigen Strategien und Tools entscheidend. Dieser Blog befasst sich mit verschiedenen S3-Migrationsstrategien und effektiven Überwachungslösungen, wobei der Schwerpunkt auf einem besseren Verständnis Ihrer Nutzung und einem besseren Einblick in Ihre Big Data liegt.
Strategien für die Migration
Bei der Migration von Daten zu Amazon S3 ziehen Unternehmen in der Regel mehrere Strategien in Betracht, die auf ihren spezifischen Anforderungen und dem Datenvolumen basieren. Hier sind drei primäre Methoden:
AWS DataSync: Vereinfachte Datenübertragung
AWS DataSync ist ein verwalteter Datenübertragungsdienst, der die sichere und effiziente Datenübertragung zwischen lokalen, AWS- und Cloud-Speichersystemen vereinfacht. Er unterstützt verschiedene Speichertypen, darunter Dateisysteme (z. B. NFS, SMB, HDFS), Objektspeicher, AWS-Services (wie Amazon S3 und Amazon FSx) und Cloud-Anbieter von Drittanbietern. DataSync ermöglicht auch Edge-Storage-Übertragungen mit Geräten wie AWS Snowball Edge.
Eine vollständige Liste der unterstützten Speicherservices finden Sie in der AWS DataSync-Dokumentation.
Modi des Betriebs
- Der Basismodus eignet sich ideal für kleinere Datenübertragungen, unterliegt jedoch gewissen Einschränkungen, insbesondere hinsichtlich der Objekttypen, die übertragen werden können. Die Übertragung von Dateien oder Objekten, die bestimmte Größen- oder Formatbeschränkungen überschreiten, wird möglicherweise nicht unterstützt, und die Anzahl der Dateien, Objekte und Verzeichnisse, die übertragen werden können, ist begrenzt. Weitere Einzelheiten zu diesen Beschränkungen finden Sie hier.
- Der erweiterte Modus wird für größere Datenübertragungen empfohlen, da er zur Optimierung der Datenübertragungsgeschwindigkeiten über das Netzwerk entwickelt wurde. Er kann jedoch nur für Übertragungen zwischen Amazon S3-Buckets verwendet werden. Weitere Informationen zu den Preisunterschieden zwischen den beiden Modi finden Sie auf der AWS DataSync-Preisseite.
Die Wahl des richtigen Modus
Bei der Auswahl des richtigen Modus für Ihren Anwendungsfall hilft Ihnen der Vergleich der AWS DataSync-Task-Modi bei der Auswahl zwischen dem einfachen und dem erweiterten Modus auf der Grundlage der Größe Ihrer Arbeitslast und Ihrer Anforderungen.
Protokollierung und Überwachung
CloudWatch-Protokolle können zur Überwachung der Aufgabenausführungen konfiguriert werden, aber Sie erhalten keine granulare Aufschlüsselung auf Objektebene, was genau übertragen wurde. Wenn Sie auf ein Problem stoßen, werden Sie höchstwahrscheinlich die Hilfe des AWS-Supports benötigen, um ein besseres Verständnis und eine dauerhafte Lösung zu erhalten. Es gibt keine einfache Möglichkeit, nachzuvollziehen, was übertragen wurde und ob alles vollständig migriert ist. AWS DataSync-Protokollierung Dokumentation
S3-Stapelverarbeitung
S3 Batch Operations ist eine leistungsstarke Funktion, mit der Unternehmen mit einer einzigen Anfrage Massenoperationen an Millionen oder Milliarden von S3-Objekten durchführen können. Diese Funktion ist vorteilhaft für die Verwaltung großer Datenmengen, bei denen die manuelle Handhabung einzelner Objekte unpraktisch ist. Unterstützt Vorgänge wie das Kopieren, Markieren oder Löschen großer Mengen von S3-Objekten. Automatisiert sich wiederholende Aufgaben, spart Zeit und reduziert den manuellen Aufwand. Sie ist hocheffizient für Big-Data-Umgebungen und damit ideal für umfangreiche Objektverwaltungsszenarien. Arbeitet im Hintergrund, so dass andere Arbeitsabläufe ohne Unterbrechung fortgesetzt werden können. Dokumentation zu AWS Batch Operations
Vergleich mit DataSync Basic Mode
- Im DataSync-Basismodus müssen Sie die Daten trennen, um zu vermeiden, dass Sie an Service-Limits stoßen oder eine Quotenerhöhung beim AWS-Support beantragen.
- S3 Batch Operations macht die Datentrennung überflüssig und vereinfacht die Verwaltung von Massenobjekten. AWS-Erstellung eines Batch-Operations-Auftrags
Protokollierung und Überwachung
S3 Batch Operations liefert detaillierte Protokolle auf Objektebene, die eine einfache Nachverfolgung ermöglichen:
- Welche Objekte erfolgreich bearbeitet wurden
- Fehler oder Probleme, die während des Betriebs aufgetreten sind. AWS S3 Batch Operations Logging
Im Gegensatz dazu sind DataSync-Protokolle weniger aussagekräftig und erfordern oft die Unterstützung des AWS-Supports, um Probleme zu diagnostizieren und zu beheben. AWS DataSync-Protokollierung
Einblicke in Ihre S3 Buckets
Sobald Ihre Daten in S3 migriert sind, ist eine Überwachung unerlässlich, um eine optimale Leistung und Kostenverwaltung zu gewährleisten. AWS bietet verschiedene Möglichkeiten zur Überwachung von S3-Buckets, darunter:
Überwachung der S3-Metriken
Die einfachste und leichteste Methode zur Überwachung der Gesamtgröße Ihres Buckets ist die Verwendung der von AWS bereitgestellten Metriken in CloudWatch:
Dort können Sie die Gesamtgröße des Buckets und die Anzahl der Objekte sehen. Wenn Sie jedoch mehr Informationen über die spezifische Größe eines Präfixes benötigen, müssen Sie zusätzliche Tools einsetzen. Beachten Sie, dass die Metriken mit einer Verzögerung von mehreren Tagen aktualisiert werden, so dass dies zu einem Problem werden kann, wenn Sie eine Überwachung in Echtzeit benötigen. AWS S3 Metriken und Dimensionen
S3-Speicherobjektiv
S3 Storage Lens bietet einen umfassenden Überblick über die Speichernutzung und Aktivitätstrends in Ihren S3-Buckets. Es ist jedoch wichtig, die Einschränkung zu beachten: Wenn ein Präfix weniger als 1 % des Gesamtspeichers nutzt, wird es möglicherweise nicht in der Analyse angezeigt. Trotz dieser Einschränkung bietet Storage Lens wertvolle Einblicke in Nutzungsmuster und kann Unternehmen dabei helfen, nicht ausgelastete Ressourcen zu identifizieren und so die Speicherkosten zu optimieren. AWS S3 Storage Lens
Bei der Konfiguration Ihres Storage Lens können Sie filtern, welche Buckets/Regionen in das Dashboard aufgenommen werden sollen. Es gibt eine Auswahl an Metriken, bei der Sie entweder "kostenlose Metriken" oder "erweiterte Metriken und Empfehlungen" einbeziehen können. Die erweiterten Metriken sind jedoch kostenpflichtig - weitere Informationen zu den Preisen finden Sie unter AWS S3 Management & Insights. Die folgenden kostenlosen Metriken sind im Dashboard enthalten:
Wenn Sie sich für die Konfiguration der erweiterten Metriken entscheiden, stehen Ihnen diese Optionen zur Verfügung:
Es besteht auch die Möglichkeit, die Metriken an ein S3-Ziel zu exportieren. Dies kann mit Analysetools kombiniert werden, um ein noch besseres Verständnis zu erhalten. Unten sehen Sie ein allgemeines Dashboard in Storage Lens und was es beinhaltet:
Wenn Sie auf eine der angebotenen Optionen klicken, erhalten Sie detailliertere Informationen für die jeweilige Auswahl (Konten, AWS-Regionen, Speicherklassen, Buckets, Präfixe, Speicherlinsengruppen). Es besteht auch die Möglichkeit, in Ihrem bereits vorhandenen Dashboard zu filtern. Dies ist sehr hilfreich, wenn Ihr Dashboard beispielsweise Informationen über mehrere Buckets oder Regionen enthält:
Storage Lens bietet die Möglichkeit der Präfix-Aggregation, die jedoch ihre Grenzen hat - Sie können eine Präfix-Aggregation mit einer Tiefe von 1 bis 10 hinzufügen, aber Sie werden nur Präfixe sehen, die 1 % des gesamten Bucket-Speicherplatzes ausmachen:
Das heißt, wenn Sie ein sehr großes Präfix und einige kleinere Präfixe haben, kann es sein, dass diese nicht mehr im Dashboard angezeigt werden. Unten ist ein Beispiel dafür:
Im ersten Beispiel habe ich drei Präfixe in meinem Bucket, aber zwei davon sind deutlich kleiner als das dritte. Aufgrund der zuvor erläuterten Einschränkungen ist nur das größte Präfix im Dashboard sichtbar.
Im zweiten Beispiel enthält der Bucket drei Präfixe, die gleich groß sind. Der folgende Screenshot zeigt, wie dieses Szenario im Dashboard angezeigt wird.
Storage Lens Groups beseitigen die Einschränkungen, die die ursprüngliche Präfix-Aggregation mit sich bringt. Wie das geht, erfahren Sie im nächsten Punkt mit weiteren Details zu Storage Lens Groups.
S3-Speicherobjektivgruppen
S3 Storage Lens Groups ist eine Funktion von S3, mit der Sie Ihr S3 Storage Lens Dashboard filtern können. Mit dem Filter können Sie verschiedene Filter verwenden, mit denen Sie die benötigten Informationen eingrenzen können. Im Folgenden sind die Optionen aufgeführt, die bei der Verwendung von Storage Lens Groups eingeschränkt werden können.
Nachdem eine Gruppe erstellt wurde, müssen wir sie in unser bestehendes Dashboard integrieren. Dies kann in der Metrikauswahl Ihres Storage Lens Dashboards unter erweiterte Metriken und Empfehlungen erfolgen.
Sie können mehrere verschiedene Speicherobjektivgruppen erstellen und sie zur besseren Übersicht in dasselbe Dashboard integrieren.
S3-Inventarisierung und Amazon Athena
Mit S3 Inventory können Benutzer in regelmäßigen Abständen detaillierte Berichte über ihre Objekte und Metadaten erstellen. Durch die Integration von S3 Inventory mit Amazon Athena können Unternehmen SQL-Abfragen zu diesen Berichten ausführen, was eine tiefgreifende Analyse ihrer S3-Daten ermöglicht. Diese Kombination ist besonders wertvoll für die Prüfung und Analyse der Datennutzung und der Compliance.
Inventory kann im Abschnitt Management des jeweiligen Buckets konfiguriert werden. Während der Konfiguration können Sie Präfixe, Versionen, Berichtsdetails, Verschlüsselungseinstellungen und Metadatenfelder definieren. Es ist wichtig, die Metadaten für die Größe anzugeben, da sie später für Athena-Abfragen benötigt werden.
Dieser Ansatz ist komplexer, da er Kenntnisse über Athena voraussetzt. Beim Einrichten von Athena müssen Sie benutzerdefinierte Tabellen, Schemata und Arbeitsgruppen erstellen. AWS Inventory-Dokumentation & AWS Athena-Dokumentation.
Sobald das Inventarisierungsergebnis ausgefüllt ist, können Sie Ihre Athena-Ressourcen einrichten. Arbeitsgruppen in Athena werden zur Trennung von Arbeitslasten verwendet. In Ihrer spezifischen Arbeitslast können Sie auch einen Speicherort für Abfrageergebnisse angeben - so erhalten Sie einen besseren Einblick in die ausgeführten Abfragen.
Sobald Ihre Arbeitsgruppe erstellt ist, müssen Sie eine Datenbank und eine Tabelle erstellen. Dies kann über eine SQL-Abfrage oder über Glue geschehen.
Danach muss die Tabelle mit den spezifischen Spalten und Formaten erstellt werden. Es ist wichtig, dass Sie die richtigen Formate je nach Abfrageort verwenden, da die Abfragen sonst fehlschlagen würden.
Nachstehend finden Sie die Formate, die ich auf der Grundlage meiner derzeitigen Konfiguration verwende.
Weitere Informationen zur Konfiguration finden Sie hier - AWS Athena Getting Started.
Sobald auch die Einrichtung der Athena-Ressourcen abgeschlossen ist, können wir mit der Ausführung unserer Abfragen beginnen, um die benötigten Informationen daraus zu gewinnen.
Die Abfragen können je nach Bedarf und den Informationen, die wir sammeln wollen, geändert werden. Denken Sie daran, dass wir für jedes Abfrageergebnis neue Dateien an unserem Ausgabespeicherort erhalten würden, daher ist es eine gute Idee, Lebenszyklusrichtlinien hinzuzufügen, die für Sauberkeit sorgen. Um ein besseres Visualisierungstool zu erhalten, kann dieses Setup bei Bedarf auch in AWS QuickSight integriert werden.
Unten sehen Sie ein Beispiel für ein solches Dashboard (beachten Sie, dass in meinem Beispiel die Ordner die gleiche Größe und Datei haben):
Weitere Informationen zur Einrichtung finden Sie in der AWS-Dokumentation - AWS QuickSight Getting Started.
S3-Speicherklassenanalyse und Amazon QuickSight
Für Unternehmen, die verwertbare Erkenntnisse aus ihren S3-Daten ableiten möchten, ist die Integration von S3 Analytics mit Amazon QuickSight eine leistungsstarke Option. S3 Analytics hilft bei der Analyse von Zugriffsmustern und der Optimierung von Speicherkonfigurationen, während QuickSight eine robuste Plattform für die Visualisierung von Dateneinblicken bietet. Diese Kombination ermöglicht es Unternehmen, datengesteuerte Entscheidungen auf der Grundlage von Echtzeitanalysen ihres S3-Speichers zu treffen.
Um die S3-Analysekonfiguration zu konfigurieren, müssen Sie unter "Metrics" auf "Create analytics configuration" klicken:
Sie müssen angeben, ob Sie es auf ein bestimmtes Präfix beschränken möchten und ob Sie die erzeugte CSV-Datei exportieren möchten.
Anschließend kann der generierte Bericht in AWS QuickSight visualisiert werden. Weitere Einzelheiten zur Konfiguration eines Dashboards und zu den verschiedenen Lösungen finden Sie in AWS S3 QuickSight Analyses Example.
So kann ein Beispiel-Dashboard aussehen, wenn die Daten aus S3 Storage Class Analysis und QuickSight verwendet werden:
Im obigen Beispiel werden die Daten zusammen angezeigt, aber Sie können separate Storage Analytics-Konfigurationen für alle verschiedenen Präfixe haben, die Sie visualisieren möchten. Das Dashboard kann vollständig angepasst werden, so dass es ein anderes Layout haben kann.
Schlussfolgerung
Die Migration zu Amazon S3 bietet zahlreiche Vorteile, insbesondere für Unternehmen, die große Datenmengen verarbeiten. Die Wahl der richtigen Migrationsstrategie, sei es durch S3 DataSync oder S3 Batch Operations, ist entscheidend für einen erfolgreichen Übergang. Darüber hinaus können Unternehmen durch den Einsatz von Überwachungstools wie S3 Storage Lens, S3 Inventory mit Athena und S3 Analytics mit QuickSight wertvolle Einblicke in ihre Datennutzung gewinnen und ihre S3-Umgebung effektiv optimieren.
Die Nutzung von Storage Lens, Inventory mit Athena und S3 Analytics mit QuickSight bietet verschiedene Ebenen von Einblicken und Visualisierungen für die Transparenz der Client-Nutzung, sodass Unternehmen ihre S3-Konfigurationen feinabstimmen können. Da Unternehmen weiterhin auf Big Data setzen, wird die Nutzung aller Funktionen von Amazon S3 entscheidend sein, um Effizienz und Innovation voranzutreiben. Weitere detaillierte Einblicke in die Verwaltung und Analyse von S3-Buckets finden Sie im AWS Storage Blog.
Entdecken Sie die Dienstleistungen von ITGix und erfahren Sie mehr über unser Know-how.