AWS Glue 6.0: Datenplattform wird günstiger, schneller und Iceberg-fit

Generelle Verfügbarkeit mit klarem Kostenvorteil

AWS hat AWS Glue 6.0 nun offiziell für den produktiven Einsatz freigegeben und verspricht Anwendern damit nicht nur neue technische Fähigkeiten, sondern auch spürbar geringere Betriebskosten. Laut der offiziellen Ankündigung von AWS liefert die neue Version eine Preisreduktion von 30 Prozent gegenüber den bisherigen Glue-Versionen, was insbesondere für Unternehmen mit großvolumigen Datenpipelines eine relevante Kostenersparnis bedeuten kann.

Zum technischen Umfeld passt auch unsere Einordnung zu OpenAI-Entwicklernews rund um GPT-5.6.

Damit reagiert AWS auf einen Markt, in dem Datenverarbeitung zunehmend im großen Maßstab betrieben wird und Kosten pro verarbeitetem Datensatz zu einem entscheidenden Wettbewerbsfaktor werden. Wer bereits heute AWS Glue für ETL-Prozesse, Batch-Jobs oder Streaming-Analysen nutzt, kann von der Preissenkung profitieren, ohne bestehende Architekturen grundlegend verändern zu müssen.

Der Rollout erfolgt regionsweit und ohne separate Aktivierung, sodass Teams die neue Version direkt in bestehenden Jobs auswählen können, sobald sie ihre Umgebungen entsprechend konfigurieren. Für Fachabteilungen mit engen Budgets ist besonders relevant, dass die Preisreduktion automatisch greift, sobald Glue 6.0 als Laufzeitversion gewählt wird, ohne dass zusätzliche Verträge oder Reservierungen notwendig sind. Damit sinkt die Einstiegshürde für Migrationen deutlich, da Verantwortliche keine langwierigen Beschaffungsprozesse durchlaufen müssen, um von den günstigeren Konditionen zu profitieren. Gerade in datengetriebenen Branchen wie Handel, Finanzwesen oder Logistik, wo täglich enorme Mengen an Rohdaten verarbeitet werden, summiert sich der Effekt schnell zu einer messbaren Entlastung im IT-Budget. Für viele Verantwortliche dürfte dies der ausschlaggebende Punkt sein, bestehende Pipelines zeitnah zu testen und produktiv umzustellen, statt weiterhin auf ältere, teurere Glue-Versionen zu setzen.

Runtime-Sprung auf Spark 4.1, Python 3.13 und Scala 2.13

Neben der Preisanpassung bringt AWS Glue 6.0 ein umfassendes Upgrade der zugrunde liegenden Laufzeitumgebung mit sich. Die Engine basiert nun auf Apache Spark 4.1, während gleichzeitig Python auf Version 3.13 und Scala auf Version 2.13 angehoben wurden. Dieser Dreiklang aus aktuellen Versionen sorgt dafür, dass Entwickler von neuen Sprachfeatures, verbesserter Performance und aktuellen Sicherheitsupdates profitieren.

Für Teams, die parallel an anderen Data- und KI-Projekten arbeiten, wie sie beispielsweise im Kontext aktueller Entwicklungen bei großen Sprachmodellen diskutiert werden, ist ein aktuelles Runtime-Fundament besonders wichtig, um Kompatibilitätsprobleme zwischen unterschiedlichen Toolchains zu vermeiden. Die Angleichung an Spark 4.1 reduziert zudem den Wartungsaufwand, da ältere Spark-Versionen mittelfristig aus dem Support fallen.

Der Versionssprung wirkt sich unmittelbar auf die tägliche Arbeit mit Glue-Jobs aus. Spark 4.1 bringt überarbeitete Optimierer-Regeln und ein effizienteres Speicherhandling mit, wovon vor allem Workloads mit komplexen Joins und großen Aggregationen profitieren. Python 3.13 wiederum liefert spürbare Geschwindigkeitsgewinne bei der Interpreterausführung, was sich in PySpark-Skripten mit vielen UDFs bemerkbar macht. Auch Scala 2.13 trägt zur Stabilität bei, da veraltete Bibliotheksaufrufe entfallen und die Kompatibilität zu modernen Spark-Erweiterungen steigt. Für Entwicklerteams bedeutet das konkret weniger Zeit für Debugging von Versionskonflikten und mehr Verlässlichkeit bei produktiven Pipelines. Wer bislang mit älteren Glue-Versionen gearbeitet hat, sollte den Umstieg jedoch testen, bevor bestehende Jobs migriert werden, da einzelne Bibliotheken und Konnektoren an die neue Laufzeitumgebung angepasst werden müssen. Insgesamt liefert AWS mit diesem Runtime-Update ein solides technisches Fundament für datenintensive Anwendungen der kommenden Jahre.

Apache Iceberg v3: Neue Datentypen für moderne Workloads

Ein zentraler Baustein von AWS Glue 6.0 ist die vollständige Unterstützung von Apache Iceberg v3. Damit hält der neue VARIANT-Datentyp Einzug, der automatisches Shredding ermöglicht und dadurch schnellere Lesezugriffe auf halbstrukturierte Daten erlaubt. Für Unternehmen, die zunehmend JSON- oder semi-strukturierte Datenquellen verarbeiten, ist dies ein praktischer Fortschritt gegenüber bisherigen Iceberg-Versionen.

Darüber hinaus führt Glue 6.0 Deletion Vectors ein, die performante Row-Level-Updates ermöglichen, ohne dass ganze Datendateien neu geschrieben werden müssen. Ergänzt wird das Ganze durch Geometry- und Geography-Datentypen für räumliche Verarbeitung sowie flexible Schema-Evolution über den neuen UNKNOWN-Datentyp und DEFAULT-Spaltenwerte. Diese Kombination macht Iceberg v3 in AWS Glue 6.0 zu einer deutlich vielseitigeren Grundlage für moderne Data-Lakehouse-Architekturen.

In der Praxis zahlen sich diese Neuerungen besonders dort aus, wo Datenteams bislang mit Workarounds leben mussten. Row-Level-Updates über Deletion Vectors reduzieren den Rechenaufwand bei häufigen Änderungen deutlich, da nicht mehr komplette Partitionen neu geschrieben werden. Für Anwendungsfälle mit Standortdaten, etwa Logistik, Geomarketing oder IoT-Sensorik, eröffnen Geometry- und Geography-Typen native Möglichkeiten, ohne auf externe Bibliotheken oder Umwege über String-Felder zurückgreifen zu müssen. Auch die Schema-Evolution gewinnt an Reife: Mit UNKNOWN-Datentyp und DEFAULT-Werten lassen sich Tabellen erweitern, ohne bestehende Pipelines zu brechen, was gerade in wachsenden, verteilten Teams für Stabilität sorgt. Insgesamt zeigt sich, dass Iceberg v3 in Glue 6.0 nicht nur technische Feinschliffe liefert, sondern strukturelle Antworten auf Probleme gibt, die viele Unternehmen im Alltag ihrer Data-Lakehouse-Umgebungen kennen. Das macht den Umstieg für datengetriebene Organisationen zu einer naheliegenden Option.

Dieses Bild wurde komplett mit KI generiertProviderhiggsfieldModellseedream_v4_5; quality=basic; 16:9; web derivative 1200x675PromptUnder bright studio light, a developer team rehearses a migration with unmarked version cards, separate rollback folders, and physical checkpoints on a clean planning table. A documentary composition emphasizes practical consequences; every surface is blank and unbranded, with no readable text, words, numbers, labels, logos, screens, user interfaces, dashboards, or signs. Photorealistic style image. Mood: practical, focused, and investigative. Avoid: watermark, signature, blurry, low quality, distorted, deformed.

Hudi und Delta Lake ziehen nach

Neben Iceberg v3 hat AWS auch die Unterstützung für Apache Hudi und Delta Lake in AWS Glue 6.0 auf neuere Versionen angehoben. Das ist relevant für Organisationen, die aus historischen Gründen oder aufgrund bestehender Toolchains nicht ausschließlich auf Iceberg setzen, sondern mehrere Tabellenformate parallel betreiben.

Durch die gleichzeitige Aktualisierung aller drei großen offenen Tabellenformate positioniert sich AWS Glue 6.0 als flexible Plattform, die unabhängig vom gewählten Lakehouse-Format aktuelle Funktionen bereitstellt. Das verringert den Migrationsdruck für Teams, die aus strategischen Gründen an einem bestimmten Format festhalten möchten, ohne auf moderne Features verzichten zu müssen.

In der Praxis zeigt sich, dass viele Unternehmen ihre Tabellenformate nicht von heute auf morgen wechseln können, selbst wenn Iceberg technologisch die meiste Aufmerksamkeit erhält. Bestehende Pipelines, Governance-Vorgaben oder Abhängigkeiten zu anderen Analysewerkzeugen sprechen oft für Hudi oder Delta Lake. AWS Glue 6.0 nimmt diese Realität ernst und liefert für beide Formate aktualisierte Versionen, die neue Optimierungen und Kompatibilitätsverbesserungen mitbringen. Damit müssen Data-Engineering-Teams keine Kompromisse zwischen Formatwahl und Funktionsumfang eingehen. Wer etwa auf Delta Lake wegen bestehender Databricks-Integrationen setzt oder Hudi wegen inkrementeller Verarbeitung bevorzugt, profitiert gleichermaßen von den Verbesserungen der Laufzeitumgebung. Für die AWS-Strategie bedeutet dies, dass Glue nicht als reines Iceberg-Werkzeug positioniert wird, sondern als neutrale Basis für heterogene Lakehouse-Architekturen. Das erleichtert gemischte Umgebungen, in denen unterschiedliche Fachbereiche unterschiedliche Formate bevorzugen, ohne dass die zentrale Datenplattform an Aktualität verliert.

Mehr Entwicklerproduktivität durch neue Pipeline-Konzepte

AWS Glue 6.0 bringt mit Spark Declarative Pipelines ein Konzept mit, das wiederkehrenden Orchestrierungscode überflüssig macht. Entwickler können Datenflüsse deklarativ beschreiben, anstatt jeden Schritt manuell zu programmieren, was Entwicklungszeit spart und Fehlerquellen reduziert.

Ergänzt wird dies durch den neuen Real-Time Mode, der Streaming-Verarbeitung mit Latenzen im Sub-Sekundenbereich ermöglicht. Für Anwendungsfälle wie Echtzeit-Dashboards, Betrugserkennung oder operative Analytics eröffnet das neue Möglichkeiten, die bislang zusätzliche Streaming-Infrastruktur erforderten.

Arrow-native Python UDFs runden die Produktivitätsverbesserungen ab, indem sie die Performance von PySpark-Anwendungen deutlich steigern. Da viele Data-Engineering-Teams intensiv mit Python arbeiten, dürfte diese Optimierung in der Praxis besonders spürbar sein und auch im Zusammenspiel mit KI-gestützten Analyseansätzen, wie sie derzeit rund um neue Modellgenerationen diskutiert werden, an Bedeutung gewinnen.

In der Praxis dürften diese Neuerungen vor allem dort punkten, wo Teams bislang Kompromisse zwischen Entwicklungsgeschwindigkeit und Betriebsstabilität eingehen mussten. Wer Pipelines bisher mühsam über verschachtelte Skripte und manuelle Abhängigkeitsprüfungen orchestriert hat, kann mit den deklarativen Ansätzen künftig mehr Zeit in die eigentliche Datenmodellierung investieren statt in Infrastrukturdetails. Auch der Wartungsaufwand sinkt spürbar, da weniger Boilerplate-Code gepflegt werden muss und Fehlerquellen frühzeitiger sichtbar werden. Für Unternehmen, die mehrere Pipelines parallel betreiben, summiert sich dieser Effekt schnell zu einem echten Effizienzgewinn im Tagesgeschäft. Gleichzeitig erleichtert die Kombination aus Echtzeitverarbeitung und performanteren Python-UDFs den Einstieg in Anwendungsfälle, die vorher als zu aufwendig galten. So verschiebt sich der Fokus von reiner Infrastrukturarbeit hin zu inhaltlichen Fragestellungen, was gerade kleineren Teams mit begrenzten Ressourcen zugutekommt und die Einstiegshürde für anspruchsvollere Datenprodukte deutlich senkt.

Anwendungsfälle: ETL, Streaming und KI-Entwicklung

Die Summe der Neuerungen in AWS Glue 6.0 zielt laut AWS explizit darauf ab, großangelegte ETL-Prozesse, wiederkehrende Batch-Workloads, Streaming-Analytics und die Entwicklung von KI-Anwendungen zu unterstützen. Damit deckt die Plattform ein breites Spektrum an Datenverarbeitungsszenarien ab, die in modernen Unternehmensarchitekturen typischerweise parallel existieren.

Für Teams, die etwa Trainingsdaten für maschinelles Lernen aufbereiten oder Feature-Pipelines für KI-Modelle betreiben, sind die neuen Iceberg-v3-Fähigkeiten und die verbesserte Performance durch Spark 4.1 unmittelbar relevant. Gleichzeitig profitieren klassische Analytics-Teams von den Kosteneinsparungen und der einfacheren Pflege dank aktueller Runtime-Komponenten.

Einordnung und Ausblick

Mit AWS Glue 6.0 setzt AWS ein deutliches Signal, dass Datenplattformen künftig sowohl kosteneffizienter als auch technisch vielseitiger werden müssen, um mit dem Wachstum heterogener Datenquellen und KI-Workloads Schritt zu halten. Die Kombination aus Preissenkung und umfassendem Feature-Update dürfte die Attraktivität von Glue gegenüber alternativen Data-Engineering-Lösungen erhöhen.

Für IT-Verantwortliche empfiehlt sich ein Blick auf die eigenen Iceberg-, Hudi- oder Delta-Lake-Implementierungen, um zu prüfen, welche der neuen Funktionen sich unmittelbar nutzen lassen. Angesichts der Geschwindigkeit, mit der sich sowohl Datenplattformen als auch KI-Modelle derzeit weiterentwickeln, dürfte AWS Glue 6.0 nicht das letzte große Update in diesem Bereich bleiben.