Principal Solution Architect Cloud Data Platform
Heute rede ich über Architekturen auf DatenPlattformen, erkläre auch kurz was es mit DuckLake auf sich hat.
#DuckLake #Datalake #DWH #DataWarehouse #Speicherarchitektur #Lakehouse #MundartZiischtig
1️⃣ Welches Problem lösen wir wirklich?
2️⃣ Welche Daten brauchen wir dafür?
3️⃣ Wer besitzt diese Daten?
4️⃣ Wie messen wir Erfolg?
5️⃣ Wie skalieren wir?
6️⃣ Wie sichern wir das Ganze ab?
Diese Fragen entscheiden über Erfolg oder Scheitern.
Und sie sind der Kern meiner Arbeit als Cloud‑ & Datenplattform‑ Solution-Architekt..
#CloudStrategy #DataPlatform #Leadership #Architecture #AzureFabric
1️⃣ Zu viel Perfektionismus, zu wenig Pragmatismus
2️⃣ Zu viele Tools, zu wenig Klarheit
3️⃣ Zu viel Technik, zu wenig Governance
Diese drei Fehler kosten Zeit, Geld und Nerven.
Die Lösung:
Modularität
Standards
Automatisierung
Ownership
Fokus auf Business‑Value
Architektur ist kein Kunstprojekt.
Sie ist ein Werkzeug.
#CloudArchitecture #BestPractices #AzureExpert #DataPlatform #TechLeadership
Viele Unternehmen haben gute Daten – aber schlechte Prozesse.
Und genau das verhindert Wertschöpfung.
DataOps ist kein Tool.
Es ist ein Mindset.
Es bedeutet:
Automatisierung
Qualität
Transparenz
Wiederholbarkeit
Geschwindigkeit
Ich habe Projekte gesehen, die durch richtige Anwendung von DataOps plötzlich 10× schneller wurden.
Und andere, die ohne DataOps komplett ins Stocken geraten sind.
#DataOps #DevOps #Automation #DataEngineering #CloudData
Wie funktioniert Agentic AI auf einer Datenplattform?
Mr. Cloud Data Platform erklärt:
#MundartZiischtig #Mr. Cloud Data Platform
Infrastrukturbetreiber sitzen auf einem Schatz: Daten.
Sensoren, Zähler, Maschinen, Fahrzeuge – alles liefert Informationen.
Doch ohne Cloud‑Architektur bleiben diese Daten meist ungenutzt.
Die Kombination aus IoT + Cloud ermöglicht:
✔ Echtzeit‑Analysen
✔ Predictive Maintenance
✔ Kostenreduktion
✔ Effizienzsteigerung
✔ Nachhaltigkeit
2026 ist das Jahr, in dem Infrastruktur digital wird – oder zurückfällt.
#IoT #CloudArchitecture #SmartInfrastructure #DataAnalytics #AzureIoT
Predictive Optimization (PO) in Databricks’ Unity Catalog wurde im Jahr 2025 massiv ausgebaut und ist inzwischen standardmässig aktiviert.
PO automatisiert die Optimierung von Delta Tables, indem es Nutzungs- und Abfrageverhalten analysiert und selbstständig Wartungsprozesse wie Kompaktierung, Clustering, Statistikpflege und VACUUM durchführt.Für 2026 kündigt Databricks weitere Automatisierungen an, die den gesamten Datenlebenszyklus abdecken sollen — inklusive automatischer Löschung veralteter Daten und verbesserter Observability.
Wichtigste Punkte
1. Adoption & Wirkung in 2025
Predictive Optimization wurde im Jahr 2025 breit ausgerollt und erzielte beeindruckende Ergebnisse:
Exabytes ungenutzter Daten wurden automatisch gelöscht → massive Speicherkosteneinsparungen
Hundert Petabytes wurden automatisch kompaktiert und effizienter organisiert
Millionen Delta Tables nutzen Automatic Liquid Clustering
PO ist jetzt Standard für alle neuen Unity-Catalog-Tabellen, Workspaces und Accounts
2. Wie Predictive Optimization funktioniert
PO analysiert kontinuierlich:
Schreibmuster
Abfrageverhalten
Dateigrössen & Statistiken
Basierend darauf führt PO automatisch aus:
OPTIMIZE (Dateikompaktierung)
VACUUM (Löschen unreferenzierter Dateien)
CLUSTER BY (automatische Auswahl optimaler Cluster-Schlüssel)
ANALYZE (Statistikpflege für Query Planning)
Alles geschieht ohne manuelle Eingriffe oder Cron-Jobs.
3. Wichtige Neuerungen 2025
Automatic Statistics → bis zu 22 % schnellere Abfragen
Statistiken werden automatisch gepflegt
Kombination aus „Stats-on-write“ und Hintergrundaktualisierung
Kein manuelles ANALYZE mehr nötig
Optimierter VACUUM → 6× schneller, 4× günstiger
PO nutzt Delta-Logs statt teurer Dateilisten
Besonders wirksam bei Delta Tables mit Millionen Dateien
Vollautomatische Auswahl optimaler Cluster-Schlüssel
Modelliert Workloads und testet verschiedene Strategien
Entfernt die Notwendigkeit manueller Tuning-Entscheidungen
Automatic Liquid Clustering
Plattformweite Abdeckung
4. Was kommt 2026?
Auto‑TTL (Automatic Row Deletion)
Automatische Löschung veralteter Daten basierend auf einer einfachen TTL-Regel
PO führt DELETE + VACUUM vollständig autonom aus
In Private Preview bereits verfügbar
Erweiterte Observability
Neues Dashboard im Data Governance Hub
Zeigt:
Bytes kompaktiert
Bytes geclustert
Bytes vacuumed
Statistiken & ROI
Transparenz darüber, warum PO bestimmte Optimierungen überspringt
Verbesserte Storage-Transparenz
Neue Metriken zu Dateianzahl, Speicherwachstum und Tabellenzustand
Bessere Visualisierung des Einflusses automatischer Wartung
Fazit
Predictive Optimization entwickelt sich zu einem vollständig autonomen Optimierungs- und Datenlebenszyklus-Managementsystem für das Databricks Lakehouse. 2025 brachte massive Performance- und Kostenvorteile, 2026 erweitert Databricks den Fokus auf Lifecycle Automation und Observability, um Datenverwaltung noch stärker zu automatisieren.
Die Energiebranche steht vor massiven Herausforderungen:
volatile Netze, dezentrale Produktion, steigende Nachfrage, regulatorischer Druck.
Ohne Datenplattformen geht das nicht mehr.
Energieversorger brauchen:
⚡ Echtzeit‑Monitoring
⚡ Predictive Maintenance
⚡ IoT‑Integration
⚡ Forecasting‑Modelle
⚡ Transparente Datenflüsse
Ich habe selten Branchen gesehen, die so viel Potenzial haben – und gleichzeitig so viel Nachholbedarf.
2026 werde ich genau darüber sprechen:
Wie Energieversorger Daten nutzen können, um Stabilität, Effizienz und Innovation zu erreichen.
#EnergyTech #SmartGrid #IoT #DataPlatform #PredictiveMaintenance
Warum Workshops beim Kunden unersetzlich sind:
Viele Security‑Teams schützen Systeme – aber nicht Daten.
Und genau das ist das Problem.
Daten bewegen sich:
zwischen Systemen, Pipelines, APIs, Regionen, Teams.
Wer nicht versteht, wo Daten sind, wie sie fließen und wer Zugriff hat, kann sie nicht schützen.
2026 brauchen wir:
✔ Data Lineage
✔ Data Classification
✔ Data Access Governance
✔ Monitoring von Datenbewegungen
✔ Zero Trust für Daten
Cloud Security umfasst auch die Datenplattform – nicht nur das Firewall‑Regelwerk.
#DataSecurity #CloudSecurity #DataGovernance #AzureFabric #CyberDefense