Projektdaten

---

Transaktionale Datenstromverarbeitung in Non-Volatile Memory

---

Transaktionale Datenstromverarbeitung kombiniert das Paradigma der Datenstromverarbeitung mit traditioneller Transaktionsverarbeitung in Datenbanken, um neue Anwendungsbereiche wie Cyber-physische Systeme, Internet der Dinge oder Analytics im Gesundheitswesen zu adressieren. In diesen Anwendungen müssen kontinuierliche Datenströme verarbeitet und oft mehrere Quellen (sowohl Ströme als auch statische Daten) kombiniert werden, z.B. zur Anreicherung der Stromdaten oder zur Korrelation von Strömen mit historischen Daten. Darüber hinaus stellen derartige Ströme auch eine Quelle für Folgen von Einfüge- oder Änderungsoperationen auf persistenten Daten dar. Daher besteht die Aufgabe, Datenströme mit transaktionalen Daten zu kombinieren und gleichzeitig Garantien wie ACID, Exactly-once und Ordered Execution zu bieten. In diesem Zusammenhang stellen die (u.U. zeitlich begrenzte) Speicherung der Stromelemente sowie der effiziente Zugriff auf die damit persistenten Daten bei gleichzeitiger Gewährleistung einer Echtzeitverarbeitung die größten Herausforderungen dar.Im beantragten Vorhaben sollen diese Herausforderungen einer transaktionalen Datenstromverarbeitung durch die Nutzung moderner Hardwaretechnologien adressiert werden: Konkret die Nutzung von nicht-volatiler Speichertechnologie (NVRAM), die gleichzeitig Byte-Adressierbarkeit und Persistenz bei Latenzen im DRAM-Bereich verspricht. Diese Eigenschaften ermöglichen hohe Transaktionsraten und einfach zu realisierende Dauerhaftigkeitsgarantien. Allerdings ist NVRAM durch höhere Schreiblatenzen (im Vergleich zu DRAM sowie zur Leselatenz) charakterisiert und erfordert die Realisierung von atomaren Schreiboperationen zur Sicherung der Datenkonsistenz im Zusammenwirken mit einer CPU-Cache-Hierarchie.Das Vorhaben hat drei wesentliche Ziele: Erstens planen wir die Definition eines Operationenmodells von transaktionaler Datenstromverarbeitung, das Ströme und Tabellen sowie Anfragen und Änderungen darauf in einheitlicher Weise und unter Einhaltung transaktionaler Garantien (inkl. Isolation) behandelt. Das zweite Ziel ist der Entwurf und die Evaluation von Daten- und Indexstrukturen für die Persistenz von Datenströmen, die für NVRAM optimiert sind. Zu diesem Zweck werden die spezifischen Eigenschaften von NVRAM (Asymmetrie von Lese-/Schreiboperationen, Atomarität von Leseoperationen, datenstromspezifische Zugriffsmuster wie Append-optimiert, zeitstempel-basierte Ordnung, aber auch wahlfreie Updates). Weiterhin planen wir als drittes Ziel die Untersuchung und Evaluation von Architekturmustern für NVRAM-basierte Datenstromverarbeitung. Obwohl NVRAM eine Technologie darstellt, welche die besten Aspekte von DRAM und Disk, d.h. Geschwindigkeit und Persistenz, kombiniert, ist die Rolle von NVRAM in Systemarchitekturen für das Datenmanagement noch offen. Daher sollen Varianten wie NVRAM als Ersatz für DRAM und/oder Disk sowie mögliche Kombinationen von DRAM, NVRAM und Disk im praktischen Einsatz analysiert werden.