QualiMaster - Eine konfigurierbare Echtzeit-Datenverarbeitungsinfrastruktur zur autonomen Qualitätsanpassung
Die jüngste globale Finanzkrise hat gezeigt, dass selbst im heutigen Technologiezeitalter, in dem große Teile des privaten wie auch des Arbeitslebens durch Informationstechnologie (IT) unterstützt und vereinfacht werden, eine frühzeitige Erkennung von marktübergreifenden Risikosituation schwierig ist. Besonders in Gebieten wie dem Finanzsektor, in dem an der Börse täglich enorme Datenmengen unmittelbar verarbeiten werden, stößt die IT bei derartigen Analysen derzeit noch an ihre Grenzen. Beispielsweise werden täglich in Europa und Amerika bis zu 250 Gigabyte an Daten (in etwa 54 DVDs) mit aktuellen Börsenhandelsdaten und Devisenkursen erzeugt. Länder- und marktübergreifende Risikoanalysen wie sie für ein frühzeitiges Eingreifen durch Zentralbanken notwendig sind, erfordern die Echtzeitanalyse der Daten sowie die Fähigkeit auf einzelne Phänomene zu fokussieren, d.h., in Risikosituationen mehr und detailliertere Daten zu verarbeiten. Dabei spielen auch Daten aus sozialen Netzwerken eine immer größere Rolle: so begann der Untergang von Lehman-Brothers mit dem Gerücht, dass diese Bank ihr tägliches Kapital nicht beschaffen könne.
Aktuell werden die zugehörigen IT-Systeme allerdings auf den Maximalfall ausgelegt, in dem sowohl die maximale Menge an Daten fließt als auch gleichzeitig die maximale Verarbeitungsleistung benötigt wird. Allerdings ist dies weder effektiv noch kostengünstig, da so Kapazitäten zu Zeiten geringerer Datenströme beispielsweise für zusätzliche Detailanalysen ungenutzt bleiben. Die Vision ist die automatische und dynamische Anpassung solcher Systeme an die jeweilige Situation, so dass bestehende Kapazitäten (auch durch weitere Analysen) optimal ausgenutzt werden.
Die Arbeitsgruppe „Software Systems Engineering“ um Prof. Dr. Klaus Schmid arbeitet an Methoden und Techniken, wie Software effizient angepasst und diese Anpassung von der Software eigenständig durchgeführt werden kann. Mit dieser und anderen Arbeiten hat sich die Gruppe bundesweit einen Namen gemacht und ist daher (neben dem L3S Research Center Hannover, dem Telecommunication Systems Institute der Technischen Universität Kreta und den Unternehmen Maxeler Technologies Ltd in London und Spring Techno in Bremen) Partner in dem dreijährigen Forschungsprojekt „QualiMaster“, das durch die EU mit ca. 2,9 Millionen Euro gefördert wird. In diesem EU-Projekt konzentrieren sich die Forscher der Arbeitsgruppe insbesondere auf die automatische Konfiguration und Anpassung von Verarbeitungsmechanismen für große Datenmengen im Hinblick auf unterschiedliche Qualitätsmerkmale.
Bei fast 100 Millionen Nachrichten pro Sekunde an der Börse (Europa und Amerika) ist besonders der Faktor Zeit ein wichtiges Qualitätsmerkmal. So darf die Verarbeitung und Analyse dieser Nachrichten nicht den Eingang von Ergebnissen unter vereinbarten Qualitätskriterien beim jeweiligen Empfänger verzögern, denn Zeit ist Geld. Die Herausforderung, die relevanten Qualitätsmerkmale zu berücksichtigen und auf Basis deren Gewichtung eine automatische Anpassung der Verarbeitungsmechanismen unter Berücksichtigung der aktuell zu verarbeitenden Datenmenge durchzuführen, nimmt die Arbeitsgruppe SSE in dem Projekt „QualiMaster“ an.
Damit unterstützen die Forscher die Entwicklung eines konfigurierbaren Echtzeit-Datenverarbeitungssystems zur autonomen Qualitätsanpassung. Langfristig sollen mit einem solchen System Vorhersagen über Entwicklungen im Finanzmarkt (im Projekt die Analyse und Voraussage systemischer Risiken), aber auch in anderen Gebieten mit hohem Datenaufkommen, wie zum Beispiel im Bereich der Makroökonomischen Analysen, der Wetteranalysen, der Analyse sozialer Netzwerke oder großer wissenschaftlicher Experimente, effektiv und effizient möglich werden.
Weitere Informationen:
Laufzeit: 3 Jahre
Kontakt: Dr. Holger Eichelberger, eichelberger(at)sse.uni-hildesheim.de
Das QualiMaster-Projekt wird finanziert durch Grant 619525 der Europäischen Kommission, Bereich Scalable Data Analytics im 7. Rahmenprogramm. Die EU fördert das Projekt mit ca. 2,9 Mio. Euro.
Deliverables
| Nummer | Name |
|---|---|
| D1.1 | Initial Use Cases and Requirements |
| D1.2 | Full Use Cases and Requirements |
| D2.1 | Approach for Scalable, Quality-aware Data Processing |
| D2.2 | Scalable, Quality-aware Data Processing Algorithms V1 |
| D2.3 | Scalable, Quality-aware Data Processing Algorithms V2 |
| D2.4 | Final report on Scalable, Quality-aware Data Processing Methods |
| D3.1 | Translation of Data Processing Algorithms to Hardware |
| D3.2 | Hardware-based Data Processing Algorithms V1 |
| D3.3 | Hardware-based Data Processing Algorithms V2 |
| D3.4 | Optimized Translation of Data Processing Algorithms to Hardware |
| D4.1 | Quality-aware Processing Pipeline Modelling |
| D4.2 | Quality-aware Processing Pipeline Adaptation V1 |
| D4.3 | Quality-aware Processing Pipeline Adaptation V2 |
| D4.4 | Quality-aware Processing Pipeline Modelling and Adaptation |
| D5.1 | QualiMaster Infrastructure Set-up |
| D5.2 | Basic QualiMaster Infrastructure |
| D5.3 | QualiMaster Infrastructure V1 |
| D5.4 | QualiMaster Infrastructure V2 |
| D6.1 | QualiMaster Applications V1 (internal) |
| D6.2 | Intermediary Evaluation Report |
| D6.3 | QualiMaster Applications V2 (internal) |
| D6.4 | Final Evaluation Report |
| D7.1 | Initial Project Fact Sheet |
| D7.2 | Project Presentation and Project Web Site |
| D7.3 | Dissemination Plan |
The research leading to these results has received funding from the European Union Seventh Framework Programme [FP7/2007-2013] under grant agreement n° 619525.
Publikationen
ADS Performance Revisited
Industry 4.0 Connectors - A Performance Experiment with Modbus/TCP
MLOps: A Multiple Case Study in Industry 4.0
A MLOps Architecture for XAI in Industrial Applications
An MLOps Platform Comparison
MLOps for Cyber-Physical Production Systems: Challenges and Solutions
Energiereduktion in der Produktion gemeinsam anpacken
Industry 4.0/IIoT Platforms for manufacturing systems - A systematic review contrasting the scientific and the industrial side
Model-Driven Realization of IDTA Submodel Specifications: The Good, the Bad, the Incompatible?
SSE
Prof. Dr. Klaus Schmid
Institut für Informatik
AG Software Systems Engineering
Universitätsplatz 1
31141 Hildesheim
Besucheradresse:
Institut für Informatik
Samelsonplatz 1
31141 Hildesheim
Sekretariat: Raum C212 Spl
Telefon +49 5121 883-40330
Institut für Informatik
Besucheradresse:
Stiftung Universität Hildesheim
Institut für Informatik
Samelsonplatz 1
31141 Hildesheim