Tageslichtsensoren optimieren die Energieerzeugung von "Smart Cities“, Amazon-Kühlschränke bestellen automatisch Lebensmittel nach: nahezu unbemerkt erobert das Internet der Dinge (IoT), ein Netzwerk WLAN-verbundener Alltagsgeräte, unser Leben. Was wir vom Internet der Dinge lernen und wie wir von ihm profitieren können, beginnt sich gerade erst abzuzeichnen.
Doch auch das IoT kann und sollte von anderen Branchen lernen, um mit seiner gewaltigen Aufgabe besser umgehen zu können. Diese besteht zum großen Teil aus dem Sammeln, Verarbeiten, Komprimieren, Speichern und Abrufen von Daten - genau das tun Branchen wie der Fintech-Sektor bereits seit Jahrzehnten. Grund genug für die IoT-Verantwortlichen, sich diese Erfahrungen zunutze machen.
Das IoT - eine immense Datenflut
Das Internet der Dinge zum Laufen zu bringen, ist nicht immer einfach. Befragt man Freunde und Fachleute aus der IoT-Branche oder auch zuverlässige Quellen wie eine Cisco-Studie, so ist der allgemeine Konsens: Das IoT generiert viel mehr Daten, als man es bei der Entwicklung der IoT-Standards für möglich gehalten hatte. Die Basisstationen sind ihrer Arbeitslast oft nicht in dem Maße gewachsen, wie sie es sein sollten.
Denn eine riesige, von vielen verschiedenen Geräten erzeugte Datenflut strömt auf sie ein - ganz gleich, ob sie sich in einem „Smart Home“, einem „Smart Store“ oder einer „Smart City“ befinden. Signalkollisionen und so scheinbar simple physische Hindernisse wie eine Wand führen dazu, dass die vorhandene Hardware nicht ausreicht.
Und so werden weitere Basisstationen installiert, um ein bestimmtes Gebiet abzudecken und die Signale sauber durch das Netzwerk zu lotsen. Das treibt sowohl die Ausgaben für die Infrastruktur als auch die Datenverarbeitungskosten in die Höhe. Jede Basisstation ist mit allen anderen verbunden und tauscht mit diesen Informationen aus.
Auf diese Weise multiplizieren sich die übermittelten Daten und erreichen ein Volumen, mit dem die Entwickler der IoT-Standards nicht gerechnet hatten. Das Resultat: ein Netzwerk, das von der zunehmenden Masse an Datenpaketen blockiert wird.
Diese Probleme führen dazu, dass zur Speicherung und Verarbeitung der IoT-Daten immer mehr Hardware, immer bessere Software-Anwendungen und damit auch immer mehr Lizenzen benötigt werden. Die Ausgaben steigen - und dennoch sind die IoT-Datenverarbeitungslösungen nicht in der Lage, der kontinuierlich steigenden Datenflut Herr zu werden. Was tun?
Fintech: erfolgreicher Einsatz bewährter Verfahren
Die vom Internet der Dinge erzeugten Daten funktionieren nach dem gleichen Prinzip wie jene, mit denen die Fintech-Branche seit Jahren arbeitet. Beide Datentypen enthalten simple Informationen: einen Zeitstempel, einen Identifier und Payload-Informationen. Die im IoT übertragenen Datenpakete sind also hinsichtlich ihrer Art und ihres Umfangs den von Fintech-Unternehmen verarbeiteten Daten sehr ähnlich.
Trading-Daten werden so verarbeitet, wie es sich die IoT-Verantwortlichen für ihre Daten wünschen würden. Beim Austausch mit Marktdaten-Anbietern, Brokern oder Tradern werden Trading-Daten auf die gleiche Weise - und sogar effizienter - wie im IoT gespeichert und verwaltet, denn die in der Finanzbranche eingesetzten Technologien sind seit je her auf hohe Skalierbarkeit ausgelegt.
Für Trading, Investition und Analyse ist die Bereitstellung von Finanzmarktdaten eine grundlegende Voraussetzung. Weshalb die Anforderungen an eine kontinuierliche Optimierung und Skalierung der Datenmanagementsysteme auch sehr hoch sind.
Etwa 12 Millionen Ereignisse pro Sekunde, mehrere Millionen Tickersymbole mit bis zu 15 Datentypen (Angebote, Orders, Trades usw.) werden derzeit durch den Fintech-Sektor verarbeitet. Mehrere Terabyte Daten erzeugt die Branche täglich - und arbeitet dabei hocheffizient und im Echtzeitmodus.
Die eingesetzten Datenverarbeitungslösungen sind praxiserprobt und wurden rigorosen Tests unterzogen. Sie bilden einen kompletten Technologie-Stack: ein Datenökosystem zur Sammlung, Verwaltung, Normalisierung, Speicherung und Verteilung verschiedener Datentypen, das es ermöglicht, historische Daten höchst effizient zu verarbeiten.
Hier ein Überblick über die wichtigsten Technologien, die auch für das Internet der Dinge eingesetzt werden könnten:
- Datennormalisierung
Bei der Datennormalisierung werden sämtliche Daten, die von verschiedenen Börsen und Agenturen empfangen werden, in ein einheitliches Format konvertiert. Die Normalisierung ermöglicht dem Nutzer, einheitliche Datenmanagement- und -verteilungsmethoden anzuwenden und sich nicht mit der Herkunft der Daten auseinandersetzen zu müssen. Sie lässt sich mit einer Übersetzung der Daten in eine Metasprache vergleichen. Als Ergebnis der Normalisierung werden alle Ereignisse in einem bestimmten Datenschema bereitgestellt.
- Verteilungssystem
Hierbei handelt es sich um ein flexibles und skalierbares Datenschema, das die Verteilung jeder beliebigen Ereignisart ermöglicht. Es gewährleistet geringe Latenzzeiten und einen hohen Datendurchsatz, selbst unter volatilen Marktbedingungen. Bei einem Mini-Crash auf dem Aktienmarkt am 5. Februar 2018 mussten die Kunden eines Fintech-Anbieters auch während der Belastungsspitzen, die durch die heftigen Marktbewegungen erzeugt wurden, keinerlei Ausfallzeiten in Kauf nehmen.
Sie konnten ihre Tätigkeit wie gewohnt fortsetzen, obwohl die Zahl der Orders auf ihrer Trading-Plattform an diesem Tag (zwischen 13.00 und 14.00 Uhr) ca. 250.000 pro Stunde betrug. Diese abnorm hohe Zahl an Ereignissen wurde ohne Verzögerungen oder Datenverluste abgearbeitet – eine Zahl übrigens, die weit über dem Transaktionsvolumen eines sehr großen Einzelhändlers an einem „Black Friday“ liegt. Ohne das Verteilungssystem wären einige der Ereignisse verloren gegangen, was zu Problemen bei der Bereitstellung von Marktdaten geführt hätte.
- Datenzusammenführung
Die Zusammenführung von Daten ist eine wichtige Funktion des Nachrichten- und Datenverteilungssystems. Sie gewährleistet, dass die Daten tatsächlich in Echtzeit bereitgestellt werden. Sollte der Daten-Feed Microburst-Überlastungen aufweisen, wird er von der Datenverarbeitungs-Plattform bereinigt, um das Echtzeit-Streaming zentraler Nachrichten zu garantieren. Gleichzeitig werden „überflüssige“ Nachrichten nicht gelöscht; stattdessen werden sämtliche Ereignisse im Speicher für historische Daten abgelegt und können bei Bedarf abgerufen werden.
Ein EUR/USD-Angebot kann seinen Preis beispielsweise tausend Mal pro Sekunde ändern. Das menschliche Auge ist jedoch nicht in der Lage, mehr als 20-25 Aktualisierungen pro Sekunde wahrzunehmen; es reicht daher aus, die wichtigsten Meldungen zu sehen und die anderen im Speicher abzulegen. Ein vergleichbarer Fall in der IoT-Branche wäre ein Temperaturgeber, der hundert Updates mit dem Wert 0,1° versendet, obwohl 5 Updates pro Minute zu Überwachungszwecken mehr als genug sind.
- Speicherung im CDF-Format (Compressed Data Format)
Dieses Format wird verwendet, um eine bestimmte Datenmenge in einem beliebigen Dateiformat effektiv abzurufen oder das Streaming dieser Daten zu veranlassen. Im Internet der Dinge kann dies notwendig sein, um ein gründliches Audit oder Backtesting von Überwachungs- und Management-Systemen durchzuführen.
Es existiert bereits eine proprietäre Technologie zur Verarbeitung von Milliarden von Ereignissen. Anbieter von Fintech-Lösungen haben viele Jahre Erfahrung in der Erfassung wichtiger Daten. Für sie wäre es kein Problem, die Verarbeitungs-, Übertragungs-, Komprimierungs-, Speicherungs- und Abruffähigkeit dieser Daten für das Internet der Dinge anzupassen.
Selbst die Masse an Daten, die vom IoT generiert wird, kommt nicht an das Datenvolumen heran, mit dem Fintech-Unternehmen täglich zu tun haben – mehrere Dutzend Gigabit Daten pro Sekunde sind für sie nichts Neues. Diese Chance sollten IoT-Verantwortliche nutzen und aus den Erfahrungen der Fintech-Branche mit Big Data lernen.