De hoeveelheid verzamelde data groeit exponentieel, mede dankzij de opkomst van het Internet of Things (IoT). We noemen deze datasets, die te groot zijn om met reguliere databasemanagementsystemen onderhouden te worden, ook wel Big Data. Deze data bevat een schat aan informatie. Om daarbij te komen, moeten we de data analyseren. Hiervoor kunnen we gebruik maken van Artificial Intelligence (AI).
In veel gevallen zijn Big Data, Cloud en Internet of Things allemaal onderdelen van een continuüm. Cloud computing vormt de structuur die Big Data-projecten ondersteunt. Je kunt niet nadenken over het IoT zonder na te denken over de Cloud, en het is moeilijk om over de Cloud na te denken zonder na te denken over de analyse van de opgeslagen Big Data. Want hoe sneller je gegevens analyseert, hoe sneller de resultaten en hoe groter de voorspellende waarde van data. De echte waarde van Big Data zit immers in de inzichten die het oplevert bij analyse – ontdekte patronen, afgeleide betekenis, indicatoren voor beslissingen en uiteindelijk het vermogen om met grotere intelligentie te reageren.
Big Data-analyse bestaat uit een reeks geavanceerde technologieën die zijn ontworpen om met grote hoeveelheden heterogene gegevens te werken. Om de volledige voordelen van IoT-data te oogsten, moeten we Big Data-analyse met grote snelheid en nauwkeurigheid uitvoeren. Er wordt gebruik gemaakt van geavanceerde kwantitatieve methoden, zoals Artificial Intelligence (AI; kunstmatige intelligentie), om de data te verkennen, en om verbanden en patronen te ontdekken. Om potentiële problemen te kunnen identificeren, moeten de gegevens worden geanalyseerd in termen van wat normaal is en wat niet. Overeenkomsten, correlaties en afwijkingen in de datastromen moeten in realtime – of in ieder geval snel – worden geïdentificeerd.
Tekst gaat verder onder de afbeelding.
Het is onmogelijk om alle Big Data te beoordelen en te begrijpen met traditionele analysemethoden. Ook kost het gewoon te veel tijd. Bij de analyse van IoT-data is het nodig om correlaties te identificeren tussen input van tientallen sensoren en externe factoren die snel miljoenen gegevenspunten produceren. AI begint met de uitkomstvariabelen (bijvoorbeeld energiebesparing) en zoekt vervolgens automatisch naar voorspellingsvariabelen en hun interacties. Met andere woorden: we geven AI een doel en vervolgens ‘leert’ het uit de gegevens welke factoren belangrijk zijn om dat doel te bereiken.
Daarnaast is AI ook waardevol voor het nauwkeurig voorspellen van toekomstige gebeurtenissen. Algoritmen worden voortdurend verbeterd naarmate er meer gegevens worden vastgelegd en geassimileerd. Dit betekent dat het algoritme voorspellingen kan doen, kan zien wat er feitelijk gebeurt en dit kan vergelijken met deze voorspellingen, en vervolgens aanpassingen kan maken om nauwkeuriger te worden. De voorspellende analyses die mogelijk worden gemaakt door AI zijn enorm waardevol voor veel IoT-toepassingen. Door gegevens van meerdere sensoren te verzamelen, kunnen algoritmen leren wat normaal is en daardoor ook abnormale gebeurtenissen detecteren.
Om van toegevoegde waarde te zijn, kan data dus niet zonder analyse. Het omgekeerde is echter ook waar: big data is onmisbaar bij het trainen van machine learning-algoritmes. Om de algoritmes te trainen is data nodig. Heel veel data. Hoe meer je het algoritme laat trainen, hoe beter de voorspellingen zullen zijn. En juist dat maakt de combinatie met Big Data zo interessant.
Dit artikel is onderdeel van een serie.
Lees meer:
Deel 1 – Big Data: door het IoT verzamelde gegevens
Deel 2 – Big Data verwerken middels Cloud computing
Bronnen – Big Data
