De werking van deep learning uitgelegd

In deze serie artikelen bespreken we deep learning. Eerder gaven we een definitie en nu gaan we aansluitend in op de werking van deep learning. Want hoe werkt deep learning precies? We geven in het volgende artikel een aantal voorbeelden van de werking van deep learning. Voor extra verduidelijking verwijzen we ook graag naar onze eerdere series over machine learning en neurale netwerken.

Hoe werkt deep learning – diepe neurale netwerken

Deep learning is de naam die we gebruiken voor diepe neurale netwerken bestaande uit meerdere lagen neuronen. De neuronen in het netwerk vuren wanneer deze voldoende gestimuleerd worden. Hiertoe wordt de input gecombineerd met gewichten die de input versterken of dempen. Elke neuron wijst een gewicht toe aan zijn input – hoe juist of onjuist het is ten opzichte van de taak die wordt uitgevoerd. De producten hiervan worden opgeteld en de som wordt doorgegeven om te bepalen of en in welke mate het signaal door het netwerk wordt voortgezet.

De output van elke laag is tegelijkertijd de input van de volgende laag. Dankzij het combineren van gewichten met input is het netwerk in staat deze input te classificeren en clusteren. Deep learning-netwerken eindigen in een outputlaag: een classificator die de kans geeft op een bepaald resultaat. De uiteindelijke output wordt bepaald door het totaal van de gewichten. Neem data in de vorm van een beeld, daarvan kan een netwerk voor deep learning bijvoorbeeld beslissen dat de invoergegevens 90 procent waarschijnlijk een persoon tonen.

Hoe werkt deep learning – niveaus van representaties

Deep learning-methoden kennen meerdere niveaus van representatie, op een steeds abstracter niveau. Hoe verder je voortgaat in het netwerk, hoe complexer de kenmerken die de neuronen kunnen herkennen worden, aangezien zij functies van de vorige laag aggregeren. Voor classificatietaken versterken hogere lagen van representatie de aspecten van de input die belangrijk zijn voor discriminatie en onderdrukken irrelevante variaties.

Een afbeelding wordt bijvoorbeeld in de vorm van een reeks van pixelwaarden ingevoerd. De eerste laag vertegenwoordigt typisch de aanwezigheid of afwezigheid van randen bij bepaalde oriëntaties en locaties in de afbeelding. De tweede laag detecteert dan motieven door specifieke samenstellingen van randen te detecteren. De derde laag kan motieven samenstellen in grotere combinaties die overeenkomen met delen van bekende objecten. En de volgende lagen zouden objecten als combinaties van deze onderdelen detecteren.

Hoe werkt deep learning – training van het neurale netwerk

Om te leren, moet een neuraal netwerk meer doen dan alleen signalen door de lagen neuronen verzenden. Het heeft ook een manier nodig om te zien of het juiste resultaat gegeven werd. En zo niet, een signaal terug te sturen zodat alle neuronen hun activaties kunnen afstemmen om de resultaten te verbeteren. Herhaaldelijk input reconstrueren minimaliseert het verschil tussen de gissingen van het netwerk en de kansverdeling van de input. In dit proces leert het netwerk correlaties herkennen tussen bepaalde relevante functies en optimale resultaten. Dit is een recept voor betere prestaties: hoe meer data een netwerk kan trainen, hoe nauwkeuriger het waarschijnlijk zal zijn.

Terwijl het netwerk wordt getraind is de kans groot dat het met verkeerde antwoorden komt. Het moet honderdenduizenden, zelfs miljoenen beelden, zien, tot de gewichten zo nauwkeurig zijn afgestemd dat het vrijwel altijd het juiste antwoord geeft. Het is op dat moment dat het neurale netwerk heeft geleerd hoe een zittende man of een hond eruit ziet.

Om een acceptabel niveau van nauwkeurigheid te bereiken, hebben deep learning-programma’s toegang nodig tot enorme hoeveelheden trainingsgegevens en verwerkingscapaciteit. In dat kader zijn big data en cloud computing goede ontwikkelingen. Omdat deep learning in staat is om complexe statistische modellen direct uit zijn eigen iteratieve output te maken, is het in staat nauwkeurige predictieve modellen te creëren uit grote hoeveelheden ongelabelde data. Dit is belangrijk omdat het Internet of Things (IoT) enorm toeneemt en omdat de meeste data die daarmee gecreëerd wordt ongelabeld is.

Dit artikel is onderdeel van een serie.

Lees meer:

Artikel 1: Machine learning, neurale netwerken en deep learning uitgelegd 

Artikel 2: Wat is deep learning: een introductie

Artikel 4: Voorbeelden van deep learning – de werking uitgelegd

Artikel 5: Toepassingen van deep learning – taal, beeld en zorg

Artikel 6: De toekomst van deep learning – technologie en investeringen