Vergleich verschiedener Lernmethoden neuronaler Netze bei der Analyse von „Social Media“ Inhalten Bachelorarbeit zur Erlangung des Bachelor-Grades Bachelor of Science im Studiengang Allgemeine Informatik an der Fakultät für Informatik und Ingenieurwissenschaften der Technischen Hochschule Köln vorgelegt von: Alasdair Maclachlan eingereicht bei: Prof. Dr. Birgit Bertelsmeier Zweitgutachter/in: Prof. Dr. Heiner Klocke Köln, 27.08.2018 Erklärung I Erklärung Ich versichere, die von mir vorgelegte Arbeit selbstständig verfasst zu haben. Alle Stel- len, die wörtlich oder sinngemäß aus veröffentlichten oder nicht veröffentlichten Arbeiten anderer oder der Verfasserin/des Verfassers selbst entnommen sind, habe ich als ent- nommen kenntlich gemacht. Sämtliche Quellen und Hilfsmittel, die ich für die Arbeit be- nutzt habe, sind angegeben. Die Arbeit hat mit gleichem Inhalt bzw. in wesentlichen Teilen noch keiner anderen Prüfungsbehörde vorgelegen. Ort, Datum Rechtsverbindliche Unterschrift Abstract II Abstract The goal of this bachelor thesis was the comparison of different learning methods in neural networks. The methods were applied to detect hate posts on social media plat- forms like twitter. To achieve this, a supervised Recurrent Neural Network and a self- supervised Word2Vec model were implemented. The results of both implementations show the importance of choosing the correct dataset and a learning method generating significant results. The problems of both implementations were identified and formulated into possible solutions to achieve more accurate predictions in future. This thesis is of high interest for students and developers in the area of sentiment analysis. Inhalt III Inhalt Erklärung .................................................................................................................... I Abstract ..................................................................................................................... II Inhalt ......................................................................................................................... III Tabellenverzeichnis ................................................................................................. V Abbildungsverzeichnis ........................................................................................... VI 1 Einleitung ........................................................................................................... 1 1.1 Motivation ............................................................................................................ 1 1.2 Zielsetzung .......................................................................................................... 1 1.3 Aufbau ................................................................................................................. 1 2 Grundlagen ......................................................................................................... 3 2.1 Biologischer Hintergrund ...................................................................................... 3 2.1.1 Menschliches Lernen .................................................................................. 3 2.1.2 Einführung in künstliche neuronale Netze ................................................... 5 2.2 Komponenten der neuronalen Netze .................................................................... 6 2.2.1 Neuronen .................................................................................................... 6 2.2.2 Aktivierungsfunktionen ................................................................................ 7 2.2.3 Schichten .................................................................................................... 9 2.3 Training des Netzes ........................................................................................... 10 2.3.1 Loss-Funktion ........................................................................................... 10 2.3.2 Backpropagation ....................................................................................... 11 2.3.3 Gradientenverfahren ................................................................................. 13 2.4 Aufbereitung der Daten ...................................................................................... 14 2.4.1 Vektoren und Tensoren............................................................................. 15 2.4.2 Auswahl von Daten ................................................................................... 16 3 Überwachte Lernverfahren .............................................................................. 17 3.1 Feedforward Netz .............................................................................................. 17 3.2 Rekurrente Netze ............................................................................................... 17 3.3 Faltungsnetze .................................................................................................... 19 4 Selbstüberwachte & Unüberwachte Lernverfahren ....................................... 21 4.1 Skip-Gram Algorithmus ...................................................................................... 21 4.2 Global Vectors ................................................................................................... 23 4.3 Auto Encoder ..................................................................................................... 24 5 Konzeption ....................................................................................................... 25 5.1 Zielsetzung ........................................................................................................ 25 5.2 Auswahl der Verfahren ....................................................................................... 26 5.2.1 Sentiment Analyse .................................................................................... 26 5.2.2 Clustering Analyse .................................................................................... 26 5.3 Überwachtes Lernen mit Rekurrenten Netzen .................................................... 27 Inhalt IV 5.3.1 Vorbereitungen ......................................................................................... 27 5.3.2 Lernphase ................................................................................................. 27 5.3.3 Test-/Evaluationsphase............................................................................. 28 5.4 Teilüberwachtes Lernen mit Skip-Gram ............................................................. 28 5.4.1 Vorbereitungen ......................................................................................... 28 5.4.2 Lernphase ................................................................................................. 29 5.4.3 Evaluation ................................................................................................. 29 6 Implementierung der neuronalen Netze ......................................................... 30 6.1 Verwendete Software und Bibliotheken .............................................................. 30 6.2 Vorgehen bei der Implementierung .................................................................... 31 6.2.1 Implementierung eines Netzes Rekurrenten Netzes mit PyTorch .............. 31 6.2.2 Implementierung eines Netzes mit Word2Vec ........................................... 32 7 Auswertung ...................................................................................................... 34 7.1 Überwachtes Lernen .......................................................................................... 34 7.1.1 Vorstellen der Ergebnisse ......................................................................... 34 7.1.2 Einordung der Ergebnisse ......................................................................... 36 7.2 Selbstüberwachtes Lernen ................................................................................. 37 7.2.1 Vorstellen der Ergebnisse ......................................................................... 37 7.2.2 Einordnung der Ergebnisse ....................................................................... 38 7.3 Vergleich der beiden Ansätze ............................................................................ 39 8 Retrospektive ................................................................................................... 40 8.1 Evaluation .......................................................................................................... 40 8.2 Rückblick und Fazit ............................................................................................ 41 8.2.1 Rückblick .................................................................................................. 41 8.2.2 Fazit .......................................................................................................... 42 Literaturverzeichnis ................................................................................................ 44 Formelverzeichnis ................................................................................................... 48 Glossar ..................................................................................................................... 49 Abkürzungsverzeichnis .......................................................................................... 50 Tabellenverzeichnis V Tabellenverzeichnis Tabelle 1 - Erkennungsrate beim Testen mit dem Testdatensatz ............................. 35 Tabelle 2 - Kosinus-Ähnlichkeit eines zentralen Vektors zu Kontextvektoren ........... 38 Abbildungsverzeichnis VI Abbildungsverzeichnis Abbildung 1 - Struktur der Nervenzellen im Gehirn ..................................................... 3 Abbildung 2 - Dendritenwachstum und Rückgang unnötiger Dendriten in der kindlichen Entwicklung ......................................................................................................... 4 Abbildung 3 – Schwellenwert Funktion, Lineare Funktion, ReLU und Sigmoid Funktion ........................................................................................................................... 8 Abbildung 4 - Grundlegender Schichten eines neuronalen Netzes ............................. 9 Abbildung 5 - Die Sigmoid-Funktion und ihre Ableitung ............................................ 12 Abbildung 6 - Das Gradientenverfahren beispielhaft in einem dreidimensionalen Raum der Loss-Funktion 𝐽(𝜃0,𝜃1) .............................................................................. 13 Abbildung 7 - Zweidimensionale Darstellung der Differenz von Wortvektoren .......... 15 Abbildung 8 - Vereinfachte Netztopologie mit rekurrenter Verschachtelung der Zwischenschicht (blau) links und zeitlicher Darstellung der Eingaben rechts. Dabei sind gelbe Knoten Eingaben von außen und rote Knoten Ausgaben nach außen ......................................................................................................................... 18 Abbildung 9 - Einfaches Faltungsnetz mit Faltungsschicht, Pooling-Schicht und Fully- Connected-Schicht ............................................................................................ 19 Abbildung 10 - Vergleich der Netztopologie von Continuous Bag-Of-Words mit der Abbildung vieler Kontextwörter auf eine Ausgabe und Skip-Gram mit der Abbildung eines zentralen Wortes auf viele Kontextwörter ................................ 21 Abbildung 11 - Erzeugung semantischer Hashes aus einer Vielzahl an Datensätzen ......................................................................................................................... 24 Abbildung 12 - Durchschnittliche Vorhersagegenauigkeit (links) und durchschnittlicher Fehlerwert (rechts) in jeder Epoche für die lineare Aktivierung (oben) und die ReLU Aktivierung (unten) ................................................................................. 34 Abbildung 13 - Durchschnittliche Vorhersagegenauigkeit (links) und durchschnittlicher Fehlerwert (rechts) in jeder Epoche für die Sigmoid Aktivierung ....................... 35 Abbildung 14 – Lernrate des Netzes bei einem Datensatz mit simplen Sequenzen .. 37 Abbildung 15 - Verteilung eindeutig negativer (rot) und eindeutig negativer (grün) Wörter in der Verteilung aller Wortvektoren bei einer Anzahl von 300 Features (oben) und 50 Features (unten) innerhalb der Wortvektoren ............................. 37 Einleitung 1 1 Einleitung 1.1 Motivation Seit einigen Jahren nehmen sogenannte „Hasskommentare“ auf sozialen Medien immer mehr überhand. Dabei handelt es sich um bewusst verletzende, rassistische, sexistische oder grundgesetzverletzende Kommentare, die teilweise auch zu Gewalt gegen anders- denkende aufrufen. Oftmals werden diese von einer sehr lauten Minderheit abgegeben. Laut einer Auswertung1 des „Institute for Strategic Dialogue“ gingen im Januar dieses Jahres 50% der Hasskommentare in sozialen Medien von den selben 5% der Accounts aus. Abgesehen von den Auswirkungen für einzelne Personen haben diese Kommentare auch eine Auswirkung auf die Allgemeinheit: Sie vergiften das Diskussionsklima. Ein konstruktiver Diskurs ist kaum noch möglich und ein kritischer Austausch von unter- schiedlichen Standpunkten und Argumenten wird schon im Ansatz unterdrückt. Die Rundfunkanstalt „Deutsche Welle“ hat als Konsequenz dieser Entwicklung erst kürzlich die Kommentarspalte unter den Artikeln deaktiviert2, da Redakteure konstant mit der Prüfung beleidigender Kommentare beschäftigt waren. Ein Ziel der sogenannten „Trolle“ ist die Normalisierung einer gewissen Rhetorik. Es soll der Anschein erweckt werden, dass der Zeitgeist ein ganz anderer statt dem tatsächlichen ist. 1.2 Zielsetzung Die vorliegende Arbeit befasst sich mit der Möglichkeit, diese Kommentare zu erkennen und zu klassifizieren. Hierbei werden zwei verschiedene Lernverfahren neuronaler Netze mit jeweils unterschiedlichen Modellierungen konzipiert, implementiert und evaluiert. Ziel ist es also zu bestimmen mit welchen Netztypen und Verfahren ein solches Problem am besten angegangen werden kann. Idealerweise kann so ein Beitrag zur automatischen Erkennung von Hasskommentaren geleistet werden und dieser Entwicklung entgegen- gewirkt werden. 1.3 Aufbau Diese Arbeit behandelt in den Kapiteln zwei bis vier zunächst die theoretischen Grund- lagen neuronaler Netze. Dabei wird zu Beginn des Kapitels 2.1 das menschlichen Ler- nen vorgestellt um danach einen Vergleich zu den künstlichen neuronalen Netzen zu ziehen. In Kapitel 2.2 werden die Komponenten eines Netzes, der Aufbau der einzelnen Schichten, sowie die verschiedenen Aktivierungsfunktionen vorgestellt, die im Projekt benutzt werden. Anschließend behandelt Kapitel 2.3 wie die neuronalen Netze sich 1 Vgl. o.V. (2018): Analyse von Hass-Kommentaren: Lautstarke Minderheit. [online] 2 Pohl, I. (2018): Warum wir die Kommentarfunktion abschalten [online] Einleitung 2 durch Training verbessern und so zukünftig bessere Ergebnisse erzielen können. Zuletzt zeigt Kapitel 2.4 wie die Daten für Netze aufbereitet werden können und auf was geach- tet werden sollte. In Kapitel drei werden die überwachten Verfahren vorgestellt, die mit einer Art „Lehrer“ arbeiten und anhand von Kennzeichnungen in den Trainingsdaten ihren Lernerfolg ab- leiten können. Zunächst werden die Feedforward Netze, die einfachste Form der neuro- nalen Netze, vorgestellt. Anschließend werden die Rekurrenten Netze und ihre Fähig- keit, sequentielle Daten zu verarbeiten behandelt. Als letztes wird die Funktionsweise von Faltungsnetzen beschrieben. Mit diesen Netzen können Strukturen erkannt und zu einem Gesamtbild zusammengefügt werden. Das vierte Kapitel befasst sich mit den selbst- und unüberwachten Lernverfahren und stellt ebenfalls drei verschiedene Verfahren vor. Hier werden zunächst das Skip-gram und das GloVe (Global Vectors) Modell vorgestellt, die beide eine Vektorrepräsentierung nutzen um Wörter darzustellen, allerdings unterschiedliche Trainingsverfahren haben. Zudem werden die Autoencoder Netze vorgestellt, mit denen Texte stark komprimiert werden können. In Kapitel fünf wird ein Konzept für die spätere Implementierung ausgearbeitet und einige Hypothesen aufgestellt, die in der Auswertung überprüft werden. In Kapitel 5.1 wird hierzu geklärt was überhaupt erreicht werden soll. Aufgrund dessen werden die verschie- denen Verfahren in Kapitel 5.2 gegeneinander abgewägt und jeweils eines der Verfahren für die weitere Konzeption ausgewählt. Die Kapitel 5.3 und 5.4 beschreiben nun welche Vorbereitungen für diese Verfahren getroffen werden müssen. Zudem wird skizziert wie die Netze in der Lernphase arbeiten und die Ergebnisse evaluiert werden sollen. Kapitel sechs befasst sich mit der eigentlichen Implementierung der Netze. Zunächst werden hier die verwendeten Programmierbibliotheken vorgestellt. Im Anschluss wird beschrieben, wie die beiden Lernverfahren konkret umgesetzt werden. In der Auswertung in Kapitel sieben werden die Ergebnisse der Implementierungen vor- gestellt. Sowohl in Kapitel 7.1 als auch in Kapitel 7.2 werden zunächst die Beobachtun- gen formuliert um diese im Anschluss einzuordnen und zu interpretieren. Es wird über- prüft, inwieweit sich die Erwartungen mit den tatsächlichen Ergebnissen decken und wel- che Ursachen die beobachteten Abweichungen haben könnten. Zuletzt werden die Er- gebnisse der beiden Ansätze direkt mit einander verglichen. Das achte und letzte Kapitel evaluiert die Vorgehensweise in diesem Projekt und schil- dert welche Anforderungen umgesetzt werden konnten und wo noch Verbesserungspo- tential besteht. Abschließend wird noch einmal auf alle Kapitel der Bachelorarbeit zu- rückgeblickt und ein Fazit gezogen. Köln, August 2018 Grundlagen 3 2 Grundlagen Das folgende Kapitel beschreibt die Grundlagen neuronaler Netze, bevor im zweiten und dritten Kapitel ein Blick auf die verschiedenen Lernverfahren geworfen wird. Dabei wird in Kapitel 2.1 der biologische Hintergrund betrachtet. Anschließen skizziert Kapitel 2.2 den grundlegenden Aufbau eines neuronalen Netzes und beschreibt wie ver- schiedene Funktionen das Verhalten der Neuronen beeinflussen. In Kapitel 2.3 wird vor- gestellt wie ein Netz seine Leistung durch Optimierung verbessern kann. Zuletzt wird in Kapitel 2.4 behandelt wie Daten für das Training aufbereitet werden können und worauf geachtet werden sollte. 2.1 Biologischer Hintergrund Kapitel 2.1 befasst sich zunächst mit dem biologischen Hintergrund. Es wird die Synapse mit ihren verschiedenen Bestandteilen vorgestellt und ein kurzer Einblick in das mensch- liche Lernen gewährt, um dann einen Vergleich zu den künstlichen neuronalen Netzen zu ziehen. 2.1.1 Menschliches Lernen Das menschliche Gehirn besteht aus etwa 100 Milliarden aktiven Neuronen3 und einer Billiarde Verbindungen zwischen den Neuronen. Jedes Neuron, auch Nervenzelle ge- nannt, ist dabei aus Dendriten, dem Zellkörper und dem Axon zusammengesetzt (Abbil- dung 1). Die elektrischen Impulse anderer Nervenzellen werden über die zahlreichen Dendriten des Dendritenbaums aufsummiert und an den Zellkörper weitergeleitet. Dabei sind die Dendriten allerdings nicht direkt mit dem Zellkörper verbunden, sondern geben die elektrischen Impulse über die Synapsen - die chemischen Kontaktstellen - an die Rezeptoren der Zelle weiter. 4 Abbildung 1 - Struktur der Nervenzellen im Gehirn4 3 Vgl. Ritter, H., Martinez, T. and Schulten, K. (1991): Neuronale Netze, Seite 18ff. 4 Vgl. Kratzer, K. (1993): Neuronale Netze, Seite 11