Mittelstand-Digital Tag münsterLAND

Unsere Expertin Dr. Shirin Elsinghorst auf dem Mittelstand-Digital Tag münsterLAND inklusive spannendem Workshop rund um responsible Digital AI-Solutions. 

<p>Am 21. und 22. Mai hatte ich die Ehre, an der rOpenSci Unkonferenz in Seattle teilnehmen zu dürfen. Es war ein großartiges Event, bei dem ich viele tolle Menschen kennenlernen konnte. Hier berichte ich über das Event und das Projekt, an dem ich dort gearbeitet habe: TensorFlow Probability in R & das „greta“-Paket.</p><h1>rOpenSci</h1><p><a href="https://ropensci.org/" target="_blank">rOpenSci</a>  ist eine gemeinnützige Organisation, die eine Reihe von <a href="https://ropensci.org/packages/" target="_blank">R-Paketen</a>  verwaltet und sehr aktiv den <a href="https://ropensci.org/community/" target="_blank">Gemeinschaftsgeist</a>  rund um die R-Welt fördert. Ihre zentralen Werte sind offene und reproduzierbare Forschung, Daten offen zugänglich zu machen, einfach zu bedienende Tools für Datenanalysen zu schaffen und all dies einer großen Anzahl an Menschen zugänglich zu machen.</p><p><a href="https://media.graphassets.com/CklmaK8lRxOpNOWsVYI1"><img width="250" height="99" src="https://media.graphassets.com/CklmaK8lRxOpNOWsVYI1" alt="Seattle, WA" /></a> </p><h1>rOpenSci Unkonferenz</h1><p>Die jährliche Unkonferenz trägt dazu bei, eine welt- und diversitätsoffene Infrastruktur für die Community zu schaffen. Bei der Konferenz treffen etwa 60 eingeladene Gäste aus der ganzen Welt zusammen, um an kleinen Projekten zu arbeiten, die derzeit für die R-Community relevant sind. Ideen für Projekte werden in den Wochen vor der Unkonferenz auf GitHub gesammelt und diskutiert, aber die endgültige Entscheidung, an welchen Projekten gearbeitet wird, wird von den Teilnehmern am ersten Morgen der Unkonferenz getroffen.</p><p><a href="http://unconf18.ropensci.org/" target="_blank">Die diesjährige rOpenSci Unkonferenz</a>  fand im Microsoft-Reactor in Seattle statt.</p><p><a href="https://media.graphassets.com/03FGEBAxSHCfkXxGgwN6"><img loading="lazy" width="250" height="139" src="https://media.graphassets.com/03FGEBAxSHCfkXxGgwN6" alt="Microsoft Reactor" /></a> </p><p>Das gesamte Organisationsteam – allen voran Stefanie Butland – hat diese Veranstaltung hervorragend organisiert. Die gesamte Gruppe trug dazu bei, dass der Spirit der Unkonferenz für alle von Anfang an sehr offen und inklusiv war, von den Alteingesessenen bis hin zu Neulingen.</p><p>Wir waren eine ziemlich heterogene Gruppe von Sozialwissenschaftlern, Bioinformatikern, Ökologen, Historikern, Data Scientisten, Entwicklern, Mitarbeitern von Google, Microsoft und RStudio sowie R-Enthusiasten aus vielen anderen Bereichen. Einige Leute kannten sich bereits, viele kannten sich von Twitter, den R-Ladies oder anderen Online-Communities, aber die meisten von uns (einschließlich mir) hatten sich noch nie persönlich getroffen. Deshalb wurde der offizielle Teil der Unkonferenz am Montagmorgen mit einigen „Eisbrechern“ begonnen: Stefanie stellte eine Frage oder machte eine Aussage und wir positionierten uns entsprechend unserer Antwort im Raum und diskutierten mit den umstehenden Menschen. Beginnend mit „Seid ihr ein Hunde- oder Katzenmensch?“ und abschließend mit „Ich kenne meinen Platz in der R-Community“, hatten wir alle schnell viel zu diskutieren – eine großartige Möglichkeit, viele der Leute kennenzulernen, mit denen wir die nächsten zwei Tage verbringen würden!</p><p>Es war toll, mit so vielen talentierten und motivierten Menschen zusammenzuarbeiten, die meine Leidenschaft für die Sprache R teilen – besonders weil sich die Mehrheit der aktiven R-Community im pazifischen Nordwesten und in Kalifornien befindet. Es war eine ganz neue Erfahrung, mit anderen Leuten an einem R-Projekt zusammenzuarbeiten und ich war mehr als begeistert!</p><p><a href="https://media.graphassets.com/XbjXDx6VTtWHhmZ6CFQ4"><img loading="lazy" width="250" height="188" src="https://media.graphassets.com/XbjXDx6VTtWHhmZ6CFQ4" alt="rOpenSci Unkonferenz Projektarbeit" /></a> </p><h1>Unser TensorFlow Probability / greta-Projekt</h1><p>Während der 2-tägigen Unkonferenz wurde an vielen interessanten, nützlichen und coolen Projekten gearbeitet: <a href="https://github.com/ropenscilabs/runconf18-projects/blob/master/index.Rmd" target="_blank">hier ist die komplette Liste mit Links zu den einzelnen Projekten auf GitHub.</a> )</p><p>Die Gruppe, der ich beigetreten bin, wollte ursprünglich TensorFlow Probability in R integrieren.</p><blockquote><p>TensorFlow Probability is a library for probabilistic reasoning and statistical analysis in TensorFlow. As part of the TensorFlow ecosystem, TensorFlow Probability provides integration of probabilistic methods with deep networks, gradient-based inference via automatic differentiation, and scalability to large datasets and models via hardware acceleration (e.g., GPUs) and distributed computation.<br /> https://github.com/tensorflow/probability</p></blockquote><p>Letztendlich haben wir – das waren Michael Quinn, David Smith, Tiphaine Martin, Matt Mulvahill und ich – mit dem R-Paket <a href="https://github.com/greta-dev/greta" target="_blank">greta</a>  gearbeitet, das ähnliche Funktionalitäten wie TensorFlow Probability bietet. Wir haben einige der <a href="https://github.com/ropenscilabs/greta/blob/unconf/README.md" target="_blank">Beispiele aus den Tutorials der TensorFlow Probability Bibliothek in greta erstellt und einige zusätzliche Beispiele entwickelt</a> , die zeigen, wie man greta verwenden kann.</p><p><a href="https://media.graphassets.com/jtuhWlJGSrFDwZWScLk6"><img loading="lazy" width="250" height="140" src="https://media.graphassets.com/jtuhWlJGSrFDwZWScLk6" alt="rOpenSci Unkonferenz Projektvorstellung" /></a> </p><p><a href="https://media.graphassets.com/B4HbRwJ7SFilhXYRR47I"><img loading="lazy" width="250" height="188" src="https://media.graphassets.com/B4HbRwJ7SFilhXYRR47I" alt="rOpenSci Unkonferenz Projektarbeit" /></a> </p><h1>Was ist greta?</h1><p>greta ist ein R-Paket, das von Nick Golding für die Implementierung von Markov-Chain-Monte-Carlo-(MCMC-)Modellen, z. B. Hamiltonian Monte Carlo (HMC), entwickelt wurde. Es bietet eine Reihe von Funktionen, die das Definieren dieser Modelle erleichtern, insbesondere für Bayesian-Statistiken (ähnlich wie Stan).</p><blockquote><p>greta lets us build statistical models interactively in R, and then sample from them by MCMC.<br /> https://greta-dev.github.io/greta/get_started.html#how_greta_works</p></blockquote><p>Googles TensorFlow wird als Backend zur Berechnung der definierten Modelle verwendet. Da TensorFlow für große Modelle optimiert wurde und auch Multi-Core- und GPU-Berechnungen unterstützt, ist greta besonders effizient und nützlich für die Arbeit mit komplexen Modellen. Da TensorFlow ursprünglich kein R-Paket ist, verwendet greta die <a href="https://rstudio.github.io/reticulate/articles/python_packages.html" target="_blank">reticulate</a>  und <a href="https://tensorflow.rstudio.com/" target="_blank">tensorflow</a>  Pakete von RStudio, um eine Verbindung mit dem TensorFlow-Backend herzustellen. Auf diese Weise können wir mit allen TensorFlow-Funktionen direkt von R aus arbeiten.</p><h2>Wie funktioniert greta?</h2><p>Dies ist das minimale Arbeitsbeispiel des linear gemischten Modells, das wir mit greta entwickelt haben und auf einem Beispiel eines TensorFlow Probability Jupyter Notebooks basiert. Das vollständige Beispiel mit Erklärungen ist <a href="https://github.com/ropenscilabs/greta/blob/unconf/vignettes/8_schools_example_model.Rmd" target="_blank">hier</a>  zu finden.</p><p><code> library(greta)</code></p><p># data<br /> N <- letters[1:8]<br /> treatment_effects <- c(28.39, 7.94, -2.75 , 6.82, -0.64, 0.63, 18.01, 12.16)<br /> treatment_stddevs <- c(14.9, 10.2, 16.3, 11.0, 9.4, 11.4, 10.4, 17.6)</p><p># variables and priors<br /> avg_effect <- normal(mean = 0, sd = 10)<br /> avg_stddev <- normal(5, 1)<br /> school_effects_standard <- normal(0, 1, dim = length(N))<br /> school_effects <- avg_effect + exp(avg_stddev) * school_effects_standard</p><p># likelihood<br /> distribution(treatment_effects) <- normal(school_effects, treatment_stddevs)</p><p># defining the hierarchical model<br /> m <- model(avg_effect, avg_stddev, school_effects_standard)</p><p>## greta model<br /> plot(m)<br /> </p><p><a href="https://media.graphassets.com/wahbkuyZQOyc8xGRIoLw"><img loading="lazy" width="250" height="84" src="https://media.graphassets.com/wahbkuyZQOyc8xGRIoLw" alt /></a> </p><p>Der Haupttyp von Objekten, mit denen in greta gearbeitet wird, ist der greta Array. Man kann greta Arrays neu erstellen oder andere R-Objekte, wie Data Frames, in greta Arrays konvertieren. greta Arrays sind im Grunde eine Liste mit einem Element: ein R6-Klassen-Objekt mit einem Knoten + Daten, Operationen oder Variablen. Auf diese Weise nutzt greta die graphenbasierte Organisation der Modellierung. Jeder Knoten in unserem Modellgraphen stammt von einem greta Array und verbindet somit Knoten, Variablen, Daten und Operationen, um einen gerichteten azyklischen Graphen (DAG) zu erzeugen, der das Modell definiert, wenn die model() Funktion aufgerufen wird.</p><h1>TensorFlow Probability</h1><p>TensorFlow Probability ist kein Teil des TensorFlow-Kernpakets, weshalb wir das tensorflow-R-Paket nicht nutzen konnten. Stattdessen haben wir jedoch das reticulate-Paket genutzt, um Python-Module (alias Bibliotheken) in R zu importieren und dort zu benutzen. Auf diese Weise konnten wir die ursprünglichen Funktionen aus der tensorflow_probability Python-Bibliothek in R verwenden.<br /> Zum Beispiel konnten wir so mit den Edward2-Funktionalitäten von TensorFlow Probability arbeiten.</p><blockquote><p>Edward is a Python library for probabilistic modeling, inference, and criticism. It is a testbed for fast experimentation and research with probabilistic models, ranging from classical hierarchical models on small data sets to complex deep probabilistic models on large data sets. Edward fuses three fields: Bayesian statistics and machine learning, deep learning, and probabilistic programming. […] Edward is built on TensorFlow. It enables features such as computational graphs, distributed training, CPU/GPU integration, automatic differentiation, and visualization with TensorBoard. http://edwardlib.org/</p></blockquote><h2>Dankesworte am Schluss</h2><p>Ein großes Dankeschön geht an mein tolles greta-Team und an rOpenSci – insbesondere an Stefanie Butland – für die Organisation eines so wunderbaren Events!<br /> Ebenfalls geht ein großes Danke an alle Sponsoren, die es mir ermöglicht haben, in den pazifischen Nordwesten zu fliegen und an der Unkonferenz teilzunehmen!</p><blockquote><p>A sincere thank you to all participants in <a href="https://twitter.com/hashtag/runconf18?src=hash&ref_src=twsrc%5Etfw">#runconf18</a> </p><p>This thread?includes links to all project repos: <a href="https://t.co/2PhAz4zSuK">https://t.co/2PhAz4zSuK</a> <a href="https://twitter.com/hashtag/rstats?src=hash&ref_src=twsrc%5Etfw">#rstats</a>  <a href="https://t.co/8SICcWkQ0v">pic.twitter.com/8SICcWkQ0v</a> </p><p>— rOpenSci (@rOpenSci) <a href="https://twitter.com/rOpenSci/status/1000024996876468224?ref_src=twsrc%5Etfw">May 25, 2018</a> </p></blockquote><p></p><p>—</p><p>Dieser Artikel ist im Original auf meinem <a href="https://shirinsplayground.netlify.com/2018/05/ropensci_unconf18/" target="_blank">privaten Blog</a>  erschienen.</p>

rOpenSci Unkonferenz 2018 und eine Einführung in TensorFlow Probability & das „greta“-Paket

<p>Computer haben angefangen mit uns zu reden! Dahinter stecken sogenannte Text-to-Speech-(TTS-)Systeme. Durch neuronale Netze, Deep Learning und viele Trainingsdaten sind die in den letzten Jahren immer besser und besser geworden. In manchen Fällen kann man sogar kaum noch zwischen Mensch und Maschine unterscheiden.</p><p>In einem unserer neuesten <a href="https://blog.codecentric.de/2018/04/kuenstliche-intelligenz-codecentric_ai/">codecentric.AI</a>  <a href="https://www.youtube.com/c/codecentricAI" target="_blank">Videos</a>  haben wir euch einen <a href="https://youtu.be/2EEMSsVBE8w" target="_blank">Vergleich von Text-to-Speech-Systemen</a>  gezeigt: Wir haben einen kleinen Wettbewerb zwischen Polly, Alexa, Siri und Co mit verschiedenen Zungenbrechern veranstaltet und geguckt, was diese Systeme so alles können. Um uns anzuhören, wie die verschiedenen Systeme klingen, haben wir deutsche und englische Stimmen verglichen und auch selber ein paar Zungenbrecher aufgesagt.</p><div><div><div> <img src="https://media.graphassets.com/1si3XtMbRf6eDCXwcL1o" alt="YouTube" /><div><p>Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.<br /><a href="https://policies.google.com/privacy" target="_blank">Mehr erfahren</a> <br /></p><p><a href="#">Video laden</a> </p><p> <small>YouTube immer entsperren</small></p></div></div></div><div></div></div><p>Übrigens: Wer diesen Artikel lieber hören statt lesen möchte, findet hier die <a href="https://soundcloud.com/shirin-glander-729692416/tongue-twister-blogpost/s-GoXFt" target="_blank">Audioversion – natürlich powered by TTS AI (Amazon Polly)</a> !</p><div><h2>Text-to-Speech-Systeme</h2><p>Text-to-Speech (TTS) bezeichnet Systeme oder Applikationen, die geschriebenen Text als Input nehmen und in gesprochene Audioversionen umwandeln; sie lesen uns also digitalen Text laut vor. Der computergenerierte akustische Output soll dabei möglichst menschlich und “echt” klingen. Mithilfe von neuronalen Netzen und Deep Learning sind TTS Systeme dabei in den vergangenen Jahren deutlich besser geworden. Heute gibt es Modelle, die schon sehr natürlich klingen und teilweise kaum noch von einem Menschen zu unterscheiden sind.</p><p>TTS-Systeme finden in vielen Programmen Anwendung; die bekanntesten sind sicherlich persönliche Assistenten wie Siri, Alexa, Cortana und Google. Aber auch in “kleineren” Programmen findet sich TTS-Technologie! So hilft TTS zum Beispiel Sehbehinderten dabei, mit Computern, Tablets, Smartphones oder anderen digitalen Geräten arbeiten zu können. TTS kann auch mit anderen Techniken aus der Spracherkennung kombiniert werden, wie zum Beispiel Optical Character Recognition (OCR), um Text auf Bildern zu lesen oder Voice Recognition, um gesprochenen Input zu verstehen und darauf zu antworten. Wir können uns Nachrichten, Bücher oder Artikel vorlesen lassen, während wir z.B. Auto fahren oder Programme über Sprachanweisungen steuern ohne die Hände nutzen zu müssen.</p></div><div><h2>Wie funktioniert TTS?</h2><p>Herausforderungen für gute TTS-Systeme sind die Komplexität der menschlichen Sprache: je nachdem wie wir einen Satz betonen, kann er unterschiedliche Bedeutungen haben. AI-basierte TTS Systeme berücksichtigen Phoneme und Satzmelodie. Es gibt mehrere Ansätze für die künstliche Erzeugung von Sprache.</p><p>Eine der wichtigsten ist die Unit-Selection-Synthese. Hierbei wird der Text zunächst normalisiert und in kleine Einheiten aufgeteilt; das können Sätze, Wörter, Silben, Phoneme etc. sein. Die Strukturen (z. B. die Aussprache) dieser Einheiten werden im Kontext gelernt. Dieser Teil fällt unter das sogenannte Natural Language Processing (NLP). Außerdem wird eine Sprachdatenbank generiert, die basierend auf dem segmentierten Text durchsucht wird, um passende Sprachbausteine zu finden (Unit Selection). Diese Suche passiert heutzutage in der Regel mit Entscheidungsbäumen, Neuronalen Netzen oder Hidden-Markov-Modellen. Die Sprachdatenbank selber kann aus menschengesprochenen Audiostücken bestehen oder die entsprechenden Phoneme werden von einem Computer generiert. Letzteres nennen wir Formantensynthese. Sie bietet deutlich mehr Möglichkeiten, denn der Sprachschatz ist nicht limiert; auch jedes unbekannte Wort kann vom Computer generiert werden und die Stimmen können flexibel ausgetauscht werden. Bis vor Kurzem klang aus menschengesprochenen Bausteinen synthetisierte Sprache noch deutlich besser als aus der Formantensynthese. Aber das ändert sich gerade deutlich und es gibt schon viele “künstliche” TTS-Systeme, die sehr menschlich klingen.</p></div><div><h2>Welche TTS-Systeme gibt es?</h2><p>Alexa hat sich weltweit millionenfach verkauft. Dein Google Navi erzählt dir, wo du abbiegen musst. Siri erinnert dich an deine Termine. Cortana gibt dir Windows-Tipps. Watson beantwortet Support-Anfragen usw. Aber es gibt auch eine Reihe von webbasierten Programmen oder Handy-Apps, die einen eingegebenen Text vorlesen.</p><p>In vielen digitalen Geräten gibt es schon eingebaute TTS-Systeme, z. B. in Computern, Smartphones, usw.</p><ul><li>Microsoft/Windows: besitzt das eingebaute TTS-System <a href="https://support.microsoft.com/de-de/help/22798/windows-10-narrator-get-started" target="_blank"><strong>Narrator</strong></a>  und die <a href="https://www.microsoft.com/en-us/download/details.aspx?id=10121" target="_blank"><strong>Microsoft Speech API</strong></a> </li><li>Mac: hat <a href="https://www.apple.com/de/accessibility/mac/vision/" target="_blank"><strong>VoiceOver</strong></a>  (oder auf älteren Rechnern <strong>PlainTalk</strong>)</li><li>Linux: verschiedene TTS Programme können installiert werden, z.B. <a href="https://sourceforge.net/projects/espeak/files/espeak/"><strong>eSpeak</strong></a> </li></ul><p>Viele TTS-Systeme gibt es als Software zum Herunterladen und Installieren und/oder webbasiert im Browser bzw. als API. Die großen Cloud-Anbieter wie Amazon, Google, IBM und Microsoft bieten TTS-Systeme “as a Service” an, so dass man mit wenig Aufwand Sprachausgabe in seine eigenen Programme integrieren kann. Aber es existieren auch einige Open-Source-Projekte für TTS (allerdings sind die meistens nur für Windows verfügbar). Hier eine unvollständige Liste von Systemen:</p><ul><li><a href="https://www.ibm.com/watson/services/text-to-speech/" target="_blank">IBM Watson</a> </li><li><a href="https://cloud.google.com/text-to-speech/" target="_blank">Google Cloud</a> </li><li><a href="https://azure.microsoft.com/de-de/services/cognitive-services/speech/" target="_blank">Microsoft Azure</a> </li><li><a href="https://developer.amazon.com/de/alexa" target="_blank">Amazon Alexa</a> </li><li><a href="https://9to5mac.com/2017/03/10/how-to-get-siri-to-read-articles-to-you-on-ios-macos/" target="_blank">Siri on iPhone</a> </li><li><a href="https://aws.amazon.com/de/polly/" target="_blank">Polly on Amazon AWS</a> </li><li><a href="https://support.microsoft.com/de-de/help/17214/windows-10-what-is" target="_blank">Microsoft Cortana</a> </li><li><a href="https://freetts.sourceforge.io/docs/" target="_blank">FreeTTS</a> </li><li><a href="https://www.ispeech.org/text.to.speech" target="_blank">iSpeech</a> </li><li><a href="https://www.naturalreaders.com/online/" target="_blank">Natural Readers</a> </li><li><a href="http://www.cross-plus-a.com/balabolka.htm" target="_blank">Balabolka</a> </li><li><a href="https://www.panopreter.com/en/products/pb/download.php" target="_blank">Panopreter</a> </li><li><a href="https://www.text2speech.org/" target="_blank">text2speech.org</a> </li><li><a href="http://text-to-speech-translator.paralink.com/" target="_blank">text-to-speech-translator.paralink.com/</a> </li></ul></div><h2>Text-to-Speech von der Kommandozeile aus</h2><p>Mit <a href="http://espeak.sourceforge.net/" target="_blank">espeak</a>  können wir auch direkt von der Kommandozeile aus TTS generieren:</p>

```hljs
espeak -v german -w 'tongue_twister_intro2.wav' 'Computer haben angefangen mit uns zu reden! Dahinter stecken sogenannte Text-to-Speech (TTS) Systeme. Durch neuronale Netze, Deep Learning und viele Trainingsdaten sind die in den letzten Jahren immer besser und besser geworden. In manchen Fällen kann man sogar kaum noch zwischen Mensch und Maschine unterscheiden.'
```

<p>Das Ergebnis hört ihr <a href="https://soundcloud.com/shirin-glander-729692416/tongue-twister-intro-2/s-a0xer" target="_blank">hier</a> .</p><h2>Text-to-Speech in Python</h2><p>Auch mit <a href="https://www.geeksforgeeks.org/convert-text-speech-python/">Python</a>  kann man schnell und einfach TTS erzeugen, z. B. mit dem <strong>gTTS</strong>-Paket, das die Google Text-to-Speech (TTS) API nutzt:</p>

```hljs
# Python3
pip install gTTS
```



```hljs
# Python3
from gtts import gTTS
import os
 
# Text
mytext = 'Computer haben angefangen, mit uns zu reden! Dahinter stecken sogenannte Text-to-Speech-(TTS-)Systeme. Durch neuronale Netze, Deep Learning und viele Trainingsdaten sind die in den letzten Jahren immer besser und besser geworden. In manchen Fällen kann man sogar kaum noch zwischen Mensch und Maschine unterscheiden.'
 
# Sprache (ISO Code)
language = 'de'
 
# Erzeugen der Sprachausgabe
myobj = gTTS(text=mytext, lang=language, slow=False)
 
# Speichern als mp3
myobj.save("tongue_twister_intro.mp3")
```

<p>Das Ergebnis hört ihr <a href="https://soundcloud.com/shirin-glander-729692416/tongue-twister-intro/s-wm9um">hier</a> .</p><div><h2>Wer spricht am besten?</h2><p>Mit der Vielzahl an (frei verfügbaren) TTS Systemen ist es inzwischen sehr leicht, TTS in eigene Programme oder Apps einzubauen. Ein paar Beispiele habt ihr hier kennengelernt. In unserem <a href="https://youtu.be/2EEMSsVBE8w">Video</a>  und in der <a href="https://soundcloud.com/shirin-glander-729692416/tongue-twister-blogpost/s-GoXFt" target="_blank">Audioversion</a>  von diesem Blogpost konntet ihr verschiedene TTS-Systeme im Vergleich hören. Im Moment klingen die englischen Stimmen meist noch deutlich besser als die deutschen. Die deutschen Stimmen klingen bei den meisten Anbietern noch ziemlich blechern. Auch ist es noch problematisch, wenn z. B. englische Ausdrücke in einem deutschen Text vorkommen, wie in der vorgelesenen Versionen dieses Artikels deutlich zu hören ist; da wir uns nur für eine Sprache entscheiden können, wird in der deutschen Variante auch englischer Text von den TTS-Systemen sehr “deutsch” ausgesprochen. Aber wie wir im <a href="https://youtu.be/2EEMSsVBE8w" target="_blank">Video</a>  gehört haben, gibt es bereits ein paar Modelle, die deutlich besser klingen als andere. Es ist nur noch eine Frage der Zeit, bis diese für alle Services einsatzbereit sind.</p></div>

Vergleich von Text-to-Speech-Systemen

<p>Im April 2018 haben wir bei codecentric eine AI (Artificial Intelligence bzw. KI = künstliche Intelligenz) Initiative gestartet. Unter dem Projektnamen „<a href="http://codecentric.ai">codecentric.AI</a> “ werden wir versuchen zu zeigen, was heute mit künstlicher Intelligenz möglich ist (und was nicht). Man hört und liest überall von neuronalen Netzen, NLP, Computer Vision, CNNs, RNNs, LSTMs, AI, KI, Deep Learning und vielen weiteren Buzzwords.<br /> Wir werden die aktuellsten Technologien ausprobieren und darüber berichten, Tutorials veröffentlichen, interessante Paper vorstellen und in Demos zeigen, welche neuen Möglichkeiten sich durch Deep Learning & Co. KG ergeben.</p><p><img width="800" height="392" src="https://media.graphassets.com/OvtVGy9ARwu6QbUB1Rnt" alt="Banner künstliche Intelligenz" /></p><p>Um diese Themen richtig darstellen zu können, haben wir einen speziellen <a href="https://www.youtube.com/channel/UC_r-M-0JQZUnOG2gJSL9pfg" target="_blank">YouTube-Kanal</a>  eingerichtet. Dort werden wir nur Videos zum Thema „AI“ einstellen. Hier siehst du ein erstes Beispiel zum Thema Object Detection. Wir fliegen mit einer Drohne durch unser Headquarters in Solingen und lassen Detectron (ein neuronales Netz von Facebook) Objekte detektieren:</p><div><div><div><div> <img src="https://media.graphassets.com/8LnnvnWTQir5XNkscjGQ" alt="YouTube" /><div><p>Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.<br /><a href="https://policies.google.com/privacy" target="_blank">Mehr erfahren</a> <br /></p><p><a href="#">Video laden</a> </p><p> <small>YouTube immer entsperren</small></p></div></div></div><div></div></div></div><p>Wenn dir das Video gefallen hat und/oder wenn dich das Themengebiet interessiert, kannst du unseren <a href="https://www.youtube.com/channel/UC_r-M-0JQZUnOG2gJSL9pfg" target="_blank">Kanal</a>  abonnieren, um kein weiteres Video zu verpassen. Gerne kannst du auch in einem Kommentar schreiben, welche Themen dich besonders interessieren würden.</p><h2>Aber gibt es nicht schon genug AI Buzzwords?</h2><p>Bei codecentric arbeiten erfahrene Data Scientists und wir setzen Machine Learning und neuronale Netze bereits in diversen Projekten ein. Dennoch sind wir der Meinung, dass in Deutschland noch zu wenig Know-How in diesen Bereichen vorhanden ist.</p><p>Große Firmen wie Amazon, Google und Facebook investieren unvorstellbare Summen in AI/KI und haben bereits einen scheinbar uneinholbaren Vorsprung erarbeitet. Einige Forscher sind der Meinung, dass der Impact von künstlicher Intelligenz in naher Zukunft größer sein wird als der des Internets. Wir sind zwar (mindestens) noch Jahrzehnte von einer AI entfernt, die annähernd so viele Fähigkeiten wie ein Mensch kombinieren kann – dafür müsste allein schon die existierende Hardware noch um Größenordnungen schneller und besser werden. Aber die existierende KI-Technologie wird weitere Branchen auf den Kopf stellen, die bisher noch als „nicht automatisierbar“ gelten – da ist nicht mehr die Frage, ob es passieren wird sondern nur noch wann.</p><p>Es gibt viele Leute, die sich vor Jahren schon einmal mit neuronalen Netzen beschäftigt haben. „Damals“ schien es so, als sei die Technik noch nicht bereit, um damit sinnvolle Produkte bauen zu können. Viele sehen daher das Thema etwas voreingenommen und betrachten die aktuelle Entwicklung nur als Buzzword-Bingo. Auch mir ging es im Bereich NLP so. Ich habe lange gebraucht, um meine Vorurteile zu überwinden und zu bemerken, dass mein „Google-Navi“ inzwischen sehr gut versteht, wo ich hinfahren möchte und es absolut nicht mehr notwendig ist, die Zieladresse fummelig auf dem Handy einzutippen.</p><p>In den letzten Jahren ist sehr viel passiert. Gerade im Bereich Computer Vision wurden riesige Fortschritte gemacht. In der Forschung kommen so viele Papers heraus, die den State-of-the-Art immer weiter nach vorne treiben, dass man diese gar nicht mehr alle lesen kann. In der Computer Vision wurden Good Practices erarbeitet, die es ermöglichen mit weniger Daten viel bessere Ergebnisse zu erzielen (z.B. pretrained networks, transfer learning, fine tuning etc.). Diese Good Practices haben zu einer enormen Verbesserung geführt und auch dazu, dass „jedermann“ mit breit verfügbaren Daten in das Gebiet einsteigen kann. In anderen Disziplinen (z.B. NLP) werden viele Good Practices aber noch gar nicht oder kaum umgesetzt – das heisst, dass auch dort weiterhin mit grossen Fortschritten zu rechnen ist.</p><p>Ich bin der Meinung, dass es sich lohnt, das Thema noch einmal unvoreingenommen zu betrachten. Ausserdem denke ich, dass sich deutsche und europäische Konzerne viel mehr mit den Themen beschäftigen sollten und Experten-Teams und Know-How aufbauen müssen, um nicht den Anschluss zu verlieren.</p><p>Wenn ihr also auf dem Laufenden bleiben wollt, was in der Welt der Künstlichen Intelligenz so möglich ist und euch vielleicht auch selber mal an der ein oder anderen neuen Technik versuchen wollt, dann abonniert unseren <a href="https://www.youtube.com/channel/UC_r-M-0JQZUnOG2gJSL9pfg" target="_blank">codecentric.AI YouTube-Kanal</a> !</p>

Künstliche Intelligenz Initiative: „codecentric.AI“

<p><strong>Big Data – ein Schlagwort, das zur Zeit in aller Munde ist, egal ob in nerdigen Blogs, wissenschaftlichen Artikeln oder der Tageszeitung. Doch wie funktionieren Analysen von Big Data eigentlich? Um das heraus zu finden, habe ich an dem <a href="https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/">Workshop über „Deep Learning mit Keras und TensorFlow“</a>  teilgenommen.</strong></p><p>An einem stürmischen Donnerstagmittag erwarten uns in der modernen lichtdurchfluteten Eingangshalle der codecentric AG der Performance-Experte Dieter Dirkes und die Data Scientistin Dr. Shirin Glander. Shirin hat uns zwei Tage lang sehr anschaulich in die Geheimnisse von Deep Learning eingeführt und uns dabei geholfen, unser erstes eigenes Neuronales Netz zu programmieren. Nach einer kurzen Vorstellungsrunde der Teilnehmenden wurde deutlich, dass Deep Learning in sehr vielen verschiedenen Bereichen von Interesse ist: Die Geologen möchten (Luft-)Bilder klassifizieren, die Energiewirtschaft Zeitreihen analysieren, die Versicherungsbranche Zahlen vorhersagen und ich als Geisteswissenschaftlerin möchte Text klassifizieren. Auch für codecentric selbst bestand ein großes Interesse daran, mit den Möglichkeiten des Deep Learnings vertraut zu werden, sodass ein Drittel der Workshop-Teilnehmer eigene Mitarbeiter waren.</p><p>Der zweite Tag begann mit einem leckeren Latte Macchiato und einem netten „Guten Morgen“ in der großzügigen Kaffeeküche von codecentric. Der freundlich gestaltete Raum mit echtem Moos an der einzigen nicht verglasten Wand strahlt eine kreative Atmosphäre aus, die den Start in den Tag erleichterte. Shirin hatte für diesen Tag ein Neuronales Netz in R programmiert, an dem wir das Gelernte anwenden und ausprobieren konnten. Wir verbrachten viel Zeit damit, die verschiedenen Parameter zu verändern und die Auswirkungen auf die Performance des Neuronalen Netzes zu beobachten. Bei der praktischen Arbeit kamen immer wieder Fragen auf, die Shirin gerne beantwortete. Auch die eigenen Projekte der Teilnehmer wurden angesprochen und mit Shirins Hilfe weiter durchdacht.</p><h2>Deep Learning mit künstlichen Neuronalen Netzen</h2><p>Hochkomplexe Datenanalysen werden heute mit Hilfe von Deep Learning mit künstlichen Neuronalen Netzen durchgeführt. Deep Learning ist ein Teilbereich des Machine Learning, das wiederum zur Künstlichen Intelligenz gehört. Vorbild ist das menschliche Gehirn, das wunderbar dazu geeignet ist, Dinge zu lernen und das Gelernte auf Neues zu übertragen. Forscher versuchen dies mit künstlichen Neuronalen Netzen nachzuahmen, die anhand von Trainingsdaten etwas lernen, das sie dann auf neue Daten anwenden.</p><p><a href="https://media.graphassets.com/hTy5cLBBQtGIuQoG6SH6"><img src="https://media.graphassets.com/hTy5cLBBQtGIuQoG6SH6" alt="Gehirn vs Artificial Neural Network" width="700" height="202" /></a> </p><p>Bereits 1958 stellte Frank Rosenblatt [1] sein Konzept eines künstlichen Neuronalen Netzes vor, das sogenannte <em>Perzeptron</em>. Das Perzeptron verarbeitet numerischen Input anhand von gewichteten Verknüpfungen in einem künstlichen Neuron; zusammen mit einer Aktivierungsfunktion kommt es dann zu einem eindeutigen Ergebnis.</p><p>Mit steigender Rechenkraft von Computern und zunehmenden Datenmengen, wurden im Laufe der Jahre mehrschichtige Perzeptrone und tiefere Neuronale Netz-Strukturen entwickelt. Parallel dazu entstanden auch immer mehr Deep Learning Frameworks, Bibliotheken und Programmierschnittstellen in den verschiedenen Programmiersprachen, sodass es heute ein ein vielfältiges Angebot an benutzerfreundlichen und freiverfügbaren Materialien gibt. Die Hürde in dieses komplexe Thema einzusteigen ist also so niedrig wie nie zuvor, da kaum noch mathematisches Wissen vorausgesetzt wird, um Neuronale Netze bauen zu können.</p><h2>TensorFlow und Keras</h2><p>TensorFlow und Keras sind solche Deep Learning Programmierschnittstellen, kurz APIs. TensorFlow wurde von Google Brain in Python und C++ entwickelt und ist mittlerweile eine viel verwendete Open-Source Bibliothek für Machine Learning. Keras setzt darauf auf und ist auf Neuronale Netze spezialisiert. Es ist ebenfalls Open-Source und in Python programmiert. Neben TensorFlow gibt es noch einige weitere Bibliotheken, die als Backend für Keras genutzt werden können, so z. B. Theano und CNTK. TensorFlow basiert auf dem Konzept der <em>data flow graphs</em>, sodass jedes Neuronale Netz in Form von mathematischen Operationen als Knoten und multidimensionalen Datenspeichern, sogenannten <em>Tensors</em>, als Kanten visualisiert werden kann. In TensorFlow integriert findet sich das darauf spezialisierte Werkzeug: TensorBoard. TensorBoard ist eine Sammlung von Visualisierungswerkzeugen, die das Prozessverständnis, die Fehlersuche und die Optimierung in einem Neuronalen Netz durch die visuelle Aufbereitung vereinfachen.</p><p><a href="https://media.graphassets.com/ABkG5HwQFmFwnuUFOmiG"><img loading="lazy" src="https://media.graphassets.com/ABkG5HwQFmFwnuUFOmiG" alt="TensorBoard Beispiel" width="700" height="359" /></a> </p><h2>Klassifizierung von Bildern mit Neuronalen Netzen</h2><p>Die bisherige Forschung im Bereich der Neuronalen Netze beschäftigte sich vor allem mit der Klassifikation von Bildern. Der wohl bekannteste Datensatz dafür ist MNIST [2], der handgeschriebene Ziffern in Bildern mit 28 x 28 Pixeln und ihre zugehörigen Label enthält. Er eignet sich ideal als Einstieg in die Bildklassifikation mit Neuronalen Netzen. Die Klassifikation mit Neuronalen Netzen gehört in die Kategorie des überwachten Lernens (engl.: <em>supervised learning</em>), da das Neuronale Netz anhand von Beispielen trainiert wird. Die handgeschriebenen Ziffern des MNIST-Datensatzes können dazu verwendet werden, eine Klassifikation zu lernen, das heißt, welche Anordnung von schwarzen Pixeln welcher Ziffer entspricht.</p><p><a href="https://media.graphassets.com/TeBL5sN6TZCBCNbJnNML"><img loading="lazy" src="https://media.graphassets.com/TeBL5sN6TZCBCNbJnNML" alt="MNIST Dataset" width="530" height="297" /></a> </p><p>Zu Anfang bekommt das Netz viele verschiedene Inputdaten aus dem Trainingsdatensatz, die es mit zufällig gewählten Anfangsgewichten an eine nachfolgende Neuronenschicht übergibt. Für jedes Neuron einer Neuronenschicht wird anhand der eingehenden Daten und Gewichte ein Output berechnet, der wiederum an weitere Neuronenschichten gesendet wird. In der Ausgabeschicht wird durch eine Softmaxfunktion die Wahrscheinlichkeit angegeben, mit der ein Input in eine Klasse gehört. Die Vorhersage des Neuronalen Netzes ist die Klasse mit der höchsten Wahrscheinlichkeit. Da die korrekte Lösung für jeden Input in den Trainingsdaten bekannt ist, kann nun die Differenz zwischen der Vorhersage des Neuronalen Netzes und dem korrekten Label dieses Inputs berechnet werden. Diese Differenz ist die sogenannte Cross-Entropy. Wenn eine Cross-Entropy von 0 berechnet werden würde, hätte das Neuronale Netz mit 100%-iger Sicherheit die richtige Vorhersage getroffen. Am Ende eines Trainingszyklus wird eine Fehlerrate (engl.: <em>loss</em>) errechnet, die die gesamte Cross-Entropy eines Trainingssets ist.</p><p>Ziel des Trainings ist es, die Lossfunktion zu minimieren. Um dies zu erreichen, müssen die Gewichte zu den Neuronen angepasst (optimiert) werden, z. B. durch ein Backpropagation-Verfahren mit Stochastic Gradient Descent-Optimierung. Die Richtung der Anpassung wird über einen Gradienten gesucht, zu dessen Minimum „hinabgestiegen“ werden soll. Die Schritte des Abstiegs werden durch die sogenannte <em>Lernrate</em> beschrieben. Sie kann mit großen Schritten beginnen, um lokale Minima zu überschreiten, sollte jedoch im Laufe des Trainings verringert werden, damit das globale Minimum erreicht werden kann. Bei einer Lossfunktion von 0 wäre das globale Minimum erreicht und das Neuronale Netz hätte perfekt gelernt.</p><p>Wie gut das Neuronale Netz wirklich funktioniert, oder ob es nur den Trainingsdatensatz gelernt hat, wird deutlich, wenn es auf einen vorher unbekannten Testdatensatz angewendet wird. Wie bereits an dieser Stelle deutlich wird, gibt es viele verschiedene Parameter, an denen gedreht werden kann, um die optimale Einstellung für die Klassifikation mit einem Neuronalen Netz zu finden. Was die beste Einstellung ist, lässt sich über Ausprobieren verschiedenster Kombinationen herausfinden.</p><p>An dieser Stelle möchte ich mich bei Shirin bedanken, es war ein toller Workshop! Du hast uns das komplexe Thema Deep Learning und Neuronale Netze ein großes Stück näher gebracht.</p><p>Maria Hartmann</p><p>—</p><p>Workshop-Beschreibung: <a href="https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/">https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/</a> </p><p>[1] Rosenblatt, Frank (1985). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Web: <a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.335.-3398&rep=rep1&type=pdf">http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.335.-3398&rep=rep1&type=pdf</a> </p><p>[2] LeCun, Yann. The MNIST Database of Handwritten Digits. Web: http://yann.lecun.com/-exdb/mnist/</p><p>—</p><p><em>Gastautorin Maria Hartmann studiert Digital Humanities<span> an der Universität Trier. Über ihre </span><span>Liebe zur Sprachwissenschaft ist sie zur Klassifikation von semistrukturierten Texten mit Neuronalen Netzen gekommen, worüber sie jetzt ihre Masterarbeit schreibt. TensorFlow und Keras erleichtern ihr den Einstieg in das komplexe Thema. </span></em></p><p><a href="https://media.graphassets.com/lZmqvzmQYu37S5rR88V8"><img loading="lazy" width="250" height="125" src="https://media.graphassets.com/lZmqvzmQYu37S5rR88V8" alt="maria_hartmann" /></a> </p><p> </p>

Deep Learning Workshop bei der codecentric AG in Solingen

<div><p>In unserem neuesten <a href="https://www.youtube.com/codecentricAI" target="_blank">codecentric.AI-Video</a>  geben wir eine kurze <a href="https://youtu.be/Quhy_yAz5OM" target="_blank">Einführung in Amazon SageMaker</a>  und zeigen, wie man damit schnell und einfach ein Bildklassifikationsmodell trainieren kann, das Brillenträger von Nicht-Brillenträgern unterscheidet.</p><div><div><div> <img src="https://media.graphassets.com/3vetaHzSeOHE1fJOevJw" alt="YouTube" /><div><p>Mit dem Laden des Videos akzeptieren Sie die Datenschutzerklärung von YouTube.<br /><a href="https://policies.google.com/privacy" target="_blank">Mehr erfahren</a> <br /></p><p><a href="#">Video laden</a> </p><p> <small>YouTube immer entsperren</small></p></div></div></div><div></div></div><div><h2>Was ist Amazon SageMaker</h2><p><a href="https://aws.amazon.com/de/sagemaker/">Amazon SageMaker</a>  ist Teil der Amazon Web Services (<a href="https://www.codecentric.de/partner/aws">AWS</a> ) und</p><blockquote><p>“ist eine vollständig verwaltete Plattform, die es Entwicklern und Datenwissenschaftlern ermöglicht, schnell und einfach Machine-Learning-Modelle jeder Größenordnung zu erstellen, zu trainieren und zu implementieren.” <a href="https://aws.amazon.com/de/sagemaker/" target="_blank">https://aws.amazon.com/de/sagemaker/</a> </p></blockquote><p>SageMaker ist ein vollständig verwalteter Service, der den gesamten Machine-Learning-Prozess – vom Erstellen, über das Trainieren, bis hin zum Deployment von Machine-Learning-Modellen – so einfach wie möglich machen soll. Verfügbar ist SageMaker in Irland und in den USA.</p><p><img loading="lazy" width="720" height="405" src="https://media.graphassets.com/OzpOKq3sQu4ibr2JLQwc" alt="SageMaker Machine Learning Prozess" /></p><p>Dabei werden viele der “alten Bekannten” aus der <a href="https://www.codecentric.de/partner/aws">AWS</a> -Umgebung in den Ablauf integriert verwendet: Trainingsdaten, Modellartefakte und Modellparameter werden in <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/gs-config-permissions.html" target="_blank">S3-Buckets</a>  gespeichert, wir können <a href="https://docs.aws.amazon.com/sagemaker/latest/dg/gs-account.html#gs-account-user" target="_blank">IAM-User mit SageMaker-Berechtigung</a>  erstellen, und die <a href="https://docs.aws.amazon.com/cli/latest/reference/sagemaker/create-notebook-instance.html" target="_blank">Modelle laufen auf EC2-Instanzen</a> . Die Vorbereitung der Daten sowie das Trainieren selbst erfolgen in <a href="https://jupyter-notebook.readthedocs.io/en/stable/" target="_blank">Juypter Notebooks</a> , die in einer Notebook-Instanz laufen. Hierfür können grundsätzlich zwei Methoden verwendet werden: <em>boto3</em>, die <a href="https://aws.amazon.com/de/sdk-for-python/" target="_blank">AWS SDK für Python</a>  oder eine <a href="https://github.com/aws/sagemaker-python-sdk" target="_blank">high-level Pythonbibliothek</a> . Jupyter Notebooks hießen früher iPython Notebooks und wurden als Open-Source-Alternative zu Wolfram Notebooks entwickelt; die Notebooks laufen im Web Browser und kombinieren Code (in der Regel Python aber auch Kernel für R, Julia, oder andere Sprachen können eingerichtet werden) mit Markdown-Elementen und zeigen den Output direkt unterhalb der Code-Chunks an. Für die gestartete SageMaker-Instanz öffnet sich ein Dashboard, das alle Dateien in unserer Instanz anzeigt und von dem aus wir auch neue Notebooks erstellen können. Es gibt eine Reihe von “fertigen” Kernels, die viele der gängigen Datenverarbeitungs- und Analysepakete schon vorinstalliert haben (zum Beispiel conda für Python3 oder Python2, für TensorFlow oder MXNet). Deployen können wir ein fertiges Modell dann mit den <a href="https://docs.aws.amazon.com/de_de/sagemaker/latest/dg/how-it-works-hosting.html" target="_blank">Amazon SageMaker Hosting Services</a> .</p><p>Für das Trainieren von Modellen kann aus verschiedenen Algorithmen gewählt werden. Eine Übersicht gibt es <a href="https://docs.aws.amazon.com/de_de/sagemaker/latest/dg/algos.html" target="_blank">hier</a> . SageMaker hat gängige Machine-Learning-Algorithmen reimplementiert um Parallelisierung zu ermöglichen bzw. zu vereinfachen. So kann effektiv und schnell auch mit größeren Datenmengen gearbeitet werden. Wer speziellere Anwendungsfälle hat, kann auch eigene Algorithmen nutzen; die können dann als Docker Image zur Verfügung gestellt werden. Auch ermöglicht SageMaker sehr gute Skalierbarkeit, da die Trainings- und Hostinginstanzen jederzeit angepasst werden können, um mit größeren Datenmengen umgehen zu können. Auch können mehrere Modelle gleichzeitig deployed werden und somit produktiv laufen.</p></div><div><h2>Was brauche ich, um dem Video-Tutorial folgen zu können?</h2><p>Da SageMaker in die <a href="https://www.codecentric.de/partner/aws">AWS</a> -Welt eingebettet ist, benötigt man zunächst einen AWS Account. Das Registrieren bei <a href="https://www.codecentric.de/partner/aws">AWS</a>  ist an sich kostenlos, man braucht nur eine E-mail-Adresse, Passwort und Kreditkarteninformationen, um genutzte Services abrechnen zu können. Die ersten zwei Monate kann SageMaker kostenlos getestet werden. Aber Achtung: Das Aktivieren des Kontos kann bis zu 24 Stunden dauern!</p><p>Empfohlen wird, alle Analysen und Co. nicht mit dem Root User zu machen, sondern für jedes Projekt dedizierte IAM-User anzulegen und diesen die entsprechenden Rechte zu geben. Der Grund ist schlicht, dass dieses Vorgehen größere Sicherheit und Kontrolle gibt. Für SageMaker benötigt der IAM-User die sogenannten „AmazonSageMakerFullAcess“-Rechte. Der <a href="https://github.com/codecentric/codecentric.AI/blob/master/simple_deeplearning_aws_sagemaker/glasses-classifier.ipynb" target="_blank">komplette Code</a>  ist hier in Python geschrieben, Grundkenntnisse in Python sind also empfehlenswert. Außerdem ist es hilfreich, wenn man schon mal mit Jupyter gearbeitet hat (aber selbst wenn nicht, erschließt sich Jupyter sehr schnell).</p></div><div><h2>Kosten</h2><p>Die einzelnen Preise sind stark von der Menge der Daten, der genutzten Instanzen und der Trainingszeit abhängig. Auch für das Deployment und Abfragen der deployten Modelle fallen Kosten an. Eine Übersicht ist <a href="https://aws.amazon.com/de/sagemaker/pricing/" target="_blank">hier</a>  zu finden.</p></div><div><h2>Brillen-Klassifikation mit SageMaker</h2><p>In dem Video zeigen wir, wie wir einen Image-Classifier für einen Datensatz mit <a href="https://www.codecentric.de/ueber-uns/team/">codecentric-Mitarbeiterfotos</a>  entwickelt haben. Unser Datensatz enthält 460 Bilder. Wir verwenden ein tiefes neuronales Netz. Mit Transfer Learning wird es so traininert, dass es unsere Bilder in die Klassen „Brille“ und „keine-Brille“ einteilt. Transfer Learning macht es möglich, dass wir selbst mit diesem kleinen Datensatz gute Ergebnisse erzielen können. Für SageMaker gibt es eine Reihe von Beispiel-Notebooks, die zeigen, wie SageMaker verwendet werden kann. Diese Demo orientiert sich an diesen Beispiel-Notebooks (speziell an: <strong>Image-classification-lst-format.ipynb</strong>). Unser fertiges SageMaker Notebook ist <a href="https://github.com/codecentric/codecentric.AI/blob/master/simple_deeplearning_aws_sagemaker/glasses-classifier.ipynb" target="_blank">hier bei Github zu finden</a> .</p><p><img loading="lazy" width="1582" height="902" src="https://media.graphassets.com/CUcLOqLrTxUKBMyoI4gg" alt="codecentric-Mitarbeiterfotos" /></p><p>In dem Video-Tutorial demonstrieren wir, wie wir zunächst die Bilder vorbereiten und für das Modell zugänglich machen. Dann teilen wir sie in Trainings-, Validierungs- und Testdaten auf. Im nächsten Schritt definieren und konfigurieren wir den TrainingsJob. Der Anfrage an die CreateTrainingJob API müssen wir dafür folgende Informationen mitgeben:</p><ul><li>den Algorithmus (als Pfad zum entsprechenden Container)</li><li>die Hyperparameter</li><li>Input- & Output-Konfiguration (als Pfad zu den entsprechenden S3-Buckets und Ressourcen)</li></ul><p>Die Ergebnisse des Trainings, also das Modell plus Konfiguration, sind in unserem S3-Bucket gespeichert.</p><p>Und schließlich konfigurieren wir den Endpunkt für das fertige Modell und deployen ihn. Denn um Vorhersagen mit einem Modell machen zu können, müssen wir es zuerst deployen; das passiert in drei Schritten:</p><ul><li>Modelle erstellen (Hier geben wir den Pfad zum S3-Bucket an, in dem die Trainingsergebnisse gespeichert wurden.)</li><li>Endpunkt konfigurieren</li><li>Endpunkt erstellen (Wenn der Endpunkt erstellt ist, werden die entsprechenden Machine-Learning-Instanzen hochgefahren, das Modell wird deployed und der Endpoint kann nun angesprochen werden.)</li></ul><p>So können wir per API auf unser Modell zugreifen und die Testbilder evaluieren.</p><p>Wenn wir unsere TrainingsJobs, Instanzen etc. überwachen wollen (was in der Praxis immer eine gute Idee ist), müssen die entsprechenden Logs in der Erstellung der Buckets und Instanzen aktiviert sein. Dann können wir die Ergebnisse der Log-Files im SageMaker Dashboard oder in Amazon CloudWatch anzeigen lassen.</p><p>Am Ende müssen wir noch “aufräumen”; das heißt, alle Ressourcen, die wir nicht mehr benötigen (wie S3-Buckets, Notebook-Instanzen, Modelle und Endpunkte), sollten wir stoppen oder löschen. Ansonsten fallen dafür weitere Kosten an.</p></div><div><h2>Weiterführende Informationen und Source Code:</h2><p>Amazon SageMaker Dokumentation: <a href="https://aws.amazon.com/de/documentation/sagemaker/" target="_blank">https://aws.amazon.com/de/documentation/sagemaker/</a> <br /> Link zum Source Code: <a href="https://github.com/codecentric/codecentric.AI/blob/master/simple_deeplearning_aws_sagemaker/glasses-classifier.ipynb" target="_blank">https://github.com/codecentric/codecentric.AI/blob/master/simple_deeplearning_aws_sagemaker/glasses-classifier.ipynb</a> </p></div></div>

Simple Deep Learning mit Amazon SageMaker

The Good, the Bad and the Ugly: Daten effektiv visualisieren und kommunizieren

<div><h2>Was ist Fraud und was macht es für Data Science interessant?</h2><p>Im Zusammenhang mit Data Science beschreibt das englische Wort „Fraud“ in der Regel Betrug im Online-, Kreditkarten- oder Versicherungsgeschäft. Betrugsversuche bei Geschäftsabschlüssen gibt es seitdem Menschen miteinander Handel treiben. Aber gerade durch die starke Zunahme von Online-Transaktionen hat sich für Betrüger ein neues breites Feld aufgetan. Fraud ist inzwischen zu einem weit verbreiteten Problem im E-Commerce geworden, und Firmen investieren viele Ressourcen, um ihn zu erkennen und zu verhindern.</p><p>Traditionelle Herangehensweisen zur Fraud-Prävention basieren auf durch Experten festgelegten Regeln; erfüllt eine Transaktion eine oder mehrere dieser Regeln, wird sie geflaggt. Ein Nachteil dieses Systems ist, dass es unflexibel ist und nur langsam auf neue Betrugsmaschen reagiert.<br /> Die moderne Alternative ist, die großen Datenmengen, die bei Online-Transaktionen anfallen, zu sammeln und für die Fraud-Erkennung zu nutzen. In solchen Anwendungsfällen sind Data-Science- und Machine-Learning-Techniken, wie Deep Neural Networks, die offensichtliche Lösung!</p><p>Hier zeige ich ein Beispiel dafür, wie Data-Science-Techniken genutzt werden können, um Fraud in Finanztransaktionen zu erkennen. Ich werde dabei einen Einblick in Fraud-Analyse-Methoden geben, der für Laien verständlich sein soll.</p></div><div><h2>Synthetisierte Finanz-Datensätze für Fraud-Erkennung</h2><p>Ein synthetisierter Finanz-Datensatz für Fraud-Erkennung ist bei Kaggle frei verfügbar. Er wurde anhand mehrerer echter Datensätze synthetisiert, um Standarddaten aus finanziellen Transaktionen möglichst realistisch darzustellen; wir bekommen dabei Informationen über 6.362.620 Transaktion in einem 30-tägigen Zeitraum (siehe Kaggle für Details und weitere Informationen).</p><p>Indem wir uns ein paar der wichtigsten Variablen (auch Feature genannt) ansehen, bekommen wir bereits ein Gefühl für die Daten. Die beiden nachstehenden Abbildungen zeigen zum Beispiel, dass es bei betrügerischen Transaktionen tendenziell um größere Summen Geld geht. Wenn wir uns zusätzlich die Art der Transaktion angucken, stellen wir außerdem fest, dass Fraud nur in Transfers und Cash-Out-Transaktionen vorkommt. Diese Information können wir nutzen, wenn wir die Daten für Machine-Learning-Modelle vorbereiten.</p><div><div><a href="https://media.graphassets.com/vtNKg4nZTvveqqZuZyq6"><img src="https://media.graphassets.com/vtNKg4nZTvveqqZuZyq6" alt="Betrügerische Transaktionen involvieren tendenziell größere Summen Geld." width="250" height="188" /></a> <p>Betrügerische Transaktionen involvieren tendenziell größere Summen Geld. Diese Abbildung zeigt die Verteilung der transferierten Geld-Summen (log + 1) in Fraud (Class = 1) und regulären (Class = 0) Transaktionen.</p></div><p></p><div><a href="https://media.graphassets.com/x3AaZj7TN2GF7mHmWTN4"><img loading="lazy" src="https://media.graphassets.com/x3AaZj7TN2GF7mHmWTN4" alt="Fraud kommt nur in Transfers und Cash-Out-Transaktionen vor." width="250" height="208" /></a> <p>Fraud kommt nur in Transfers und Cash-Out-Transaktionen vor. Diese Abbildung zeigt die Verteilung der transferierten Geld-Summen (log + 1) in verschiedenen Transaktionsarten bei Fraud (Class = 1) und regulären (Class = 0) Transaktionen.</p></div><p></p></div></div><div><h2>Dimensionalitätsreduktion</h2><p>Für die Vorbereitung von Machine-Learning-Analysen sind Dimensionalitätsreduktion-Techniken hilfreiche Werkzeuge, um verborgene Muster in hoch-dimensionalen Datensätzen sichtbar zu machen. Darüber hinaus können wir sie nutzen, um die Anzahl an Features für das Machine Learning zu reduzieren ohne dabei essentielle Strukturen in den Daten zu verlieren. Ähnliche Herangehensweisen nutzen Clustering-Algorithmen, wie zum Beispiel k-Means Clustering.</p><p>Die am häufigsten verwendete Technik zur Dimensionalitätsreduktion ist die sogenannte „Principal Component Analyse“ (PCA). PCA erlaubt es uns, lineare Beziehungen zwischen Features in unseren Daten zu erkennen. Die erste Dimension, auch erste Principal Component (PC) genannt, spiegelt die größte Variation in unseren Daten wider, gefolgt von der zweiten PC mit der zweitgrößten Variation und so weiter. Wenn wir die ersten beiden Dimensionen in einem Streudiagramm gegeneinander auftragen, sehen wir Muster in unseren Daten: je unterschiedlicher zwei Proben in unserem Datensatz, desto größer ihr Abstand in der Abbildung. Allerdings ist PCA nicht in der Lage, komplexere Mustere in Daten zu finden. Für nicht-lineare Beziehungen zwischen Features können wir t-Distributed Stochastic Neighbor Embedding (t-SNE) verwenden. Im Gegensatz zu PCA zeigt t-SNE nicht nur die Unterschiedlichkeit von Proben, sondern zieht auch ihre Ähnlichkeit in Betracht, indem ähnliche Proben im Streudiagramm näher beieinander liegen. Dieser Unterschied mag nicht besonders gravierend klingen, aber wenn wir die beiden nachstehenden Abbildungen vergleichen, sehen wir, dass es deutlich einfacher ist, Cluster von Fraud-Fällen mit t-SNE zu finden als mit PCA. Beide Techniken können im Zusammenhang mit Machine Learning verwendet werden.</p><p>In dieser Beispielanalyse nutze ich Dimensionalitätsreduktion und Visualisierung zur Überprüfung der gelabelten Trainingsdaten. Da wir davon ausgehen können, dass nicht alle Fraud-Fälle auch als solche identifiziert wurden (und daher falsche Label zugewiesen bekommen haben), kann es sinnvoll sein, sich Proben, die nicht als Fraud gekennzeichnet wurden, aber in Clustern mit Fraud-Proben liegen, noch einmal genauer anzuschauen.</p><div><div><a href="https://media.graphassets.com/UgaWw3xPTMmvas8na1aM"><img loading="lazy" src="https://media.graphassets.com/UgaWw3xPTMmvas8na1aM" alt="Techniken zur Dimensionalitätsreduktion in Fraud-Analyse." width="250" height="125" /></a> <p>Techniken zur Dimensionalitätsreduktion in Fraud-Analyse. Die Abbildungen zeigen die ersten beiden Dimensionen aus PCA (links) und t-SNE (rechts) für Fraud (Class = 1) und reguläre (Class = 0).</p></div></div></div><div><h2>Welche Machine-Learning-Algorithmen sind für Fraud-Analysen sinnvoll?</h2><p>Machine Learning ist ein weites Feld. Es umfasst eine Vielzahl von Algorithmen und Techniken, die für Klassifikation, Regression, Clustering oder Anomalie-Erkennung eingesetzt werden. Es werden zwei Hauptgruppen von Algorithmen, für „überwachtes“ (supervised) und „unüberwachtes“ Lernen (unsupervised learning), unterschieden.<br />  </p><ul><li><strong>Supervised Learning</strong> wird benutzt, um entweder die Werte einer gesuchten Antwortvariablen vorherzusagen (Regression), oder um Proben einer von mehreren vorgegebenen Klassen zuzuordnen (Klassifikation). Überwachte Algorithmen lernen unbekannte Proben anhand der Daten von Proben mit bekannten Antwortvariablen/Klassen vorherzusagen.</li></ul><p>Bei unserem Fraud-Beispiel handelt es sich streng genommen um ein Klassifikationsproblem: Jede Probe (entspricht jeweils einer Transaktion) hat ein entsprechendes Label, dass sie als Fraud (Class = 1) or regulär (Class = 0) klassifiziert. Es gibt allerdings zwei Hauptprobleme mit Supervised Learning und Fraud-Analyse:</p><ol><li><strong>Daten Labelling</strong>: Fraud ist in vielen Fällen schwer zu erkennen. Manche Betrugsversuche werden offensichtlich sein – diese sind mit Regel-basierten Systemen leicht zu erkennen und müssten nicht mit einem komplexen Modell analysiert werden. Interessant sind die Fälle, in denen subtiler Fraud begangen wird: Da wir nicht wissen, nach welchen Kriterien wir hier schauen müssen, werden diese Fälle mit traditionellen Methoden kaum erkannt. Hier kommt die Stärke von Machine Learning zum Tragen! Da wir Modelle beim Supervised Learning aber auf Grundlage von manuell vergebenen Labeln trainieren, ist es problematisch, wenn diese Label nicht oder nur teilweise stimmen. Wenn ein bestimmter Betrugsmechanismus bisher nicht aufgefallen und in unseren Daten als regulär gelabelt ist, werden überwachte Algorithmen diesen nicht erlernen können.</li><li><strong>Unsymmetrische Daten</strong>: Eine wichtige Eigenschaft von Fraud-Daten ist, dass sie extrem unsymmetrisch sind. Das bedeutet, dass eine Klasse extrem viel häufiger vorkommt als die andere; in unserem Beispiel sind nur weniger als 1% aller Transaktionen Fraud (siehe Abbildung „Synthetisierter Finanz-Datensatz für Fraud-Erkennung“). Die meisten Supervised-Learning-Algorithmen sind empfindlich gegenüber unsymmetrischen Klassen, und <a href="https://shiring.github.io/machine_learning/2017/04/02/unbalanced" target="_blank">spezielle Techniken</a>  müssen angewendet werden, um dies auszugleichen.</li></ol><div><div><a href="https://media.graphassets.com/Gj9ndSsSiukTfFf2rRuO"><img loading="lazy" src="https://media.graphassets.com/Gj9ndSsSiukTfFf2rRuO" alt="Synthetisierter Finanz-Datensatz für Fraud-Erkennung. " width="250" height="188" /></a> <p>Synthetisierter Finanz-Datensatz für Fraud-Erkennung. Fraud-Fälle sind selten im Vergleich zu regulären Transaktionen; im simulierten Beispieldatensatz sind weniger als 1% aller Transaktionen Fraud.</p></div></div><ul><li><strong>Unsupervised Learning</strong> benötigt keine vorgegebenen Antwortvariablen. Es wird genutzt, um Cluster oder Ausreißer/Anomalien in Datensätzen zu finden.</li></ul><p>In unserem Beispieldatensatz gehen wir davon aus, dass die Klassen-Label nicht zu 100% vertrauenswürdig sind. Aber wir können annehmen, dass Fraud-Fälle ausreichende Unterschiede zu regulären Transaktionen aufweisen, so dass Unsupervised-Learning-Algorithmen diese als Ausreißer oder Anomalien kennzeichnen.</p></div><div><h2>Anomalie-Erkennung mit Deep Learning Autoencodern</h2><p>Neuronale Netzwerke finden im Supervised- und Unsupervised-Learning-Anwendung. Autoencoder-Netzwerke werden für Anomalie-Erkennung im Unsupervised Learning genutzt; sie wenden sogenannte „Fehlerrückführung“ (backpropagation) an, um eine Annäherung an die Identitätsfunktion zu lernen, wobei die Output-Werte durch Minimierung des Rekonstruktionsfehlers den Input-Werten angeglichen werden sollen. Dadurch, dass der Rekonstruktionsfehler für die regulären Proben minimiert wurde, haben anormale Proben einen höheren Rekonstruktionsfehler.</p><p>Für die Modellbildungen nutze ich die Open-Source Software H2O über das R-Paket „h2o“. Auf dem oben beschriebenen Fraud-Beispieldatensatz wurde ein Unsupervised Neuronal Autoencoder Network trainiert (Gaußsche Verteilung, Quadratischer Loss, 209 Gewichte/Biases, 42.091.943 Trainingsproben, Mini-Batch Größe 1, 3 Hidden Layer mit [10, 2, 10] Knoten). Die Trainingsdaten enthalten nur reguläre Proben, so dass das Autoencoder-Modell die Struktur der „normalen“ Daten lernt. Testdaten sind eine Mischung aus regulären und Fraud-Proben. Im Hinterkopf zu behalten ist, dass Autoencoder-Modelle sensitiv auf Ausreißer reagieren; diese können typische Muster verschleiern. Mit diesem so trainierten Autoencoder-Modell können nun Ausreißer oder anormale Proben anhand des mittleren quadratischen Fehlers der Rekonstruktion (MSE) identifiziert werden: Transaktionen mit hohem MSE sind Anomalien im Vergleich zum globalen Muster in unseren Daten. Die unten stehende Abbildung zeigt, dass die Mehrheit der als Fraud gelabelten Testproben tatsächlich einen höheren MSE haben. Wir sehen außerdem einige als regulär gelabelte Transaktionen mit leicht erhöhtem MSE; diese könnten Fälle neuartiger Betrugsmaschen darstellen, die mit bisherigen Analysen unentdeckt geblieben sind.</p><div><div><a href="https://media.graphassets.com/k2wPeX3vTw2LAmyngncM"><img loading="lazy" src="https://media.graphassets.com/k2wPeX3vTw2LAmyngncM" alt="Anomalien anhand des mittleren quadratischen Fehlers der Rekonstruktion (MSE)." width="250" height="125" /></a> <p>Diese Abbildung zeigt den mittleren quadratischen Fehlers der Rekonstruktion (MSE, y-Achse) für jede Transaktion (instance) im Testdatensatz (x-Achse); Punktefarben entsprechen dem manuell vergebenen Label (Fraud = 1, regulär = 0).</p></div></div></div><div><h2>Vortrainieren von Supervised-Learning-Modellen mit Autoencodern</h2><p>Autoencoder-Modelle können auch genutzt werden, um Supervised Learning Modelle vorzutrainieren. Auf einem unabhängigen Trainingsdatensatz wurde ein weiteres Deep Neural Network trainiert – dieses Mal als Klassifikationsmodell für die Antwortvariable „Class“ (Fraud = 1, regulär = 0) mit den initialen Gewichten aus dem Autoencoder-Modell (2-Klassen Klassifikation, Bernoulli Verteilung, CrossEntropy loss, 154 Gewichte/Biases, 111.836.076 Trainingsproben, Mini-Batch Größe 1, balance_classes = TRUE).</p><p>Modell-Performance wird anhand des selben Testsets gemessen, das in der Abbildung oben den MSE des Autoencoder-Modells zeigt. Die Abbildung unten zeigt den Vergleich von vorhergesagten mit tatsächlichen Klassifikations-Labeln. Da es sich bei unserem Beispiel um stark asymmetrische Daten handelt, muss die Performance des Modells anhand der selteneren Klasse, die für uns von Interesse ist (hier: Fraud = Klasse 1), gemessen werden. Würden wir uns die Genauigkeit (Accuracy) angucken, würde ein Modell, das nie die Klasse 1 vorhersagt, trotzdem eine Genauigkeit von > 99% erreichen. So ein Modell ist für unseren Anwendungsfall sinnlos. Deshalb schauen wir auf die Parameter „Sensitivität“ und „Präzision“: Wir wollen ein Modell, das so optimiert wurde, dass es möglichst viele Fraud-Proben im Testset als solche klassifiziert (Sensitivität), während gleichzeitig möglichst viele der Fraud-Klassifizierungen korrekt sind (Präzision).<br /> Ein optimales Ergebnis eines Supervised Neuronal Network für binäre Klassifikation ist in der nachstehenden Abbildung gezeigt.</p><div><div><a href="https://media.graphassets.com/LNMsQ9KQciCbWXuZCduT"><img loading="lazy" src="https://media.graphassets.com/LNMsQ9KQciCbWXuZCduT" alt="Ergebnis eines Supervised Neuronal Network für binäre Klassifikation." width="250" height="125" /></a> <p>Ergebnis eines Supervised Neuronal Network für binäre Klassifikation. Die Abbildung zeigt die Prozentzahl der korrekt klassifizierten Transaktionen, indem tatsächliche (x-Achse) mit vorhergesagten Labeln verglichen werden (Farbe; Fraud = 1, regulär = 0).</p></div></div></div><div><h2>Können wir Machine-Learning-Modelle verstehen und ihnen vertrauen?</h2><p>Entscheidungen, die von Machine-Learning-Modellen getroffen wurden, sind inhärent schwierig – wenn nicht gar unmöglich – nachzuvollziehen. Die Komplexität einiger der besten Modelle, wie Neuronale Netzwerke, ist genau das, was sie so erfolgreich macht. Aber es macht sie gleichzeitig zu einer Black Box. Das kann problematisch sein, denn Geschäftsführer oder Vorstände werden weniger geneigt sein einer Entscheidung zu vertrauen und nach ihr zu handeln, wenn sie sie nicht verstehen.</p><p>Local Interpretable Model-Agnostic Explanations (LIME) ist ein Versuch, diese komplexen Modelle zumindest teilweise nachvollziehbar zu machen. Mit LIME können wir konkreter erklären, warum zum Beispiel eine als regulär gelabelte Transaktion als Fraud klassifiziert wurde. Die Methode wurde in dem Papier “Why Should I Trust You? Explaining the Predictions of Any Classifier.” von Marco Tulio Ribeiro, Sameer Singh und Carlos Guestrin von der University of Washington in Seattle publiziert. Sie nutzt die Tatsache, dass lineare Modelle leicht zu erklären sind; LIME sucht eine Approximation an das komplexe Modell, indem lokale lineare Modelle in Permutationen der Trainingsdaten angepasst werden. In jeder Permutation wird ein lineares Model angepasst und eine Gewichtung vorgenommen, so dass positive Gewichte eine Entscheidung unterstützen und negative Gewichte ihr widersprechen. In Summe ergibt das eine annäherungsweise Erklärung, wie viel und in welcher Art ein Feature zu einer Entscheidung des Modells beigetragen hat.</p></div><div><h2>Code</h2><p>Ein vollständiges Beispiel mit Code für das Trainieren eines Autoencoders sowie für LIME kann auf meinem persönlichen Blog nachgelesen werde:</p><ul><li><a href="https://shiring.github.io/machine_learning/2017/05/01/fraud" target="_blank">Autoencoders and anomaly detection with machine learning Part 1</a>  & <a href="https://shiring.github.io/machine_learning/2017/05/02/fraud_2" target="_blank">Part 2</a> </li><li><a href="https://shiring.github.io/machine_learning/2017/04/23/lime" target="_blank">Explaining complex machine learning models with LIME</a> </li></ul></div>

Fraud-Analyse mit Data-Science-Techniken

<p>Vor kurzem hat Matthias Radtke einen spannenden Blog-Artikel über <a href="https://blog.codecentric.de/en/2017/01/topic-modeling-codecentric-blog-articles/">Topic Modeling der codecentric Blog-Artikel</a>  geschrieben. Dort gibt er eine umfassende Einführung in Topic Modeling. In diesem Artikel hier zeige ich ein reales Beispiel dafür, wie wir Data Science nutzen können, um Erkenntnisse aus Textdaten und Sozialer Netzwerk-Analyse zu ziehen.</p><p>Mit öffentlich zugänglichen Twitter-Daten charakterisiere ich codecentric’s Twitter Freunde und Follower, um</p><ul><li>die “einflussreichsten” Follower zu finden und mit Textanalyse-Tools, wie Sentimentanalyse, ihre Interessen aus den Profilbeschreibungen abzuleiten.</li><li>mit Sozialer Netzwerk-Analyse im Netzwerk von Freunden und Followern Schlüsselfiguren zu identifizieren, die Informationen an viele andere Nutzer weitergeben.</li><li>durch die Kombination von Netzwerk-Analyse mit Topic Modeling Meta-Gruppen mit ähnlichen Interessen zu identifizieren.</li></ul><p>Wenn wir die Interessen und die Position im sozialen Netzerk unserer Follower kennen, können wir Schlüsselfiguren identifizieren, die unsere Posts mit großer Wahrscheinlichkeit retweeten und dabei viele Leute erreichen.</p><div><h2>Twitter Mining</h2><p>Die <a href="https://dev.twitter.com/rest/public">Twitter REST API</a>  erlaubt es jedem auf Tweets, Timelines, Freunde- und Follower-Informationen zuzugreifen. Der Nachteil der REST API ist ihre Beschränkung auf 15 Anfragen pro 15-Minuten Fenster. Eine Alternative ist die <a href="https://dev.twitter.com/streaming/overview">Twitters’s Streaming API</a> , die geeignet ist um kontinuierlich Daten von bestimmten Benutzern, Themen oder Hash-Tags zu speichern. Hier betrachte ich eine Momentaufnahme von codecentric’s Twitter Freunden und Followern, um ein paar der Möglichkeiten zu zeigen, wie wir aus Analysen dieser Daten Nutzen ziehen können.</p><p>Am 15. Juli hatte codecentric 449 Freunde (Nutzer, denen codecentric folgt) und 2732 Follower (Nutzer, die codecentric folgen). Von diesen waren 261 sowohl Freunde, als auch Follower.</p><p>Wir haben jetzt die folgenden Informationen über diese Freunde und Follower:</p><ul><li>Name</li><li>Benutzername</li><li>Profilbeschreibung</li><li>Anzahl Tweets</li><li>Anzahl Follower</li><li>Anzahl Freunde</li><li>Datum, an dem der Account erstellt wurde</li><li>Ortsangabe im Profil</li><li>Spracheinstellung des Profils</li><li>etc.</li></ul><p>Diese Daten können uns eine Menge darüber verraten, wer sich für codecentric und unsere Themen interessiert. Wir können, z.B. mit einer einfachen explorativen Datenanalyse starten und uns anschauen, welche Sprachen die Nutzer-Accounts haben – (noch) ganz ohne komplizierte Modelle!</p></div><div><div><a href="https://media.graphassets.com/qafFd6QrSGOX4rua7x1f"><img src="https://media.graphassets.com/qafFd6QrSGOX4rua7x1f" alt="Grafik Top 10 languages" width="150" height="150" /></a> <p>Top 10 Sprachen von codecentric’s Twitter Freunden und Followern.</p></div><div><p>Wie wir sehen können, spricht die Mehrheit Englisch oder Deutsch. Daraus können wir lernen, dass sowohl Tweets in Deutsch, als auch in Englisch eine entsprechende Zielgruppe unter unseren Followern haben (wobei Englisch vermutlich mehr Nutzer einschließt, sofern wir davon ausgehen, dass die meisten deutschen Follower ebenfalls Englisch verstehen).</p></div><div><h2>Wer sind codecentric’s einflußreichste Follower und wofür interessieren sie sich?</h2></div><p>Wir können auch versuchen unsere einflußreichsten Follower zu identifizieren. Das bedeutet, Follower mit einem großen Netzwerk (die also widerrum viele Follower haben) und die gleichzeitig viel tweeten/retweeten. Wenn wir es schaffen, das Interesse dieser Follower mit einem unserer Tweets zu wecken, ist es a) sehr wahrscheinlich, dass sie ihn retweeten und b) dass sie dabei ein großes Publikum erreichen!</p><div><div><a href="https://media.graphassets.com/l4v4UecPQSG21djbMRIe"><img loading="lazy" src="https://media.graphassets.com/l4v4UecPQSG21djbMRIe" alt="Grafik Korrelation zwischen Anzahl an Followern und der durchschnittlichen Anzahl an Tweets pro Tag" width="250" height="125" /></a> <p>Korrelation zwischen Anzahl an Followern und der durchschnittlichen Anzahl an Tweets pro Tag von codecentric’s Twitter Followern.</p></div><p>Die Abbildung oben zeigt die Korrelation zwischen der Anzahl an Followern von codecentric’s Followern und die Häufigkeit, mit der sie tweeten.</p><p>Mit dieser Information wissen wir nun, welche Follower besonders einflußreich sind. Im nächsten Schritt wollen wir wissen, für welche Themen sie sich interessieren. Dafür analysieren wir ihr Profilbeschreibungen. Daraus können wir dann ableiten, welche Tweets mit großer Wahrscheinlich für die Follower interessant sind. Das soll natürlich nicht heißen, dass nur diese Follower für uns wichtig sind und dass wir den Inhalt unserer Tweets (nur) nach ihnen ausrichten sollten! Ein breites Spektrum an Themen sorgt für ein interessantes, authentisches Profil – aber da Wissen ja bekanntermaßen Macht ist, kann es sehr wertvoll sein zu wissen, womit wir unsere Sichtbarkeit erhöhen können!</p><p>Um aus den Profilbeschreibungen der 100 einflußreichsten Follower (definiert mit einem Score aus Anzahl an Followern * durschnittliche Anzahl an Tweets pro Tag) Informationen zu ziehen, nutze ich Text- und Sprachanalysemethoden (natural language processing).</p><p>Die Daten werden vorbereitet, indem die Profilbeschreibungen zunächst in einzelne Wörter zerlegt und diese auf ihren Wortstamm reduziert werden. Außerdem entfernen wir sogenannte Stop-Wörter.</p><p>Wir können jetzt die am häufigsten verwendeten Wörter visualisieren.</p><div><a href="https://media.graphassets.com/QK7SEYRkS0OTZZB0z4OC"><img loading="lazy" src="https://media.graphassets.com/QK7SEYRkS0OTZZB0z4OC" alt="Wordcloud mit den am häufigsten verwendeten Wortstämmen" width="150" height="150" /></a> <p>Wordcloud mit den am häufigsten verwendeten Wortstämmen in den Profilbeschreibungen von codecentric’s Twitter Followern.</p></div><p>Nicht überraschend finden wir software, development, agil und business unter den häufigsten Wörtern. Aber auch IoT (Internet of Things), data und science werden häufig in den Profilbeschreibungen unserer einflußreichen Follower genannt!</p><p>Statt uns einzelne Wörter anzugucken, können wir auch die Häufigkeit von Wortpaaren analysieren.</p><div><a href="https://media.graphassets.com/hqTLNoVTq6uR7NGMszYD"><img loading="lazy" src="https://media.graphassets.com/hqTLNoVTq6uR7NGMszYD" alt="Grafik häufigste Wortpaare" width="700" height="438" /></a> <p>Häufigste Wortpaare in den Profilbeschreibungen von codecentric’s Twitter Followern.</p></div><div><div><p>Diese Abbildung zeigt die am häufigsten vorkommenden Wortpaare in den Profilbeschreibungen unserer einflußreichsten Follower. Pfeilfarben entsprechen der Häufigkeit. Da wir nur eine relativ kleine Gruppe an Followern analysieren, kommt keines der Wortpaare extrem häufig vor. Nichtsdestrotz ist “data science” das am meisten vorkommende Wortpaar!</p></div><div><h2>Sentimentanalyse</h2><p>Sentimentanalyse beschreibt eine Reihe von Techniken aus dem Natural Language Processing. Mit ihnen können wir Empfindungen wie Freude, Abscheu, Angst oder Wut und positive oder negative Gefühlslagen in Texten identifizieren.</p><p>Hier kommt auch wieder die Wortpaaranalyse zum Tragen. Die können wir hier nutzen um Wörter zu filtern, die auf Negierungen (“nicht”, “kein(e)”, etc.) folgen. Für die Sentimentanalyse können die Bedeutungen dieser negierten Wörter dann umgedreht werden.</p></div></div><div><div><a href="https://media.graphassets.com/l2ha5htMQUCZGz6GjC7o"><img loading="lazy" src="https://media.graphassets.com/l2ha5htMQUCZGz6GjC7o" alt="Grafik Sentiment-Score-Verteilung" width="250" height="94" /></a> <p>Sentiment-Score-Verteilung der Profilbeschreibungen von codecentric’s Twitter Followern.</p></div><div><div><p>This plot shows the overall sentiment in the user descriptions of the most influential followers. Based on Bing Liu’s sentiment lexicon, we can score how many positive and negative words were used in each followers’ description. Because this lexicon is only available for the English language, we can only get realiable scores for followers with an English description (68 out of 100 followers have an English language setting). As we can see, the majority of followers have predominantly positive descriptions.</p></div></div><div><div><p>Diese Abbildung zeigt die Summe der Sentiment-Scores für die Profilbeschreibungen der einflußreichsten Follower. Der Score berechnet sich aus der Summe der positiv und negativ besetzen Wörter (nach Bing Liu’s Sentiment Lexikon). Da das verwendete Lexikon nur für die englische Sprache etabliert ist, erfassen wir hier nur englische Wörter. Allerdings haben von unseren einflußreichsten Followern 68 von 100 englische Spracheinstellungen, so dass wir annehmen können, dass wir einen Großteil der Texte analysieren.</p></div><div><h2>Soziale Netzwerk-Analyse</h2><p>Soziale Netzwerke beschreiben Interaktionen zwischen Menschen, z.B. Twitter Freunde und Follower. Die Analyse solcher Netzwerke nutzt Techniken aus der Graphentheorie.</p><p>So können wir das Netzwerk von codecentric’s Twitter Freunden und Followern beschreiben: jeder Knoten zeigt einen Benutzer und Pfeile zeigen, wer wem folgt oder von wem gefolgt wird.</p><p>Aufgrund der Beschränkungen der Twitter API sehen wir hier nur einen Ausschnitt von 106 codecentric Freunden. Aber schon mit so einem kleinen Teil des Netzwerken bekommen wir fast 40 Millionen interagierende Nutzer.</p><p>Mit Graphentheorie können wir eine Vielzahl an Metriken berechnen, die uns Schlüsselfiguren im Netzwerk zeigen:</p><ul><li>Zentralität und Knoten “degree” zeigen uns, wie viele angrenzende Kanten die Knoten haben. Benutzer mit vielen Verbinden sind im Netzwerk von zentraler Rolle.</li><li>“Closeness” zeigt uns Nutzer, die im Netzwerk zentral liegen und somit Informationen an viele andere Nutzer weitergeben können.</li><li>Transivitiät oder Clustering Koeffizienten messen die Wahrscheinlichkeit, dass nahe beieinander liegende Knoten verbunden sind.</li><li>PageRank oder Eigenvektor-Zentralität ordnen Knoten anhand ihrer Verbindungen mit anderen stark vernetzen Knoten.</li><li>“Betweenness” Zentralität und “diameter” zeigen den kürzesten und längsten Pfad zwischen allen Knoten.</li></ul><p>In der nachstehenden Abbildung sehen wir das Netzwerk von codecentric’s Twitter Freunden und Followern. Knoten mit hoher “betweenness” Zentralität sind auf einem Pfad mit vielen anderen Knoten; diese Nutzer sind also Schlüsselverbindungen oder Brücken zu vielen verschiedenen Gruppen von anderen Nutzern. Durch ihre Position im Netzwerk sind diese Nutzer von besonderer Bedeutung für uns, denn sie können Informationen mit großer Reichweite verteilen. Knotenpositionen im Netzwerk wurden mit dem Fruchterman-Reingold Layout Algorithmus berechnet.</p></div><div><a href="https://media.graphassets.com/RZd8bFxT3GNvjIYWBmJA"><img loading="lazy" src="https://media.graphassets.com/RZd8bFxT3GNvjIYWBmJA" alt="Grafik Soziales Netzwerk von codecentric’s Twitter Freunden und Followern" width="700" height="685" /></a> <p>Soziales Netzwerk von codecentric’s Twitter Freunden und Followern. Knotengröße entspricht “betweenness” Zentralität.</p></div><h2>Topic Modeling</h2><p>Im nächsten Schritt können wir mit Topic Modeling auf Basis der Profilbeschreibungen unsere Follower Themengruppen mit ähnlichen Interessen zuordnen. Eine umfassende Einführung in Topic Modeling kann in <a href="https://blog.codecentric.de/en/2017/01/topic-modeling-codecentric-blog-articles/">Matthias Radtke’s “Topic Modeling of the codecentric Blog Articles”</a> nachgelesen werden.</p><p>Hier benutze ich “Latent Dirichlet Allocation” mit VEM Algorithmus um alle Nutzer aus dem Netzwerk in fünf Interessens-Gruppen einzuteilen.</p><p>Die Wordcloud unten visualisiert die charakteristischsten Wörter in den jeweiligen Gruppen.</p><div><a href="https://media.graphassets.com/sGYiXiThSY0Mir9zO0MQ"><img loading="lazy" src="https://media.graphassets.com/sGYiXiThSY0Mir9zO0MQ" alt="Wordcloud der repräsentativsten Wörter in den fünf durch Topic Modelling identifizierten Gruppen" width="700" height="700" /></a> <p>Wordcloud der repräsentativsten Wörter in den fünf durch Topic Modelling identifizierten Gruppen.</p></div><p>Jetzt wollen noch wir wissen, welchen Themen wir den Nutzern in unserem Netzwerk zuordnen können. Dafür nutzen wir den sogenannten Gamma-Score, der für jeden Nutzer und jeder Themengruppe einen Wert entsprechend der berechneten Zugehörigkeit zuweist. Hier wird jedem Nutzer die Themengruppe mit höchstem Gamma-Score zugeteilt.</p><div><a href="https://media.graphassets.com/FoH59HV6SVHK5yHUMvAp"><img loading="lazy" src="https://media.graphassets.com/FoH59HV6SVHK5yHUMvAp" alt="Grafik 2 Soziales Netzwerk von codecentric’s Twitter Freunden und Followern" width="700" height="741" /></a> <p>Soziales Netzwerk von codecentric’s Twitter Freunden und Followern. Knotenfarbe zeigt Zugehörigkeit zu den fünf durch Topic Modeling identifizierten Themengruppen</p></div><p>Dieses Netzwerk zeigt die verschiedenen Interessensgruppen von codecentric’s Twitter Freunden, basierend auf der Zuordnung zu Themengruppen von den Nutzern, denen sie folgen. Ein Nutzer scheint z.B. vielen Nutzern zu folgen, die in ihren Profilbeschreibungen Software Development nennen.</p><p>Obwohl dieses Netzwerk nicht repräsentativ ist, da es nur einen Ausschnitt der Twitter Freunde ersten und zweiten Grades zeigt, können wir hier sehen, welchen Potenzial in dieser Art von Information steckt! Denn wir haben jetzt einen guten Eindruck über die Interessen unserer Freunde gewonnen, anhand von a) ihren Twitter Beschreibungen und b) den Beschreibungen von allen Nutzern, denen sie auf Twitter folgen. Außerdem haben wir jetzt Hinweise auf die Interessen von Kontakten zweiten Grades, die uns (noch) nicht folgen. Das könnten wir nutzen, um Gruppen gezielt anzusprechen, indem wir z.B. Artikel mit Fokus auf diesen Themen veröffentlichen.</p><p>Es wäre sogar vorstellbar, dass wir diesen Ansatz um Machine Learning Techniken erweitern, um Follower Interessen und ihr Potenzial als Verteiler von Informationen vorherzusagen.</p><hr /><p>Alle Analysen wurden mit R version 3.4.0 durchgeführt.</p><p>Code ist einzusehen bei <a href="https://github.com/ShirinG/blog_posts_prep/blob/master/twitter/twitter_codecentric.Rmd">Github</a> .</p></div></div></div></div>

Soziale-Netzwerk-Analyse und Topic Modeling mit codecentrics Twitter-Freunden und -Followers

<p><strong>Big Data – a buzz word you can find everywhere these days, from nerdy blogs to scientific research papers and even in the news. But how does Big Data Analysis work, exactly? In order to find that out, I attended the workshop on <a href="https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/">“Deep Learning with Keras and TensorFlow”.</a>  </strong></p><p>On a stormy Thursday afternoon, we arrived at the modern and light-flooded codecentric AG headquarters. There, we met performance expert Dieter Dirkes and Data Scientist Dr. Shirin Glander. In the following two days, Shirin gave us a hands-on introduction into the secrets of Deep Learning and helped us to program our first Neural Net. After a short round of introduction of the participants, it became clear that many different areas and domains are interested in Deep Learning: geologists want to classify (satellite) images, energy providers want to analyse time-series, insurers want to predict numbers and I – a humanities major – want to classify text. And codecentric employees were also interested in getting to know the possibilities of Deep Learning, so that a third of the participants were employees from the company itself.</p><p>The second day began with a tasty Latte Macchiato and a nice “Good Morning” in the big kitchen of codecentric headquarters. The friendly room, with real moss on the only wall that’s not glass, emanated a very creative air and made the start of the day much easier. For this day, Shirin had a Neuronal Net prepared, that we could use to apply and try out what we’ve learned. We spent a lot of time exploring the effects that changing different parameters had on the performance of the Neural Net. During the practical part, many questions came up, that Shirin answered and discussed with us. We also talked about our own projects and ways to advance them with what we learned in the workshop.</p><h2>Deep Learning with Artificial Neural Nets</h2><p>Artificial Neural Nets (ANN) can be used to analyse highly complex data. Deep Learning is a subdomain of machine learning, which is again a subdomain of Artificial Intelligence. ANNs are modelled after the human brain, which has been adapted to learn efficiently and transfer knowledge to new scenarios. Researchers tried to mimic the brains ability to learn by building ANN, which are able to learn from training data and transfer this knowledge to new data.</p><p><a href="https://media.graphassets.com/hTy5cLBBQtGIuQoG6SH6"><img src="https://media.graphassets.com/hTy5cLBBQtGIuQoG6SH6" alt="Gehirn vs Artificial Neural Network" width="700" height="202" /></a> </p><p>Already back in 1958, Frank Rosenblatt [1] presented his concept of ANNs, the so called perceptron. The perceptron works with a numeric input and uses weighted connections in a node or neuron; together with an activation function, it calculates the result.</p><p>With increasing computational power and increasing amounts of data, multi-layer perceptrons and deep neural nets became more and more prevalent. Alongside the boom in machine learning, more and more deep learning frameworks, libraries and programming interfaces were developed. Today, there is a plethora of easy-to-use and open-source materials for deep learning. The bar to get your feet wet with this complex topic is as low as never before; you need almost no deep mathematical knowledge any more in order to build neural nets.</p><h2>TensorFlow and Keras</h2><p>TensorFlow and Keras are such deep learning APIs. TensorFlow has been developed by Google Brain and has been written in Python and C++. Right now, it is one of the most often used open-source libraries for machine learning. Keras builds on top of it and works specifically with neural nets. Same as TensorFlow, it is open-source and has been written in Python. There are several other libraries that can be used as backend with Keras, e.g. Theano and CNTK. TensorFlow is based on the concept of <em>data flow graphs</em>, meaning that every neural net can be seen as a form of mathematical operation in nodes and multi-dimensional data objects, the so called tensors, as edges. With TensorFlow we can use the integrated TensorBoard. TensorBoard is a collection of visualisation tools, that makes it easy to analyse processes, potential errors and optimize neural nets.</p><p><a href="https://media.graphassets.com/ABkG5HwQFmFwnuUFOmiG"><img loading="lazy" src="https://media.graphassets.com/ABkG5HwQFmFwnuUFOmiG" alt="TensorBoard Beispiel" width="700" height="359" /></a> </p><h2>Image classification with Neural Nets</h2><p>Most of the research into neural nets has so far involved image classification. The most famous data set for this task is MNIST [2], which contains 28 x 28 pixel images of hand-written images and their respective labels. The MNIST dataset is optimal for getting started with image classification and neural nets. Classification with neural nets falls into the category of supervised learning because it uses examples to train models. The hand-written digits of the MNIST dataset can be used to learn a classification task, namely which pixel arrangement corresponds to which digit.</p><p><a href="https://media.graphassets.com/TeBL5sN6TZCBCNbJnNML"><img loading="lazy" src="https://media.graphassets.com/TeBL5sN6TZCBCNbJnNML" alt="MNIST Dataset" width="530" height="297" /></a> </p><p>The neural net will be fed input data from the training set, which it will pass on to the next layer of neurons. The initial weights were picked at random and every neuron in a layer will calculate an output based on the incoming data and the weights. The output will then be passed on again to following layers. In the final layer, a softmax function calculated the probabilities, with which it sorts the input image to the classes. The prediction of this input will be the class with the highest probability. Because we know the correct class for every image in our training set, we can calculate the difference between prediction and correct class. This is called cross-entropy. A cross-entropy of 0 would mean that the neural net predicted the correct class with 100% certainty. After every cycle of training, we calculate an error rate, the so called loss, which represents the cross-entropy of the entire training set.</p><p>During training, we aim to minimize the loss function. In order to achieve this, the weights of the neurons need to be optimized, e.g. by using backpropagation with stochastic gradient descent. The direction in which to change the weights is found with a gradient; we want to “descend” this gradient to find the smallest error rate. The step size with which we traverse the gradient landscape is defined by the learning rate. We can start with big steps to prevent getting stuck in local minima, but with advanced training we want to reduce the learning rate so that we can – ideally – reach the global minimum. With a loss function of 0, we would have achieved the perfect result.</p><p>The final evaluation of our neural net’s performance is measured on independent test data. We want to avoid that our net learned the training set too specifically and isn’t able to generalize any more. There are many different parameters that can be adjusted when training a neural net to find the optimal composition for our classification tasks. We try out different combinations and observe the effect they have on the result.</p><p>I want to thank Shirin for a great workshop! You made the complex topic of deep learning and neural nets much more accessible to us.</p><p>Maria Hartmann</p><p>—</p><p>Workshop description: <a href="https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/">https://www.codecentric.de/schulung/deep-learning-mit-keras-und-tensorflow/</a> </p><p>[1] Rosenblatt, Frank (1985). The Perceptron: A Probabilistic Model for Information Storage and Organization in the Brain. Web: <a href="http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.335.-3398&rep=rep1&type=pdf">http://citeseerx.ist.psu.edu/viewdoc/download?doi=10.1.1.335.-3398&rep=rep1&type=pdf</a> </p><p>[2] LeCun, Yann. The MNIST Database of Handwritten Digits. Web: http://yann.lecun.com/-exdb/mnist/</p><p>—</p><p><em>Guest author Maria Hartmann studies Digital Humanities at the University of Trier. Through her love of linguistics she came to the classification of semi-structures texts with neural nets – which she now works on for her Master’s thesis. TensorFlow and Keras help her in her studies.</em></p><p><a href="https://media.graphassets.com/lZmqvzmQYu37S5rR88V8"><img loading="lazy" width="250" height="125" src="https://media.graphassets.com/lZmqvzmQYu37S5rR88V8" alt="maria_hartmann" /></a> </p>

Deep Learning Workshop at codecentric AG in Solingen

<div><h2>Predictive Maintenance</h2><p>Predictive Maintenance is an increasingly popular strategy associated with Industry 4.0; it uses advanced analytics and machine learning to optimize machine costs and output (see Google Trends plot below).</p><p>A common use case for Predictive Maintenance is to proactively monitor machines, so as to predict when a check-up is needed to reduce failure and maximize performance. In contrast to traditional maintenance, where each machine has to undergo regular routine check-ups, Predictive Maintenance can save costs and reduce downtime. A machine learning approach to such a problem would be to analyze machine failure over time to train a <a href="https://en.wikipedia.org/wiki/Supervised_learning" target="_blank">supervised classification model</a>  that predicts failure. Data from sensors and weather information is often used as features in modeling.</p><p><a href="https://media.graphassets.com/C95AeUTySaSE23N1trkN"><img width="250" height="125" src="https://media.graphassets.com/C95AeUTySaSE23N1trkN" alt="Google search requests for 'Predictive Maintenance' over the last 5 years" /></a> </p><p>With different analysis and modeling techniques, Predictive Maintenance can also optimize asset availability, productivity and output quality, extend machine life, lower safety risks and thus increase customer satisfaction. Predictive Maintenance is already being used with wind turbines, <a href="http://www.ecmweb.com/content/preventive-maintenance-motors-and-controls" target="_blank">motor engines</a> , cars and a multitude of other machines. It is often central to <a href="https://www.forbes.com/sites/bernardmarr/2017/05/05/internet-of-things-and-predictive-maintenance-transform-the-service-industry/#2b430267eaf4" target="_blank">IoT technologies</a> .</p></div><blockquote><p>You can interactively explore different analysis techniques for Predictive Maintenance with this flexdashboard (allow for a few seconds of loading time).</p></blockquote><div> Because Predictive Maintenance relies on large amounts of data collected over long periods of time, <a href="https://blog.codecentric.de/category/architektur/big-data/page/2/" target="_blank">Big Data techniques</a>  are needed.<ul><li><strong>Databases</strong>: The first step towards Predictive Maintenance is collecting and storing the data in an efficient and scalable way. There are <a href="http://www.computerweekly.com/feature/Big-data-storage-choices" target="_blank">many different ways to store Big Data</a> , either in the cloud or locally, like <a href="https://blog.codecentric.de/2013/08/einfuhrung-in-hadoop-was-ist-big-data-hadoop-teil-1-von-5/" target="_blank">Hadoop</a> , <a href="https://www.codecentric.de/2017/04/06/digitalisierung-mit-codecentric-und-aws/" target="_blank">AWS</a>  and many more.</li><li><strong>Modeling</strong>: Once the data is collected, machine learning models can be trained. When working with Big Data, we need model scalability and distributed computing. Here, we can e.g. make use of <a href="https://www.codecentric.de/schulung/apache-spark-einfuehrungsworkshop-fuer-entwickler/" target="_blank">Apache Spark</a>  or similar cluster computing services.</li><li><strong>Prediction</strong>: When a suitable model has been trained, it can be used to predict future data points. With Predictive Maintenance, we generally talk about <a href="https://blog.codecentric.de/en/2017/03/distributed-stream-processing-frameworks-fast-big-data/" target="_blank">(near) real-time analysis</a> .</li></ul></div><div><h2>flexdashboard</h2><p>With <a href="http://rmarkdown.rstudio.com/flexdashboard/" target="_blank">flexdashboard</a>  RStudio provides a great way to create interactive dashboards with R. It is an easy and very fast way to present analyses or create story maps. Here, I have used it to demonstrate different analysis techniques for Predictive Maintenance. It uses <a href="http://shiny.rstudio.com/" target="_blank">Shiny</a>  run-time to create interactive content.</p><p>Here, you can find the dashboard: https://shiring.shinyapps.io/demo_dashboard_pred_maint_fast/ (allow for a few seconds of loading time).</p><p>The dashboard contains an introduction to predictive maintenance (non-interactive), exploratory data analysis (here, you can select a feature for plotting), machine learning (here, you can choose a test case for which to show the prediction results), survival analysis (non-interactive) and time series forecasting (also non-interactive).</p><p>Each section contains text that explains the content, data, results and plots. The source code for the dashboard can be seen by clicking on the <strong></> Source Code</strong> field in the top right corner (code for preparing data and models is included as well but commented out).</p></div><div><p><a href="https://media.graphassets.com/EfeFHVA2S5JPHAjH5dX3" target="_blank"><img loading="lazy" src="https://media.graphassets.com/EfeFHVA2S5JPHAjH5dX3" alt="Dashboard screenshot showing the machine learning section of Predictive Maintenance" width="250" height="136" /></a> </p><p>—</p><p>With my other Shiny apps and flexdashboards you can explore:</p><ul><li>a supervised machine learning example for fraud detection (with H2O, OneR and LIME)(also takes a few seconds to load as data and model are quite big)</li><li>World Gender Statistics</li><li>disease-associated mutations in the human genome</li></ul></div>

Explore Predictive Maintenance with flexdashboard

<div><h2>What is fraud and why is it interesting for Data Science?</h2><p>Fraud can be defined as “the crime of getting money by deceiving people” (Cambridge Dictionary); it is as old as humanity: whenever two parties exchange goods or conduct business, there is the potential for one party scamming the other.<br /> With an ever-increasing use of the internet for shopping, banking, filing insurance claims etc., these businesses have become targets of fraud in a whole new dimension. Fraud has become a major problem in e-commerce and a lot of resources are being invested to recognize and prevent it.</p><p>Traditional approaches to identifying fraud have been rule-based. This means that hard and fast rules for flagging a transaction as fraudulent have to be established manually and in advance. But this system isn’t flexible and inevitably results in an arms race between the seller’s fraud detection system and criminals finding ways to circumnavigate these rules.<br /> The modern alternative is to leverage the vast amounts of Big Data that can be collected from online transactions and model it in a way that allows us to flag or predict fraud in future transactions. For this, Data Science and Machine Learning techniques such as Deep Neural Networks (DNNs) are the obvious solution!</p><p>Here, I am going to show an example of how Data Science techniques can be used to identify fraud in financial transactions. I will offer some insights into the inner workings of fraud analysis, aimed at non-experts to understand.</p></div><div><h2>Synthetic financial datasets for fraud detection</h2><p>A synthetic financial dataset for fraud detection is openly accessible via Kaggle. It has been generated from a number of real datasets to resemble standard data from financial operations and contains 6,362,620 transactions over 30 days (see Kaggle for details and more information).</p><p>By plotting a few major features, we can already get a sense of the data. The two plots below, for example, show us that fraudulent transactions tend to involve larger sums of money. When we also include the transaction type in the visualization, we find that fraud only occurs with tranfers and cash-out transactions and we can adapt our input features for machine learning accordingly.</p><div><div><a href="https://media.graphassets.com/vtNKg4nZTvveqqZuZyq6"><img src="https://media.graphassets.com/vtNKg4nZTvveqqZuZyq6" alt="Fraudulent transactions tend to involve larger sums of money. " width="250" height="188" /></a> <p>Fraudulent transactions tend to involve larger sums of money. This plot shows the distribution of transferred amounts of money (log + 1) in fraudulent (Class = 1) and regular (Class = 0) transactions.</p></div><p></p><div><a href="https://media.graphassets.com/x3AaZj7TN2GF7mHmWTN4"><img loading="lazy" src="https://media.graphassets.com/x3AaZj7TN2GF7mHmWTN4" alt="Fraud only occurs with tranfers and cash-out transactions." width="250" height="208" /></a> <p>Fraud only occurs with tranfers and cash-out transactions. This plot shows the distribution of transferred amounts of money (log + 1) in different transaction types for fraudulent (Class = 1) and regular (Class = 0) transactions.</p></div><p></p></div></div><div><h2>Dimensionality reduction</h2><p>In preparation for machine learning analysis, dimensionality reduction techniques are powerful tools for identifying hidden patterns in high-dimensional datasets. In addition, we can use them to reduce the number of features for machine learning while preserving the most important patterns of the data. Similar approaches use clustering algorithms, like k-means clustering.</p><p>The most common dimensionality reduction technique is Principal Component Analysis (PCA). PCA is good at picking up linear relationships between features in the data. The first dimension, also called the first principal component (PC), reflects the majority of variation in our data, the second PC reflects the second-biggest variation and so on. When we plot the first two dimensions against each other in a scatterplot, we see patterns in our data: The more dissimilar two samples in our dataset, the farther apart they will be in a PCA plot. PCA will not be able to deal with more complex patterns, though. For non-linear patterns, we can use t-Distributed Stochastic Neighbor Embedding (t-SNE). In contrast to PCA, t-SNE will not only show sample dissimilarity, it will also account for similarity by clustering similar samples close together in a plot. This might not sound like a major difference, but when we look at the plots below, we can see that it is much easier to identify clusters of fraudulent transactions with t-SNE than with PCA. PCA and t-SNE can both be used with machine learning.</p><p>Here, I want to use dimensionality reduction and visualization to perform a sanity check on the labelled training data. Because we can assume that some fraud cases might not have been identified as such (and are therefore mis-labelled), we could now advise to take a closer look at non-fraud samples that cluster with fraud cases.</p><div><div><a href="https://media.graphassets.com/UgaWw3xPTMmvas8na1aM"><img loading="lazy" src="https://media.graphassets.com/UgaWw3xPTMmvas8na1aM" alt="Dimensionality reduction techniques in fraud analytics." width="250" height="125" /></a> <p>Dimensionality reduction techniques in fraud analytics. The plots show the first two dimensions of PCA (left) and t-SNE (right) for fraudulent (Class = 1) and regular (Class = 0) transactions.</p></div></div></div><div><h2>Which Machine Learning algorithms are suitable for fraud analysis?</h2><p>Machine learning is a broad field. It encompasses a large collection of algorithms and techniques that are used in classification, regression, clustering or anomaly detection. Two main classes of algorithms, for supervised and unsupervised learning, can be distinguished.<br />  </p><ul><li><strong>Supervised learning</strong> is used to predict either the values of a response variable (regression tasks) or the labels of a set of pre-defined categories (classification tasks). Supervised learning algorithms learn how to predict unknown samples based on the data of samples with known response variables/labels.</li></ul><p>In our fraud detection example, we are technically dealing with a classification task: For each sample (i.e. transaction), the pre-defined label tells us whether it is fraudulent (1) or not (0). However, there are two main problems when using supervised learning algorithms for fraud detection:</p><ol><li><strong>Data labelling</strong>: In many cases, fraud is difficult to identify. Some cases will be glaringly obvious – these are easy to recognize with rule-based techniques and usually won’t require complex models. Where it becomes interesting are the subtle cases; they are hard to recognize as we don’t usually know what to look for. Here, the power of machine learning comes into play! But because fraud is hard to detect, training data sets from past transactions are probably not classified correctly in many of these subtle cases. This means that the pre-defined labels will be wrong for some of the transactions. If this is the case, supervised machine learning algorithms won’t be able to learn to find these types of fraud in future transactions.</li><li><strong>Unbalanced data</strong>: An important characteristic of fraud data is that it is highly unbalanced. This means that one class is much more frequent than the other; in our example, less than 1% of all transactions are fraudulent (see figure “Synthetic financial dataset for fraud detection”). Most supervised machine learning classification algorithms are sensitive to unbalance in the predictor classes, and <a href="https://shiring.github.io/machine_learning/2017/04/02/unbalanced" target="_blank">special techniques</a>  would have to be used to account for this unbalance.</li></ol><div><div><a href="https://media.graphassets.com/Gj9ndSsSiukTfFf2rRuO"><img loading="lazy" src="https://media.graphassets.com/Gj9ndSsSiukTfFf2rRuO" alt="Synthetic financial dataset for fraud detection. " width="250" height="188" /></a> <p>Synthetic financial dataset for fraud detection. Fraud cases are rare compared to regular transactions; in the simulated example dataset less than 1% of all transactions are fraudulent.</p></div></div><p> </p><ul><li><strong>Unsupervised learning</strong> doesn’t require pre-defined labels or response variables; it is used to identify clusters or outliers/anomalies in data sets.</li></ul><p>In our fraud example data set we don’t trust the predictor labels to be 100% correct. But we can assume that fraudulent transactions will be sufficiently different from the vast majority of regular transactions, so that unsupervised learning algorithms will flag them as anomalies or outliers.</p></div><div><h2>Anomaly detection with deep learning autoencoders</h2><p>Neural networks are applied to supervised and unsupervised learning tasks. Autoencoder neural networks are used for anomaly detection in unsupervised learning; they apply backpropagation to learn an approximation to the identity function, where the output values are equal to the input. They do so by minimizing the reconstruction error or loss. Because the reconstruction error is minimized according to the background signal of regular samples, anomalous samples will have a larger reconstruction error.</p><p>For modeling, I am using the open-source machine learning software H2O via the “h2o” R package. On the fraud example data set described above, an unsupervised neural network was trained using deep learning autoencoders (Gaussian distribution, quadratic loss, 209 weights/biases, 42,091,943 training samples, mini-batch size 1, 3 hidden layers with [10, 2, 10] nodes). The training set contains only non-fraud samples, so that the autoencoder model will learn the “normal” pattern in the data; test data contains a mix of non-fraud and fraud samples. We need to keep in mind, though, that autoencoder models will be sensitive to outliers in our data in that they might throw off otherwise typical patterns. This trained autoencoder model can now identify anomalies or outlier instances based on the reconstruction mean squared error (MSE): transactions with a high MSE are outliers compared to the global pattern of our data. The figure below shows that the majority of test cases that had been labelled as fraudulent indeed have a higher MSE. We can also see that a few regular cases have a slightly higher MSE; these might contain cases of novel fraud mechanisms that have been missed in previous analyses.</p><div><div><a href="https://media.graphassets.com/k2wPeX3vTw2LAmyngncM"><img loading="lazy" src="https://media.graphassets.com/k2wPeX3vTw2LAmyngncM" alt="Anomalies based on reconstruction mean squared errors (MSE). " width="250" height="125" /></a> <p>This plot shows reconstruction MSE (y-axis) for every transaction (instance) in the test data set (x-axis); points are colored according to their pre-defined label (fraud = 1, regular = 0).</p></div></div></div><div><h2>Pre-training supervised models with autoencoders</h2><p>Autoencoder models can also be used for pre-training supervised learning models. On an independent training sample, another deep neural network was trained – this time for classification of the response variable “Class” (fraud = 1, regular = 0) using the weights from the autoencoder model for model fitting (2-class classification, Bernoulli distribution, CrossEntropy loss, 154 weights/biases, 111,836,076 training samples, mini-batch size 1, balance_classes = TRUE).</p><p>Model performance is evaluated on the same test set that was used for showing the MSE of the autoencoder model above. The plot below shows the predicted versus actual class labels. Because we are dealing with severely unbalanced data, we need to evaluate our model based on the rare class of interest, here fraud (class 1). If we looked at overall model accuracy, a model that never identifies instances as fraud would still achieve a > 99% accuracy. Such a model would not serve our purpose. We are therefore interested in the evaluation parameters “sensitivity” and “precision”: We want to optimize our model so that a high percentage of all fraud cases in the test set is predicted as fraud (sensitivity), and simultaneously a high percentage of all fraud predictions is correct (precision).<br /> An optimal outcome from training a supervised neural network for binary classification is shown in the plot below.</p><div><div><a href="https://media.graphassets.com/LNMsQ9KQciCbWXuZCduT"><img loading="lazy" src="https://media.graphassets.com/LNMsQ9KQciCbWXuZCduT" alt="Results from training a supervised neural network for binary classification." width="250" height="125" /></a> <p>Results from training a supervised neural network for binary classification. The plot shows the percentage of correctly classified transactions by comparing actual class labels (x-axis) with predicted labels (color; fraud = 1, regular = 0).</p></div></div></div><div><h2>Understanding and trusting machine learning models</h2><p>Decisions made by machine learning models are inherently difficult – if not impossible – for us to understand. The complexity of some of the most accurate classifiers, like neural networks, is what makes them perform so well. But it also basically makes them a black box. This can be problematic, because executives will be less inclined to trust and act on a decision they don’t understand.</p><p>Local Interpretable Model-Agnostic Explanations (LIME) is an attempt to make these complex models at least partly understandable; With LIME, we are able to explain in more concrete terms why, for example, a transaction that was labelled as regular might have been classified as fraudulent. The method has been published in “Why Should I Trust You? Explaining the Predictions of Any Classifier” by Marco Tulio Ribeiro, Sameer Singh and Carlos Guestrin from the University of Washington in Seattle. It makes use of the fact that linear models are easy to explain; LIME approximates a complex model function by locally fitting linear models to permutations of the original training set. On each permutation, a linear model is being fit and weights are given so that positive weights support a decision and negative weights contradict them. In sum, this will give an approximation of how much and in which way each feature contributed to a decision made by the model.</p></div><div><h2>Code</h2><p>A full example with code for training autoencoders and for using LIME can be found on my personal blog:</p><ul><li><a href="https://shiring.github.io/machine_learning/2017/05/01/fraud" target="_blank">Autoencoders and anomaly detection with machine learning Part 1</a>  & <a href="https://shiring.github.io/machine_learning/2017/05/02/fraud_2" target="_blank">Part 2</a> </li><li><a href="https://shiring.github.io/machine_learning/2017/04/23/lime" target="_blank">Explaining complex machine learning models with LIME</a> </li></ul></div>

Data Science for Fraud Detection

<p>Recently, Matthias Radtke has written a very nice blog post on <a href="https://blog.codecentric.de/en/2017/01/topic-modeling-codecentric-blog-articles/">Topic Modeling of the codecentric Blog Articles</a> , where he is giving a comprehensive introduction to Topic Modeling. In this article I am showing a real-world example of how we can use Data Science to gain insights from text data and social network analysis.</p><p>I am using publicly available Twitter data to characterize codecentric’s friends and followers for</p><ul><li>identifying the most “influential” followers and using text analysis tools like sentiment analysis to characterize their interests from their user descriptions</li><li>performing Social Network Analysis on friends, followers and a subset of second degree connections to identify key players who will be able to pass on information to a wide reach of other users and</li><li>combing this network analysis with topic modeling to identify meta-groups with similar interests.</li></ul><p>Knowing the interests and social network positions of our followers allows us to identify key users who are likely to retweet posts that fall within their range of interests and who will reach a wide audience.</p><div><h2>Twitter Mining</h2><p>Via the <a href="https://dev.twitter.com/rest/public" target="_blank">Twitter REST API</a>  anybody can access Tweets, Timelines, Friends and Followers of users or hash-tags. One drawback of the REST API is its rate limit of 15 requests per application per rate limit window (15 minutes). An alternative would be to use <a href="https://dev.twitter.com/streaming/overview" target="_blank">Twitters’s Streaming API</a> , if you wanted to continuously stream data of specific users, topics or hash-tags. Here though, I want to look at a snapshot of codecentric’s Twitter followers to show some of the possibilities that analyzing this information holds.</p><p>On July 15th, codecentric had 449 friends (users who codecentric follows) and 2732 followers (users who follow codecentric), while 261 of them are simultaneously friends & followers.</p><p>We now have the following information about these friends and followers:</p><ul><li>user name</li><li>user screen name</li><li>user description (the short introduction that each user can write about themselves)</li><li>number of tweets per user</li><li>number of followers per user</li><li>number of friends per user</li><li>date of account creation</li><li>account location</li><li>account language</li><li>etc.</li></ul><p>This data can tell us a lot about who is interested in codecentric and what we do. We can e.g. start with a simple exploratory data analysis and look at what languages the accounts are set to – no need for fancy models (just yet)!</p><div><a href="https://media.graphassets.com/l4v4UecPQSG21djbMRIe"><img loading="lazy" src="https://media.graphassets.com/l4v4UecPQSG21djbMRIe" alt="Grafic Top 10 languages" width="250" height="250" /></a> <p>Top 10 languages of codecentric’s Twitter friends and followers.</p></div><p>As we can see, the vast majority of friends and followers have English and German account settings. The insight derived from this is that tweeting in both, German and English will find an audience among our followers (even though English would probably be more inclusive, assuming that most, if not all, German followers will also be able to understand English tweets).</p><div><h3>Who are codecentric’s most influential followers and what are they interested in?</h3><p>We can also try to identify our most influential followers. These would be followers with a big network (i.e. who have many followers) and who also tweet/re-tweet a lot. If we capture these followers’ interests with one of our tweets, they are a) more likely to re-tweet and b) will reach a bigger audience by doing so!</p><div><a href="https://media.graphassets.com/QK7SEYRkS0OTZZB0z4OC"><img loading="lazy" src="https://media.graphassets.com/QK7SEYRkS0OTZZB0z4OC" alt="grafic of correlation between follower count and the average number of tweets per day" width="250" height="125" /></a> <p>Correlation between follower count and the average number of tweets per day of codecentric’s Twitter followers.</p></div><p>The plot above shows the correlation between the number of followers codecentric’s followers have and how often they tweet.</p><p>Now that we know who our most influential followers are, we can analyze their short descriptions about themselves to find out what they are interested in. By proxy, this will give us an idea about which kind of tweets are most likely to capture their interest. Of course, this is not to say that these are the only people who (should) matter and that tweets should be tailored towards these interests only! Covering a wide range of topics makes for an interesting and authentic profile but since “knowledge is power”, it can be extremely valuable to know which tweets/posts are likely to increase visibility!</p><p>In order to extract information from the descriptions of the most influential followers (defined as the top 100 followers based on a score of follower count * average tweets per day), I am making use of text analysis and natural language processing tools.</p><p>To prepare the data, I am splitting the user descriptions into words, convert each word to its word stem and remove stop words.</p><p>We can now identify the most common words in these descriptions.</p><div><a href="https://media.graphassets.com/hqTLNoVTq6uR7NGMszYD"><img loading="lazy" src="https://media.graphassets.com/hqTLNoVTq6uR7NGMszYD" alt="Wordcloud showing most frequently used word stems" width="250" height="250" /></a> <p>Wordcloud showing most frequently used word stems in codecentric’s Twitter followers’ descriptions.</p></div><p>Not surprisingly, software development, agile and business are among the most common words. But also IoT, data and science occur frequently in our influential followers’ descriptions!</p><p>Instead of looking for the most common words, we can also look for the most common word pairs (bigrams).</p><div><a href="https://media.graphassets.com/l2ha5htMQUCZGz6GjC7o"><img loading="lazy" src="https://media.graphassets.com/l2ha5htMQUCZGz6GjC7o" alt="grafic of most frequently used word pairs" width="250" height="156" /></a> <p>Most frequently used word pairs in codecentric’s Twitter followers’ descriptions.</p></div><div><p>This graph shows the most common word pairs in our influential followers’ descriptions (arrow colors represent how often the pair occurs). Because we are looking at a relatively small set of followers, none of the word pairs occur exceptionally often. Still, data science is the most common word pair!</p></div><div><h3>Sentiment analysis</h3><p>Sentiment analysis describes a collection of natural language processing tools and resources that are used to identify subjective information in text, like positive or negative sentiment, joy, digust, fear, anger, etc.</p><p>Here, we can also use bigram analysis to identify negated meanings, i.e. words preceded by “not”, “no”, etc. In sentiment analysis, the meanings of negated words can then be reversed.</p><div><a href="https://media.graphassets.com/RZd8bFxT3GNvjIYWBmJA"><img loading="lazy" src="https://media.graphassets.com/RZd8bFxT3GNvjIYWBmJA" alt width="250" height="94" /></a> <p>Overall sentiment score distribution of codecentric’s Twitter followers’ descriptions.</p></div><div><div><p>This plot shows the overall sentiment in the user descriptions of the most influential followers. Based on Bing Liu’s sentiment lexicon, we can score how many positive and negative words were used in each followers’ description. Because this lexicon is only available for the English language, we can only get realiable scores for followers with an English description (68 out of 100 followers have an English language setting). As we can see, the majority of followers have predominantly positive descriptions.</p></div></div><div><h2>Social Network Analysis</h2><p>Social networks describe interactions between people, e.g. Twitter friends and followers. The analysis of such networks makes use of graph theory.</p><p>Here, we can show codecentric’s Twitter followers and friends as a directed network: each node represents a user and edge arrows indicate who a user follows.</p><p>Because of Twitter’s API rate limit, I have only mined the friends lists of 106 of codecentric’s friends. Still, this leaves us with a network of 39929 second degree connections!</p><p>With graph theory we can calculate a number of metrics that allow us to identify key players in the network:</p><ul><li>centrality and node degree to find nodes with many adjacent edges (i.e. users who are highly connected)</li><li>closeness to find central nodes (i.e. users that can spread information to many other users)</li><li>transitivity or clustering coefficient, which measures the probability that adjacent nodes are connected</li><li>PageRank or eigenvector centrality, which scores nodes according to their connections with high-degree nodes</li><li>betweenness centrality and diameter (to describe the shortest and longest paths between nodes)</li></ul><p>Below, I am showing the network graph with node size representing betweenness centrality. Nodes with high betweenness centrality are on the path between many other nodes, which makes them key connections or bridges between different groups of nodes. These users are very important because they are likely to pass on information to a wide reach of other users. Node positions are calculated with the Fruchterman-Reingold layout algorithm.</p><div><a href="https://media.graphassets.com/sGYiXiThSY0Mir9zO0MQ"><img loading="lazy" src="https://media.graphassets.com/sGYiXiThSY0Mir9zO0MQ" alt="grafic social network of codecentric's Twitter friends and followers" width="250" height="245" /></a> <p>Social network of codecentric’s Twitter friends and followers. Node size represents betweenness centrality.</p></div><h2>Topic Modeling</h2><p>We can now use the follower descriptions again to identify groups of users with similar interests. For a detailed introduction to topic modeling, see <a href="https://blog.codecentric.de/en/2017/01/topic-modeling-codecentric-blog-articles/">Matthias Radtke’s “Topic Modeling of the codecentric Blog Articles”“</a> .</p><p>Here, I am using Latent Dirichlet Allocation with the VEM algorithm to group codecentric’s first and second degree connections into five topics.</p><p>The wordcloud below visualizes the most characteristic words for each topic.</p><div><a href="https://media.graphassets.com/FoH59HV6SVHK5yHUMvAp"><img loading="lazy" src="https://media.graphassets.com/FoH59HV6SVHK5yHUMvAp" alt="Wordcloud showing representative word stems of five topics from topic modelling" width="250" height="250" /></a> <p>Wordcloud showing representative word stems of five topics from topic modelling.</p></div><p>Now, we want to know which topic each user in our network belongs to. This, we can find out with the so called gamma score. Each user is assigned the topic with highest respective gamma score.</p><div><a href="https://media.graphassets.com/FHur8dwbS9mWGekhaf7E"><img loading="lazy" src="https://media.graphassets.com/FHur8dwbS9mWGekhaf7E" alt="grafic social network of codecentric's Twitter friends and followers" width="250" height="265" /></a> <p>Social network of codecentric’s Twitter friends and followers. Color indicate topic from topic modelling.</p></div><p>This network shows the different interest groups of codecentric’s Twitter friends based on what topics they and their friends were assigned to (one user e.g. seems to be follow many users assigned to topic 1, which is about software development).</p><p>Even though this network is far from representative, because it only shows a subgroup of second degree friends, we can already see the potential that this information contains! We now have a very good idea about the interests of our friends from a) their Twitter descriptions and b) from the descriptions of the users that they in turn follow. We could now, for example, generate a similar network with first and second degree followers. It would give us a good idea about the interests of users who are not (yet) followers. This information could be used to target specific interest groups by expanding or focusing more on topics where we see a potential for reaching many users via existing followers.</p><p>We could even imagine combining this approach with machine learning techniques to predict follower interests and sharing-potential.</p><hr /><p>All analyses have been done with R version 3.4.0.</p><p>Code is available via <a href="https://github.com/ShirinG/blog_posts_prep/blob/master/twitter/twitter_codecentric.Rmd">Github</a> .</p></div></div></div></div>

Social Network Analysis and Topic Modeling of codecentric’s Twitter friends and followers

<p>Traditional machine learning workflows focus heavily on model training and optimization; the best model is usually chosen via performance measures like accuracy or error and we tend to assume that a model is good enough for deployment if it passes certain thresholds of these performance criteria. <strong>Why</strong> a model makes the predictions it makes, however, is generally neglected. But being able to understand and interpret such models can be immensely important for improving model quality, increasing trust and transparency and for reducing bias. Because complex machine learning models are essentially black boxes and too complicated to understand, we need to use approximations to get a better sense of how they work. One such approach is LIME, which stands for <strong>Local Interpretable Model-agnostic Explanations</strong> and is a tool that helps understand and explain the decisions made by complex machine learning models.</p><div><h2>Accuracy and Error in Machine Learning</h2><p>A general Data Science workflow in machine learning consists of the following steps: gather data, clean and prepare data, train models and choose the best model based on validation and test errors or other performance criteria. Usually we – particularly we Data Scientists or Statisticians who live for numbers, like small errors and high accuracy – tend to stop at this point. Let’s say we found a model that predicted 99% of our test cases correctly. In and of itself, that is a very good performance and we tend to happily present this model to colleagues, team leaders, decision makers or whoever else might be interested in our great model. And finally, we deploy the model into production. We assume that our model is trustworthy, because we have seen it perform well, but we don’t know <strong>why</strong> it performed well.</p><p>In machine learning we generally see a trade-off between accuracy and model complexity: the more complex a model is, the more difficult it will be to explain. A simple linear model is easy to explain because it only considers linear relationships between variables and predictor. But since it only considers linearity, it won’t be able to model more complex relationships and the prediction accuracy on test data will likely be lower. Deep Neural Nets are on the other end of the spectrum: since they are able to deduce multiple levels of abstraction, they are able to model extremely complex relationships and thus achieve very high accuracy. But their complexity also essentially makes them <strong>black boxes</strong>. We are not able to grasp the intricate relationships between all features that lead to the predictions made by the model so we have to use performance criteria, like accuracy and error, as a proxy for how trustworthy we believe the model is.</p><p>Trying to <strong>understand the decisions</strong> made by our seemingly perfect model usually isn’t part of the machine learning workflow.<br /> So why would we want to invest the additional time and effort to understand the model if it’s not technically necessary?</p><p>One way to improve understanding and explain complex machine learning models is to use so-called <em>explainer functions</em>. There are several reasons why, in my opinion, model understanding and explanation should become part of the machine learning workflow with every classification problem:</p><ul><li>model improvement</li><li>trust and transparency</li><li>identifying and preventing bias</li></ul><div><h2>Model Improvement</h2><p>Understanding the relationship between features, classes and predictions, thereby understanding <strong>why</strong> a machine learning model made the decisions it made and which features were most important in that decision can help us decide if it makes <strong>intuitive sense</strong>.</p><p>Let’s consider the following poignant example from the literature: we have a deep neural net that learned to distinguish images of wolves from huskies [1]; it was trained on a number of images and tested on an independent set of images. 90 % of the test images were predicted correctly. We could be happy with that! But what we don’t know without running an explainer function is that the model based its decisions primarily on the background: wolf images usually had a snowy background, while husky images rarely did. So we unwittingly trained a snow detector… Just by looking at performance measures like accuracy, we would not have been able to catch that!</p><p>Having this additional knowledge about how and based on which features model predictions were made, we can intuitively judge whether our model is picking up on meaningful patterns and if it will be able to generalize on new instances.</p></div><div><h2>Trust and Transparency</h2><p>Understanding our machine learning models is also necessary to improve <strong>trust</strong> and provide <strong>transparency</strong> regarding their predictions and decisions. This is especially relevant given the new General Data Protection Regulation (GDPR) that will go into effect in May of 2018. Even though it is still hotly discussed whether its Article 22 includes a “right to explanation” of algorithmically derived decisions [2], it probably won’t be enough for long any more to have black box models making decisions that directly affect people’s lives and livelihoods, like loans [3] or prison sentences [4].</p><p>Another area where trust is particularly critical is medicine; here, decision will potentially have life-or-death consequences for patients. Machine learning models have been impressively accurate at distinguishing malignant from benign tumors of different types. But as basis for (no) medical intervention we still require a professional’s explanation of the diagnosis. Providing the explanation for why a machine learning model classified a certain patient’s tumor as benign or malignant would go a long way to help doctors trust and use machine learning models that support them in their work.</p><p>Even in everyday business, where we are not dealing with quite so dire consequences, a machine learning model can have very serious repercussions if it doesn’t perform as expected. A better understanding of machine learning models can save a lot of time and prevent lost revenue in the long run: if a model doesn’t make sensible decisions, we can catch that <strong>before</strong> it goes into deployment and wreaks havoc there.</p></div><div><h2>Identifying and Preventing Bias</h2><p>Fairness and bias in machine learning models is a widely discussed topic [5, 6]. Biased models often result from biased ground truths: if the data we use to train ours model contains even subtle biases, our models will learn them and thus propagate a self-fulfilling prophecy! One such (in)famous example is the machine learning model that is used to suggest sentence lengths for prisoners, which obviously reflects the inherent bias for racial inequality in the justice system [4]. Other examples are models used for recruiting, which often show the biases our society still harbors in terms of gender-associations with specific jobs, like male software engineers and female nurses [5].</p><p>Machine learning models are a powerful tool in different areas of our life and they will become ever more prevalent. Therefore, it is our responsibility as Data Scientists and decision makers to understand how the models we develop and deploy make their decisions so that we can proactively work on preventing bias from being reinforced and removing it!</p></div><div><h2>LIME</h2><p>LIME stands for <strong>Local Interpretable Model-agnostic Explanations</strong> and is a tool that helps understand and explain the decisions made by complex machine learning models. It has been developed by Marco Ribeiro, Sameer Singh and Carlos Guestrin in 2016 [1] and can be used to explain any classification model, whether it is a Random Forest, Gradient Boosting Tree, Neural Net, etc. And it works on different types of input data, like tabular data (data frames), images or text.</p><p>At its core, LIME follows three concepts:</p><ul><li>explanations are not given globally for the entire machine learning model, but <strong>locally</strong> and for every instance separately</li><li>explanations are given on <strong>original input features</strong>, even though the machine learning model might work on abstractions</li><li>explanations are given for the most important features by <strong>locally fitting a simple model</strong> to the prediction</li></ul><p>This allows us to get an approximate understanding of which features contributed most strongly to a single instance’s classification and which features contradicted it and how they influenced the prediction.</p><p>The following example showcases how LIME can be used:<br /> I built a Random Forest model on a data set about Chronic Kidney Disease [7]. The model was trained to predict whether a patient had chronic kidney disease (ckd) or not (notckd). The model achieved 99 % accuracy on validation data and 95 % on test data. Technically, we could stop here and declare victory. But we want to understand why certain patients were diagnosed with chronic kidney disease and why others weren’t. A medical professional would then be able to assess whether what the model learned makes intuitive sense and can be trusted. To achieve this, we can apply LIME.</p><p>As described above, LIME works on each instance individually and separately. So first, we take one instance (in this case the data from one patient) and <strong>permute</strong> it; i.e. the data is replicated with slight modifications. This generates a new data set consisting of similar instances, based on one original instance. For every instance in this permuted data set we also calculate how similar it is to the original instance, i.e. how strong the modifications made during permutation are. Basically, any type of statistical <strong>distance and similarity metric</strong> can be used in this step, e.g. Euclidean distance converted to similarity with an exponential kernel of specified width.<br /> Next, our complex machine learning model, which was trained before, will <strong>make predictions on every permuted instance</strong>. Because of the small differences in the permuted data set, we can keep track of how these changes affect the predictions that are made.</p><p>And finally, we <strong>fit a simple model</strong> (usually a linear model) to the permuted data and its predictions using the most important features. There are different ways to determine the most important features: we typically define the number of features we want to include in our explanations (usually around 5 to 10) and then either</p><ul><li>choose the features with highest weights in the regression fit on the predictions made by the complex machine learning model</li><li>apply forward selection, where features are added to improve the regression fit on the predictions made by the complex machine learning model</li><li>choose the features with smallest shrinkage on the regularization of a lasso fit on the predictions made by the complex machine learning model</li><li>or fit a decision tree with fewer or equal number of branch splits as the number of features we have chosen</li></ul><p>The similarity between each permuted instance and the original instance feeds as a weight into the simple model so that higher importance is given to instances which are more similar to the original instance. This precludes us from using any simple model as an explainer that is able to take weighted input, e.g. a ridge regression.</p><p>Now, we can interpret the prediction made for the original instance. With the example model described above, you can see the LIME output for the eight most important features for six patients/instances in the figure below:</p><p><a href="https://media.graphassets.com/W5QkE6LHTSStR5kOMhI9"><img width="250" height="309" src="https://media.graphassets.com/W5QkE6LHTSStR5kOMhI9" alt="LIME explanations of example machine learning model" /></a> </p><p>Each of the six facets shows the explanation for the prediction of an individual patient or instance. The header of each facet gives the case number (here the patient ID), which class label was predicted and with what probability. For example, the top left instance describes case number 4 which was classified as “ckd” with 98 % probability. Below the header we find a bar-plot for the top 8 most important features; the length of each bar shows the weight of the feature, positive weights support a prediction, negative weights contradict it. Again described for the top left instance: the bar-plot shows that the hemoglobin value was between 0.388 and 0.466, which supports the classification as “ckd”; packed cell volume (pcv), serum creatinine (sc), etc. similarly support the classification as “ckd” (for a full list of feature abbreviations, see <a href="http://archive.ics.uci.edu/ml/datasets/Chronic_Kidney_Disease">http://archive.ics.uci.edu/ml/datasets/Chronic_Kidney_Disease</a> ). This patient’s age and white blood cell count (wbcc), on the other hand, are more characteristic of a healthy person and therefore contradict the classification as “ckd”.</p></div><div><h2>Links and additional resources</h2><p>This article is also available in German: <a href="https://blog.codecentric.de/2018/01/vertrauen-und-vorurteile-maschinellem-lernen/">https://blog.codecentric.de/2018/01/vertrauen-und-vorurteile-maschinellem-lernen/</a> </p><ol><li>Marco Tulio Ribeiro, Sameer Singh, and Carlos Guestrin. 2016. “Why Should I Trust You?”: Explaining the Predictions of Any Classifier. In Proceedings of the 22nd ACM SIGKDD International Conference on Knowledge Discovery and Data Mining (KDD ’16). ACM, New York, NY, USA, 1135-1144. DOI: <a href="https://doi.org/10.1145/2939672.2939778">https://doi.org/10.1145/2939672.2939778</a> </li><li>Edwards, Lilian and Veale, Michael, Slave to the Algorithm? Why a ‘Right to an Explanation’ Is Probably Not the Remedy You Are Looking For (May 23, 2017). 16 Duke Law & Technology Review 18 (2017). Available at SSRN: <a href="https://ssrn.com/abstract=2972855">https://ssrn.com/abstract=2972855</a> </li><li>http://www.insidertradings.org/2017/12/18/machine-learning-as-a-service-market-research-report-2017-to-2022/</li><li><a href="http://mitsloan.mit.edu/newsroom/press-releases/mit-sloan-professor-uses-machine-learning-to-design-crime-prediction-models/">http://mitsloan.mit.edu/newsroom/press-releases/mit-sloan-professor-uses-machine-learning-to-design-crime-prediction-models/</a>  and <a href="https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html">https://www.nytimes.com/2017/05/01/us/politics/sent-to-prison-by-a-software-programs-secret-algorithms.html</a> </li><li><a href="https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-racial-bias-in-artificial-intelligence">https://www.bloomberg.com/news/articles/2017-12-04/researchers-combat-gender-and-racial-bias-in-artificial-intelligence</a> </li><li><a href="https://www.engadget.com/2017/12/21/algorithmic-bias-in-2018/">https://www.engadget.com/2017/12/21/algorithmic-bias-in-2018/</a> </li><li><a href="http://archive.ics.uci.edu/ml/datasets/Chronic_Kidney_Disease">http://archive.ics.uci.edu/ml/datasets/Chronic_Kidney_Disease</a> </li></ol><ul><li>I recently gave a talk about LIME at the Münster Data Science Meetup, you can find my slides from that talk here: <a href="https://shiring.github.io/netlify_images/lime_meetup_slides_wvsh6s.pdf">https://shiring.github.io/netlify_images/lime_meetup_slides_wvsh6s.pdf</a> </li><li>the code for the example analysis below can be found here: <a href="https://shirinsplayground.netlify.com/2017/12/lime_sketchnotes/">https://shirinsplayground.netlify.com/2017/12/lime_sketchnotes/</a> </li><li>open-source Python code for LIME: <a href="https://github.com/marcotcr/lime">https://github.com/marcotcr/lime</a> </li><li>R package for LIME: <a href="https://github.com/thomasp85/lime">https://github.com/thomasp85/lime</a> </li></ul></div></div>

Looking beyond accuracy to improve trust in machine learning

Team Lead & Consultant Data/AI

Workshop „Responsible Digital AI-Solutions: Ein ganzheitlicher Ansatz für nachhaltige Innovation"

Weitere Infos

Details

Logo der codecentric AG, einem in Deutschland führenden IT-Consulting Unternehmen

Logo der codecentric AG einem in Deutschland führenden IT-Consulting Unternehmen

Cloud-Native

Data & Machine Learning

Generative KI

Produktentwicklung

IT-Security

Leistungen

Arbeitsweise

Projekte

Berlin

Bielefeld

Dortmund

Erfurt

Frankfurt am Main

Hamburg

Karlsruhe

Leipzig

München

Münster

Nürnberg

Solingen

Stuttgart

Standorte

Blog

Softwerker

Fachmedien

Webinare

Events

Wissens-Hub

Unsere Kultur

Kultur & Karriere Podcast

Deine Entwicklung

Jobs

Karriere

Über uns

Aktuelles

Kontakt

International contact

Du hast Fragen oder möchtest dich mit mir austauschen? Gern – trag einfach deine Kontaktdaten ein.

Contact Us | Sub-Navi-Kontakt oder Zero Search Hits

Kontakt aufnehmen

Marketing & Community Management

Konntest du keine Einträge zu deinem Thema finden?  

Vielen Dank für deine Anfrage. Ich melde mich bei dir.

Vielen Dank für deine Anmeldung. Eine E-Mail zur Bestätigung ist zu dir unterwegs.

Diese Seite ist eine Vorschau. \nKlicken Sie hier\n, um den Vorschaumodus zu verlassen.

Zu deiner Suche haben wir leider keine passenden Blogartikel gefunden. 

Du hast noch Fragen zu diesem Thema? Dann sprich mich einfach an.

Du hast Fragen oder möchtest dich mit mir austauschen? Gern - trag einfach deine Kontaktdaten ein.

Die \nDatenschutzerklärung\n der codecentric AG habe ich zur Kenntnis genommen und bestätige das mit der Absendung des Formulars.*

Entdecke spannende weiterführende Themen und lass dich von der codecentric Welt inspirieren.

Ich möchte eure Inhalte abonnieren. Diese Einwilligung kann ich jederzeit widerrufen bzw. den Blog Newsletter abbestellen. Die Datenschutzerklärung habe ich gelesen. Ich bin damit einverstanden, dass die codecentric AG, Hochstr. 11, 42697 Solingen, mich über eigene Dienstleistungen, branchenrelevante Events, Webinare und Publikationen der codecentric AG über die von mir angegebene E-Mail-Adresse informiert. Meine Einwilligung ist freiwillig. Ich kann meine Einwilligung jederzeit mit Wirkung für die Zukunft widerrufen (z.B. über den hierfür vorgesehenen Abmeldelink in unserem Newsletter, per E-Mail an datenschutz@codecentric.de oder per Post an die oben genannte Adresse der codecentric AG) erklären. Weitere Hinweise zur Verarbeitung meiner personenbezogenen Daten und zu meinen Rechten als betroffene Person finde ich hier: \nhttps://www.codecentric.de/datenschutzerklaerung\n

Bitte wähle deine/n gewünschte/n Standort/e aus.

Wir möchten dich als Mensch kennenlernen. Erzähle uns, wer du bist, worauf du Wert legst, wie du gerne arbeitest und was du von uns als Arbeitgeber erwartest.

Bitte füge deine Bewerbungsunterlagen ​(mind. Lebenslauf, gerne auch mehr)​​ ​als eine ​PDF-​Datei ​hinzu.

Es gilt die Datenschutzerklärung der codecentric AG, abrufbar unter \nDatenschutzbestimmungen\n. Mit dem Absenden des Formulars bestätige ich, dass ich diese zur Kenntnis genommen habe.

Job application form field placeholder 10

Keine passende Rolle gefunden? Bewirb dich bitte trotzdem initiativ! Jenseits von starren Schubladen zählen für uns vielmehr Motivation, Kompetenz und der Cultural Fit.

Job application form field placeholder 11

Dies ist ein Pflichtfeld, bitte fülle es aus.

Mittelstand-Digital Tag münsterLAND

Details

Weitere Infos

Workshop „Responsible Digital AI-Solutions: Ein ganzheitlicher Ansatz für nachhaltige Innovation"

Gemeinsam bessere Projekte umsetzen.

Wir helfen deinem Unternehmen.

Unsere Leistungen

Hilf uns, noch besser zu werden.

Zu den Jobangeboten