Logo der codecentric AG, einem in Deutschland führenden IT-Consulting Unternehmen

Logo der codecentric AG einem in Deutschland führenden IT-Consulting Unternehmen

Cloud-Native

Data & Machine Learning

Generative KI

IT-Security

Produktentwicklung

Weitere Leistungen...

Leistungen

Arbeitsweise

Projekte

Berlin

Bielefeld

Dortmund

Erfurt

Frankfurt am Main

Hamburg

Karlsruhe

Leipzig

München

Münster

Nürnberg

Solingen

Stuttgart

Standorte

Blog

Softwerker

Fachmedien

Webinare

Events

Wissens-Hub

Unsere Kultur

Kultur & Karriere Podcast

Deine Entwicklung

Jobs

Karriere

Über uns

Aktuelles

Kontakt

International contact

Alle Standorte

Du hast Fragen oder möchtest dich mit mir austauschen? Gern – trag einfach deine Kontaktdaten ein.

Contact Us | Sub-Navi-Kontakt oder Zero Search Hits

Kontakt aufnehmen

Marketing & Community Management

Konntest du keine Einträge zu deinem Thema finden?  

EVENT

Business Acceleration Club

Der Business Acceleration Club in Frankfurt fand am 2. November 2023 statt und ist ein exklusives Format auf CxO-Ebene zum Austausch zu Business und IT-Themen.

Business Acceleration Club in Frankfurt

Video-Rückblick zum Business Acceleration Club bei codecentric Frankfurt am 02.11.2023

Produkt-Entwicklung 10x faster: Kundenfeedback als Erfolgsfaktor

Videovorschau zum Videorückblick des Business Acceleration Clubs in Frankfurt im November 2023

Zu den aktuellen Events

Dann informiere dich hier über die nächsten Events

Du möchtest beim nächsten Mal auch dabei sein?

Beim Business Acceleration Club beleuchten wir mit unseren Teilnehmer*innen das Zusammenspiel aus Entwicklung, Operations, Business und IT entlang der Wertschöpfungskette der Digitalisierung.

An diesem Tag in Frankfurt stand der Wert von Kundenfeedback im Fokus, bzw. wie man dieses Kundenfeedback sinnvoll und nachhaltig in die eigene Wertschöpfungskette aus Entwicklung, Operations, Business und IT einbinden kann.

Unsere vier Speaker*innen gewährten mit einem Blick hinter die Kulissen konkrete Insights aus ihrer Produktentwicklung und lieferten uns damit für die anschließenden Workshops einige Impulse zu inspirierenden Diskussionen.

Das Fokusthema ...

In unseren insgesamt 6 Workshops hatten die Teilnehmer*innen reichlich Zeit, sich nach den gewonnenen Einblicken auszutauschen. Unser Open-Space-Format bietet dafür allen Beteiligten die Möglichkeit, sich in einem geschützten Raum über ihre Themen zu unterhalten. Eine tolle Möglichkeit für alle, viele individuelle Insights und Erfahrungen offen zu teilen. Auch bei uns in Frankfurt diskutierte unsere Community lebhaft über Ihre Best Practices bei der Produktentwicklung!

4 Personen sitzen zusammen und tauschen sich aus, darunter Dr. Matthias Altenhöfer und Sönke Ohls

... die Workshops ...

Ergebnis des Tages waren dabei aufschlussreiche Anregungen und Take-aways, die zu intensiven Gesprächen bei unserem Networking-Dinner geführt haben. Neben einem abwechslungsreichen Buffet gab es viel Raum für Best-Practice-Anekdoten und einen wertvollen Erfahrungsaustausch. Gemeinsam ließen die Teilnehmer*innen den inspirierenden Tag mit guten Gesprächen, neuen Kontakten und viel Spaß ausklingen.

Personen in Frankfurter Cafeteria unterhalten sich

... der Ausklang

Das war der Business Acceleration Club am 2. November 2023 in Frankfurt

Weitere Impressionen des Events

Dr. Matthias Altenhöfer beim Vortrag mit Mikrofon

6 Männer in Sitzgruppe bei einem Business Acceleration Club-Workschop

Björn Kaiser, Head of Retail IT bei OTTO, bei seinem Vortrag "Produktentwicklung bei OTTO – Feedback als Booster"

Carola Bodach bei ihrem Vortrag, im Vordergrund Zuhörer*innen in Stuhlreihen

2 Teilnehmer am Business Acceleration Club unterhalten sich

A. Weber + S. Rahmede:  "Weil der Kunde zählt – Best Practices und Erfahrungen bei der Gestaltung eines digitalen Produkts"

Verena Deller und Markus Zink bei einem Business Acceleration Club-Workshop in Diskussion mit Björn Kaiser von OTTO

7 Teilnehmer*innen im Gespräch in Sitzecke beim Business Acceleration Club, darunter codecentric-Vorstand Verena Deller

Anja Schlepper-Erim von Lufthansa Cargo mit Mikrofon

Gruppe diskutiert in Fenster-Sitzecke beim Business Acceleration Club

Dominic Wulff von der R+V Allgemeine Versicherung AG im Gespräch vor dem Business Acceleration Club

Möchtest du gern beim Business Acceleration Club dabei sein? Schreib uns deine Kontaktdaten – wir melden uns bei dir.

Event | BAC - Business Acceleration Club

Sprich mich an

<div><a href="https://media.graphassets.com/wtYRn5XsRKyngX9rLvgl"><img loading="lazy" title="MongoDB World Tour 2012" src="https://media.graphassets.com/wtYRn5XsRKyngX9rLvgl" alt="MongoDB World Tour 2012" width="180" height="240" /></a> MongoDB World Tour 2012</div>Im Rahmen der MongoDB World Tour 2012 hat 10gen, die Firma hinter MongoDB, Station in der bayerischen Landeshauptstadt gemacht.<dl><dt></dt></dl>Die <a href="http://www.10gen.com/events/mongodb-munich" target="_blank">eintägige Konferenz</a>  im Hilton Park Hotel drehte sich natürlich voll und ganz um MongoDB in all seinen Facetten. Dabei war das Programm ein guter Mix aus Vorträgen von 10gen Ingenieuren sowie von Vorträgen aus der mittlerweile doch sehr großen deutschen Benutzergemeinde. So verwundert es auch nicht, dass die Konferenz mit über 200 Besuchern für eine Herstellerkonferenz erstaunlich gut besucht war. Und wie verschiedene Umfragen während der Vorträge zeigten, setzen viele dieser Besucher MongoDB auch bereits produktiv ein. Dabei ist die Datengröße dieser Installationen meist noch im unteren Gigabyte-Bereich, lediglich wenige Anwender setzen schon Datenbanken im Petabyte-Bereich ein.codecentric ist bereits seit April dieses Jahres Partner von 10gen und arbeitet eng mit diesen zusammen. So wurden u.a. die Benutzergruppen in Düsseldorf und Frankfurt erfolgreich gestartet sowie auch die ersten Projekte.  Daher war es nur logisch, dass wir uns auch an der Konferenz mit zwei eigenen Beiträgen beteiligt haben. <div><a href="https://media.graphassets.com/9loBkixRRyu6BIgje3os"><img loading="lazy" title="Tobias Trelle @ MongoDB Munich 2012" src="https://media.graphassets.com/9loBkixRRyu6BIgje3os" alt="Tobias Trelle @ MongoDB Munich 2012" width="225" height="300" /></a> Tobias Trelle @ MongoDB Munich 2012</div><a href="https://twitter.com/tobiastrelle" target="_blank">Tobias Trelle</a> , Senior IT Consultant am Standort Düsseldorf, hat eine umfassende Einführung in Spring Data MongoDB gegeben. Spring ist ein in der Java-Welt weit verbreitetes Framework für leichtgewichtige Enterprise Applikationen, welches eine sehr schöne Abstraktionsschicht für Java-Applikationen darstellt. Unterstützung für relationale Datenbanken bietet das Teilprojekt Spring Data JPA schon seit längerem. Im Zuge der NoSQL-Bewegung wurde das <a href="http://www.springsource.org/spring-data" target="_blank">Spring Data Projekt</a> , angetrieben von <a href="https://twitter.com/olivergierke" target="_blank">Oliver Gierke</a> , auf diverse NoSQL-Datastores ausgeweitet und es gibt u.a. mit Spring Data MongoDB ein Teilprojekt, welches den Zugriff aus Java-Applikationen heraus auf Dokumente in MongoDB vereinfacht. Die Folien seines Vortrages finden sich auf <a href="http://de.slideshare.net/tobiastrelle/mongodb-munich-2012-spring-data-mongodb" target="_blank">Slideshare</a> :<div><div><div>Klicken Sie auf den unteren Button, um den Inhalt von de.slideshare.net zu laden.<a href="#">Inhalt laden</a> </div></div><div></div></div> <div><a href="https://media.graphassets.com/f6mHNSdtTf2Td8Bjn0tK"><img loading="lazy" title="Uwe Seiler @ MongoDB Munich 2012" src="https://media.graphassets.com/f6mHNSdtTf2Td8Bjn0tK" alt="Uwe Seiler @ MongoDB Munich 2012" width="300" height="168" /></a> Uwe Seiler @ MongoDB Munich 2012</div><a href="https://twitter.com/uweseiler" target="_blank">Ich selbst</a> , Senior IT Consultant am Standort Frankfurt, habe einen Vortrag zum Thema „Map/Confused? – A practical approach to Map/Reduce with MongoDB“ gegeben, in dem ich die Möglichkeiten und Limitierungen der verschiedenen Ansätze der Verwendung des Map/Reduce-Verfahren innerhalb von MongoDB  dargestellt habe. Die verschiedenen Möglichkeiten dabei sind Map/Reduce in der JavaScript-Engine von MongoDB, das mit Version 2.2 eingeführte Aggregation Framework sowie das Zusammenspiel mit Apache Hadoop mittels des MongoDB-Hadoop-Adapters. Diese Ansätze habe ich in einer praxisorientierten ersten Annäherung v.a. auf ihre Performance hin untersucht. Auch diese Folien finden sich auf <a href="http://de.slideshare.net/uweseiler/mapconfused-a-practical-to-mapreduce-with-mongodb" target="_blank">Slideshare</a> :<div><div><div>Klicken Sie auf den unteren Button, um den Inhalt von de.slideshare.net zu laden.<a href="#">Inhalt laden</a> </div></div><div></div></div> Weitere persönliche Highlights unter den Vorträgen waren für mich die folgenden:<ul><li>Mit <a href="https://twitter.com/mathias_mongo" target="_blank">Mathias Stearn</a> war einer der Core Developer von 10gen (er selbst hat sich als Nummer 6 bezeichnet) unter den Speakern und hat das neue Aggregation Framework vorgestellt. Dabei kam der Vortrag komplett ohne Powerpoint aus und wurde komplett in der Shell gehalten. Alleine das war natürlich schon purer Geek Porn und neben dem fundierten Wissen einfach sehr angenehm zuzuhören und -schauen. In einem weiteren Vortrag hat er dann noch die Interna des Jornalings und der Storage Engine vorgestellt und da er das alles selbst programmiert hat, kann man sich vorstellen, dass wirklich sehr tief in die Interna geschaut wurde und man konnte noch viel dabei lernen.</li></ul> <ul><li><a href="https://twitter.com/tomassino" target="_blank">Tomislav Zorc</a> und <a href="https://twitter.com/Bernd_Z" target="_blank">Bernd Zuther</a>  haben ihre „Pizza Shardoni“ vorgestellt. Dabei handelt es sich um einen sehr schönen Showcase, der mit Hilfe von MongoDB und Wicket erstellt wurde. Der Kern des Showcases ist der Pizzabäcker Mario, der durch ein neues Herstellungsverfahren München mit 500.000 Pizzen pro Sekunde beliefern kann. Auf dieser Idee wurde ein Bestellsystem sowie ein Reporting programmiert und eindeutiges Highlight war, als alle Zuhörer über ihre Mobile Devices angefangen haben, Pizzen zu bestellen.</li></ul> <ul><li>Christian Brensing, Senior Developer, hat ein Projekt vorgestellt in dem die Applikation BayerText des Freistaates Bayern zur Verwaltung und Erstellung von Serienbriefen von Oracle auf MongoDB umgestellt wurde. Besonders interessant waren dabei seine Ausführungen, wie man die in MongoDB fehlende Transaktionalität einfach auf der Applikationsschicht implementieren kann. Schön war auch ein Punkt seines abschließenden Fazits: „Developing the data layer is fun again!“</li></ul> Eröffnet und beendet wurde die Konferenz standesgemäß von <a href="https://twitter.com/jonnyeight" target="_blank">Alvin Richards</a> , Technical Director for EMEA, von 10gen. Besonders interessant war dabei sein Ausblick auf die kommende Version 2.4 von MongoDB. Überraschend war vor allem der Zeitpunkt, welcher mit Winter 2012 angegeben wurde. Was das genau heißen mag wird die Zukunft zeigen, aber es ist ein eindeutiger Hinweis auf einen wieder kürzeren Releasezyklus. Zudem hat er mögliche Neuigkeiten angedeutet, wobei er deutlich darauf hingewiesen hat, dass der Umfang immer im Fluss ist und dass die einzige Wahrheit im öffentlich zugänglichen JIRA von 10gen steht. Ich freue mich besonders auf V8 und bin gespannt auf den erwarteten Performancezuwachs.<div><a href="https://media.graphassets.com/plNx2WE7RbSMNsj29EVr"><img loading="lazy" title="Highlights of MongoDB 2.4" src="https://media.graphassets.com/plNx2WE7RbSMNsj29EVr" alt="Highlights of MongoDB 2.4" width="700" height="525" /></a> Highlights of MongoDB 2.4</div>Insgesamt war es ein rundum gelungener Tag rund um MongoDB, die Organisation und die Verpflegung ließ absolut keine Wünsche offen und es gab eine Menge an interessanten Gesprächen und Diskussionen. Daher freue mich schon auf die Neuauflage 2013 und wer bis dahin zum Thema MongoDB auf dem Laufenden bleiben will, sei zum Abschluss noch einmal in eine der MongoDB User Groups in eurer Nähe eingeladen.

Eindrücke von der MongoDB Munich 2012

Einführung in Hadoop – Die wichtigsten Komponenten von Hadoop (Teil 3 von 3)

<h2>MongoDB</h2>MongoDB (abgeleitet vom engl. humongous, „gigantisch“) ist eine hochperformante, schema-freie, dokumentenorientierte Open-Source-Datenbank, die in der Programmiersprache C++ geschrieben ist. Da die Datenbank dokumentenorientiert ist, kann sie Sammlungen von JSON-ähnlichen Dokumenten verwalten. So können viele Anwendungen Daten auf natürlichere Weise modellieren, da die Daten zwar in komplexen Hierarchien verschachtelt werden können, dabei aber immer abfragbar und indizierbar bleiben. Eine kurze Einleitung, die die ersten Schritte mit MongoDB erklärt, gibt <a href="http://blog.codecentric.de/2012/02/spring-data-mongodb-2/" target="_blank">dieser Artikel</a> .Bei MongoDB handelt es sich um eine NoSQL-Datenbank, wobei NoSQL ein Sammelbegriff für eine Vielzahl von unterschiedlichen Datenbanklösungen ist, welche sich besser als „Nicht-relationale Datenbanken“ beschreiben lassen. Ihren Ursprung hatten diese Lösungen in der Erkenntnis, dass gerade für Big Data Probleme „traditionelle“ relationale Datenbanken (RDBMS) mit ihren meist starren Schemas und normalisiert in Tabellen gepressten Daten nicht die ideale Lösung sind. Zudem ist man in Sachen der Skalierbarkeit von RDBMS immer häufiger an Performance- und Kostengrenzen gestoßen. Entsprechend hat man nach anderen Lösungen für diese Probleme gesucht. Ein großer Treiber hinter der NoSQL-Bewegung ist sicherlich das Internet und die Bedürfnisse von Webapplikationen, da gerade dort die Datenmengen immer größer werden, gleichzeitig werden diese Daten aber auch immer vernetzter und gerade durch die zunehmende Benutzerinteraktion des Web 2.0 werden die Daten auch immer individueller und nicht mehr klar strukturiert. Bekannteste Beispiele für auf diesen Überlegungen basierende NoSQL-Lösungen sind dabei sicherlich Google mit ihrem 2004 entstandenen <a href="http://de.wikipedia.org/wiki/BigTable" target="_blank">BigTable-Ansatz</a> zur Speicherung ihres Suchmaschinen-Indexes sowie Amazon mit seinem 2007 publizierten <a href="http://de.wikipedia.org/wiki/Amazon_Dynamo" target="_blank">Dynamo-Ansatz</a> , welcher die Basis für die Amazon Web Services bildet. Ebenso ist auch die Erfolgsgeschichte von sozialen Netzwerken auf der technischen Seite eng mit der NoSQL-Bewegung verbunden.Ich persönlich finde die NoSQL-Bewegung sehr spannend, da sie meiner Meinung nach stark dazu beigetragen hat, das jahrelang vorherrschende und selten hinterfragte Mantra „Datenhaltung = RDBMS“ aufzubrechen und man sich nun noch intensiver mit der eigentlichen Struktur der Daten und den Anforderungen an eine Datenhaltungslösung beschäftigt. Und die NoSQL-Bewegung gibt einem dazu eine Vielzahl von unterschiedlichen Lösungen und Ansätzen an die Hand, welche zum großen Teil auch noch als Open-Source verfügbar sind. Der Markt für NoSQL-Datenbanken ist dabei über die Jahre auch immer mehr gereift und erreicht meines Erachtens nach langsam die Spitze seines <a href="http://en.wikipedia.org/wiki/Hype_cycle" target="_blank">Hype Cycles</a> . Gleichzeitig ist der Markt für NoSQL-Lösungen aber trotzdem immer noch recht dynamisch, neue NoSQL-Lösungen entstehen und manche vielversprechende Projekte wurden auch schon wieder eingestellt. Bei dieser Entwicklung hat sich MongoDB als die gemessen an der Anzahl der Downloads <a href="http://gigaom.com/cloud/theres-a-lotta-mongodb-out-there-hadoop-too-infographic/" target="_blank">populärste NoSQL-Lösung</a> herauskristallisiert und wird aufgrund seiner Einfachheit in der Handhabung und der breiten Funktionalität auch gerne als „Einstiegsdroge“ in die NoSQL-Welt bezeichnet. Doch auch bei allem gegenwärtigen Hype um NoSQL, darf man nicht vergessen, dass auch NoSQL-Datenbanken keine eierlegenden Wollmilchsäue sind und allein deren Einsatz automatisch alle Probleme löst. Auch sind deswegen „traditionelle“ RDBMS und SQL  noch lange nicht tot, sondern haben in vielen Anwendungsgebieten nach wie vor unschlagbare Vorteile. Sicher ist aber, wenn es heutzutage um die Architektur von Datenhaltungslösungen geht, dass man nicht mehr einäugig sein darf und sich mit den Vor- und Nachteilen von NoSQL auseinander setzen sollte, um so die passende Lösung für sein spezifisches Problem zu finden.<h2>MongoDB User-Gruppe Frankfurt</h2><h2><a href="https://media.graphassets.com/gCubYypDSkuNNJ4bunki"><img loading="lazy" title="Title Image MongoDB User-Gruppe Frankfurt" src="https://media.graphassets.com/gCubYypDSkuNNJ4bunki" alt width="734" height="55" /></a> </h2>codecentric ist seit April dieses Jahres stolzer Consulting & Service Partner von 10gen, der Firma hinter MongoDB. Weiterhin wurden im Mai dieses Jahres bereits die ersten <a href="https://www.codecentric.de/2012/05/11/mongodb-trainings-in-deutschland/" target="_blank">Schulungen zum Thema Entwicklung und Administration von MongoDB</a> erfolgreich in Zusammenarbeit mit Trainern von 10gen durchgeführt. Diese sind auf reges Interesse gestoßen und es werden sicherlich nicht die letzten Schulungen dieses Jahr bleiben.Aufgrund des Interesses habe ich daher vor kurzem in Zusammenarbeit mit 10gen die regionale User-Gruppe zum Thema MongoDB in Frankfurt gegründet. Diese folgt der bereits von meinem Kollegen Tobias Trelle initiierten MongoDB User-Gruppe in Düsseldorf , welche bereits ihr ersten Treffen mit einem hochinteressanten Beitrag zu „Spring Data MongoDB“  von <a href="https://twitter.com/#!/olivergierke" target="_blank">Oliver Gierke</a> (SpringSource) hatte.Ziel der User-Gruppe ist der regelmäßige Informationsaustausch und die Vernetzung zwischen MongoDB-Usern aus dem Großraum Frankfurt (und auch gerne darüber hinaus). Dazu bieten sich zum einen die Foren in XING zum virtuellen Austausch an, zum anderen schlägt aber natürlich nichts den persönlichen Austausch. Daher wird es monatliche Treffen der User-Gruppe im Raum Frankfurt geben, auf welchen wir Vorträge rund um das Thema MongoDB anbieten wollen und hoffentlich auch in rege Diskussionen kommen. Ich bin aktuell noch an der Planung des ersten Treffens, die Ankündigung findet zeitnah auf XING statt.Ich freue mich auf neue interessierte Mitglieder und den gemeinsamen Erfahrungsaustausch. Let’s MongoDB!

MongoDB User-Gruppe Frankfurt

So lässt sich die Fragestellung dieses zweiten Teils gut zusammenfassen und wird noch ergänzt durch die Frage „Und wie viel davon?“. Tatsächlich gibt es so etwas wie ein allgemein anerkanntes „Standard“-Hadoop nicht und am nächsten dran sind hier noch die Open Source Projekte der Apache Foundation. Aber zu Apache Hadoop gehören eine Vielzahl von Projekten und welche sind nun sinnvoll und welche braucht man? Weiterhin gibt es darauf aufbauend die Hadoop-Distributionen, die einen Teil dieser Open Source Projekte bündeln und teilweise noch um eigene Komponenten erweitern. Aber natürlich unterscheiden sich die Distributionen in Umfang, Unterstützung des Betriebs und Services für den Geschäftseinsatz – und natürlich auch im Preis. Letztendlich gibt es auch noch den Bereich der Big Data Suiten, die nochmal weitere Funktionalität wie etwa die Visualisierung der Daten und erweiterte Möglichkeiten für den Import & Export der Daten hinzufügen.Die folgende Grafik stellt dieses Spektrum dar und im Folgenden wollen wir uns diesen drei Kategorien widmen und sie näher darstellen.<a href="https://media.graphassets.com/5zrjxoOkQUChltezgS9S"><img src="https://media.graphassets.com/5zrjxoOkQUChltezgS9S" alt="übersicht_hadoop_pakete" width="672" height="504" /></a> <h2>Apache Hadoop</h2>Die Komponenten von Hadoop sind bei der Apache Foundation angesiedelt und stehen unter der <a href="http://www.apache.org/licenses/LICENSE-2.0" target="_blank">Apache License 2.0</a> . Bei Hadoop handelt es sich nicht nur um ein einzelnes Projekt, sondern um eine Vielzahl von zusammenhängenden und aufeinander aufbauenden Projekten. In diesem Zusammenhang spricht man gerne von den Kernkomponenten von Hadoop, welche die Grundlage für Hadoop und alle anderen Projekte bilden, die man als das Hadoop Ökosystem bezeichnet. Die Kernprojekte sind die folgenden:<ul><li>Hadoop Distributed File System (HDFS): Ein verteiltes Dateisystem für die Speicherung und Verwaltung großer Datenmengen</li><li>Hadoop MapReduce: Ein Framework zur verteilten und parallelen Verarbeitung von in HDFS gespeicherten Datenmengen</li></ul>Während sich Apache Hadoop recht einfach auch in einem lokalen Modus auf einem einzelnen Rechner für die Entwicklung installieren lässt, ist die Installation und der Betrieb in Clustern deutlich komplexer. Zum einen gibt es keine eingebaute Unterstützung bei der Installation von Hadoop in einem Cluster und ebenso gibt es auch keine Unterstützung zur Überwachung des Clusters im laufenden Betrieb. Zum zweiten beschränkt sich Apache Hadoop tatsächlich auf den Kern dessen, was Hadoop ausmacht. Das gesamte darum entstandene Ökosystem ist nicht enthalten und möchte man weiteren Komponenten nutzen, so müssen diese alle von Hand installiert werden. Und hier steht man schon vor dem ersten Problem, dass man sich die jeweils miteinander kompatiblen Versionen selbst aussuchen muss. Schließlich gibt es keinerlei kommerziellen Support und Firmen müssen alle ihre Hadoop-Probleme selbst lösen, wozu vor allem der meist langwierige Aufbau von entsprechendem Know-how gehört.Daraus ist ersichtlich, dass sich Apache Hadoop insbesondere für Experimente oder für interessierte Entwickler eignet. Während ein Einsatz im Clusterbetrieb für mittelgroße Firmen durchaus möglich ist, empfiehlt es sich je nach Geschäftsmodell aber durchaus zumindest auf eine Hadoop-Distribution zu setzen – und sei es alleine schon wegen der kürzeren Einarbeitung und dem professionellen Support. <h2>Hadoop Distributionen</h2>Hadoop-Distributionen sind ganz klar auf den Einsatz im Enterprise-Umfeld ausgelegt. Der Markt ist zwischen einer Handvoll etablierter Anbieter aufgeteilt, wobei natürlich immer wieder neue Anbieter versuchen diese Phalanx zu durchstoßen. Der Umfang der Distribution unterscheidet sich natürlich von Anbieter zu Anbieter leicht, aber die wichtigsten Komponenten aus dem Hadoop-Ökosystem wie Pig, Hive und HBase sind bei allen dabei und werden teilweise noch um spezifische Entwicklungen der Anbieter ergänzt. Die Releasezyklen zwischen verschiedenen Versionen der Distributionen liegen typischerweise bei 3 bis 6 Monate und die Distributionen enthalten nicht immer die aktuellsten Versionen aller Komponenten. Dafür wird aber Sorge dafür getragen, dass auch alle Komponenten und Systeme miteinander kompatibel sind und entsprechend wird viel Wert auf den Test und die Sicherstellung des Zusammenspiels gelegt. Alle etablierten Distributionen bieten zudem Werkzeuge zur Clusterinstallation und -administration und zudem bieten die Anbieter optionalen kommerziellen Support an.Die wichtigsten Anbieter von Hadoop-Distributionen sind die folgenden:<a href="http://www.cloudera.com/" target="_blank">Cloudera</a> Die am weitesten verbreitete Distribution mit den meisten Referenzinstallationen. Es gibt leistungsfähige, aber proprietäre Werkzeuge zur Clusteradministration. Mit Impala treibt Cloudera zudem ein quelloffenes Projekt zur Echtzeitabfrage von großen Datenmengen voran. Es gibt zwar eine kostenfreie Version der Distribution, für den kommerziellen Einsatz fallen allerdings Lizenzgebühren in Abhängigkeit der Größe des Clusters an, die dann aber auch professionellen Support beinhalten. <a href="https://media.graphassets.com/qvGspYbR22SXfRibj26w"><img loading="lazy" src="https://media.graphassets.com/qvGspYbR22SXfRibj26w" alt="Hadoop Distribution Hortonworks" width="100" height="100" /></a> <a href="http://hortonworks.com/" target="_blank">Hortonworks</a> Die einzige Distribution am Markt, die 100% quelloffen ist und keine Lizenzgebühren verlangt. Alle Weiterentwicklungen, die Hortonworks vornimmt, fließen direkt in die Open Source Projekte von Apache Hadoop ein und Hortonworks ist eine treibende Kraft hinter der Entwicklung von Hadoop 2.0. Zudem bietet Hortonworks in Kooperation mit Microsoft als einziger Anbieter Hadoop für Windows und Azure an. Während für die Distribution selbst keine Lizenzgebühren anfallen, bietet Hortonworks aber auch Business-Support an und die Höhe der Supportgebühren richtet sich auch hier nach der Clustergröße. <a href="https://media.graphassets.com/UXIvHyncRnOQz8aLxFMZ"><img loading="lazy" src="https://media.graphassets.com/UXIvHyncRnOQz8aLxFMZ" alt="Hadoop Distribution MapR" width="100" height="100" /></a> <a href="http://www.mapr.com/" target="_blank">MapR</a> Die Besonderheit dieser Distribution besteht darin, dass MapR direkt auf das Unix-Dateisystem aufsetzt und damit proprietär eine Alternative zu HDFS anbietet. Auch hier gibt es eine kostenfreie Version der Distribution, für den kommerziellen Einsatz fallen allerdings Lizenzgebühren in Abhängigkeit der Größe des Clusters an, die dann aber auch professionellen Support beinhalten. <a href="https://media.graphassets.com/9D7VGt87Tb6DDwOEYa5g"><img loading="lazy" src="https://media.graphassets.com/9D7VGt87Tb6DDwOEYa5g" alt="Hadoop Distribution Amazon" width="100" height="100" /></a> <a href="http://aws.amazon.com/de/elasticmapreduce/" target="_blank">Amazon Elastic Map Reduce</a> Amazon bietet seine eigene Hadoop-Distribution auf der Basis der Cloudlösungen EC2 und S3 an, wobei die Distribution speziell darauf ausgerichtet ist, S3 anstelle von HDFS als Speicher zu verwenden. Kunden haben den Vorteil, dass Amazon das komplette Clustermanagement übernimmt, bezahlen dies aber auch mit dem Nachteil, dass S3 als Speicher nur bedingt geeignet und daher wesentlich langsamer als HDFS ist. Die Bezahlung richtet sich wie bei Amazon üblich nach den tatsächlich genutzten Ressourcen wie CPU und Speicherplatz. Es gibt noch weitere Distributionen, z.B. von <a href="http://gopivotal.com/pivotal-products/pivotal-data-fabric/pivotal-hd" target="_blank">Pivotal</a> oder Intel, die aber jeweils relativ speziell sind und bisher noch eine geringe Verbreitung haben. Die Auswahl der Distribution hängt nur zum Teil davon ab, welche Features man benötigt, denn in dieser Hinsicht ähneln sich die Distributionen doch sehr. Die wichtigsten Fragen, die man sich während der Evaluierung der Hadoop-Distributionen stellen sollte, sind die folgenden:<ul><li>Möchte man sich an einen Anbieter binden (Vendor-Lock-In)?</li><li>Wie hoch sind die Lizenzgebühren für den eigenen Anwendungsfall?</li><li>Möchte bzw. kann man den Hadoop-Cluster selbst betreiben?</li><li>Welcher Grad an professionellem Support wird benötigt?</li></ul> <h2>Big Data Suiten</h2>Die Verwendung einer Big Data Suite zielt darauf ab, den Analysten und Endanwendern im Unternehmen die Arbeit mit Hadoop wesentlich zu erleichtern und ihnen zu erlauben, Werkzeuge zu verwenden, die sie gewohnt sind. Folgende zusätzliche Leistungen bieten Big Data Suiten:Integrierte UmgebungEs gibt eine integrierte grafische Benutzerumgebung, meist basierend auf dem bekannten Eclipse mit eigenentwickelten Plugins, aus der heraus viele Funktionen aufgerufen werden können und welche somit die Entwicklung vereinfacht.VisualisierungMit den Bordmitteln von Apache Hadoop ist man bei der Anzeige der Daten meist auf Kommandozeilentools beschränkt. An dieser Stelle erweitern Big Data Suiten den Funktionsumfang und bringen eigene Tools zur Visualisierung und Aufbereitung der in HDFS gespeicherten Daten mit.EchtzeitanalyseGerade zur Exploration von Daten wollen Analysten Antworten auf Anfragen idealerweise in Echtzeit bekommen und nicht erst immer auf langlaufenden MapReduce-Jobs warten, nur um dann festzustellen, dass irgendwo noch ein kleiner Fehler war. Daher benutzen Big Data Suiten verschiedene Techniken wie Vorkompilation und Datenauszüge, um erst mal ein Rapid Prototyping auf einer kleinen, möglichst repräsentativen Datenmenge zu ermöglichen, bevor die MapReduce-Jobs auf der gesamten Datenmenge ausgeführt werden.Modellierung & CodegenerierungAnalysten wollen (und können meist) keine MapReduce-Anwendungen schreiben, welche aber die Basis jeglicher Datenverarbeitung in der aktuellen Version von Hadoop sind. Und auch wenn Apache Hadoop und die Hadoop Distributionen mit dem skriptähnlichen Pig und dem SQL-ähnlichen Hive bereits abstrakte Abfragesprachen bieten, gehen viele Big Data Suiten noch einen Schritt weiter und bieten graphische Oberflächen zum Erstellen von MapReduce-Anwendungen, welche den zugehörigen Code dann automatisch generieren.SchedulingAuf großen Clustern spielt die Verwaltung von MapReduce- Jobs und die Modellierung ihrer Abhängigkeiten eine große Rolle. Zwar gibt es in Apache Hadoop mit dem Fair und Capacity Scheduler bereits zwei unterschiedliche Strategien mit rudimentären Weboberflächen und auch das Hadoop Ökosystem hält mit Apache Oozie eine Workflow-Lösung parat, allerdings erweitern die Big Data Suiten auch diese Funktionalitäten teilweise um komfortablere Werkzeuge.ETL & KonnektorenDaten stammen aus verschiedensten Quellen, aus SQL- und NoSQL-Datenbanken, aus Logdateien, aus B2B-Systemen wie Salesforce und SAP oder von sozialen Medien wie Facebook und Twitter. Big Data Suiten bieten dazu Konnektoren an, damit Datenquellen einfach an Hadoop angeschlossen und Daten ausgetauscht werden können. Das Schreiben von Schnittstellencode wird so vermieden.Angeboten werden Big Data Suiten einerseits von spezialisierten Anbietern wie etwa <a href="http://de.talend.com/" target="_blank">Talend</a> , Teradata, Pentaho, <a href="http://www.datameer.com/" target="_blank">Datameer</a> , etc. und auf der anderen Seite erweitern mittlerweile auch Softwareanbietern wie <a href="https://www.microsoft.com/de-de/sql-server/sql-business-intelligence" target="_blank">Microsoft</a> , <a href="http://www-01.ibm.com/software/data/infosphere/hadoop/" target="_blank">IBM</a> , <a href="http://www.oracle.com/de/technologies/big-data/index.html" target="_blank">Oracle</a> ihre Produktpalette um entsprechende Angebote.Und so breit wie hier das Angebot an Lösungen ist, so unterschiedlich sind auch viele dieser Big Data Suiten und reichen von spezialisierten Produkten bis hin zu viele Bereiche abdeckende Produkten. Die Entscheidung für eine Suite hängt daher von einer Reihe von Faktoren ab und man sollte sich zuerst diese grundlegenden Fragen stellen:<ul><li>Erfüllt die Big Data Suite die jeweiligen Anforderungen?</li><li>Ist sie für technisch nicht so versierte Endbenutzer intuitiv benutzbar?</li><li>Welche Softwareanbieter sind im Unternehmen schon vorhanden?</li><li>Wie integriert sich die Big Data Suite mit der bestehenden Unternehmenssoftware?</li><li>Wie steht man zum Open-Source-Ansatz?</li><li>Welche Lizenzkosten sind zu erwarten?</li></ul>Diese Übersicht über das Universum an Hadoop-Plattformen zeigt, wie groß die Auswahl ist. Dadurch wird aber auch deutlich, dass man seine jeweiligen Anforderungen möglichst genau kennen sollte, um dann zu entscheiden, ob Apache Hadoop, eine Hadoop-Distribution oder eine Big Data Suite am besten passt. Die Auswahl des passenden Anbieters folgt erst danach. Dabei werden neben der Eignung für das jeweilige Projekt sicherlich auch weitere individuelle, unternehmensübergreifende Kriterien eine Rolle spielen.Weiter geht es in <a href="http://blog.codecentric.de/2013/08/einfuhrung-in-hadoop-die-wichtigsten-komponenten-von-hadoop-teil-3-von-5/">Teil 3 mit den wichtigsten Komponenten von Hadoop, hier lang…</a>

Einführung in Hadoop – Welches Hadoop hätten’s denn gern? (Teil 2 von 3)

<h2>Was ist Big Data?</h2><blockquote>„Big Data ist, wenn die Daten selbst Teil des Problems werden“</blockquote>Diese kurze Definition in Anlehnung an ein Zitat des Verantwortlichen für Marktforschung bei O’Reilly Media, Roger Magoulas, ist in meinen Augen die beste Charakterisierung von Big Data, gerade weil sie so kurz und prägnant ist und trotzdem den Kern des Problems – und der Herausforderungen – so zeitlos umfasst. Hier wird gar nicht erst probiert, das aktuelle Hype-Thema Big Data anhand reiner Zahlen wie „Big Data ist alles über 1, 5, 10, 50, … GB, TB, PB, …“ festzuzurren. Big Data in Zahlen zu fassen scheint aber anscheinend trotzdem ein menschliches Grundbedürfnis zu sein, ich weiß nicht wie viel Zeit ich auf User Groups , Open Spaces, Konferenzen, etc. allein mit der Diskussion der „Größe“ von Big Data verbracht habe. Und diese Diskussion ist eigentlich nie zielführend gewesen, viel wichtiger ist es in meinen Augen, die Prinzipien hinter den Technologien zu verstehen und welche Möglichkeiten sich dadurch ergeben. Und genau das möchte ich in dieser Blog-Serie versuchen zu beleuchten, wohl wissend, dass Big Data nicht nur Hadoop ist, auch wenn die aktuelle Berichterstattung dies häufig zu suggerieren scheint. Aber Hadoop ist zumindest ein nicht unbedeutender Teil von Big Data, daher fangen wir einfach mal damit an und andere Themen werden sicherlich folgen.<h2>Das 3V-Prinzip</h2>Zurück zum Thema: Das ursprüngliche Zitat von Roger Magoulas bezog sich lediglich auf die Größe der Daten und ich denke wie so viele, dass diese Hervorhebung zu einseitig ist und zu kurz greift. Natürlich ist die Größe der Daten einer der offensichtlichsten Faktoren bei Big Data – der Name kommt schließlich nicht von ungefähr. Trotzdem wäre das zu eindimensional und verkennt die weiteren Dimensionen des Phänomens Big Data. Dies sehen auch die Analysten von Gartner so, wie sie nicht müde werden zu betonen, und ihr 3V-Prinzip ist sicherlich die populärste Definition von Big Data und ich denke, dass Sie diese auf jeden Fall  zumindest kennen sollten. Die Definition ist mittlerweile von diversen Autoren und Marketingabteilungen noch um einige V’s erweitert worden, ich will mich aber auf die ursprüngliche Definition beschränken:<blockquote>Volume (= Größe der Daten)Mit den exponentiell steigenden Datenvolumen, die von Unternehmen angesammelt werden, geht es in der Regel darum, große Datenmengen zu speichern und zu analysieren. Wir reden dabei heutzutage typischerweise über Daten im Terabyte- bis Petabyte-Bereich, die traditionelle Systeme an ihre Grenzen bringen bei dem Versuch diese Datenflut effizient zu verarbeiten.Velocity (= Geschwindigkeit der Daten)Die Geschwindigkeit der Datenerzeugung nimmt ständig zu. Bei neu entstehenden Datenquellen wie mobilen Geräten, sozialen Netzwerken, Sensordaten, RFID, etc. werden die Daten kontinuierlich in Echtzeit generiert. Aber auch die Speicherung über mehrere Kanäle hinweg und die nachfolgende Datenanalyse soll möglichst in Echtzeit stattfinden, um schnelle Entscheidungen zu treffen und so Wettbewerbsvorteile zu sichern.Variety (= Vielfalt der Daten)Die Dimension „Vielfalt“ bezieht sich nicht nur auf unterschiedliche Datenformate, die von verschiedenen Datenquellen erzeugt werden. Mit dem Einsatz von RFID-Sensoren, Roboter und der explosionsartigen Verbreitung von  sozialen Netzwerken werden Daten in zahllosen Formaten wie Text, Video, Audio, Sensordaten, Tweets, Logausgaben usw. generiert. Auch die Notwendigkeit mit unterschiedlichen Datentypen wie strukturierte, semistrukturierte und unstrukturierte Daten arbeiten zu müssen, trägt zur Komplexität der Lösung bei.</blockquote><h2>Und was ist mit NoSQL?</h2>Im Zusammenhang mit Big Data stößt man häufig ebenfalls auf den Begriff NoSQL – auch Sie sind sicherlich in diesem Zusammenhang schon mal über die dokumentenbasierte Datenbank <a href="http://www.mongodb.org/" target="_blank">MongoDB</a> , den verteilten Key-Value-Store <a href="http://basho.com/riak/" target="_blank">Riak</a> , die Graph-Datenbank <a href="http://www.neo4j.org/" target="_blank">Neo4</a> j und weitere Lösungen gestolpert. Und auch wenn diese technische Lösungen meist auf den Grundprinzipien der vertikalen Skalierbarkeit und der Verwendung von Commodity Hardware aufbauen und sich somit ebenfalls für die Speicherung und Verarbeitung von großen Datenmengen eignen, so ist der Begriff Big Data heutzutage doch fast synonym mit <a href="http://hadoop.apache.org/" target="_blank">Apache Hadoop</a> verknüpft.Ich will diese Verknüpfung auch gar nicht erst bewerten, denn auf Basis von NoSQL-Datenbanken sind ebenfalls eine Vielzahl von innovativen Lösungen entstanden und sie haben Ihre ganz eigenen Einsatzzwecke und sind somit Teil des Big Data Lösungsraums. Der Grundsatz ist dabei wie immer „Wähle das richtige Tool für deine Aufgabe“ und Hadoop ist eben für viele Aufgaben im Bereich von Big Data das richtige Tool. Das können Sie nach der Lektüre dieser Serie aber hoffentlich selbst bewerten und ich vertraue auf Ihr Interesse als Leser, sich tiefer in das Thema hineinzuarbeiten, z.B. mit der Lektüre des sehr empfehlenswerten Buchs (mit dem sperrigen Titel) <a href="http://www.amazon.de/Big-Data-f%C3%BCr-IT-Entscheider-gewinnbringend/dp/3446433392/" target="_blank">„Big Data für IT-Entscheider: Riesige Datenmengen und moderne Technologien gewinnbringend nutzen“</a> meines Kollegen und Big Data Experten <a href="http://www.amazon.de/Pavlo-Baron/e/B0045B2NBY/" target="_blank">Pavlo Baron</a> .<h2>Nun aber zu Hadoop…</h2>Fokussieren wir uns nun also auf Hadoop: Das von der Apache Software Foundation geleitete Open Source Projekt Hadoop ist ein Framework zum verteilten Speichern und parallelen Verarbeiten von großen Datenmengen in horizontal verteilten Umgebungen. Die horizontale Skalierung („Scale out“) ist dabei eines der Grundprinzipien von Hadoop, welche es ermöglicht große Datenmengen sicher und fehlertolerant auf bis zu mehreren Tausend Servern  innerhalb eines Clusters zu verteilen. Dabei kommen nicht mehr teure und spezielle Server („Scale up“) zum Einsatz, sondern es wird auf kostengünstige Commodity Hardware gesetzt.Neben dem Speichern von großen Datenmengen ist das verteilte und parallele Verarbeiten dieser Daten eine weitere Kernaufgabe von Hadoop. Dafür hat Hadoop viele intelligente und effiziente Mechanismen entwickelt, wobei das Prinzip der Datenlokalität das Wichtigste ist. Dabei werden nicht wie in klassischen Systemen die Daten zu den Servern transportiert, die dann den Programmcode ausführen, sondern der Programmcode wird auf die Server im Cluster mit den zugehörigen Daten verteilt, dann dort verteilt ausgeführt und die (Teil-)Ergebnisse wieder zusammengeführt. Auf diese Weise werden zeitintensive Datentransfers über das Netzwerk minimiert, der Cluster skaliert sehr gut und insgesamt wird dadurch die Geschwindigkeit der Datenverarbeitung erhöht bzw. in vielen Fällen überhaupt erst ermöglicht! Dieser Ansatz der Verarbeitung bewirkt aber auch, dass Hadoop im Grundsatz ein Batch-System ist und somit z.B. weniger für Aufgaben im Realtime-Bereich oder für iterative Algorithmen geeignet ist, sondern eher den Fokus auf die – meist nachträgliche – parallele Verarbeitung und Aggregation von Daten legt. Ein Umstand den man trotz allen aktuellen Bemühungen und auch Erfolgen, Hadoop immer mehr in Richtung (Near-)Realtime zu entwickeln, niemals vergessen sollte.Nach der kurzen Einführung in Big Data und Hadoop geht es im nächsten Teil weiter mit einer Übersicht über die <a href="http://blog.codecentric.de/2013/08/einfuhrung-in-hadoop-welches-hadoop-hattens-denn-gern-teil-2-von-5">Hadoop-Plattformen, folgen Sie mir einfach…</a>

Einführung in Hadoop – Was ist Big Data & Hadoop? (Teil 1 von 3)

Standortleitung Frankfurt

Noch Fragen?

Business Acceleration Club Frankfurt

Vielen Dank für deine Anfrage. Ich melde mich bei dir.

Vielen Dank für deine Anmeldung. Eine E-Mail zur Bestätigung ist zu dir unterwegs.

Diese Seite ist eine Vorschau. \nKlicken Sie hier\n, um den Vorschaumodus zu verlassen.

Zu deiner Suche haben wir leider keine passenden Blogartikel gefunden. 

Du hast noch Fragen zu diesem Thema? Dann sprich mich einfach an.

Du hast Fragen oder möchtest dich mit mir austauschen? Gern - trag einfach deine Kontaktdaten ein.

Die \nDatenschutzerklärung\n der codecentric AG habe ich zur Kenntnis genommen und bestätige das mit der Absendung des Formulars.*

Entdecke spannende weiterführende Themen und lass dich von der codecentric Welt inspirieren.

Ich möchte eure Inhalte abonnieren. Diese Einwilligung kann ich jederzeit widerrufen bzw. den Blog Newsletter abbestellen. Die Datenschutzerklärung habe ich gelesen. Ich bin damit einverstanden, dass die codecentric AG, Hochstr. 11, 42697 Solingen, mich über eigene Dienstleistungen, branchenrelevante Events, Webinare und Publikationen der codecentric AG über die von mir angegebene E-Mail-Adresse informiert. Meine Einwilligung ist freiwillig. Ich kann meine Einwilligung jederzeit mit Wirkung für die Zukunft widerrufen (z.B. über den hierfür vorgesehenen Abmeldelink in unserem Newsletter, per E-Mail an datenschutz@codecentric.de oder per Post an die oben genannte Adresse der codecentric AG) erklären. Weitere Hinweise zur Verarbeitung meiner personenbezogenen Daten und zu meinen Rechten als betroffene Person finde ich hier: \nhttps://www.codecentric.de/datenschutzerklaerung\n

Bitte wähle deine/n gewünschte/n Standort/e aus.

Wir möchten dich als Mensch kennenlernen. Erzähle uns, wer du bist, worauf du Wert legst, wie du gerne arbeitest und was du von uns als Arbeitgeber erwartest.

Bitte füge deine Bewerbungsunterlagen ​(mind. Lebenslauf, gerne auch mehr)​​ ​als eine ​PDF-​Datei ​hinzu.

Es gilt die Datenschutzerklärung der codecentric AG, abrufbar unter \nDatenschutzbestimmungen\n. Mit dem Absenden des Formulars bestätige ich, dass ich diese zur Kenntnis genommen habe.

Job application form field placeholder 10

Keine passende Rolle gefunden? Bewirb dich bitte trotzdem initiativ! Jenseits von starren Schubladen zählen für uns vielmehr Motivation, Kompetenz und der Cultural Fit.

Job application form field placeholder 11

Dies ist ein Pflichtfeld, bitte fülle es aus.

Produkt-Entwicklung 10x faster: Kundenfeedback als Erfolgsfaktor

Du möchtest beim nächsten Mal auch dabei sein?

Zu den aktuellen Events

Das war der Business Acceleration Club am 2. November 2023 in Frankfurt

Das Fokusthema ...

... die Workshops ...

... der Ausklang

Weitere Impressionen des Events

Noch Fragen?

Sprich mich an

Gemeinsam bessere Projekte umsetzen.

Wir helfen deinem Unternehmen.

Unsere Leistungen

Hilf uns, noch besser zu werden.

Zu den Jobangeboten