Eine Reihe interessanter bis erschreckender Erfahrungen in meiner beruflichen Laufbahn im Zusammenhang mit dem Messen bzw. Nichtmesssen von „Qualität“ hatte mich dazu bewogen, einen Vorschlag für eine entsprechende Session bei der SEACON 2010 einzureichen, in der ich über meine Erfahrungen mit dem Thema sprechen wollte. Der Vorschlag wurde zu meiner Freude angenommen und in der Folge ging ans Vorbereiten der Session.
Da die Veranstalter und der Fachbeirat der SEACON aktiv zu Formaten jenseits des klassischen Vortrags ermutigen, insbesondere zu interaktiven Formaten, die auch das Publikum einbeziehen, habe ich mich zu einem „Experiment“ entschlossen: Anstatt einen klassischen Folienvortrag vorzubereiten, wollte ich versuchen, zusammen mit dem Publikum ein „moderiertes Streitgespräch“ zu führen. So weit, so einfach, aber wie setzt man so etwas um? Gar nicht so einfach. Also überlegte ich hin und her, entwarf und variierte einige Ideen und landete schließlich bei einem relativ elaborierten Konzept mit Gruppenarbeit, abwechselndem Entwurf und Kurzdiskussion von Argumenten für die Pro- bzw. Contra-Position, gefolgt von einer Bewertung über das gesamte Publikum und Festhalten eines „Punktstandes“ am Ende der Session.
Mit dem Konzept im Gepäck bin ich dann zur SEACON gefahren. Nun, das Ganze wäre wahrscheinlich fürchterlich in die Hose gegangen, wenn ich nicht glücklicherweise am Vortag schon eine Fishbowl zum Thema „Selbstorganisation von Teams“ moderiert hätte. Während der Fishbowl ist mir nämlich wieder aufgefallen, wie kurz 45 Minuten für eine Diskussion sind, gerade wenn es sich um ein potentiell kontroverses Diskussionsthema handelt. Mein ursprüngliches Konzept ging also gar nicht, war viel zu aufwändig, massive Vereinfachung war angesagt. Also zurück zum Zeichenbrett und neu nachgedacht! Das Ergebnis der Überlegungen war ein radikal vereinfachtes Konzept:
- Es gibt zwei Flipcharts, eines für Argumente, warum Qualität messbar ist und das andere für Argumente, warum nicht.
- Ich biete eine „Reibungsfläche“ zum Entzünden der Diskussion, indem ich mich massiv auf einer der beiden Seiten positioniere und das mit einer Reihe von Argumente für diese Seite unterlege.
- Danach geht es direkt in eine von mir moderierte Diskussion mit allen Teilnehmern und ich halte die wichtigsten Argumente auf den beiden Flipcharts fest.
Mit diesem Minimalkonzept bin ich dann in die Session gestartet: Kurz in das Thema eingeführt, das Format erklärt und dann ging es auch schon zur „Reibungsfläche“. Ich habe mich auf die Seite „Qualität ist nicht messbar“ geschlagen und dafür die folgenden Argumente angeführt:
- Sobald man etwas misst, geht es um Zahlen und Mengen, d.h. um Quantität und nicht mehr um Qualität.
- Qualität dient der Erfüllung von Bedürfnissen von Stakeholdern. Diese sind immer subjektiv und emotional und können nicht à priori auf objektiv messbare Zahlen heruntergebrochen werden. Oder anders herum ausgedrückt: Die Erfüllung à priori vereinbarter Messgrößen bedeutet noch lange nicht, dass ein Stakeholder dem fertigen System eine gute Qualität bescheinigt.
- Das Problem der „metrischen Verzerrung“, basierend auf Arbeiten des Harvard-Professors Robert Austin: In Kurzform stellt jede Metrik in der Regel eine extreme Vereinfachung der eigentlich zu beobachtenden Größe dar, d.h. es werden jede Menge Informationen eliminiert, die diese Größe charakterisieren. Das Problem, das sich daraus ergibt ist, dass man nur noch die (stark trivialisierende) Messgröße optimiert und nicht mehr die (komplexe) zugrundliegende Größe, in diesem Fall „Qualität“.
- Ein sich daraus ergebendes Risiko ist, dass man sich durch die Metriken in falscher Sicherheit wiegt und im schlimmsten Fall komplett falsche Impulse liefert, d.h. das System in die komplett falsche Richtung „optimiert“, weil man nur die vereinfachte Messgröße beobachtet und nicht mehr die eigentlich zu optimierende, komplexe Größe.
- Letztlich bergen Metriken das Risiko, zum Selbstzweck zu verkommen, insbesondere bei Personen, die nicht genügend Fachwissen über das Messobjekt haben, um die Messgröße inhaltlich hinterfragen zu können. Wer hat noch nicht erlebt, dass ausgehend von einer guten Idee irgendwann nur noch Reports und Excelsheets „optimiert“ wurden anstatt das zugrundliegende Produkt?
Nach der Präsentation der bewusst sehr einseitig gehalten „Reibungsfläche“ habe ich sicherheitshalber einmal nachgefragt, wie die Verteilung der „Befürworter“ und „Gegner“ von Qualitätsmessungen im Publikum ist. Wären nämlich fast alle oder womöglich sogar alle Teilnehmer einer Meinung gewesen, hätte die Diskussion ziemlich langweilig werden können. Glücklicherweise war die Verteilung sehr ausgewogen und die Diskussion konnte beginnen. Einige Teilnehmer wollten meine Argumente erfreulicherweise nicht einfach unkommentiert im Raum stehen lassen und so entspann sich eine angeregte Diskussion. Dabei habe ich versucht, die wichtigsten Argumente für die beiden Standpunkte an den beiden Flipcharts festzuhalten (siehe die beiden Bilder).
Flipchart: Qualitaet ist nicht messbar, weil ...
Flipchart: Qualitaet ist nicht messbar, weil ...
Nicht jeder Diskussionsbeitrag führte zu einem Punkt am Flipchart:
- Einige Teilnehmer hatten bereits genannte Argumente weiter untermauert und bestärkt.
- Einige Teilnehmer wollten sich nicht auf eine der beiden Positionen limitieren, sondern haben eine Position „in der Mitte“ eingenommen.
- Einige Teilnehmer warfen außerdem einen Blick über die Grenzen der Fragestellung hinaus.
So wurde zum Beispiel die Frage gestellt, wie man Qualität überhaupt definiert, weil dies die Diskussion über die Messbarkeit maßgeblich beeinflussen würde. Andere Teilnehmer haben die Frage gestellt, wie man denn Qualität sicherstellen könne, wenn man sie nicht misst. Dazu gab es die sehr interessante Aussage, dass man Qualität gut „fühlen“ könne. Man müsse Qualität gar nicht messen, weil man über das Feedback der Stakeholder sehr schnell und wesentlich besser eine Rückmeldung über die Qualität des betroffenen Systems bekäme und in einem konkreten Projekt hätte das auch sehr gut funktioniert.
Nach diesem letzten Beitrag musste ich die Diskussion dann leider abbrechen, weil wir die vorgesehene Zeit bereits um fünf Minuten überzogen hatten. Es gab noch eine Menge Wortmeldungen, die ich sehr zu meinem Bedauern nicht mehr berücksichtigen konnte und ich denke, wir hätten noch locker eine halbe Stunde oder Stunde weiter diskutieren können. Ein klares Fazit gab es erwartungsgemäß nicht, auch kein Patentrezept für den Umgang mit Metriken im Zusammenhang mit Qualität. Aber es gab eine Menge guter Ideen und interessanter Sichtweisen und Anregungen, die dem ein oder anderen vielleicht einen neuen Denkanstoß zu diesem nicht einfachen Thema gegeben hat … und das ist schon eine ganze Menge für die kurze Zeit.
Trotzdem hier ein Versuch, die Sichtweisen der 45 Minuten zusammenzufassen:
- Es ist möglich, aber sehr schwer, geeignete Kriterien zu finden, die einen unterstützen, Qualität zu beurteilen.
- Es ist nicht möglich, allgemeingültig „richtige“ Kriterien festzulegen. Man muss dies immer situativ bezogen auf die Aufgabenstellung und das Ziel tun.
- Man muss sich stets der „metrischen Verzerrung“ bewusst sein und der Tatsache, dass jede Metrik auch eine „Schattenseite“ besitzt.
- Entsprechend muss man die gemessenen Zahlen immer kritisch interpretieren und darauf achten, dass sie nicht zum Selbstzweck werden.
- Insbesondere darf man sich durch die Metriken nicht in falscher Sicherheit wiegen. Man muss sich stets der Tatsache bewusst sein, dass Metriken immer nur einen (häufig kleinen und teilweise auch verzerrten) Teil des Gesamtbildes darstellen.
- Selbst wenn einem Metriken vielleicht nicht helfen, Qualität zweifelsfrei nachzuweisen, so können sie doch zumindest sehr gut helfen, das Fehlen von Qualität festzustellen.
- Gar nichts tun ist auch keine Lösung. Man muss sich auf jeden Fall explizit um Qualität kümmern, ob nun mit Hilfe von Metriken oder mit Hilfe anderer Mittel.
Wie man sieht, hat sich trotz des bewusst polarisierenden Konzepts des Workshops ein recht differenziertes Gesamtbild ergeben, was ganz klar ein Verdienst der hohen (nicht gemessenen 😉 ) Qualität der Teilnehmerbeiträge war. Apropos „Teilnehmer“: In Summe hat mir die Session sehr gut gefallen. Für mich war das Format ja ein gewisses Risiko, da ich mich auf die Mitarbeit der Teilnehmer verlassen musste und die Qualität (oder Nichtqualität) der Session nicht mehr selbst in der Hand hatte. Die Teilnehmer sind auf das Diskussionsangebot aber hervorragend eingegangen, besser als ich es mir je erhofft hätte. Dafür auch an dieser Stelle noch einmal ein herzliches Dankeschön von mir an alle Teilnehmer, insbesondere auch an die, die aufgrund der Menge der Beiträge in der Kürze der Zeit nicht zu Wort gekommen sind. Mit so einem tollen Publikum mache ich gerne noch einmal eine solche Session!
Ein kurzer Disclaimer zum Schluss: Ich habe versucht, die Session und die darin getätigten Aussagen nach bestem Wissen zusammenzufassen. Da das aber aus dem Kopf heraus passiert ist, ist es natürlich möglich, dass ich hier etwas falsch wiedergegeben haben. Das ist dann keine böse Absicht von mir und ich bitte die Teilnehmer, das zu korrigieren, z.B. in Form eines Kommentars. Danke!
War dieser Beitrag hilfreich?
Weitere Beiträge
von Uwe Friedrichsen
16.10.2018 Dein Job bei codecentric?
Jobs
Agile Developer und Consultant (w/d/m)
Alle Standorte
Weitere Artikel in diesem Themenbereich
Entdecke spannende weiterführende Themen und lass dich von der codecentric Welt inspirieren.
Gemeinsam bessere Projekte umsetzen.
Wir helfen deinem Unternehmen.
Du stehst vor einer großen IT-Herausforderung? Wir sorgen für eine maßgeschneiderte Unterstützung. Informiere dich jetzt.
Hilf uns, noch besser zu werden.
Wir sind immer auf der Suche nach neuen Talenten. Auch für dich ist die passende Stelle dabei.
Blog-Autor*in
Uwe Friedrichsen
CTO
Du hast noch Fragen zu diesem Thema? Dann sprich mich einfach an.
Du hast noch Fragen zu diesem Thema? Dann sprich mich einfach an.