Das passt doch gut zum Stichwort Bildungscontrolling: eine längere Würdigung von Don Kirkpatrick, an dessen vier Evaluationsstufen sich bis heute viele Bildungspraktiker die Zähne ausbeißen. Im Artikel erfährt man, dass Kirkpatrick, der sein Modell immerhin bereits Ende der 1950er Jahre entwickelt hat, heute noch Rede und Antwort steht. Und wenn man von seiner Abneigung gegenüber E-Learning einmal absieht, sind mir einige seiner hier zitierten Bemerkungen viel sympathischer als das Vier-Ebenen-Modell.

“Kirkpatrick himself is now an elder statesman of corporate training. Asked his age, he said “I’m 80,” before pausing and adding “five.” But the octogenarian is still active in the field. This year, he taught two sessions at the American Society for Training & Development (ASTD)’s annual conference, as he has every year since 1960.”
Daniel Margolis, Chief Learning Officer Magazine, November 2009

Popularity: 33% [?]

Über Bildungscontrolling wird heute wenig gesprochen und geschrieben, weniger, als noch vor fünf oder zehn Jahren. Doch wie sieht es in der Unternehmenspraxis aus? Steht das Thema überhaupt noch auf der Agenda? Das Bundesinstitut für Berufsbildung (BIBB) hat nach 1997 eine erneute Befragung zum betrieblichen Bildungscontrolling durchgeführt und die Ergebnisse ausgewertet. Diese Auswertung, die online vorliegt, bietet einen kurzen, aber umfassenden Überblick zum Thema - vor allem dort, wo die einzelnen Teilelemente des Bildungscontrollings aufgelistet und diskutiert werden. Deshalb lohnt sich die Lektüre!

Aber kurz zu den Ergebnissen: Viel hat sich seit 1997 nicht verändert, auch wenn sich BIBB-Autor Bernd Käpplinger große Mühe gibt, Bewegungen in einzelnen Teilsegmenten zu entdecken (und zu interpretieren). Bildungscontrolling war und ist vor allem ein Thema für große und bildungsaktive Unternehmen. Und Bildungscontrolling bedeutet hier in erster Linie die Erfassung der Weiterbildungskosten; dagegen wird selten systematisch nach dem Nutzen von Weiterbildung gefragt, und Maßnahmen zur Transfersicherung stehen, wen wundert’s, am Ende der Skala. “Offensichtlich scheiden sich am Bildungscontrolling die Geister”, muss dann auch der Autor mit Blick auf die vorliegenden Zahlen zugeben.

Ich denke, Bildungscontrolling hat an Aufmerksamkeit verloren, weil man sich an vielen Stellen von den Versuchen verabschiedet hat, den Return on Invest von Bildung zu erheben. Das ist gut so. Teilelemente des Bildungscontrollings sind zudem heute in vielen Großunternehmen Standard, ohne dass man den Begriff bemüht oder Ressourcen für die Durchführung entsprechender Maßnahmen reserviert. Aber das zu erklären, überlasse ich lieber den BIBB-Autoren.
Bernd Käpplinger, in: BIBB-Report, 13/09, 11. Dezember 2009

Popularity: 38% [?]

Das Problem ist ja da, und es kann sicher nicht schaden, ab und zu daran zu erinnern. Bildungsprojekte werden durchgeführt, wenn das Management erkannt hat, das hier ein “Unterschied” liegt, das Unternehmensziele, kurzfristige oder langfristige, nur erreicht werden, wenn in Bildung investiert wird. Deshalb müssen Learning Professionals ihre Projekte und Ideen in der Sprache des Managements präsentieren, so Jay Cross. Dabei ruft er Andrew Carnegie und Peter Drucker in den Zeugenstand. Und er bringt das Bildungscontrolling in Unternehmen kurz und knapp auf den Punkt: “How do you decide what measures to apply? You don’t: that’s the responsibility of your business sponsor, the person who signs the cheques. Together you agree on what’s to be done and how you’ll measure success or failure.” Exakt.
Jay Cross, Inside Learning Technologies, November 2009

Popularity: 20% [?]

Nachdem ich gesehen hatte, dass es das akademische Pseudonym „Dr. Richard Gris” („Die Weiterbildungslüge”) auch in diese Ausgabe des österreichischen Online-Magazins geschafft hat, wollte ich das Dokument gleich wieder schließen. Aber dann habe ich dem ersten Reflex widerstanden. Es geht schließlich um die Frage, ob und wie man den Erfolg von Weiterbildung messen kann. „Richard Gris” darf natürlich in seinem einleitenden Beitrag gleich die „Bildungscontrolling-Lüge” entlarven: „Bildungscontrolling ist die scheinheilige Antwort auf die Sehnsucht der Personaler nach Kosten-Nutzen-Kalkülen.” Okay, die Täter-/Opfer-Frage ist damit geklärt. Günter Koch geht einen Schritt weiter und wirbt für die Wissensbilanz und damit eine langfristig angelegte Auseinandersetzung, um Wissensprozesse zu erfassen und „anfassbar” zu machen. Sein Erfolgsmodell ist das Austrian Research Center, Österreichs größte außeruniversitäre Forschungsorganisation. Guido Betz argumentiert anschließend für klare Zielsetzungen mit konkreten Kennziffern, wenn man über Erfolge diskutieren will. Und setzt auf Entwicklungsprogramme, die konkrete Arbeitsprojekte in den Mittelpunkt stellen. Abschließend arbeitet sich Sven Grote an verschiedenen Mythen des Bildungscontrollings ab.

Fazit: Die Beiträge holen die Leser dort ab, wo wahrscheinlich viele von ihnen stehen. Irgendwo zwischen Kirkpatricks-Ebenen-Modell und nagenden Zweifeln an der Sinnhaftigkeit solcher Anstrengungen. Allerdings nutzen die Autoren nicht die Chance, gelungene Beispiele für den Umgang mit der Frage der Messbarkeit von Bildung bzw. ihrem Erfolg zu präsentieren. Die Wissensbilanz einmal ausgenommen.
BILDUNGaktuell, 27. Oktober 2008

Popularity: 15% [?]

Vielleicht kommt der Artikel etwas zu früh. Doch die Frage, welchen Nutzen eigentlich e-Learning 2.0 bringt und wie man ihn messen kann, werden Controller stellen. Hier bietet Will Thalheimer einige interessante Anregungen, vor allem in der Gegenüberstellung von e-Learning 1.0 und 2.0. Sein Ausgangspunkt: “E-Learning 2.0 differs from most traditional learning methodologies in allowing - even encouraging - everybody to contribute in creating learning messages.” Mit verschiedenen Empfehlungen sowie Do’s und Don’ts.
Will Thalheimer, Learning Solutions, 18 August 2008 (pdf)

Popularity: 12% [?]

Was ist Bildungscontrolling? Die Suche nach dem Return on Investment in der Weiterbildung? Oder der Versuch, Wissen und Kompetenzen im Unternehmen systematisch zu steuern? Ulf-Daniel Ehlers von der Universität Duisburg-Essen plädiert in diesem ausführlichen Interview eindeutig für die zweite Option. Und bringt damit zugleich das Dilemma des Bildungscontrollings auf den Punkt: Denn es wird nicht so recht deutlich, warum ich für die damit verbundenen strategischen Fragestellungen überhaupt den doch zuweilen irreführenden Begriff (siehe erste Option) nutzen soll.

“Also Bildungscontrolling, wie es noch vielfach unter dem Stichwort „Return on Investment“ thematisiert wurde - wo es also darum geht, zu schauen, ‚was uns das Ganze bringt’ - hat sich zunehmend in Richtung von Planungs- und Steuerungsfunktionen gewandelt. Hier geht es mehr um die Fragen: „Wie müssen wir Bildungsmaßnahmen und Kompetenzentwicklungen in Unternehmen eigentlich steuern, damit wir zukünftig noch mindestens genau so gut dastehen oder vielleicht sogar besser? Wie können wir uns über die Steuerung von Bildungsmaßnahmen und Kompetenzentwicklung in unserem Unternehmen neue Märkte erschließen?“
(via CHECKpoint eLearning)
Interview mit Ulf-Daniel Ehlers, LernQuotient, 2008 (pdf)

Popularity: 13% [?]

Ich musste bei diesen Nachrichten zweimal schmunzeln: zum einen über die phantasievollen News, die Elliott Masie sich hier ausgedacht hat, z.B. (1) “Giggle Launched by Google: Humor in Searching”, oder (3) “Level 9 Evaluation: Kirkpatrick and and MRI” (mein Favorit!!) oder (4) “Speed Presenting: More Words Per Minute”; zum anderen hat aber auch die Auflösung am Ende der Nachricht etwas, so wunderbar interkulturell abfedernd, wie sie daherkommt:
“Note: Happy April 1st. For our international readers, April 1st is called April Fools Day and we have fun with our field on this day of satire and humor.”
Elliott Masie, Learning TRENDS, 1 April 2008

Popularity: 9% [?]

Was gab es noch auf der LEARNTEC? Ich habe mich dieses Jahr vor allem in den business-orientierten Sektionen des Kongresses aufgehalten und hier finden sich naturgemäß weniger die technischen oder konzeptionellen Trends als vielmehr einzelne personalstrategische Schwerpunkte und Verschiebungen. Continue Reading

Popularity: 10% [?]

Eine kleine Fingerübung des Chartered Institute of Personnel and Development (CIPD), die auf ein gerade abgeschlossenes Projekt verweist (”Value of Learning”) und einlädt, daran anknüpfende Fragen online zu diskutieren. “A fresh look at evaluation” geht dabei einher mit dem Bedürfnis “to focus on the alignment between learning interventions and organisational strategy”.

Und warum das Ganze? “Today’s increasingly competitive service-led and knowledge-driven environment in which organisations operate has encouraged two important developments affecting learning and training professionals: the move from training to learning, and the requirement for a strategic approach to learning, training and development (LTD).”
Chartered Institute of Personnel and Development (CIPD), November 2007

Popularity: 10% [?]

In der aktuellen LEARNTEC/ SCIL Trendstudie zum “Bildungsmanagement in Unternehmen” geht es erst auf den Plätzen 15 und 16 um die Frage nach dem Wertschöpfungsbeitrag der Bildung - aber mit steigender Tendenz im Vergleich zur letzten Befragung. Da kommt diese Artikelsammlung vielleicht gerade recht. Alle Resourcen sind übrigens online zugänglich. Und Jay Cross spendiert einen kritischen Kommentar und den Link auf das passende Kapitel seines Buches “Informal Learning”: “Show me the money”.
Tony Karrer, eLearning Technology, 16 Oktober 2007

Popularity: 9% [?]

Eine nützliche Zusammenfassung. Wer regelmäßig mit dem Thema “Bildungscontrolling” zu tun hat, wird den Einstieg schätzen: “In 1959, Kirkpatrick first outlined four levels for training evaluation … For the next 45 years the evaluation of training moved on very patchily in terms of research and new ideas, and poorly in terms of practical application.”

Wichtig, so der Autor, ist es, sich vorab über die Ziele einer Evaluation zu verständigen. Noch wichtiger ist es aber wahrscheinlich, Lernen nicht als isolierten Event zu sehen, dessen Ertrag gemessen wird, sondern als integrierten, fortwährenden Prozess. “Many ‘thinking practitioner’ trainers/facilitators would strongly advocate dropping what are seen as ‘happy sheets’, in favour of spending more time and effort on follow-up activities to ensure that action plans are implemented, learning is applied and reinforced, and that the training is not seen as an isolated event in space and time.”
Chartered Institute of Personnel and Development (CIPD), Mai 2007

Popularity: 9% [?]

Das kurze Diskussionspapier des Chartered Institute of Personnel and Development (CIPD) bringt eine Entwicklung auf den Punkt: Die traditionellen Ansätze des Bildungscontrolling sind über die Rezeption des Modells von Donald L. Kirkpatrick (1975) nie hinausgekommen, aber: “this model of evaluation doesn’t happen in practice”. Stattdessen setzen Unternehmen verstärkt auf Balanced Scorecard- und Human Capital-Ansätze, um Wert und Bedeutung ihrer Aktivitäten transparent zu machen. Auch hierzulande sehen wir ja, das Ansätze der Wissensbilanzierung einen ganz anderen strategischen Wert besitzen, als die - in der Regel vergeblichen - Versuche, einen Return on Investment auf Projektebene auszuweisen. Das Papier verlinkt zu weiteren Case Studies (z.B. einer Sales Training-Initiative bei Levi Strauss Europe) und lädt zu Kommentaren ein.
Chartered Institute of Personnel and Development (CIPD), November 2006

Popularity: 6% [?]

Bildungscontrolling hat es nicht leicht: Wer sich etwas näher mit dem Thema auseinandersetzt, wird sich nicht lange mit der Frage aufhalten wollen, wie denn der ROI einer einzelnen Bildungsmaßnahme aussieht. Sondern er wird Bildungscontrolling umfassender sehen, z.B. als “Instrument zur Optimierung der Planung, Steuerung und Durchführung von Bildungsmaßnahmen”, als “strategisches Steuerungsinstrument”, wie es auch Ulf-Daniel Ehlers ausführlich und informativ in diesem Interview tut. Dabei wird allerdings auch deutlich, woran es dieser Perspektive mangelt: an einem pragmatischen “Anfang” oder “quick win” …
Sven Eric Brieger und Sandra Cedl, Interview mit Ulf-Daniel Ehlers, Global Learning, 14 Oktober 2005
[Kategorien: Bildungscontrolling]

Popularity: 5% [?]

Es ist schon interessant: Alle Welt weiß um die fehlende Aussagekraft von “Happy Sheets”, aber es wird sie noch in 10 Jahren geben. Mindestens. Dann natürlich durchgehend automatisiert, web-basiert und integriert in Learning Management Systeme. Deshalb die folgenden Zeilen ganz schnell lesen und dann wieder vergessen!

“The typical smile sheet is a lazy and ineffective approach to evaluating learner satisfaction. It may give you a warm and comfortable feeling about your course or your performance as a trainer, or it may raise a few alarm flags. But the data that it produces is not always actionable, is rarely valid, and often misses the important issues. …
We see in our smile-sheet results what we want to see, and react to those things that we regard as relevant. If we are so smug in our knowledge that we know what is going on anyway, why do we bother with token smile sheets at all?”
Godfrey Parkin, Parkin’s Lot, 11 August 2005
[Kategorien: Bildungscontrolling]

Popularity: 3% [?]

Der eine oder andere wird sicher noch einmal mit der Aufgabe konfrontiert werden, eine Wirtschaftlichkeitsbetrachtung für sein e-Learning-Projekt aufzustellen. Zumindest war das eine Anforderung an die Caterpillar University, und die hat gleich ein entsprechendes “mathematisches Modell” entwickelt. Das Resultat ihrer Berechnungen:

“The key finding for Caterpillar University is that when similar programs are compared, e-learning is less expensive to deliver almost regardless of learner population. Even with a population as small as 100 people and a class as short as one hour, e-learning was still more than 40 percent less expensive than ILT when learner opportunity costs were taken into account ($9,500 vs. $17,062).” Nichts Neues, aber manchmal sucht man genau das.
Paul T. Walliker, Learning Circuits, Juni 2005
[Kategorien: e-learning, Bildungscontrolling]

Popularity: 3% [?]

Der Artikel unterstreicht die ungebrochene Bedeutung des Themas, zählt einige bekannte Unterscheidungen auf und weist dann auf drei “Bildungscontrolling-Systeme” hin, die nach Aussage der Autoren kürzlich auf den Markt gekommen sind. “Bildungscontrolling-Systeme”? Mit zwei Systemen können scheinbar vornehmlich Tests zur Wissensstandsabfrage und Lernerfolgskontrolle erstellt werden; ein System kann auch zur Qualifizierungsbedarfs- und Potenzialanalyse eingesetzt werden.
add new knowledge, Mai 2005
[Kategorien: Bildungscontrolling]

Popularity: 3% [?]

Da ich schon ein paar Wochen lang keinen Eintrag mehr zum Thema Bildungscontrolling hatte, hier der Verweis auf diesen kurzen und soliden Artikel, der seine Anmerkungen um vier “keys to success” gruppiert: Planning, Execution, Measurement, Delivery of the Results. Wer es etwas ausführlicher mag, ist vielleicht mit der jüngsten Publikation von Ulf-Daniel Ehlers und Peter Schenkel (“Bildungscontrolling im E-Learning – Erfolgreiche Strategien und Erfahrungen jenseits des ROI”) besser bedient.
Tom Cooper, LTI Magazine, 14 April 2005
[Kategorien: Bildungscontrolling]

Popularity: 3% [?]

Dieser Report bietet einen Überblick über das Thema, definiert einige zentrale Begriffe (Analytics/ Reporting/ the Training “Dashboard”) und hebt sehr konkret die Lösungen von SumTotal und Saba hervor. Ganz nebenbei wird gleich eines der letzten Rätsel der Personalentwicklung gelöst: “The holy grail of training measurement has always been the dream to directly correlate training to business impact. …Training Analytics provides the systematic and easy-to-use way to solve this problem.” Dazu passt, dass sich die Beispiele auf die Beziehung zwischen Training und Sales konzentrieren.
Josh Bersin, Bersin & Associates, März 2005
[Kategorien: Bildungscontrolling]

Popularity: 3% [?]

Einen kurzen Überblick über das Konzept der Learning Scorecard liefert dieser Artikel. Wer es noch nicht weiss:

“Die Learning Scorecard basiert auf dem erfolgreichen Konzept der Balanced Scorecard von Kaplan und Norton und ist auf die spezifischen Anforderungen des Bildungsmanagements ausgerichtet. In Anlehnung an die Balanced Scorecard gliedert sich dieser Ansatz in vier Werteebenen (Kunden-, Finanz-, Prozess- und Ressourcenperspektive), denen die Vision des Bildungsmanagements vorangestellt werden.”

Wer das schon weiss, würde sich mit mir sicher über eine kurze Case Study zum Thema freuen. Wer weiss, vielleicht legen die DETECON-Autoren noch einmal nach …
Andreas Närmann und Jörg Sander, Competence Site, 25 Januar 2005 (pdf, 116,8 KB)
[Kategorien: Bildungscontrolling]

Popularity: 3% [?]

Der vorliegende Controlling-Ansatz will aufzeigen, wie die durch eine Bildungsmaßnahme ausgelösten Leistungssteigerungen erfasst und monetär bewertet werden können. Vorneweg: Das Ganze ist sehr betriebswirtschaftlich ausgerichtet, benötigt eine Reihe zusätzlicher Arbeitsschritte - und man muss bestimmte Prämissen einfach akzeptieren, um zur aufgezeigten Lösung zu kommen! Eine der zentralen Prämissen besteht z.B. darin, “dass der ökonomische Wert der Arbeit eines Mitarbeiters durch das Jahresgehalt dargestellt werden” kann.

Aber die größte Schwierigkeit (die ich ürigens vor Jahren in einem gemeinsamen Projekt mit dem Autor selbst “erlebt” habe) ist vielleicht eine andere: Da die durch eine Weiterbildung ausgelöste Leistungsveränderung erst in einem gewissen zeitlichen Abstand zur Bildungsmaßnahme selbst erfasst werden kann, können Ergebnisse erst vorliegen, wenn die untersuchte Maßnahme selbst für viele Lerner und Projektbeteiligte bereits “Geschichte” ist. Etwas langer Atem gehört also dazu!

Der Aufsatz selbst ist bereits 2003 erschienen, aber der Autor, Markus Aschendorf, hat ihn erst kürzlich in einem Interview noch einmal vorgestellt.
Markus Aschendorf, Peter Mokrus, Andreas Kröger, in communication, Januar 2005

Popularity: 3% [?]