Eine kleine Fingerübung des Chartered Institute of Personnel and Development (CIPD), die auf ein gerade abgeschlossenes Projekt verweist (”Value of Learning”) und einlädt, daran anknüpfende Fragen online zu diskutieren. “A fresh look at evaluation” geht dabei einher mit dem Bedürfnis “to focus on the alignment between learning interventions and organisational strategy”.

Und warum das Ganze? “Today’s increasingly competitive service-led and knowledge-driven environment in which organisations operate has encouraged two important developments affecting learning and training professionals: the move from training to learning, and the requirement for a strategic approach to learning, training and development (LTD).”
Chartered Institute of Personnel and Development (CIPD), November 2007

Popularity: 31% [?]

In der aktuellen LEARNTEC/ SCIL Trendstudie zum “Bildungsmanagement in Unternehmen” geht es erst auf den Plätzen 15 und 16 um die Frage nach dem Wertschöpfungsbeitrag der Bildung - aber mit steigender Tendenz im Vergleich zur letzten Befragung. Da kommt diese Artikelsammlung vielleicht gerade recht. Alle Resourcen sind übrigens online zugänglich. Und Jay Cross spendiert einen kritischen Kommentar und den Link auf das passende Kapitel seines Buches “Informal Learning”: “Show me the money”.
Tony Karrer, eLearning Technology, 16 Oktober 2007

Popularity: 18% [?]

Eine nützliche Zusammenfassung. Wer regelmäßig mit dem Thema “Bildungscontrolling” zu tun hat, wird den Einstieg schätzen: “In 1959, Kirkpatrick first outlined four levels for training evaluation … For the next 45 years the evaluation of training moved on very patchily in terms of research and new ideas, and poorly in terms of practical application.”

Wichtig, so der Autor, ist es, sich vorab über die Ziele einer Evaluation zu verständigen. Noch wichtiger ist es aber wahrscheinlich, Lernen nicht als isolierten Event zu sehen, dessen Ertrag gemessen wird, sondern als integrierten, fortwährenden Prozess. “Many ‘thinking practitioner’ trainers/facilitators would strongly advocate dropping what are seen as ‘happy sheets’, in favour of spending more time and effort on follow-up activities to ensure that action plans are implemented, learning is applied and reinforced, and that the training is not seen as an isolated event in space and time.”
Chartered Institute of Personnel and Development (CIPD), Mai 2007

Popularity: 15% [?]

Das kurze Diskussionspapier des Chartered Institute of Personnel and Development (CIPD) bringt eine Entwicklung auf den Punkt: Die traditionellen Ansätze des Bildungscontrolling sind über die Rezeption des Modells von Donald L. Kirkpatrick (1975) nie hinausgekommen, aber: “this model of evaluation doesn’t happen in practice”. Stattdessen setzen Unternehmen verstärkt auf Balanced Scorecard- und Human Capital-Ansätze, um Wert und Bedeutung ihrer Aktivitäten transparent zu machen. Auch hierzulande sehen wir ja, das Ansätze der Wissensbilanzierung einen ganz anderen strategischen Wert besitzen, als die - in der Regel vergeblichen - Versuche, einen Return on Investment auf Projektebene auszuweisen. Das Papier verlinkt zu weiteren Case Studies (z.B. einer Sales Training-Initiative bei Levi Strauss Europe) und lädt zu Kommentaren ein.
Chartered Institute of Personnel and Development (CIPD), November 2006

Popularity: 16% [?]

Bildungscontrolling hat es nicht leicht: Wer sich etwas näher mit dem Thema auseinandersetzt, wird sich nicht lange mit der Frage aufhalten wollen, wie denn der ROI einer einzelnen Bildungsmaßnahme aussieht. Sondern er wird Bildungscontrolling umfassender sehen, z.B. als “Instrument zur Optimierung der Planung, Steuerung und Durchführung von Bildungsmaßnahmen”, als “strategisches Steuerungsinstrument”, wie es auch Ulf-Daniel Ehlers ausführlich und informativ in diesem Interview tut. Dabei wird allerdings auch deutlich, woran es dieser Perspektive mangelt: an einem pragmatischen “Anfang” oder “quick win” …
Sven Eric Brieger und Sandra Cedl, Interview mit Ulf-Daniel Ehlers, Global Learning, 14 Oktober 2005
[Kategorien: Bildungscontrolling]

Popularity: 12% [?]

Es ist schon interessant: Alle Welt weiß um die fehlende Aussagekraft von “Happy Sheets”, aber es wird sie noch in 10 Jahren geben. Mindestens. Dann natürlich durchgehend automatisiert, web-basiert und integriert in Learning Management Systeme. Deshalb die folgenden Zeilen ganz schnell lesen und dann wieder vergessen!

“The typical smile sheet is a lazy and ineffective approach to evaluating learner satisfaction. It may give you a warm and comfortable feeling about your course or your performance as a trainer, or it may raise a few alarm flags. But the data that it produces is not always actionable, is rarely valid, and often misses the important issues. …
We see in our smile-sheet results what we want to see, and react to those things that we regard as relevant. If we are so smug in our knowledge that we know what is going on anyway, why do we bother with token smile sheets at all?”
Godfrey Parkin, Parkin’s Lot, 11 August 2005
[Kategorien: Bildungscontrolling]

Popularity: 11% [?]

Der eine oder andere wird sicher noch einmal mit der Aufgabe konfrontiert werden, eine Wirtschaftlichkeitsbetrachtung für sein e-Learning-Projekt aufzustellen. Zumindest war das eine Anforderung an die Caterpillar University, und die hat gleich ein entsprechendes “mathematisches Modell” entwickelt. Das Resultat ihrer Berechnungen:

“The key finding for Caterpillar University is that when similar programs are compared, e-learning is less expensive to deliver almost regardless of learner population. Even with a population as small as 100 people and a class as short as one hour, e-learning was still more than 40 percent less expensive than ILT when learner opportunity costs were taken into account ($9,500 vs. $17,062).” Nichts Neues, aber manchmal sucht man genau das.
Paul T. Walliker, Learning Circuits, Juni 2005
[Kategorien: e-learning, Bildungscontrolling]

Popularity: 11% [?]

Der Artikel unterstreicht die ungebrochene Bedeutung des Themas, zählt einige bekannte Unterscheidungen auf und weist dann auf drei “Bildungscontrolling-Systeme” hin, die nach Aussage der Autoren kürzlich auf den Markt gekommen sind. “Bildungscontrolling-Systeme”? Mit zwei Systemen können scheinbar vornehmlich Tests zur Wissensstandsabfrage und Lernerfolgskontrolle erstellt werden; ein System kann auch zur Qualifizierungsbedarfs- und Potenzialanalyse eingesetzt werden.
add new knowledge, Mai 2005
[Kategorien: Bildungscontrolling]

Popularity: 10% [?]

Da ich schon ein paar Wochen lang keinen Eintrag mehr zum Thema Bildungscontrolling hatte, hier der Verweis auf diesen kurzen und soliden Artikel, der seine Anmerkungen um vier “keys to success” gruppiert: Planning, Execution, Measurement, Delivery of the Results. Wer es etwas ausführlicher mag, ist vielleicht mit der jüngsten Publikation von Ulf-Daniel Ehlers und Peter Schenkel (“Bildungscontrolling im E-Learning – Erfolgreiche Strategien und Erfahrungen jenseits des ROI”) besser bedient.
Tom Cooper, LTI Magazine, 14 April 2005
[Kategorien: Bildungscontrolling]

Popularity: 10% [?]

Dieser Report bietet einen Überblick über das Thema, definiert einige zentrale Begriffe (Analytics/ Reporting/ the Training “Dashboard”) und hebt sehr konkret die Lösungen von SumTotal und Saba hervor. Ganz nebenbei wird gleich eines der letzten Rätsel der Personalentwicklung gelöst: “The holy grail of training measurement has always been the dream to directly correlate training to business impact. …Training Analytics provides the systematic and easy-to-use way to solve this problem.” Dazu passt, dass sich die Beispiele auf die Beziehung zwischen Training und Sales konzentrieren.
Josh Bersin, Bersin & Associates, März 2005
[Kategorien: Bildungscontrolling]

Popularity: 10% [?]

Einen kurzen Überblick über das Konzept der Learning Scorecard liefert dieser Artikel. Wer es noch nicht weiss:

“Die Learning Scorecard basiert auf dem erfolgreichen Konzept der Balanced Scorecard von Kaplan und Norton und ist auf die spezifischen Anforderungen des Bildungsmanagements ausgerichtet. In Anlehnung an die Balanced Scorecard gliedert sich dieser Ansatz in vier Werteebenen (Kunden-, Finanz-, Prozess- und Ressourcenperspektive), denen die Vision des Bildungsmanagements vorangestellt werden.”

Wer das schon weiss, würde sich mit mir sicher über eine kurze Case Study zum Thema freuen. Wer weiss, vielleicht legen die DETECON-Autoren noch einmal nach …
Andreas Närmann und Jörg Sander, Competence Site, 25 Januar 2005 (pdf, 116,8 KB)
[Kategorien: Bildungscontrolling]

Popularity: 12% [?]

Der vorliegende Controlling-Ansatz will aufzeigen, wie die durch eine Bildungsmaßnahme ausgelösten Leistungssteigerungen erfasst und monetär bewertet werden können. Vorneweg: Das Ganze ist sehr betriebswirtschaftlich ausgerichtet, benötigt eine Reihe zusätzlicher Arbeitsschritte - und man muss bestimmte Prämissen einfach akzeptieren, um zur aufgezeigten Lösung zu kommen! Eine der zentralen Prämissen besteht z.B. darin, “dass der ökonomische Wert der Arbeit eines Mitarbeiters durch das Jahresgehalt dargestellt werden” kann.

Aber die größte Schwierigkeit (die ich ürigens vor Jahren in einem gemeinsamen Projekt mit dem Autor selbst “erlebt” habe) ist vielleicht eine andere: Da die durch eine Weiterbildung ausgelöste Leistungsveränderung erst in einem gewissen zeitlichen Abstand zur Bildungsmaßnahme selbst erfasst werden kann, können Ergebnisse erst vorliegen, wenn die untersuchte Maßnahme selbst für viele Lerner und Projektbeteiligte bereits “Geschichte” ist. Etwas langer Atem gehört also dazu!

Der Aufsatz selbst ist bereits 2003 erschienen, aber der Autor, Markus Aschendorf, hat ihn erst kürzlich in einem Interview noch einmal vorgestellt.
Markus Aschendorf, Peter Mokrus, Andreas Kröger, in communication, Januar 2005

Popularity: 11% [?]

Eigentlich zitiere ich nur ungern aus Publikationen, die ihre Artikel nicht online anbieten. Eine Ausnahme sei bei der Frankfurter Rundschau gemacht, die heute ihre Doppelseite “Studium” dem Thema “Bildungsökonomie” widmet. Dort findet sich auch der Hinweis auf die private FH Göttingen, die eine interessante Antwort auf die Diskussionen um Studiengebühren und Bildungscontrolling gibt:
“Wer ein halbes Jahr nach Verlassen der Privaten Fachhochschule Göttingen keine Stelle gefunden hat - vorausgesetzt, er hat die Zeit nicht in Australien oder Thailand verbracht - bekommt die Gebühren des letzten Studienjahres erstattet.”

Man sollte allerdings auch ergänzen: “vorausgesetzt, er wurde zum Studium zugelassen”. Das Ganze läuft unter “Jobgarantie”. In der Praxis wurde dieses Angebot übrigens noch nie eingelöst, heisst es. Ansonsten gibt es noch einige weitere Informationen zu den Themen Arbeitsmarktprognosen und Bildungsrendite.
Private FH Göttingen
[Kategorien: Bildungscontrolling, Bildungsökonomie]

Popularity: 11% [?]

Der Untertitel verrät, wo es langgeht: “Modeling the Business Impact of Training”. Geschildert wird ein Projekt, das ALLTEL, ein amerikanisches Telekommunikationsunternehmen, und Thomson NETg gemeinsam durchgeführt haben. Die Beschreibung der sechs Prozessschritte - von “Define program objectives” bis zu “Measure impact” - ist nachvollziehbar und hilfreich. Fast wären die Partner bei der Suche nach dem “Training Impact” auch fündig geworden, ja, wenn nicht …

“While business metrics did improve after the training, a major operational initiative launched at the time of the training confounded the results, making it impossible to determine whether the results were due to the operational changes or to the training program.”

Aber die Projektpartner wollen am Thema dranbleiben, jetzt allerdings (lieber?) einen “sales training course for service technicians” untersuchen.
Karen O’Leonard, Bersin & Associates, August 2004 (Registrierung erforderlich)
[Kategorien: Bildungscontrolling]

Popularity: 5% [?]

Gestern bin ich für einen Tag nach Kassel ans Institut für Arbeitswissenschaft (IfA) gefahren. Es ging nicht um e-Learning, aber die Themen versprachen einige Berührungspunkte. Eingeladen hatte das IfA, um seine Forschungsarbeiten der letzten Jahre vorzustellen, Forschungsarbeiten, die sie im Rahmen des vom BMBF geförderten Projekts “Lernen im Prozess der Arbeit” durchgeführt haben. Das Ganze ist eingebunden in das Forschungs- und Entwicklungsprogramm “Lernkultur Kompetenzentwicklung”, Projektträger ist das QUEM - aber jetzt bin ich schon in den Niederungen der deutschen Projektförderung, einem so komplexen Feld, dass man sich als Außenstehender nur blamieren kann.

Jedenfalls hatten sich über 200 Teilnehmer angemeldet (etwas weniger waren wohl tatsächlich gekommen), um sich die in der Regel gemeinsam von Unternehmensvertretern und IfA-Wissenschaftlern vorgetragenen Projekte anzuhören. Das erste Aha-Erlebnis hatte ich bereits beim Einstieg, als es um “Lernförderliche Arbeitsplätze - Eine Frage des Blickwinkels?” ging. Lernförderliche Arbeitsplätze zeichnen sich durch folgende Kriterien aus: Selbständigkeit, Partizipation, Variabilität, Komplexität, Kommunikation - Kooperation, Feedback und Information. Ich glaube, wenn Arbeit bzw. Arbeitsplätze unter diesen Gesichtspunkten gestaltet werden, erübrigt sich häufig die Frage, ob für den Einzelnen das Lernen mit dem Computer am Arbeitsplatz möglich ist.

Anschließend habe ich aber die “Lernförderlichkeit” aufgegeben und bin beim Block “Kompetenzentwicklung” geblieben. Dabei sind mir zwei Projekte positiv aufgefallen: Im ersten ging es um den “Transfererfolg als zentrale Größe im Bildungscontrolling: Was sind Erfolgsfaktoren?” Simone Kauffeld und Sven Grote vom IfA stellten das Lern Transfer System Inventar (LTSI) vor, mit dessen Hilfe potenzielle Barrieren für den Transfer von Trainingsinhalten in die Praxis erkannt werden können. Wie für alle Evaluationsprozesse gilt auch hier: Das Verfahren ist aufwendig und eher für die gezielte Intervention als ein flächendeckendes Controlling geeignet. Aber manchmal ist es ja notwendig, über das Stadium der “Glaubensbekenntnisse” hinauszukommen. PricewaterhouseCoopers jedenfalls hat den LTSI eingesetzt und sofort einen Handlungsbedarf festgestellt: ihre Vorgesetzten unterstützen das Lernen “On-the-job” noch nicht optimal.

Anschließend stellte Dirk Venzke das “Skillmanagement in der Commerzbank” vor. Ich hatte die Präsentation im April bereits gehört und mein Eindruck hat sich nicht verändert: Es scheint eine sehr “runde” und pragmatische Sache zu sein, die die Commerzbank da in einem Unternehmensbereich eingesetzt hat, vielleicht das Beste, was man derzeit in Deutschland zum Thema hören und sehen kann. Die Mitarbeiterprofile basieren ausschließlich auf Selbsteinschätzungen und können mit beliebigen Stellenprofilen in SAP abgeglichen werden. ComSkill weist - als Orientierungshilfe für Mitarbeiter oder Führungskräfte - den Übereinstimmungsgrad zwischen Mitarbeiter- und Stellenprofil aus und gibt Handlungsempfehlungen im Sinne der Karriere- und Entwicklungsplanung.
ComSkill ist nicht gekoppelt an das Beurteilungsverfahren der Commerzbank, allerdings ist eine Verbindung mit Daten des Performance Managements geplant. Das System, und das zeigte auch die anschließende Diskussion, wirft unzählige Fragen auf. Allerdings, und das unterscheidet es von den meisten derzeit laufenden Projekten, ist hier nicht nur diskutiert, sondern auch umgesetzt worden!

Eine kleine Anekdote am Rande: Als die Vor- und Nachteile von Seminaren durch Interne am Beispiel eines IT-Consulters diskutiert wurden, der entsprechende Veranstaltungen obligatorisch für alle Mitarbeiter jeweils einmal im Monat an einem Samstag anbietet, merkte der PwC-Vertreter nur trocken an: “Es wird noch 4-5 Jahre dauern, bis der Samstag ‘Weiterbildungstag’ wird.” Ich füge an: Und das “lebenslang”!
Institut für Arbeitswissenschaft, Tagung “Lernförderlichkeit und Kompetenzentwicklung”, 14 Oktober 2004
[Kategorien: Weiterbildung allgemein, Bildungscontrolling, Kompetenzen]

Popularity: 9% [?]

Ich habe letzten Freitag einen Workshop besucht, den Jürgen Deller und Augustin Süßmair von der Fachhochschule Nordostniedersachsen/ Lüneburg organisiert hatten. Gastgeber war die SAP in St. Leon-Rot - etwas mehr als eine Stunde Autofahrt von Frankfurt entfernt. Es gab verschiedene Referate und Präsentationen von Forschungsergebnissen zum Thema - äußerst lebhaft diskutiert. Dabei wurde aus meiner Sicht ein Dilemma deutlich:

Um Aussagen über die Messbarkeit von Weiterbildung treffen zu können, konzentrieren sich die Bemühungen immer noch häufig auf einzelne Trainingsmaßnahmen. So geschehen auch im Rahmen zweier Diplomarbeiten, die in St. Leon-Rot präsentiert wurden. Der Vorteil dieser Arbeiten liegt sicher darin, dass man sich von betriebswirtschaftlicher Seite dem Thema ROI nähert und die Scheu vor entsprechenden Modellen verliert.

Das Dilemma liegt nun darin, dass wir auf dieser Ebene keine …

Continue Reading

Popularity: 14% [?]

Ein weiterer Beitrag zum Thema “Bildungscontrolling” liegt vor, dieses Mal herausgegeben von der imc aus Saarbrücken. Während der Arbeitsbericht des Learning Center St. Gallen, von dem ich jüngst an dieser Stelle erzählte, sich ausschließlich der Balanced Scorecard widmete, gibt der imc-Autor einen kompetenen Überblick über verschiedene Ansätze, Szenarien und Instrumente (aber bitte an der Systematik noch etwas feilen!). Allerdings spielen auch hier letztlich Scorecard-Ansätze eine prominente Rolle.

Was mich am meisten an diesem Papier gefreut hat, war der abschließende Ausblick: “Von der Weiterbildung zum informellen Lernen und Wissensmanagement”. Dort heisst es erfreulich offen:
“Eine zweite Herausforderung ergibt sich aus dem Stellenwert informellen Lernens. Formalisiertes Lernen im Rahmen von Kursen oder anderen Lernangeboten ist nicht der einzige und auch nicht der wichtigste Weg der Aneignung von Wissen und Kompetenzen. … Es wird immer wieder betont, dass ein großer (wenn nicht sogar der größte) Teil des beruflichen Handlungswissens auf diesem Weg erworben wird: im Austausch mit Kollegen und auf der Grundlage von ‘zeig mir doch mal gerade, wie du das machst’. Bislang sind keine etablierten Verfahren verfügbar, mit denen diese informellen Lernaktivitäten systematisch erfasst und bewertet werden können. Die zweite große Herausforderung besteht also darin, Verfahren des (Weiter-)Bildungscontrollings für die Anwendung auf informelles Lernen und Aktivitäten des Wissensmanagements zu adaptieren.”

Man kann dem Autor zustimmen, wenn er sagt, dass noch keine etablierten Verfahren zur Verfügung stehen. Die Diskussionen um die Entwicklung individueller und unternehmensweiter Kompetenzbilanzen geht aber meines Erachtens genau in diese Richtung. Hier ist die zukünftige Messgröße für das “maßnahmen-übergreifende” Controlling, wie es im Whitepaper so schön heisst. Und bei der Entwicklung von Kompetenzen stehen immer deutlicher formelle und informelle, unternehmensgesteuerte und privat initiierte Prozesse nebeneinander. Die spannende Frage wird sein, wie der Beitrag und der Stellenwert der betrieblichen Weiterbildung zukünftig aussehen werden!

Christoph Meier, imc, 14 Juni 2004 (kann bei der imc bestellt werden: mailto:imc@im-c.de)
[Kategorien: Bildungscontrolling, Learning Management Systems]

Popularity: 7% [?]

Die Autorinnen wollen nichts weniger als eine Antwort auf die Frage geben, “wie der Beitrag von E-Learning auf den Geschäftserfolg gemessen werden kann”. Vor diesem Hintergrund geben sie einen guten Überblick über die Ziele des Bildungscontrollings, die Rolle von Kennzahlen (mit hilfreicher Auflistung der gängigsten Kennzahlen!), um dann ausführlicher auf das Konzept der Balanced Scorecard selbst einzugehen. Das Ganze wird abschließend am fiktiven Fall eines Call Centers durchgespielt, für das eine e-Learning-Scorecard entwickelt wird.

Ist das realistisch, frage ich mich? Eine Balanced Scorecard für eine einzelne Methode der Weiterbildung - ein Fragezeichen, das übrigens auch die Autorinnen selbst auf der letzten Seite des Berichts setzen! Was keineswegs gegen den Ansatz spricht! Nur, warum sollte die BSC nicht für die gesamte Weiterbildung stehen und die Einführung von e-Learning das bleiben, was es ist - ein strategisches Projekt.
Barbara Leithner und Andrea Back, Arbeitsberichte des Learning Center der Universität St. Gallen, 4/2004 (kostenfrei auf Anfrage)
[Kategorien: Bildungscontrolling, e-Learning]

Popularity: 3% [?]

Es ist nicht ganz leicht, die Begriffe und den Gegensatz ins Deutsche zu übertragen, aber im Kern argumentiert Jay Cross gegen ein Bildungscontrolling, dass immer noch zu viel Energie in die Beantwortung von Fragen investiert, die keinen interessieren (sollten).

“How I wish I had $10 for every time I’ve heard a training manager lament that they cannot separate the impact of training from everything else that was happening in the organization. I’ve even heard some trainers suggest using a control group, having a number of employees go untrained. Forget that idea; the Hawthorne effect* would skew the results. (*In a classic experiment in the 30s at Western Electric’s Hawthorne Works, researchers found that workers were more productive when they cut the lights up. Also, when they cut the lights down! Conclusion: Workers are more productive if you pay attention to them. Placebos work.)”

Ist mir aus der Seele gesprochen! Die Suche nach dem Ansatz, der uns den ROI eines oder aller Trainings liefert, ist Zeitverschwendung! Stattdessen sollten wir endlich anerkennen, dass “the sponsor decides what markers constitute proof“. Jay Cross schlägt deshalb “Performance agreements” vor:

“The best proof describes quantitatively the link between your learning initiative and business results, using assumptions your sponsor will buy into and explicitly stating the what-ifs and maybes. Do this in writing, in a performance agreement that
- provides a shared understanding of the problem to be solved
- describes what you intend to provide in its solution
- estimates the expected increase in profit and the step to get there
- sets out a way to assess whether the goal was accomplished or not
- lays the foundation for solving the next problem.
This sort of agreement will show that you understand the business and that you’re on the same page as your sponsor.”

Couldn’t agree more.
Jay Cross, LearningCircuits, April 2004
[Kategorien: Bildungscontrolling]

Popularity: 2% [?]

Die aktuelle Ausgabe der DIE Zeitschrift für Erwachsenenbildung beschäftigt sich mit dem Thema Bildungsfinanzierung. Leider gibt es nur wenige Artikel online. So berichtet z.B. Mechthild Tillmann über die phantasievollen Anstrengungen von Volkshochschulen, trotz sinkender Zuschüsse ein zeitgemäßes Programm anzubieten (”Sicher ist nur der Mangel“). Und Richard Deiss führt auf, wie die Baumol’sche Kostenkrankheit, das Brecht’sche Gesetz und Liebigs Minimumgesetz die Bildungsfinanzierung beeinflussen (”‘Grundgesetze’ der Bildungsfinanzierung“).
DIE Zeitschrift II/2004
[Kategorie: Bildungscontrolling]

Popularity: 2% [?]