“We need to rethink learning analytics”, schreibt der Autor, und wer möchte ihm da nicht Recht geben. Denn viel zu häufig konzentriert sich das Bildungscontrolling (wie es ja hierzulande heißt) nur auf Lernaktivitäten und macht da halt, wo die Umsetzung des Gelernten in der Praxis beginnt. Lieber sollte man fragen, so die Empfehlung, “whether content is valuable to our audience”, und die Antwort mit Hilfe der Informationen suchen, die uns in den Kommunikationsflüssen des Social Web zur Verfügung stehen. Analyse und Diagnose sind okay, aber die Lösung ist noch nicht zu Ende gedacht … Reuben Tozman, T+D Magazine, Februar 2012
George Siemens und Phil Long werben hier einmal mehr für die Möglichkeit, ja, Notwendigkeit von Learning Analytics, also “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs”. Fast jeder Lernprozess hinterlässt heute digitale Spuren, “big data”, die genutzt werden können, um Lerner zeitnah zu unterstützen und Lernprozesse zu optimieren. Doch “big data” sind auch die Grundlage für “business intelligence” und “performance management”, also wirtschaftliche Entscheidungen über die Verteilung von Ressourcen - und genau das macht den Ansatz gleichermaßen interessant und schwierig.
Doch das Feld ist noch jung und relativ abstrakt. Leider führen auch die Autoren kein konkretes Beispiel an, das zeigt, wie eine Institution hier den Ball aufnimmt, strategische Ziele setzt, gezielt Daten sammelt und auswertet, um anschließend Lernprozesse zu optimieren. “Learning is messy, and using analytics to describe learning won’t be easy”, schreiben Siemens/ Long. George Siemens und Phil Long, EDUCAUSE Review Magazine, Vol. 46, Nr. 5, September/ Oktober 2011
Nancy White, die gemeinsam mit Etienne Wenger und John D. Smith “Digital Habitats” geschrieben hat, setzt sich hier mit der Frage auseinander, wie man den Wert und den Nutzen von Communities untersucht. In dem kurzweiligen Vortrag (”besides sounding like I’m on speed …”) gibt sie uns vier Modelle bzw. Schaubilder mit: Rahmenbedingungen, Perspektiven, Formen von Wert und Aktivitäten, die eine Community unterstützt. Nancy White, Full Circle Association, 22. August 2011
George Siemens hat hier einige Eindrücke und Ressourcen der Konferenz in Banff zusammengefasst (28.02.- 01.03.). Seine zentrale Botschaft: “Analytics will be huge in education and are coming faster than almost anyone can anticipate.” Zugleich bereitet er uns auf den damit verbundenen Hype vor: “analytics will be everything, they will cure all ails, they will transform education, they will … Purchase your Batman Consultant-Repellant spray now.” Will do. George Siemens, elearnspace, 11. März 2011
Der Learning Circuits Blog veranstaltet jeden Monat einen Blog Carnival, der hier “Question of the Month” heißt. Für den Monat März kommt die Frage nicht mit der Überschrift, sondern steckt im Text: “How do you assess whether your informal learning, social learning, continuous learning, performance support initiatives have the desired impact or achieve the desired results?” Ich versuche mal eine Übersetzung: “Wenn das Lernen mehr und mehr informell ist, eingebettet in Communities, Teams und Netzwerke, wie wissen wir eigentlich, ob es erfolgreich ist?”
Nun ist die Frage nach dem Erfolg von Lernen (oder besser: Weiterbildungsmaßnahmen) alles andere als neu. Und es gab gerade unter Akademikern eine starke Tendenz, die Sinnhaftigkeit der Frage bzw. der Suche nach einfachen Kausalketten generell anzuzweifeln. Im Moment scheint das Thema aber eine kleine Renaissance zu erleben. Nicht als Bildungscontrolling oder Training Evaluation, sondern als “Learning Analytics” oder “Social Network Analysis”. Es ist schon verrückt: Da lösen sich auf der einen Seite gerade die formalen Bildungsprozesse in lockeren Netzzusammenhängen auf, während auf der anderen Seite immer mehr Daten über die Aktivitäten in diesen Netzen zur Verfügung stehen. Daten, von denen jeder Bildungscontroller vor zehn Jahren noch geträumt hätte! Man darf von daher sicher gespannt sein, wie sich das Thema weiterentwickelt!
Der Titel ist etwas irreführend. Denn der Autor, Dan Pontefract, arbeitet sich vor allem an Donald Kirkpatricks’ “Four Levels of Evaluation”-Modell ab, das er mit einer Kakerlake, “cockroach”, vergleicht: Beide haben sich bis heute erfolgreich jedem Wandel widersetzt. Doch wenn Lernen ein kontinuierlicher Prozess ist, der sich nicht nur im Klassenzimmer bzw. Seminarraum abspielt, dann müssen sich Evaluationsmodelle dringend anpassen:
“Learning professionals would be well advised to build social learning metrics into the new RPE model through qualitative and quantitative measures … Diverging from the cockroach, it’s time for the learning profession to evolve.” Dan Pontefract, trainingwreck, 6. Februar 2011
Rita Kop (National Research Council of Canada) hat hier einige Erfahrungen, aber vor allem Daten aus PLENK2010, dem Open Online Course zu Personal Learning Environments, Networks and Knowledge, zusammengetragen. Ich kann einen Blick in der verlinkte Präsentation empfehlen: Es sind zum Teil sehr interessante Versuche, die Aktivitäten der Teilnehmer abzubilden und zu analysieren. Alles noch sehr ergebnisoffen und sicher erst ein Anfang, aber spannend! Ich denke, es geht in die Richtung, die George Siemens u.a. derzeit unter dem Stichwort “Learning Analytics” diskutieren:
Wikipedia: “Learning analytics is the use of intelligent data, learner-produced data, and analysis models to discover information and social connections for predicting and advising people’s learning.” (hier geht es zur aktuellen Konferenz, die am Sonntag startet) Rita Kop, Blog, 24. Februar 2011
Tony Bates hat eine sieben Jahre umfassende Aufstellung der Kosten und Einnahmen eines “fully online master’s degree program from a major research university” erstellt. Eines ziemlich erfolgreichen Programms, wie er sagt, ohne den Veranstalter zu nennen. Die Kostenfaktoren, die er aufzählt und grob beziffert, sind “planning”, “program administration and overheads”, “development”, “maintenance” und “delivery”. Interessant ist einer der Schlüsse, die er aus der Analyse zieht:
“Open content is not going to lead to major cost savings in online learning. Even without creating new content, someone will have to select, assess and modify open content, or provide some kind of curriculum framework or guide for students studying a subject or topic.” Tony Bates, e-learning & distance education resources, 25. Oktober 2010
Wie lange braucht es, um ein bestimmtes Lernformat zu entwickeln? Und wieviel kostet es? Wem diese Fragen - ohne weiteren Kontext - zu albern sind, sollte diesen Hinweis überspringen. Denn was hat der Autor, Bryan Chapman, getan, um das Unmögliche in Zahlen zu fassen? Er hat zuerst verschiedene Formate definiert: “instructor -led training (ILT)”, “Level 1 e-Learning (Basic)”, “Level 2 e-learning (Interactive)”, “Level 3 e-learning (Advanced)” und “blended learning”. Dann hat er 249 Teilnehmer (Unternehmen und Anbieter) gefragt, was es braucht, um eine Stunde Kurs zu entwickeln. Und aus diesen Antworten hat er Durchschnittswerte gebildet. Die interessanteste Auswertung findet sich auf Slide 32, wo er die “average cost per-finished hour” für die einzelnen Formate festhält:
- Instructor-Led Training (ILT) = 5,934 US-Dollar
- Level 1 eLearning (Basic) - Content Pages and Assessment = 10,054 US-Dollar
- Level 2 eLearning (Interactive) - Level 1, plus 25%+ interactive exercises = 18,583 US-Dollar
- Level 3 eLearning (Advanced) - Simulations, Games, Award Winning type = 50,371 US-Dollar
By the way, die Zahlen beziehen sich auf den amerikanischen Markt, aber sie zeigen möglicherweise, dass formale Weiterbildung bzw. e-Learning auf dem Weg zur “commodity” sind. Bryan Chapman, Chapman Alliance, 14. September 2010
Die Autoren werben für die Einführung von E-Learning-Scorecards zur Projektsteuerung. Hintergrund ist ein Forschungsprojekt, das die Schweizer Bank UBS mit der Fachhochschule Nordwestschweiz (FHNW) durchgeführt hat. Ziel des Projekts war es, eine eintägige Präsenzveranstaltung durch ein entsprechendes Online-Angebot zu ersetzen und dadurch - bei gleicher pädagogischer Qualität - Kosten zu sparen. Die dabei entwickelte Scorecard ermöglicht es, mit Hilfe quantitativer und qualitativer Messgrößen das Erreichen gesteckter Projektziele zu überprüfen. Im Vordergrund steht hier das Projektcontrolling (von daher ist der Ansatz auch auf andere Prozesse und Arbeitsbereiche übertragbar), nicht die Messung des Transfererfolgs und gar des ROIs von Bildungsmaßnahmen. Urs Gröhbiel, Daniel Stoller-Schai, Christoph Timmer, in: PERSONAL. Zeitschrift für Human Resource Management, 62. Jahrg., 01/2010, S. 14-16 (pdf)
Wie bzw. was genau trägt eine Bildungsmaßnahme zur Wertschöpfung des Unternehmens bei? Eine Frage, deren Bedeutung in Umfragen von Bildungsmanagern immer wieder betont wird und vor der viele doch schon lange kapituliert haben. Von daher kommt diese Case Study vielleicht gerade Recht: Geschildert wird der Fall der Boys & Girls Clubs of America (BGCA), einer großen Non-Profit-Organisation in den USA. Es geht um ein Führungskräftetraining, dessen “performance impact” systematisch und genau untersucht wurde. Also Vergleiche von Pre-und Post-Trainings-Resultaten, Kontrollgruppen und Einbeziehung verschiedener Standortfaktoren, um die Effekte des Trainings isolieren zu können. Empfohlen wird u.a.: “Picking the right metrics is the key to creating real value from training.” Und: “… companies must continually review and revise the links between skills, performance, and training programs.” Ein nützliches Dokument, wobei sich der hier eingeschlagene Weg sicher nicht für jedes Produkttraining lohnt. Jenny Cermak and Monica McGurk, McKinsey Quarterly, Juli 2010
Was bringt eigentlich der Einsatz von Bildungstechnologien? Rechnet er sich? Liefert er die “bottom-line business benefits”, nach denen heute verstärkt gefragt wird? Um diese Frage zu beantworten, haben sich die Autoren eine Vielzahl von Studien angeschaut und ausgewertet. Wobei sie konkrete Hinweise auf Resultate in folgenden Bereichen identifiziert und mit Fallbeispielen untermauert haben: 1. Time saving, 2. Productivity gains, 3. Staff benefit, 4. Sales impact, 5. Tangible quality improvements for learning, 6. Impact of social learning, 7. Green issues und 8. Cost savings. Die letzte Kategorie ist am stärksten besetzt, da sich ja viele der gefundenen Resultate in unmittelbare Kosteneinsparungen übersetzen lassen.
Kurz: Die Lektüre lohnt sich. Im Anhang ist jede Fallstudie mit Steckbrief und Link aufgeführt. Und die Autoren sind vorsichtig genug, darauf hinzuweisen, dass in keiner Studie die “bottom-line business benefits” monokausal auf den Einsatz von Bildungstechnologien zurückgeführt werden können. Auch nicht ganz unwichtig. Becta (via Towards Maturity), 17. Februar 2010
Das passt doch gut zum Stichwort Bildungscontrolling: eine längere Würdigung von Don Kirkpatrick, an dessen vier Evaluationsstufen sich bis heute viele Bildungspraktiker die Zähne ausbeißen. Im Artikel erfährt man, dass Kirkpatrick, der sein Modell immerhin bereits Ende der 1950er Jahre entwickelt hat, heute noch Rede und Antwort steht. Und wenn man von seiner Abneigung gegenüber E-Learning einmal absieht, sind mir einige seiner hier zitierten Bemerkungen viel sympathischer als das Vier-Ebenen-Modell.
“Kirkpatrick himself is now an elder statesman of corporate training. Asked his age, he said “I’m 80,” before pausing and adding “five.” But the octogenarian is still active in the field. This year, he taught two sessions at the American Society for Training & Development (ASTD)’s annual conference, as he has every year since 1960.” Daniel Margolis, Chief Learning Officer Magazine, November 2009
Über Bildungscontrolling wird heute wenig gesprochen und geschrieben, weniger, als noch vor fünf oder zehn Jahren. Doch wie sieht es in der Unternehmenspraxis aus? Steht das Thema überhaupt noch auf der Agenda? Das Bundesinstitut für Berufsbildung (BIBB) hat nach 1997 eine erneute Befragung zum betrieblichen Bildungscontrolling durchgeführt und die Ergebnisse ausgewertet. Diese Auswertung, die online vorliegt, bietet einen kurzen, aber umfassenden Überblick zum Thema - vor allem dort, wo die einzelnen Teilelemente des Bildungscontrollings aufgelistet und diskutiert werden. Deshalb lohnt sich die Lektüre!
Aber kurz zu den Ergebnissen: Viel hat sich seit 1997 nicht verändert, auch wenn sich BIBB-Autor Bernd Käpplinger große Mühe gibt, Bewegungen in einzelnen Teilsegmenten zu entdecken (und zu interpretieren). Bildungscontrolling war und ist vor allem ein Thema für große und bildungsaktive Unternehmen. Und Bildungscontrolling bedeutet hier in erster Linie die Erfassung der Weiterbildungskosten; dagegen wird selten systematisch nach dem Nutzen von Weiterbildung gefragt, und Maßnahmen zur Transfersicherung stehen, wen wundert’s, am Ende der Skala. “Offensichtlich scheiden sich am Bildungscontrolling die Geister”, muss dann auch der Autor mit Blick auf die vorliegenden Zahlen zugeben.
Ich denke, Bildungscontrolling hat an Aufmerksamkeit verloren, weil man sich an vielen Stellen von den Versuchen verabschiedet hat, den Return on Invest von Bildung zu erheben. Das ist gut so. Teilelemente des Bildungscontrollings sind zudem heute in vielen Großunternehmen Standard, ohne dass man den Begriff bemüht oder Ressourcen für die Durchführung entsprechender Maßnahmen reserviert. Aber das zu erklären, überlasse ich lieber den BIBB-Autoren. Bernd Käpplinger, in: BIBB-Report, 13/09, 11. Dezember 2009
Das Problem ist ja da, und es kann sicher nicht schaden, ab und zu daran zu erinnern. Bildungsprojekte werden durchgeführt, wenn das Management erkannt hat, das hier ein “Unterschied” liegt, das Unternehmensziele, kurzfristige oder langfristige, nur erreicht werden, wenn in Bildung investiert wird. Deshalb müssen Learning Professionals ihre Projekte und Ideen in der Sprache des Managements präsentieren, so Jay Cross. Dabei ruft er Andrew Carnegie und Peter Drucker in den Zeugenstand. Und er bringt das Bildungscontrolling in Unternehmen kurz und knapp auf den Punkt: “How do you decide what measures to apply? You don’t: that’s the responsibility of your business sponsor, the person who signs the cheques. Together you agree on what’s to be done and how you’ll measure success or failure.” Exakt. Jay Cross, Inside Learning Technologies, November 2009
Nachdem ich gesehen hatte, dass es das akademische Pseudonym „Dr. Richard Gris” („Die Weiterbildungslüge”) auch in diese Ausgabe des österreichischen Online-Magazins geschafft hat, wollte ich das Dokument gleich wieder schließen. Aber dann habe ich dem ersten Reflex widerstanden. Es geht schließlich um die Frage, ob und wie man den Erfolg von Weiterbildung messen kann. „Richard Gris” darf natürlich in seinem einleitenden Beitrag gleich die „Bildungscontrolling-Lüge” entlarven: „Bildungscontrolling ist die scheinheilige Antwort auf die Sehnsucht der Personaler nach Kosten-Nutzen-Kalkülen.” Okay, die Täter-/Opfer-Frage ist damit geklärt. Günter Koch geht einen Schritt weiter und wirbt für die Wissensbilanz und damit eine langfristig angelegte Auseinandersetzung, um Wissensprozesse zu erfassen und „anfassbar” zu machen. Sein Erfolgsmodell ist das Austrian Research Center, Österreichs größte außeruniversitäre Forschungsorganisation. Guido Betz argumentiert anschließend für klare Zielsetzungen mit konkreten Kennziffern, wenn man über Erfolge diskutieren will. Und setzt auf Entwicklungsprogramme, die konkrete Arbeitsprojekte in den Mittelpunkt stellen. Abschließend arbeitet sich Sven Grote an verschiedenen Mythen des Bildungscontrollings ab.
Fazit: Die Beiträge holen die Leser dort ab, wo wahrscheinlich viele von ihnen stehen. Irgendwo zwischen Kirkpatricks-Ebenen-Modell und nagenden Zweifeln an der Sinnhaftigkeit solcher Anstrengungen. Allerdings nutzen die Autoren nicht die Chance, gelungene Beispiele für den Umgang mit der Frage der Messbarkeit von Bildung bzw. ihrem Erfolg zu präsentieren. Die Wissensbilanz einmal ausgenommen. BILDUNGaktuell, 27. Oktober 2008
Vielleicht kommt der Artikel etwas zu früh. Doch die Frage, welchen Nutzen eigentlich e-Learning 2.0 bringt und wie man ihn messen kann, werden Controller stellen. Hier bietet Will Thalheimer einige interessante Anregungen, vor allem in der Gegenüberstellung von e-Learning 1.0 und 2.0. Sein Ausgangspunkt: “E-Learning 2.0 differs from most traditional learning methodologies in allowing - even encouraging - everybody to contribute in creating learning messages.” Mit verschiedenen Empfehlungen sowie Do’s und Don’ts. Will Thalheimer, Learning Solutions, 18 August 2008 (pdf)
Was ist Bildungscontrolling? Die Suche nach dem Return on Investment in der Weiterbildung? Oder der Versuch, Wissen und Kompetenzen im Unternehmen systematisch zu steuern? Ulf-Daniel Ehlers von der Universität Duisburg-Essen plädiert in diesem ausführlichen Interview eindeutig für die zweite Option. Und bringt damit zugleich das Dilemma des Bildungscontrollings auf den Punkt: Denn es wird nicht so recht deutlich, warum ich für die damit verbundenen strategischen Fragestellungen überhaupt den doch zuweilen irreführenden Begriff (siehe erste Option) nutzen soll.
“Also Bildungscontrolling, wie es noch vielfach unter dem Stichwort „Return on Investment“ thematisiert wurde - wo es also darum geht, zu schauen, ‚was uns das Ganze bringt’ - hat sich zunehmend in Richtung von Planungs- und Steuerungsfunktionen gewandelt. Hier geht es mehr um die Fragen: „Wie müssen wir Bildungsmaßnahmen und Kompetenzentwicklungen in Unternehmen eigentlich steuern, damit wir zukünftig noch mindestens genau so gut dastehen oder vielleicht sogar besser? Wie können wir uns über die Steuerung von Bildungsmaßnahmen und Kompetenzentwicklung in unserem Unternehmen neue Märkte erschließen?“
(via CHECKpoint eLearning) Interview mit Ulf-Daniel Ehlers, LernQuotient, 2008 (pdf)
Ich musste bei diesen Nachrichten zweimal schmunzeln: zum einen über die phantasievollen News, die Elliott Masie sich hier ausgedacht hat, z.B. (1) “Giggle Launched by Google: Humor in Searching”, oder (3) “Level 9 Evaluation: Kirkpatrick and and MRI” (mein Favorit!!) oder (4) “Speed Presenting: More Words Per Minute”; zum anderen hat aber auch die Auflösung am Ende der Nachricht etwas, so wunderbar interkulturell abfedernd, wie sie daherkommt: “Note: Happy April 1st. For our international readers, April 1st is called April Fools Day and we have fun with our field on this day of satire and humor.” Elliott Masie, Learning TRENDS, 1 April 2008
Was gab es noch auf der LEARNTEC? Ich habe mich dieses Jahr vor allem in den business-orientierten Sektionen des Kongresses aufgehalten und hier finden sich naturgemäß weniger die technischen oder konzeptionellen Trends als vielmehr einzelne personalstrategische Schwerpunkte und Verschiebungen. Continue Reading
Jochen Robes (Frankfurt), Berater mit den Schwerpunkten Human Resources/ Corporate Learning, e-Learning, Knowledge Management 
