Archive | Bildungscontrolling

Tags:

Don Kirkpatrick’s Contribution to Our Profession

Posted on 07 July 2014 by jrobes

Im Mai ist Don Kirkpatrick im Alter von 90 Jahren gestorben. Da jedes Bildungscontrolling auch heute noch um seine “four levels of evaluation” (”Vier-Ebenen-Modell” heißt es bei Wikipedia) kreist, will ich diese Erinnerung verlinken. Über die Praxisrelevanz des Ebenen-Modells ist bereits viel Kritisches gesagt worden. Dankenswerterweise ergänzt der Autor seinen Rückblick um zwei Perspektiven bzw. Konsequenzen, die mir wichtiger scheinen als das Modell selbst:

  • “… Don helped focus the profession on starting with the end in mind and working backward to carefully plan your learning initiative.”
  • “Therefore, if the program is going to achieve the agreed-upon results, the business leader must actively sponsor the program by communicating the importance of the learning to employees upfront, setting expectations for using the training and then reinforcing the expected behavior after the training is complete.”

David Vance, Chief Learning Officer, 17. Juni 2014

Popularity: 14% [?]

Comments (0)

Tags:

Pro und Contra: Positionen zu Learning Analytics

Posted on 27 June 2014 by jrobes

Obwohl Learning Analytics gegenwärtig mehr theoretisch als praktisch gelebt wird, gibt es durchaus unterschiedliche Standpunkte. Für e-teaching.org die Gelegenheit, mit der Debatte um Learning Analytics eine neue Rubrik “Meinung” zu eröffnen. Es gibt eine Pro- (Ulrik Schroeder/ Mohamed Amine Chatti) und eine Kontra- (Kai-Uwe Loser) Fraktion, ihre ausformulierten Positionen sowie eine visualisierte Pro-und-Contra-Skala (hier hatte ich allerdings eine kurze Abstimmungsmöglichkeit inkl. Ergebnis erwartet).

“Learning Analytics, die Erhebung von Daten über Lernende und ihren Lernkontext, polarisiert: Befürworter sehen darin Chancen für eine Verbesserung von Bildungsangeboten, Kritiker befürchten, dass es zu einer Kultur der Überwachung kommt und wissenschaftlich unbegründete Rückschlüsse über Lehr-/Lernprozesse gezogen werden.”
e-teaching.org, 27. Juni 2014

Popularity: 15% [?]

Comments (0)

Soziales und informelles Lernen messen?

Posted on 28 February 2014 by jrobes

Früher oder später wird die Frage gestellt: Wenn das informelle Lernen schon auf der Agenda der Bildungsverantwortlichen steht, wann ist ihre Arbeit eigentlich erfolgreich? Was zu der Frage führt, wie man überhaupt informelles Lernen evaluiert. Christoph Meier nimmt einen aktuellen Artikel im Chief Learning Officer (”Social, Informal Learning Can Be 
Measured”) zum Anlass, um diese Fragen zu stellen. Man kann natürlich die Mitarbeitenden selbst befragen, jedoch: “Eine wichtige Einschränkung dabei ist aber, dass alle diese Fragen letztlich nur subjektive Einschätzungen abgreifen.”
Christoph Meier, scil-Blog, 25. Februar 2014

Popularity: 17% [?]

Comments (0)

Stats on Workplace Learning

Posted on 01 October 2013 by jrobes

Marcia Conner fasst hier einige aktuelle Quellen mit Datenmaterial zur betrieblichen Weiterbildung zusammen. Es handelt sich vor allem um US-amerikanische Zahlen aus dem “Training Industry Report” (Training Magazine), ASTD’s “State of the Industry” und “The Corporate Learning Factbook” (Bersin by Deloitte), und was dort über die jährliche Investitionen in Weiterbildung, vor allem in formale Weiterbildung, erhoben wurde. Wobei einige Daten, z.B. von Bersin über Social Learning (”Large businesses triple their spending on social learning”), sogar ganz interessant sind.

Aber wie sind wir eigentlich hierzulande mit Daten versorgt? Es gibt das Bundesinstitut für Berufsbildung (BIBB), das bei internationalen Vergleichsstudien zur beruflichen Weiterbildung mitmischt; dann das Institut der Deutschen Wirtschaft Köln mit regelmäßigen Weiterbildungserhebungen (zuletzt 2012); und dann das BMBF, das regelmäßig über das “Weiterbildungsverhalten in Deutschland” informiert (früher “Berichtssystem Weiterbildung“, jetzt „Adult Education Survey“). Und BITKOM und MMB, die das Ganze unregelmäßig auf E-Learning herunterbrechen. Mehr fällt mir gerade nicht ein.
Marcia Conner, Blog, 30. September 2013

Popularity: 18% [?]

Comments (0)

Rechnet sich Blended Learning an Hochschulen? Eine ökonomische Betrachtung von e-Learning Maßnahmen

Posted on 10 October 2012 by jrobes

Die Antwort auf die Frage im Titel lautet natürlich “ja”. Die Autoren haben ein Lehr-Szenario an der Universität Innsbruck akribisch durchgerechnet, in dem ein Teil der Präsenzlehre in E-Learning übersetzt wurde. Natürlich treibt der Aufwand für die Content-Erstellung, also die Entwicklung der E-Learning-Module, die Kosten erst einmal in die Höhe. Aber wenn das neue Blended Learning-Szenario nur einige Semester stabil bleibt, ist ein Break-Even in Sichtweite. Das ist natürlich vor allem die Perspektive der Controller. Genauso wichtig und auch ein Ergebnis der Studie: Die Studierenden akzeptieren das Angebot:

“Neben langfristigen Kosteneinsparungen, kann auch die hohe Zufriedenheit der Studierenden mit der BL-Maßnahme als positiver Effekt betrachtet werden. … Die Evaluierung ergab, dass sich 76 % der Befragten auch für andere Kurse ein vergleichbares LMS und adäquate EL-Inhalte wünschen würden. Ebenso sind über dreiviertel der Befragten mit der BL-LV sehr zufrieden.”
Lukas Paa, Martin Ebner, Felix Piazolo und Nesrin Ates, in: 10. e-Learning Fachtagung Informatik der Gesellschaft für Informatikk e.V. (DeLFI 2012). Jörg Desel, J., Haake, J.M., Spannagel, C. (Hrsg.), Gesellschaft für Informatik e.V.(GI), S.267-278 (via E-Learning Blog)

Popularity: 25% [?]

Comments (0)

Tags:

New Learning Analytics for a New Workplace

Posted on 02 February 2012 by jrobes

“We need to rethink learning analytics”, schreibt der Autor, und wer möchte ihm da nicht Recht geben. Denn viel zu häufig konzentriert sich das Bildungscontrolling (wie es ja hierzulande heißt) nur auf Lernaktivitäten und macht da halt, wo die Umsetzung des Gelernten in der Praxis beginnt. Lieber sollte man fragen, so die Empfehlung, “whether content is valuable to our audience”, und die Antwort mit Hilfe der Informationen suchen, die uns in den Kommunikationsflüssen des Social Web zur Verfügung stehen. Analyse und Diagnose sind okay, aber die Lösung ist noch nicht zu Ende gedacht …
Reuben Tozman, T+D Magazine, Februar 2012

Popularity: 30% [?]

Comments (1)

Tags: ,

Penetrating the Fog: Analytics in Learning and Education

Posted on 22 September 2011 by jrobes

George Siemens und Phil Long werben hier einmal mehr für die Möglichkeit, ja, Notwendigkeit von Learning Analytics, also “measurement, collection, analysis and reporting of data about learners and their contexts, for purposes of understanding and optimising learning and the environments in which it occurs”. Fast jeder Lernprozess hinterlässt heute digitale Spuren, “big data”, die genutzt werden können, um Lerner zeitnah zu unterstützen und Lernprozesse zu optimieren. Doch “big data” sind auch die Grundlage für “business intelligence” und “performance management”, also wirtschaftliche Entscheidungen über die Verteilung von Ressourcen - und genau das macht den Ansatz gleichermaßen interessant und schwierig.

Doch das Feld ist noch jung und relativ abstrakt. Leider führen auch die Autoren kein konkretes Beispiel an, das zeigt, wie eine Institution hier den Ball aufnimmt, strategische Ziele setzt, gezielt Daten sammelt und auswertet, um anschließend Lernprozesse zu optimieren. “Learning is messy, and using analytics to describe learning won’t be easy”, schreiben Siemens/ Long.
George Siemens und Phil Long, EDUCAUSE Review Magazine, Vol. 46, Nr. 5, September/ Oktober 2011

Popularity: 29% [?]

Comments (0)

Tags: , ,

Monday Video: 4 Perspectives on CoP Evaluation

Posted on 29 August 2011 by jrobes

Nancy White, die gemeinsam mit Etienne Wenger und John D. Smith “Digital Habitats” geschrieben hat, setzt sich hier mit der Frage auseinander, wie man den Wert und den Nutzen von Communities untersucht. In dem kurzweiligen Vortrag (”besides sounding like I’m on speed …”) gibt sie uns vier Modelle bzw. Schaubilder mit: Rahmenbedingungen, Perspektiven, Formen von Wert und Aktivitäten, die eine Community unterstützt.
Nancy White, Full Circle Association, 22. August 2011

Popularity: 36% [?]

Comments (0)

Tags:

Learning Analytics 2011: Reflections

Posted on 17 March 2011 by jrobes

George Siemens hat hier einige Eindrücke und Ressourcen der Konferenz in Banff zusammengefasst (28.02.- 01.03.). Seine zentrale Botschaft: “Analytics will be huge in education and are coming faster than almost anyone can anticipate.” Zugleich bereitet er uns auf den damit verbundenen Hype vor: “analytics will be everything, they will cure all ails, they will transform education, they will … Purchase your Batman Consultant-Repellant spray now.” Will do.
George Siemens, elearnspace, 11. März 2011

Popularity: 38% [?]

Comments (0)

Assessing Learning Initiatives

Posted on 09 March 2011 by jrobes

Der Learning Circuits Blog veranstaltet jeden Monat einen Blog Carnival, der hier “Question of the Month” heißt. Für den Monat März kommt die Frage nicht mit der Überschrift, sondern steckt im Text: “How do you assess whether your informal learning, social learning, continuous learning, performance support initiatives have the desired impact or achieve the desired results?”  Ich versuche mal eine Übersetzung: “Wenn das Lernen mehr und mehr informell ist, eingebettet in Communities, Teams und Netzwerke, wie wissen wir eigentlich, ob es erfolgreich ist?”

Nun ist die Frage nach dem Erfolg von Lernen (oder besser: Weiterbildungsmaßnahmen) alles andere als neu. Und es gab gerade unter Akademikern eine starke Tendenz, die Sinnhaftigkeit der Frage bzw. der Suche nach einfachen Kausalketten generell anzuzweifeln. Im Moment scheint das Thema aber eine kleine Renaissance zu erleben. Nicht als Bildungscontrolling oder Training Evaluation, sondern als “Learning Analytics” oder “Social Network Analysis”. Es ist schon verrückt: Da lösen sich auf der einen Seite gerade die formalen Bildungsprozesse in lockeren Netzzusammenhängen auf, während auf der anderen Seite immer mehr Daten über die Aktivitäten in diesen Netzen zur Verfügung stehen. Daten, von denen jeder Bildungscontroller vor zehn Jahren noch geträumt hätte! Man darf von daher sicher gespannt sein, wie sich das Thema weiterentwickelt!

Ach so: Erste Antworten und Kommentare auf die “Frage des Monats” gibt es auch schon. Zum Beispiel von Jay Cross.
Tony Karrer, The Learning Circuits Blog, 1. März 2011 

Popularity: 31% [?]

Comments (0)

Tags: , ,

Time’s Up – Learning Will Forever Be Part Formal, Part Informal and Part Social

Posted on 01 March 2011 by jrobes

Der Titel ist etwas irreführend. Denn der Autor, Dan Pontefract, arbeitet sich vor allem an Donald Kirkpatricks’ “Four Levels of Evaluation”-Modell ab, das er mit einer Kakerlake, “cockroach”, vergleicht: Beide haben sich bis heute erfolgreich jedem Wandel widersetzt. Doch wenn Lernen ein kontinuierlicher Prozess ist, der sich nicht nur im Klassenzimmer bzw. Seminarraum abspielt, dann müssen sich Evaluationsmodelle dringend anpassen:

“Learning professionals would be well advised to build social learning metrics into the new RPE model through qualitative and quantitative measures … Diverging from the cockroach, it’s time for the learning profession to evolve.”
Dan Pontefract, trainingwreck, 6. Februar 2011

Popularity: 31% [?]

Comments (0)

Tags: , , ,

Learning on MOOCs

Posted on 25 February 2011 by jrobes

Rita Kop (National Research Council of Canada) hat hier einige Erfahrungen, aber vor allem Daten aus PLENK2010, dem Open Online Course zu Personal Learning Environments, Networks and Knowledge, zusammengetragen. Ich kann einen Blick in der verlinkte Präsentation empfehlen: Es sind zum Teil sehr interessante Versuche, die Aktivitäten der Teilnehmer abzubilden und zu analysieren. Alles noch sehr ergebnisoffen und sicher erst ein Anfang, aber spannend! Ich denke, es geht in die Richtung, die George Siemens u.a. derzeit unter dem Stichwort “Learning Analytics” diskutieren:

Wikipedia: “Learning analytics is the use of intelligent data, learner-produced data, and analysis models to discover information and social connections for predicting and advising people’s learning.” (hier geht es zur aktuellen Konferenz, die am Sonntag startet)
Rita Kop, Blog, 24. Februar 2011

kop_201102b1.gif

Popularity: 37% [?]

Comments (0)

Tags:

Open content and the costs of online learning

Posted on 26 October 2010 by jrobes

Tony Bates hat eine sieben Jahre umfassende Aufstellung der Kosten und Einnahmen eines “fully online master’s degree program from a major research university” erstellt. Eines ziemlich erfolgreichen Programms, wie er sagt, ohne den Veranstalter zu nennen. Die Kostenfaktoren, die er aufzählt und grob beziffert, sind “planning”, “program administration and overheads”, “development”, “maintenance” und “delivery”. Interessant ist einer der Schlüsse, die er aus der Analyse zieht:

“Open content is not going to lead to major cost savings in online learning. Even without creating new content, someone will have to select, assess and modify open content, or provide some kind of curriculum framework or guide for students studying a subject or topic.”
Tony Bates, e-learning & distance education resources, 25. Oktober 2010

Popularity: 32% [?]

Comments (0)

How Long Does it Take to Create Learning?

Posted on 16 September 2010 by jrobes

Wie lange braucht es, um ein bestimmtes Lernformat zu entwickeln? Und wieviel kostet es? Wem diese Fragen - ohne weiteren Kontext - zu albern sind, sollte diesen Hinweis überspringen. Denn was hat der Autor, Bryan Chapman, getan, um das Unmögliche in Zahlen zu fassen? Er hat zuerst verschiedene Formate definiert: “instructor -led training (ILT)”, “Level 1 e-Learning (Basic)”, “Level 2 e-learning (Interactive)”, “Level 3 e-learning (Advanced)” und “blended learning”. Dann hat er 249 Teilnehmer (Unternehmen und Anbieter) gefragt, was es braucht, um eine Stunde Kurs zu entwickeln. Und aus diesen Antworten hat er Durchschnittswerte gebildet. Die interessanteste Auswertung findet sich auf Slide 32, wo er die “average cost per-finished hour” für die einzelnen Formate festhält:

- Instructor-Led Training (ILT) = 5,934 US-Dollar
- Level 1 eLearning (Basic) - Content Pages and Assessment =  10,054 US-Dollar
- Level 2 eLearning (Interactive) - Level 1, plus 25%+ interactive exercises =  18,583 US-Dollar
- Level 3 eLearning (Advanced) - Simulations, Games, Award Winning type =  50,371 US-Dollar

By the way, die Zahlen beziehen sich auf den amerikanischen Markt, aber sie zeigen möglicherweise, dass formale Weiterbildung bzw. e-Learning auf dem Weg zur “commodity” sind.
Bryan Chapman, Chapman Alliance, 14. September 2010

Popularity: 33% [?]

Comments (3)

Tags: , ,

E-Learning: Den Mehrwert steuern

Posted on 01 September 2010 by jrobes

Die Autoren werben für die Einführung von E-Learning-Scorecards zur Projektsteuerung. Hintergrund ist ein Forschungsprojekt, das die Schweizer Bank UBS mit der Fachhochschule Nordwestschweiz (FHNW) durchgeführt hat. Ziel des Projekts war es, eine eintägige Präsenzveranstaltung durch ein entsprechendes Online-Angebot zu ersetzen und dadurch - bei gleicher pädagogischer Qualität - Kosten zu sparen. Die dabei entwickelte Scorecard ermöglicht es, mit Hilfe quantitativer und qualitativer Messgrößen das Erreichen gesteckter Projektziele zu überprüfen. Im Vordergrund steht hier das Projektcontrolling (von daher ist der Ansatz auch auf andere Prozesse und Arbeitsbereiche übertragbar), nicht die Messung des Transfererfolgs und gar des ROIs von Bildungsmaßnahmen.
Urs Gröhbiel, Daniel Stoller-Schai, Christoph Timmer, in: PERSONAL. Zeitschrift für Human Resource Management, 62. Jahrg., 01/2010, S. 14-16 (pdf)

Popularity: 29% [?]

Comments (0)

Tags: , ,

Putting a value on training

Posted on 23 July 2010 by jrobes

Wie bzw. was genau trägt eine Bildungsmaßnahme zur Wertschöpfung des Unternehmens bei? Eine Frage, deren Bedeutung in Umfragen von Bildungsmanagern immer wieder betont wird und vor der viele doch schon lange kapituliert haben. Von daher kommt  diese Case Study vielleicht gerade Recht: Geschildert wird der Fall der Boys & Girls Clubs of America (BGCA), einer großen Non-Profit-Organisation in den USA. Es geht um ein Führungskräftetraining, dessen “performance impact” systematisch und genau untersucht wurde. Also Vergleiche von Pre-und Post-Trainings-Resultaten, Kontrollgruppen und Einbeziehung verschiedener Standortfaktoren, um die Effekte des Trainings isolieren zu können. Empfohlen wird u.a.: “Picking the right metrics is the key to creating real value from training.” Und: “… companies must continually review and revise the links between skills, performance, and training programs.” Ein nützliches Dokument, wobei sich der hier eingeschlagene Weg sicher nicht für jedes Produkttraining lohnt.
Jenny Cermak and Monica McGurk, McKinsey Quarterly, Juli 2010

Popularity: 40% [?]

Comments (0)

Delivering results with learning technologies in the workplace

Posted on 30 March 2010 by jrobes

Was bringt eigentlich der Einsatz von Bildungstechnologien? Rechnet er sich? Liefert er die “bottom-line business benefits”, nach denen heute verstärkt gefragt wird? Um diese Frage zu beantworten, haben sich die Autoren eine Vielzahl von Studien angeschaut und ausgewertet. Wobei sie konkrete Hinweise auf Resultate in folgenden Bereichen identifiziert und mit Fallbeispielen untermauert haben: 1. Time saving, 2. Productivity gains, 3. Staff benefit, 4. Sales impact, 5. Tangible quality improvements for learning, 6. Impact of social learning, 7. Green issues und 8. Cost savings. Die letzte Kategorie ist am stärksten besetzt, da sich ja viele der gefundenen Resultate in unmittelbare Kosteneinsparungen übersetzen lassen.

Kurz: Die Lektüre lohnt sich. Im Anhang ist jede Fallstudie mit Steckbrief und Link aufgeführt. Und die Autoren sind vorsichtig genug, darauf hinzuweisen, dass in keiner Studie die “bottom-line business benefits” monokausal auf den Einsatz von Bildungstechnologien zurückgeführt werden können. Auch nicht ganz unwichtig.
Becta (via Towards Maturity), 17. Februar 2010

Popularity: 36% [?]

Comments (0)

Tags:

Don Kirkpatrick: The Father of the Four Levels

Posted on 15 December 2009 by jrobes

Das passt doch gut zum Stichwort Bildungscontrolling: eine längere Würdigung von Don Kirkpatrick, an dessen vier Evaluationsstufen sich bis heute viele Bildungspraktiker die Zähne ausbeißen. Im Artikel erfährt man, dass Kirkpatrick, der sein Modell immerhin bereits Ende der 1950er Jahre entwickelt hat, heute noch Rede und Antwort steht. Und wenn man von seiner Abneigung gegenüber E-Learning einmal absieht, sind mir einige seiner hier zitierten Bemerkungen viel sympathischer als das Vier-Ebenen-Modell.

“Kirkpatrick himself is now an elder statesman of corporate training. Asked his age, he said “I’m 80,” before pausing and adding “five.” But the octogenarian is still active in the field. This year, he taught two sessions at the American Society for Training & Development (ASTD)’s annual conference, as he has every year since 1960.”
Daniel Margolis, Chief Learning Officer Magazine, November 2009

Popularity: 41% [?]

Comments (0)

Tags: , , ,

Bildungscontrolling: Vor allem in Großbetrieben ein Thema

Posted on 15 December 2009 by jrobes

Über Bildungscontrolling wird heute wenig gesprochen und geschrieben, weniger, als noch vor fünf oder zehn Jahren. Doch wie sieht es in der Unternehmenspraxis aus? Steht das Thema überhaupt noch auf der Agenda? Das Bundesinstitut für Berufsbildung (BIBB) hat nach 1997 eine erneute Befragung zum betrieblichen Bildungscontrolling durchgeführt und die Ergebnisse ausgewertet. Diese Auswertung, die online vorliegt, bietet einen kurzen, aber umfassenden Überblick zum Thema - vor allem dort, wo die einzelnen Teilelemente des Bildungscontrollings aufgelistet und diskutiert werden. Deshalb lohnt sich die Lektüre!

Aber kurz zu den Ergebnissen: Viel hat sich seit 1997 nicht verändert, auch wenn sich BIBB-Autor Bernd Käpplinger große Mühe gibt, Bewegungen in einzelnen Teilsegmenten zu entdecken (und zu interpretieren). Bildungscontrolling war und ist vor allem ein Thema für große und bildungsaktive Unternehmen. Und Bildungscontrolling bedeutet hier in erster Linie die Erfassung der Weiterbildungskosten; dagegen wird selten systematisch nach dem Nutzen von Weiterbildung gefragt, und Maßnahmen zur Transfersicherung stehen, wen wundert’s, am Ende der Skala. “Offensichtlich scheiden sich am Bildungscontrolling die Geister”, muss dann auch der Autor mit Blick auf die vorliegenden Zahlen zugeben.

Ich denke, Bildungscontrolling hat an Aufmerksamkeit verloren, weil man sich an vielen Stellen von den Versuchen verabschiedet hat, den Return on Invest von Bildung zu erheben. Das ist gut so. Teilelemente des Bildungscontrollings sind zudem heute in vielen Großunternehmen Standard, ohne dass man den Begriff bemüht oder Ressourcen für die Durchführung entsprechender Maßnahmen reserviert. Aber das zu erklären, überlasse ich lieber den BIBB-Autoren.
Bernd Käpplinger, in: BIBB-Report, 13/09, 11. Dezember 2009

Popularity: 41% [?]

Comments (4)

Tags:

Speaking the language of business

Posted on 20 November 2009 by jrobes

Das Problem ist ja da, und es kann sicher nicht schaden, ab und zu daran zu erinnern. Bildungsprojekte werden durchgeführt, wenn das Management erkannt hat, das hier ein “Unterschied” liegt, das Unternehmensziele, kurzfristige oder langfristige, nur erreicht werden, wenn in Bildung investiert wird. Deshalb müssen Learning Professionals ihre Projekte und Ideen in der Sprache des Managements präsentieren, so Jay Cross. Dabei ruft er Andrew Carnegie und Peter Drucker in den Zeugenstand. Und er bringt das Bildungscontrolling in Unternehmen kurz und knapp auf den Punkt: “How do you decide what measures to apply? You don’t: that’s the responsibility of your business sponsor, the person who signs the cheques. Together you agree on what’s to be done and how you’ll measure success or failure.” Exakt.
Jay Cross, Inside Learning Technologies, November 2009

Popularity: 38% [?]

Comments (0)

About me

Jochen RobesJochen Robes (Frankfurt), Berater mit den Schwerpunkten Human Resources/ Corporate Learning, e-Learning, Knowledge Management,
Social Media und MOOCs
XING

Newsletter (wöchentliche Übersicht)

E-mail:   

Subscribe    Unsubscribe

Photos from our Flickr stream

Hochschulforum Digitalisierung Gruppenbild

cMOOC-Runde

gfwm-beiratstreffen-2013

corporatelearningcamp 2013

robes_mld2013

sportograf-43743811

13:30:41

13:14:02

See all photos