1 Einleitung
1.1 Wirkmodelle als Evaluationsansatz
Maßnahme | Wesentliche Schritte der CA | Ziel | Methoden |
---|---|---|---|
Schritt 1 | Ursache-Wirkungs-Beziehung festlegen | Schritt 1–2: Plausible Zusammenhänge über Wirkmechanismen aufbauen und klären, welchen relevanten Beitrag die Intervention für das Ergebnis hat | Schritt 1–2: Literaturrecherche, Austausch im Forschungsteam (ggf. unter Einbezug Expert*innen) |
Schritt 2 | Theoriebasierte Wirkmechanismen deduktiv entwickeln und verbundene Risiken (Mediatoren/Moderatoren) identifizieren | ||
Schritt 3 | Bestehende Evidenz sammeln | Schritt 3–4: Verringerung der Ungewissheit über die Contribution, die die Intervention leistet und klären, welche Herausforderungen/Schwächen noch nicht abgedeckt sind | Schritt 3–4: Daten aus ersten Interviews (bspw. mit Stakeholdern) oder demographischen Daten nutzen |
Schritt 4 | Induktive Überprüfung der Wirkmechanismen und Wirkmodell zusammenstellen und bewerten | ||
Schritt 5 | Weitere Evidenz empirisch erheben | Schritt 5–6: Theoriebasis bestätigen oder überarbeiten | Schritt 5: Datenerhebung mittels Interviews zur Sammlung qualitativer Daten (bspw. zum Ist- und Sollzustand im Zeitverlauf einer Intervention) bzw. mittels Fragebögen (quantitative und qualitative Daten) |
Schritt 6 | Wirkmodell überarbeiten und verstärken | Schritt 6: Überarbeitung Modell anhand empirischer Befunde |
2 Entwicklung eines Wirkmodells für PE-/OE-Maßnahme: Ein Fallbeispiel
2.1 Output der PE/OE-Maßnahme (Ebenen 1 bis 3)
2.2 Outcomes für verändertes Bewusstsein und Handeln der Zielgruppe (Ebene 4 bis 5)
2.3 Outcomes für die veränderte Lebenslage der Zielgruppe (Ebene 6)
2.4 Impact für Organisation und Gesellschaft (Ebene 7)
3 Erste praktische Überprüfung des Wirkmodells
3.1 Multimethodische Datenerhebung zur Evaluation des Wirkmodells
3.2 Interviewstudie
3.3 Fragebogenstudie und Messinstrumente
Konstrukt | Messinstrument | Reliabilität | Beispielitem | Ebene |
---|---|---|---|---|
Zufriedenheits‑, Lern- und Verhaltenszuwächse der Fachkräfte | 12 Items; Questionnaire for Professional Training Evaluation (Q4TE); Grohmann und Kauffeld (2013) | 0,95 | „Die Inhalte sind äußerst nützlich für meine Arbeit.“; „Die neuen Kenntnisse werde ich häufig in meiner täglichen Arbeit nutzen.“ | 3–5 |
Transferresultate auf individueller und organisationaler Ebene | „Ich bin davon überzeugt, dass sich durch die Anwendung der Inhalte des Moduls Arbeitsabläufe im Unternehmen vereinfachen werden.“ | 6–7 | ||
Veränderungsinteresse | 5 Items; Kompetenz-Reflexions-Inventar (KRI); Kauffeld (2021) | 0,92 | „Ich bin immer wieder neugierig auf neue Arbeitsinhalte.“ | 4 |
Selbstwirksamkeitsüberzeugung | Je 1 Item; Fragebogen zur Resilienz (FITOR); Schulte et al. (2016) | – | „Ich bin davon überzeugt, allen zukünftigen beruflichen Herausforderungen gewachsen zu sein.“ | 4 |
Optimismus | „Ich kann jeder Situation etwas Positives abgewinnen.“ | 4 | ||
Netzwerkbildung in der Weiterbildungsgruppe | 5 Items; Information Elaboration Scale (adapt; dt.); Homann et al. (2007) | 0,85 | „Wir als Gruppenmitglieder tauschten uns intensiv über die Inhalte aus.“ | 5 |
Motivation zur Gestaltung | 4 bzw. 3 Items; Kompetenz-Reflexions-Inventar (KRI); Kauffeld (2021) | 0,80 | „Gestaltungsmöglichkeiten innerhalb der Organisation zu nutzen, fällt mir leicht.“ | 5 |
Motivation von Kollegen | 0,71 | „Andere (…) für eine Idee etc. zu begeistern fällt mir leicht.“ | 5 | |
Kognitives Job Crafting | Je 5 Items; Schachler et al. (2019) (dt.) | 0,77 | „Ich führe neue Vorgehensweisen ein, um meine Arbeit zu verbessern.“ | 6 |
Aufgabenbezogenes Job Crafting | „Ich rufe mir in Erinnerung, wie bedeutsam meine Arbeit für die Gesellschaft ist.“ | 6 |
Ebene | Kategorie | SOLL (Anzahl der Nennungen) | IST Halbzeit (Anzahl der Nennungen) | IST Ende (Anzahl der Nennungen) | |
---|---|---|---|---|---|
Wirkungsebene 4 | Fachkompetenzen | Problemerkennung | Ziel ist es Leute im Unternehmen zu haben, […] die lernen, wie gehe ich damit um, wie stelle ich die richtigen Fragen, […] wie komme ich an den Kern des Problems. (1) | – | – |
Innovatives Prozessdenkena | – | Sie entwickelt jetzt so ein so ein Verständnis für diese Dinge. (2) | Von der Methodik her haben sie Dinge gelernt, die sie jetzt auch eben anwenden wollen. (1) | ||
Kenntnis der Organisation und Abläufea | – | Weil natürlich der Point Of View sich verändert auf bestimmte Dinge. (1) | – | ||
Methodenkompetenz | Planung | Da ist es total hilfreich, dass wir […] hier zumindest hier bei uns mal so ein bisschen Ordnung und Struktur zu Veränderungsmanagement […] bekommen. (4) | – | – | |
Reflexivitäta | – | – | Dass Rückschläge ganz normal sind, dass man keine Scheu davor haben darf, so Projekte normal neu aufzurollen […] ich denke, das haben sie schon ganz gut mitgekriegt. (2) | ||
Selbstkompetenz | Mitwirkung | Das Ziel für mich ist jetzt nicht, dass die eine Aufgabe erledigt bekommen, sondern eher [..] einfach Leute im Unternehmen zu haben, die bei jeglicher Art von Veränderung mit dabei sind. (2) | – | – | |
Veränderungs-Interesse | Wenn wir jetzt bei diesem Projekt mitmachen, ist das eine ganz gute Gelegenheit. man kriegt nochmal zusätzliche Information, zusätzliche Tipps wie man da herangeht. (3) | – | – | ||
Sozialkompetenz | Motivation von Anderen | Wie kann ich andere begeistern, eine Veränderung durchzusetzen oder beziehungsweise durchzuführen. (2) | – | Also ich glaube schon, dass da im Unternehmen überall da, wo einer der drei Personen gerade ist, eine gute Dynamik entstehen kann, Veränderungsprozesse anzustoßen. (1) | |
Akzeptanz und Anerkennung | [Wie] einfach ein bisschen mehr Verständnis beigebracht werden kann. (1) | – | Wenn man so ein Projekt jetzt mitmacht, dann werden viele Sachen klarer, warum der Vorgesetzte das so macht. Das ist glaube das Wichtigste, was bei denen angekommen ist. (1) | ||
Wirkungsebene 5 | Fachkompetenz | Entwicklung von Lösungen | Wir haben intern also unabhängig vom Veränderungsmacher/in im Vorfeld besprochen, dass wir im Januar das Resultat haben wollten. (6) | [Er] hat aufgrund dessen Verbesserungsvorschläge ermitteln können. (1) | Das hat was mit Struktur zu tun, also die Idee, oder anders, wenn ich ein Problem sehe und das Problem analysiere und dann da raus eine Lösung entwickele mit Maßnahmen, dann ist das schon sehr strukturiert was vorher nicht war. (4) |
Problemerkennunga | – | Ich bekomme auch jetzt auch viel mehr Information, wenn Sachen vielleicht nicht ganz so gut laufen. (2) | Sie haben an Selbstbewusstsein gewonnen im Sinne von, sich auch mal zutrauen, Dinge zu hinterfragen und Arbeitsanweisungen nicht einfach nur anzunehmen (1) | ||
Methodenkompetenz | Planunga | – | Wir haben erst ein Meeting gehabt […] die waren sehr gut vorbereitet (3) | Auch wenn man das tagesgeschäft hier betrachtet, die haben sich organisiert. (2) | |
Moderation und Präsentationa | – | Wir waren schneller informiert und wir wussten was sie von uns wollen (3) | Das haben die hier auch mit in das Forum genommen, wo sie das vorgestellt haben […]. Wenig Details, Schlagwörter, dass die Leute darüber aufnehmen. (1) | ||
Umgang mit IKT und Technika | – | Die Teilnehmer haben gelernt, das selbstständig zu machen, sich selbstständig einzuloggen. (1) | So eine lösungsorientierte Herangehensweise, strukturiert und dann noch in bunt, also ich weiß nicht wie das Programm hieß, es war seine Art PowerPoint-Variante. (1) | ||
Aufgabenverteilung | – | – | Was man sieht ist, dass die Organisation der beiden, das Untereinander-Abstimmen, Besprechen, Koordinieren, Organisieren insgesamt viel besser geworden ist. (2) | ||
Selbstkompetenz | Veränderungs-Interesse | Die kommen nächstes Jahr auf mich zu und sagen, guck mal Chef, da müssen wir mal was machen, weil die da jetzt Bock draufhaben. (4) | Und eine entscheidende Situation war jetzt eben das letzte Meeting, wo sie gesagt haben, wir haben gelernt, wir müssen die Situation neu bewerten und das wollen wir jetzt gerne tun. (4) | Da fand ich besonders positiv, dass sie gleich gesagt haben, das will ich machen. (1) | |
Mitwirkung | Das wäre für mich schon […] Ziel, diesen Prozess oder das Erlernte in dieser Modulweise […] für zukünftige Projekte umsetzen können. (3) | *Name Teilnehmerin* irgendwann mal gesagt hat, jetzt testen wir mal die gesamten Softwares durch. (2) | – | ||
Verantwortungsübernahmea | – | Dann war die eine in Quarantäne und die andere musste dann doppelte Arbeit machen, trotzdem haben sie sich die Zeit genommen. (1) | Es gab auch schon die ersten Ansätze, was sich die drei Veränderungsmacher/innen vorstellen könnten [zu begleiten]. (1) | ||
Sozialkompetenz | Kontaktaufbau und -pflege | Einfach mal netzwerken lassen, andere Leute kennenlernen. (2) | Die tauschen sich untereinander aus und arbeiten sehr eng zusammen. (3) | [Die haben jetzt] Netzwerke völlig unterschiedliche Firmen mit völlig unterschiedlichen Aufgaben. (1) | |
Motivation von Anderen | In dem Fall ist es wirklich so dass jeder der VeränderungsMacher zwei, drei, vier Leute nur ansprechen braucht. (1) | – | – | ||
Rücksichtnahme und Besonnenheit | Man muss gewisse Empathie immer zeigen (1) | Man merkt, dass da sich was verändert, wie man Dinge anspricht. Sie haben vorher einfach so die Kritik dem Kollegen direkt ins Gesicht gesagt. (1) | – | ||
Positionierung des eigenen Standpunktesa | – | Sie haben uns dann über Miro-Board ihren Stand präsentiert und haben da letztendlich dann ganz klar viele wichtige Fragen gestellt die für die unklar waren. (2) | Genau Sie haben als Selbstbewusstsein gewonnen […] kritisch […] auch einer Aufgabenstellung gegenüber zu sein, und das äußern zu können. (1) | ||
Wirkungsebene 6 | Job Crafting | Ich denke, dass das für die beiden im Moment noch der wichtigere Aspekt ist also ihre eigenen, ihren eigenen Bereich mitzugestalten. (3) | – | – | |
Karriereentwicklung | Wir haben sehr guten Nachwuchs und wollen die natürlich auch intern weiterentwickeln, weil wir mit der internen Stellenbesetzung sehr gute Erfahrung gemacht haben. (3) | Das ist ein typischer Kandidat für mich für die Weiterentwicklung als Führungskraft. Das habe ich vorher nicht so gesehen. (1) | Beide Mitarbeiter momentan in einer Phase, wo es sehr wahrscheinlich demnächst in ein anderes Arbeitsumfeld geht, also das war ja auch Ziel, beide so zu entwickeln, dass sie demnächst weiterführende Jobs erledigen mit teilweise kleinen Führungsaufgaben. Ja das ist seitdem passiert. (3) | ||
Netzwerkbildung | Wir müssen lernen, mit offenen Ohren durch die Welt zu gehen. Und dann ist es super, dass wir auch mal zur Uni gehen oder neue Formate kennenlernen. (3) | – | – | ||
Wirkungsebene 7 | Digitalisierung | Wenn sie alles Erlernte einbringen, können damit Arbeitsprozesse, die im Moment noch manuelle Arbeitsprozesse sind, digitalisiert werden und teilweise sogar automatisiert stattfinden. (3) | – | – | |
Wettbewerbsfähigkeit | Man kann sich ja vorstellen, dass gerade in einer Pandemie Wirkstoffe gebraucht werden. Und dann ist es natürlich blöd, dass ein Kunde und damit mittelbar ein Patient darauf warten muss, weil noch eine Unterschrift eingeholt werden muss. (1) | – | – | ||
Ökologische Nachhaltigkeit | Das [ist] natürlich eine ganz wichtige Sache, schließlich haben wir ja seit einiger Zeit ein Nachhaltigkeitslabel. (1) | – | – | ||
Demographischer Wandel | Klar, wir haben Mangel an Fachkräften, aber wir haben noch einen höheren Mangel an Führungskräften. (1) | – | – |
4 Ergebnisse im finalen Wirkmodell
4.1 Wirkannahmen im Rahmen der Interviewstudie
4.2 Wirkannahmen im Rahmen der Fragebogendaten
Modul 1: Desgin Thinking | Modul 2: MI | Modul 3: Look Feel | Modul 4: agiles Lernen | |
---|---|---|---|---|
Ebene 3 | ||||
Zufriedenheita | 5,17++ | 4,96++ | 4,84++ | 4,32+ |
Nützlichkeita | 4,69++ | 4,48+ | 3,47 | 4,26+ |
Ebene 4 | ||||
Lernena | 4,98++ | 4,63++ | 5,05++ | 4,41+ |
Veränderungsinteresseb | 9,08++ | 8,74++ | 8,37++ | 7,96+ |
Selbstwirksamkeita | 5,10++ | 4,75++ | 4,79++ | 5,00++ |
Optimismusa | 4,57++ | 4,29+ | 4,68++ | 4,55++ |
Ebene 5 | ||||
Verhaltena | 4,17+ | 4,07+ | 3,32 | 4,15+ |
Gestaltungb | 8,25++ | 7,80+ | 7,70+ | 7,74+ |
Netzwerkec | 3,77+ | 3,68+ | 3,25+ | 3,81+ |
Motivation Kolleg*innenb | 7,60+ | 7,39+ | 7,82+ | 7,64+ |
Ebene 6 | ||||
Individuelle Ergebnissea | 4,40+ | 4,07+ | 3,39 | 4,06+ |
Job Crafting: Aufgabed | 3,54+ | 3,24+ | 3,44+ | 3,44+ |
Job Crafting: Kognitiond | 3,16+ | 3,05+ | 3,19+ | 3,33+ |
Ebene 7 | ||||
Globale Ergebnissea | 4,36+ | 4,17+ | 3,39 | 3,91+ |