Evaluation als Schlüssel zur erfolgreichen Projektsteuerung
Die Grundlagen der Evaluation
Unter Evaluation versteht man „die systematische Untersuchung des Nutzens oder Wertes eines Gegenstandes. Solche Evaluationsobjekte können beispielsweise Programme, Projekte, Produkte, Maßnahmen, Dienstleistungen, Organisationen, Politiken, Technologien oder Forschung sein. Die erzielten Ergebnisse, Schlussfolgerungen oder Empfehlungen müssen nachvollziehbar auf empirisch gewonnenen qualitativen und/oder quantitativen Daten beruhen“ (DeGEval, 2008).
Im MOONRISE-Projekt wurde dieser Ansatz konsequent verfolgt. Evaluation spielte eine zentrale Rolle und ging weit über eine reine Abschlussevaluation hinaus. Über die gesamte Projektlaufzeit hinweg wurden eingeleitete Maßnahmen, die kollaborative Zusammenarbeit sowie die neuen Technologien systematisch untersucht, um deren Nutzen und Wirksamkeit zu bewerten.
Der Ablauf einer Evaluation erfolgt dabei unabhängig vom Evaluationsziel in drei Schritten: (1) Informationen sammeln, (2) Informationen bewerten und (3) auf dieser Grundlage Entscheidungen treffen (Stockmann, 2022).
Die systematische Sammlung und Bewertung von Informationen half dabei, auf existierende Probleme oder Herausforderungen aufmerksam zu machen und zukünftige Handlungsempfehlungen zu formulieren. So konnten Prozesse während der Projektlaufzeit angepasst und in die gewünschte Richtung gelenkt werden.
Für die erfolgreiche Umsetzung von Digitalisierungs- und Veränderungsprozessen in Unternehmen ist eine wissenschaftliche Evaluation ein unverzichtbarer Bestandteil. Evaluationen können dabei in allen Phasen des Prozesses zur Anwendung kommen und unterschiedliche Analyseperspektiven einnehmen und Erkenntnisinteressen verfolgen (Flick, 2009).
Gerade in der Anfangsphase wurden zahlreiche Erhebungen durchgeführt, um die bisherigen Arbeitsprozesse und die Ausgangslagen der Anwendungspartner sowie die Anforderungen der Nutzenden zu erfassen. Der Fokus lag dabei weniger auf der Projektarbeit selbst, sondern vielmehr auf der Analyse der Ausgangssituation, um die Erfolgschancen der geplanten Maßnahmen frühzeitig zu bewerten und eine fundierte Grundlage für ein nachhaltiges Vorhaben zu schaffen.
2. Monitoring als Überwachung der Umsetzung und Durchführung: In der Implementationsphase werden durch das das Sammeln und Bewerten von Informationen frühzeitig Anpassungen ermöglicht und Fehlentwicklungen vermieden werden. Diese Evaluationen, die das Management mit
steuerungsrelevanten Informationen versorgen, nennt man „on-going“ oder „Begleitforschung“ (Rossi et al. 1988; Scriven 2012).
3. Wirksamkeits- bzw. Nutzungsbewertung: Nach der Umsetzung dient die Evaluation dazu, die intendierten und nicht-intendierten Wirkungen zu bewerten und Zusammenhänge sowie Ursachen zu untersuchen. Nur durch ‚Ex-post-Evaluationen‘ kann die Nachhaltigkeit von Projekten geprüft und Aussagen über die Wirksamkeit neuer Maßnahmen oder Technologien getroffen werden. (Stockmann, 2022).
In der Implementationsphase wurde u.a. ein besonderer Fokus auf die Evaluation der Kollaborationsarbeit sowie der Begleitung des Veränderungsprozesses gelegt, um mögliche Probleme frühzeitig zu identifizieren. Diese regelmäßige Überprüfung half, Bedarfsanpassungen vorzunehmen und die weitere Projektarbeit reibungslos zu gewährleisten.
Am Ende des Projekts wurden neben konkreten Betriebsmessungen auch abschließende Mitarbeiterbefragungen durchgeführt, um die intendierten und nicht-intendierten Wirkungen der Maßnahmen sowie die Akzeptanz dieser zu bewerten. Diese abschließende Evaluation diente dazu, die Wirksamkeit der eingeführten Technologien zu prüfen und Rückschlüsse auf deren Nachhaltigkeit zu ziehen.
Die Durchführung einer wissenschaftlich fundierten Evaluation hilft Unternehmen dabei nachzuvollziehen, welche Veränderungen tatsächlich zu Verbesserungen führen und welche Anpassungen erforderlich sind, um die gewünschten Ziele zu erreichen (Vahs & Weiand, 2020).
Ausgangssituation analysieren und einbeziehen
Ein wesentlicher Schritt im Evaluationsprozess ist die sorgfältige Analyse der Ausgangssituation. Nur wer den aktuellen Zustand eines Systems oder Prozesses genau kennt, kann die Auswirkungen von Veränderungen messbar machen. Eine unzureichende Kenntnis der Ausgangssituation führt dazu, dass Verbesserungen oder Verschlechterungen nicht adäquat bewertet werden können (Stockmann, 2022).
Die Analyse der Ausgangssituation hilft jedoch nicht nur dabei, eine Basis für den Vergleich zu schaffen, sondern auch, realistische Ziele für den Digitalisierungsprozess zu setzen. Eine fundierte Analyse hilft dabei, Fehlentscheidungen zu vermeiden. Ohne eine solide Basis besteht das Risiko, Ressourcen in Maßnahmen zu investieren, die sich später als ineffektiv herausstellen. Dies kann nicht nur zu erheblichen finanziellen Verlusten führen, sondern auch die Mitarbeitermotivation beeinträchtigen, wenn Veränderungen als unzureichend oder wirkungslos wahrgenommen werden.
Im Projekt wurde diesem Grundsatz große Bedeutung beigemessen. So wurden zu Beginn umfassende Ist-Analysen in den Anwendungsunternehmen durchgeführt, um die Ausgangslage präzise zu erfassen. Dabei wurden nicht nur die Arbeits- und Denkweisen der Unternehmen untersucht, sondern auch vor Ort Bestandsaufnahmen der Produktionsanlagen vorgenommen. Diese Analysen ermöglichten es, die bestehende Digitalisierungslage zu bewerten und potenzielle Bedarfe – beispielsweise im Bereich des Retrofittings – zu identifizieren. Die so gewonnenen Erkenntnisse legten die Grundlage für produktionsspezifische Anpassungen und der späteren Entwicklung des HiCuMES-Systems, welches eines der zentralen Projektergebnisse darstellte.
Gleichzeitig ist es entscheidend, die Nutzerinnen und Nutzer in den Entwicklungsprozess einzubeziehen. Digitalisierungsvorhaben betreffen häufig unmittelbar die Arbeitsabläufe und die Zufriedenheit der Mitarbeitenden. Forschungsergebnisse zeigen, dass die Akzeptanz von neuen Technologien signifikant höher ist, wenn die zukünftigen Nutzer aktiv in den Entwicklungs- und Entscheidungsprozess eingebunden sind (Venkatesh et al., 2003). Partizipation fördert nicht nur die Akzeptanz, sondern liefert auch wertvolle Einblicke in die praktischen Anforderungen und Herausforderungen der Mitarbeitenden, was die Qualität der Implementierung verbessert und dabei hilft, sie langfristig im Unternehmen zu verankern (Beck et al., 2018).
Neben wichtigen Ist-Analysen spielten in der Anfangszeit des Projektes vor allem Interviews, Befragungen und Workshops eine zentrale Rolle, um die Perspektiven und Bedürfnisse der Projektverantwortlichen, wie auch der Mitarbeitenden zu erfassen. Diese partizipative Herangehensweise förderte nicht nur die Akzeptanz der geplanten Maßnahmen, sondern lieferte entscheidende Einblicke in die Anforderungen der Mitarbeitenden. Solche Erkenntnisse waren essenziell, um sicherzustellen, dass die entwickelten Lösungen nicht nur technisch umsetzbar, sondern auch praktisch tragfähig waren.
Evaluierung auf technischer- und Mitarbeiterebene während und nach der Implementierung
Neben der Analyse der Ausgangssituation und der Einbindung der Nutzerinnen und Nutzer muss der Erfolg eines Digitalisierungsprozesses auf mehreren Ebenen evaluiert werden. Dabei ist es wichtig, neben der Prüfung der technischen Ergebnisse auch die damit verbundenen Auswirkungen auf die Mitarbeitenden zu prüfen. Eine technische Evaluation misst beispielsweise die Zuverlässigkeit, Effizienz und Performance der neuen Systeme, während die Evaluation auf Mitarbeiterebene Faktoren wie Akzeptanz, Zufriedenheit und mögliche Veränderungen in der Arbeitsbelastung oder -qualität erfasst.
Im Projekt MOONRISE wurden daher während und nach der Implementierung verschiedene Arten der Evaluation durchgeführt. Die IT-Spezialisten und Prozessberater testeten die von ihnen neu eingeführten Technologien gezielt auf ihre reibungslose Funktionstauglichkeit. Dabei wurden verschiedene Vorgehensweisen und Analysemethoden verwendet, wie beispielsweise eine REFA-Zeitaufnahme und andere Funktionstests, um messbare Daten zur Effizienz und Performance der Produktionssysteme zu gewinnen. Diese Messungen lieferten wichtige Erkenntnisse für die Bewertung und Optimierung der implementierten Lösungen.
Wie bereits in den Grundlagen des technischen Veränderungsmanagements erläutert, ist es auch bei technischen Veränderungsprozessen von besonderer Bedeutung neben der technischen auch die menschliche Ebene im Fokus der Betrachtung zu halten, um eine ganzheitliche Bewertung des Erfolgs von Digitalisierungsprozessen zu ermöglichen. Iterative Evaluationsprozesse spielen dabei eine zentrale Rolle, denn durch das Sammeln von Feedback während der Implementierungsphase lassen sich Anpassungen frühzeitig vornehmen und Fehlentwicklungen vermeiden. Dieser fortlaufende Überprüfungs- und Anpassungszyklus ist essenziell, um den langfristigen Erfolg von Digitalisierungsvorhaben sicherzustellen.
Auch die Mitarbeitenden wurden während des Projektverlaufs aktiv in den Evaluationsprozess einbezogen. Bereits während der Implementierung fanden beispielsweise Gruppendiskussionen mit IT-Experten und Expertinnen und Produktionsmitarbeitenden im Rahmen von Einführungsschulungen statt. Ziel war es, die Produktionsmitarbeitenden zu informieren, zu schulen, mögliche Ängste zu erkennen und präventiv abzubauen, während gleichzeitig Begeisterung für die Neuerungen geweckt werden sollte.
Zum Projektende wurde die Perspektive der Mitarbeitenden durch eine abschließende Mitarbeiterbefragung erfasst, die sich aus Fragebögen zur allgemeinen Arbeitszufriedenheit (KAFA-Fragebogen), der Technikakzeptanz (TAM), einem Fragebogen zum wahrgenommenen Veränderungserfolg (Success of Change Initiative Skala) und individualisierten Fragen zur Digitalisierung im Unternehmen zusammensetzte. Dadurch konnte ein umfassender Rundumblick auf die Akzeptanz, Zufriedenheit und die wahrgenommenen Veränderungen in den Arbeitsabläufen der Produktionsmitarbeitenden gewonnen werden.
Durch die Kombination technischer Evaluation und Mitarbeitereinbindung entstand eine ganzheitliche Bewertung, die wertvolle Erkenntnisse über den Erfolg des Projektes lieferten.
Quellen
- Vahs, D., & Weiand, A. (2020). Workbook Change Management: Methoden und Techniken(3. Auflage.). Schäffer-Poeschel Verlag.
- Beck, K., Van Lamsweerde, A., & Kautz, K. (2018). Partizipative Systementwicklung: Der Nutzer im Mittelpunkt. Springer-Verlag.
- Stockmann, R., Hennefeld, V., Meyer, W., Silvestrini, S., Szentmarjay, L., Wicke, J., & Zierke, N. (2022). Handbuch zur Evaluation: Eine praktische Handlungsanleitung (2nd ed.). Waxmann.
- Venkatesh, V., Morris, M. G., Davis, G. B., & Davis, F. D. (2003). User acceptance of information technology: Toward a unified view. MIS Quarterly, 27(3), 425-478
- Scriven, M. (2012). Formative, preformative, and proformative evaluation. In: Journal of MultiDisciplinary Evaluation, 8 (18), S. 58–61.
- Rossi, P. H.; Freeman, H. E.; Hofmann, G. (1988). Programm Evaluation: Einführung in die Methoden angewandter Sozialforschung. Stuttgart: Enke..
- Flick, Uwe: Qualitative Methoden in der Evaluationsforschung. In: Zeitschrift für Qualitative Forschung 10 (2009), 1, S. 9-18.