Methodenvielfalt in der Evaluation

Evaluationsmethoden umfassen Techniken und Verfahren, die systematisch bestimmte Aspekte von Veränderungen bewerten und je nach Prozess- und Evaluationsvorhaben unterschiedlich angewendet werden können. Die wissenschaftliche Literatur unterscheidet dabei zwischen quantitativen Befragungen und qualitativen Interviews (Döring, 2016). Der grundlegende Unterschied der beiden Erhebungsformen besteht dabei in dem Grad der Standardisierung, der Vergleichbarkeit der Ergebnisse und der Offenheit der Fragestellungen (Döring, 2016). Unabhängig von der verwendeten Methode ist das Ziel der Evaluation, den Erfolg von Implementierungen zu messen, die Akzeptanz von Neuerungen bspw. neuer Technologien zu fördern oder die Zufriedenheit der beteiligten Personen zu steigern. Basierend auf den durch die Evaluation gewonnen Erkenntnissen können dann fundierte Entscheidungen getroffen werden, die Projektvorhaben steuern, abschließend korrigieren und langfristig festigen können.

Insbesondere in Unternehmen spielen dabei schnelle und ressourcenschonende Methoden eine zentrale Rolle. Die Befragten sollten möglichst wenig Zeit aufwenden müssen, um eine hohe Teilnahmequote sicherzustellen, und die Durchführung sollte auf einfach zugängliche und unkompliziert anwendbare Verfahren zurückgreifen können.

Im Rahmen des Projekts wurde großer Wert daraufgelegt, sowohl qualitative als auch quantitative Ergebnisse zu erheben, um ein umfassendes Bild der Veränderungen zu gewinnen. Dabei war es entscheidend, die Evaluation an die Gegebenheiten der Projektphasen und Arbeitsstände, sowie auch an die laufenden Produktionsbetriebe der Anwendungspartner anzupassen.

Im Folgenden wird eine Auswahl von Evaluationsmethoden vorgestellt, die sich besonders gut in Unternehmenskontexten bewährt haben. Der Fokus liegt auf Methoden, die nicht nur praktisch und einfach anzuwenden sind, sondern auch frei zugänglich und kosteneffizient eingesetzt werden können. Es wird dabei auf quantitative und qualitative Ansätze gleichermaßen eingegangen, um ein umfassendes Verständnis für unterschiedliche Evaluationsziele zu bieten.

Die vorgestellten qualitativen und quantitativen Evaluationsmethoden wurden erfolgreich im Projekt MOONRISE angewendet und legen besonderen Wert auf eine systematische Analyse der Ausgangssituation, die Einbeziehung der Nutzerinnen und Nutzer sowie die Evaluierung des Erfolgs eines Digitalisierungsprozesses auf technischer und menschlicher Ebene. Diese ganzheitliche Herangehensweise ermöglicht es Unternehmen, den Erfolg ihrer Digitalisierungsprojekte realistisch zu bewerten und durch kontinuierliche Verbesserungen langfristig zu sichern.

Quantitative Evaluationsmethoden

Quantitativen Evaluationsmethoden ermöglichen es, große Gruppen von Menschen zu erreichen. In der Forschung finden dabei besonders standardisierte Befragungen, standardisierte Beobachtungen und Experimente/Versuche Anwendung.
Bei dieser Form der Evaluation verwendet man im allgemeinen vollstandardisierte Instrumente, wie Fragebögen, welches an die Teilnehmenden herausgegeben werden. Aufgrund der direkten Vergleichbarkeit der Daten, werden sie bevorzugt in der Forschung und Datenanalyse eingesetzt, um Daten zu sammeln und statistisch auszuwerten (Döring, 2016).

Im Projekt MOONRISE wurden verschiedene quantitative Befragungen durchgeführt, da sie eine gute Möglichkeit boten, erhobene Daten unterschiedlicher Organisationen und Projektpartner direkt zu vergleichen.

Gerade im Bereich der Digitalisierung, existieren bereits viele nützliche Fragebögen die für die Erhebung verschiedener Themenkomplexe verwendet werden können.

Technikakzeptanz Fragebögen
Erfassen, wie gut digitale Technologien von Mitarbeitenden akzeptiert werden und welche Faktoren die Bereitschaft zur Nutzung fördern oder hemmen.

Change Fragebögen
Beleuchten, wie Veränderungsprozesse im Unternehmen wahrgenommen werden, welche Herausforderungen dabei bestehen und wie gut die Unterstützung der Beteiligten ist.

Während des Projektes wurde der ‚Success of Change Initiative‘ Fragebogen nach Abrell-Vogel (2012) genutzt, um im Rahmen der Abschlussevaluation einen kurzen Überblick über den wahrgenommenen Erfolg der Veränderungsprozesse aus Sicht der Produktionsmitarbeitenden zu erhalten.

Usability Fragebögen
Helfen dabei, die Benutzerfreundlichkeit von digitalen Tools oder Systemen zu bewerten und mögliche Barrieren in der Anwendung frühzeitig zu erkennen.

Im MOONRISE-Projekt wurden Usability-Fragebögen eingesetzt, um die Benutzerfreundlichkeit der eingeführten Wiki-Systeme zu testen und potenzielle Barrieren in der Anwendung frühzeitig zu identifizieren.

Arbeitszufriedenheit Fragebögen
Analysieren, wie zufrieden Mitarbeitende mit ihrer Arbeit, ihrem Umfeld und ihren Aufgaben sind, und liefern wichtige Hinweise zur Verbesserung der Arbeitsbedingungen.

Für die Abschlussevaluation wurde der KAFA-Fragebogen eingesetzt, um ein umfassendes Bild der allgemeinen Mitarbeiterzufriedenheit in den Anwendungsunternehmen zu erhalten.

Feedback Fragebögen
Sammeln strukturiertes Feedback von Mitarbeitenden oder Teams, um Stärken, Schwächen und Verbesserungspotenziale in spezifischen Bereichen zu identifizieren.

Im Laufe des Projektes wurden verschiedene Feedback-Fragebögen eingesetzt, um gezielt Rückmeldungen zu Workshops, Kommunikation und Kooperation und der allgemeinen Projektarbeit zu sammeln. Diese Fragebögen lieferten wertvolle Erkenntnisse über Stärken, Schwächen und Verbesserungspotenziale in diesen Bereichen und trugen dazu bei, die Zusammenarbeit kontinuierlich zu optimieren.

Arbeitsanalyse Fragebögen
Dienen dazu, Arbeitsprozesse, -anforderungen und -ressourcen systematisch zu bewerten, um Optimierungspotenziale aufzudecken.
Interne Kommunikation Fragebögen
Untersuchen die Effektivität von Kommunikationsprozessen und -kanälen innerhalb eines Unternehmens oder Teams.
Führungsverhalten Fragebögen
Analysieren Führungsstile, deren Wirkung auf Teams sowie die Wahrnehmung von Führungskompetenzen durch Mitarbeitende.

Fragebögen zur internen Kommunikation, zum Führungsverhalten und zur Arbeitsanalyse kamen im Rahmen des MOONRISE-Projektes nicht zum praktischen Einsatz, sondern wurden mithilfe gemeinsamer Gespräche und Anforderungsanalysen erhoben.
Dennoch wurde während der Evaluationsplanung ein Überblick über verfügbare Instrumente erstellt, um deren potenziellen Nutzen zu bewerten. Der Einsatz solcher Fragebögen kann dabei helfen, die Kommunikationsstrukturen und -kultur eines Unternehmens, die Wahrnehmung von Führung und deren Rolle in Veränderungsprozessen sowie die Anforderungen und Ressourcen der Mitarbeitenden systematisch zu analysieren und besser zu verstehen.

Qualitative Evaluationsmethoden

Qualitative Evaluationsmethoden zeichnen sich im Gegensatz zu Befragungen mit einem standardisierten Fragebogen besonders durch ihre Offenheit und Flexibilität aus.

Die qualitative Evaluationsforschung dient dazu, komplexe, schwer messbare Aspekte menschlichen Erlebens und Verhaltens zu untersuchen. Sie bietet wertvolle Erkenntnisse über subjektive Sichtweisen, individuelle Erfahrungen und komplexe Prozesse, die nicht in Zahlen zu fassen sind, und ergänzt so die quantitative Forschung. Besonders nützlich ist sie bei der Bewertung realweltlicher Maßnahmen, wie der Einführung neuer Führungskonzepte oder Qualitätsstandards. Durch den offenen Austausch und die aktive Einbindung der Beteiligten fördert sie Akzeptanz, Eigenverantwortung und liefert tiefergehende Einblicke, die zur erfolgreichen Implementierung von Veränderungen beitragen.

Im Projekt erwiesen sich qualitative Evaluationsmethoden als besonders wertvoll, um die Perspektiven der Beteiligten umfassend zu erfassen und ein gemeinsames Verständnis für Erwartungen, Bedürfnisse und potenzielle Befürchtungen zu entwickeln. Durch den offenen und dialogorientierten Ansatz konnten zentrale Grundlagen für die kollaborative Zusammenarbeit geschaffen werden, die Vertrauen aufbauten und zur Klärung von Rollen und Anforderungen beitrugen. Die vielseitige Anwendung qualitativer Methoden über die gesamte Projektlaufzeit hinweg lieferte tiefgehende Einblicke in die individuellen Erfahrungen der Beteiligten und unterstützte die zielgerichtete Steuerung des Projektverlaufs.

Wichtige Methoden in der qualitativen Evaluationsforschung sind Gruppendiskussionen und Interviews, insbesondere Experteninterviews. Diese Methoden helfen, verschiedene Perspektiven und tiefere Einsichten zu sammeln (Flick, 2016).

Befragung/Interview

Qualitative Interviews zeichnen sich durch offene Fragen aus, die den Befragten Raum geben, ihre Perspektiven frei zu äußern. Im Gegensatz zu quantitativen Befragungen, die meist standardisierte Fragen und Antwortmöglichkeiten bieten, ermöglichen qualitative Interviews tiefere Einblicke in individuelle Erfahrungen und Sichtweisen. Es gibt jedoch unterschiedliche Formen der qualitativen Interviews, die sich in ihrer Strukturierung und Standardisierung unterscheiden.

Ein unstrukturiertes Interview (auch als narratives Interview bezeichnet) folgt keinem festen Ablauf oder Erhebungsinstrument. Ziel ist es, den Befragten möglichst viel Freiraum zu lassen, um in eigenen Worten zu erzählen und ihre Gedanken ohne Vorgaben zu entwickeln. Diese Form eignet sich besonders, wenn das Ziel darin besteht, persönliche Erlebnisse oder komplexe Sichtweisen zu erfassen (Döring, 2016).

Im Gegensatz dazu basiert ein halbstrukturiertes Interview auf einem Interview-Leitfaden, der vorab erstellt wird. Dieser Leitfaden gibt grobe Strukturvorgaben für das Gespräch, sodass die wichtigsten Themenbereiche und Fragestellungen abgedeckt werden, ohne die Offenheit des Gesprächs zu beeinträchtigen. Der Leitfaden ist flexibel, und es wird erwartet, dass der Interviewer auch von ihm abweicht, um auf interessante oder unerwartete Antworten einzugehen. Gleichzeitig sollte darauf geachtet werden, dass alle relevanten Fragen des Leitfadens behandelt werden, um die nötigen Informationen für die Forschung zu sammeln. Die Entwicklung des Leitfadens hängt von verschiedenen Faktoren ab, wie den Forschungsfragen, den Zielsetzungen und den Hypothesen der Studie. Auch die Zielgruppe der Befragten und die methodologischen sowie theoretischen Rahmenbedingungen spielen eine Rolle bei der Gestaltung des Interviews. Der Leitfaden muss so entwickelt werden, dass er die wesentlichen Themen abdeckt und gleichzeitig Flexibilität für die Erhebung relevanter Daten bietet (Mayer, 2013).

Im Projekt MOONRISE kamen überwiegend halbstrukturierte Interviews zum Einsatz. Mithilfe eines vorab erstellten Leitfadens wurde sichergestellt, dass alle relevanten Themenbereiche und Fragestellungen systematisch abgedeckt wurden. Dies ermöglichte eine gewisse Vergleichbarkeit der Gespräche, ohne die Offenheit des Gesprächs zu beeinträchtigen. Gleichzeitig bot der flexible Charakter der halbstrukturierten Interviews die Möglichkeit, gezielt auf individuelle Erfahrungen und unerwartete Antworten einzugehen, um tiefergehende Einblicke in die spezifischen Herausforderungen und Bedürfnisse der Beteiligten zu gewinnen. Ein gutes Projektbeispiel ist die Nutzung eines Leitfadens zur Erhebung der Anforderungen in der Produktion, der für Gespräche mit Mitarbeitenden genutzt wurde und während der Interviews eine grobe Struktur vorgab.

Darüber hinaus kamen aber auch unstrukturierte Befragungen, wie die Methode Lauten Denkens zur Evaluation von digitalen Schulungsunterlagen, zum Einsatz. Hier war es besonders wichtig, den Teilnehmenden Freiraum zu lassen, um ihre Gedanken, Eindrücke und Meinungen in eigenen Worten frei zu äußern. Diese Offenheit war entscheidend, um die Nutzerperspektive authentisch abzubilden und potenzielle Schwachstellen oder Verbesserungspotenziale zu identifizieren.

Halbstrukturierte Interviews sind nicht nur auf Einzelpersonen beschränkt, sondern können auch in Gruppeninterviews durchgeführt werden.

Gruppendiskussion/Fokusgruppe

Gruppeninterviews oder Fokusgruppen kommen vor allem dann zum Einsatz, wenn es darum geht, Gruppendynamiken zu untersuchen oder kollektive Meinungen zu sammeln. Bei dieser Methode diskutieren mehrere Personen gemeinsam zu einem Thema, was ermöglicht, verschiedene Sichtweisen und die Interaktionen zwischen den Teilnehmenden zu beobachten. Gruppeninterviews eignen sich besonders gut, um ein tieferes Verständnis von gemeinsamen Einstellungen, Überzeugungen oder Erfahrungen zu gewinnen.

Allerdings bringt die Durchführung von Gruppendiskussionen auch besondere Herausforderungen mit sich. Eine sorgfältige Moderation ist notwendig, um sicherzustellen, dass alle Teilnehmenden zu Wort kommen und die Diskussion nicht von einzelnen dominanten Personen beherrscht wird. Zudem muss die Gruppendynamik beachtet werden, da bestimmte Mitglieder möglicherweise die Diskussion in eine bestimmte Richtung lenken können, was die Ergebnisse verzerren könnte.

Im Projekt wurden Gruppendiskussionen gezielt eingesetzt, um die Perspektiven der Mitarbeitenden zu erfassen und einen offenen Austausch zu fördern. Besonders im Rahmen der Einführungsworkshops zu neuen Technologien erwiesen sie sich als wertvolle Methode, um kollektive Meinungen und mögliche Widerstände frühzeitig sichtbar zu machen.

Eine vertrauensvolle Atmosphäre spielte dabei eine entscheidende Rolle: Die kleinen Gruppengrößen ermöglichten produktive und offene Diskussionen und boten Raum für den Austausch von Unsicherheiten, Erwartungen und praxisnahen Lösungen. Ein zentrales Learning des Projekts war, dass Gruppendiskussionen in Kleingruppen besonders dann gut funktionieren, wenn ein vertrauensvoller Rahmen geschaffen wird und direkte Führungskräfte abwesend sind. Gleichzeitig zeigte sich, dass eine Mindestgröße von fünf Personen notwendig ist, um die Diskussionen lebendig und über einen längeren Zeitraum hinweg angeregt aufrechterhalten zu können.

Die Kombination aus persönlichen Gesprächen und praktischen Aufgaben half nicht nur, das Verständnis der neuen Technologien zu vertiefen, sondern auch die Akzeptanz für die Veränderungen zu fördern. So konnten durch die Gruppendynamik wertvolle Erkenntnisse gewonnen werden, die zur gezielten Anpassung der Schulungsmaßnahmen beitrugen und die Einführung der digitalen Systeme nachhaltig unterstützten.

Insgesamt bieten Gruppendiskussionen wertvolle Einblicke in kollektive Perspektiven, erfordern aber eine erfahrene Moderation, um die Diskussion effektiv zu steuern und zu gewährleisten, dass alle relevanten Themen angesprochen werden (Döring, 2016).

Quellen:

Döring, N., Bortz, J. (2016). Datenerhebung. In: Forschungsmethoden und Evaluation in den Sozial- und Humanwissenschaften. Springer-Lehrbuch. Springer, Berlin, Heidelberg. https://doi.org/10.1007/978-3-642-41089-5_10
Mayer, H. O. (2013). Interview und schriftliche Befragung. Grundlagen und Methoden empirischer Sozialforschung (6., überarb. Aufl.). München: Oldenbourg.
Flick, Uwe: Qualitative Methoden in der Evaluationsforschung. In: Zeitschrift für Qualitative Forschung 10 (2009), 1, S. 9-18.