Quantitative Methoden

Unser Ziel ist es, relevante Sachverhalte möglichst aussagekräftig und genau zu erfassen. Dafür ist es notwendig messbare Indikatoren und praxisrelevante Bewertungskriterien festzulegen. Das Klären von Zweck und Fragestellung sowie das Einbeziehen von Beteiligten und Betroffenen einer Evaluation ist daher die Basis, um akzeptierte, transparente und relevante, damit bedeutsame Kriterien zu erhalten.

Datenerhebung

Um den Gegenstand der Evaluation zu erfassen bedarf es Daten zusammenfassende oder Qualitäten identifizierende Merkmale, auch Kennwerte oder Indikatoren genannt, deren kritische, d.h. erwünschte/erwartete Ausprägung als Soll- oder Erwartungswerte ein Kriterium festgelegen. Ausgehend von der Fragestellung entwickeln wir passende, möglichst wissenschaftlich bewährte Befragungen bzw. standardisierte Interviewleitfäden zur Erhebung von Indikatoren. Wir können sowohl mit Online- und Papierbefragungen als auch in Interviews bspw. Meinungen, Gefühle, Einstellungen, Wissen oder ein bestimmtes Verhalten aus Sicht der Befragten erheben und vergleichbar machen. Für Befragungen mit repräsentativen Stichproben kooperieren wir mit etablierten Marktforschungsinstituten.

Bei Bedarf entwickeln wir alltagstaugliche Dokumentations- und Monitoring-Systeme, die eine steuerungsrelevante Bewertung des Projektfortschritts und dessen Wirkung ermöglichen.

Datenanalyse

Ausgehend von deskriptiven (beschreibenden) Statistiken (Häufigkeitsverteilung, Mittelwert etc.) bieten wir bei passender Datenlage weiterführend inferenzstatistische und (non-) parametrische Analysen an, z. B. Chi-Quadrat-Test für Häufigkeitsanalysen, T-test oder Varianzanalyse für Gruppenvergleiche, Clusteranalyse für die Entdeckung von Ähnlichkeitsstrukturen etc..

Datenbewertung

Bewertungen in der Evaluation sollen systematisch und nachvollziehbar sein und fachlich-methodische Erkenntnisse berücksichtigen. Trotzdem ist Bewerten als urteilen, hinterfragen und interpretieren immer auch ein sozialer Konstruktionsprozess. Er folgt nicht nur fachlich-inhaltlichen und methodisch begründeten Kriterien, sondern auch bspw. politisch, kulturell oder aus der sozialen Lage motivierten Interessen und Werten.

Für die Bewertung der Ergebnisse aus der Datenanalyse identifizieren und klären wir (vorher) gemeinsam mit Auftraggebenden und zentralen Stakeholdern maßgebliche Erwartungen, Werte und Verwendungskontexte der Ergebnisse. Außerdem recherchieren wir vorhandene, empirisch fundierte Vergleichswerte, um realistische, faire und relevante Erfolgskriterien zu erhalten.

Die Bewertung basiert häufig auf expliziten Vergleichen:

Vorher-Nachher-Vergleich: Hierbei geht es um die direkte Veränderung, die durch eine bestimmte Maßnahme erreicht wird. Dafür werden die Werte vor einer Maßnahme mit den Werten nach einer Maßnahme verglichen und es wird untersucht, inwiefern sie sich voneinander unterscheiden.

Soll-Ist-Vergleich: Die erreichten Resultate werden mit erwarteten Resultaten verglichen, wobei die Erwartungswerte möglichst explizit mit Bezug auf Zweck und Fragestellung der Evaluation begründet sein sollten. So können z.B. empirisch fundierte Erkenntnisse oder – im Falle eines Benchmarkings – Ergebnisse anderer Projekte als Maßstab herangezogen werden.

Gruppen-Vergleich: Die TeilnehmerInnen einer Maßnahme werden mit Nicht-TeilnehmerInnen verglichen, wie z.B. bei der zufälligen Zuteilung von Sprachkursteilnehmenden zu zwei unterschiedlichen Kursarten, sodass eine Gruppe den üblichen Sprachkurs erhält (Kontrollgruppe), während die andere einen verbesserten Sprachkurs (Interventionsgruppe) absolviert. Außerdem können Gruppierungen innerhalb der Zielgruppe (Teilzielgruppen) miteinander verglichen werden, um spezifische Wirkungen zu untersuchen, z. B. inwieweit eine Maßnahme geschlechtsspezifisch wirksam ist.

Die vorläufige Bewertung der Ergebnisse anhand der vereinbarten Kriterien gestalten wir als sozialkonstruktiven Prozess der Bedeutungsgebung, den wir daher möglichst im Rahmen eines Ergebnisworkshops im Dialog mit den Stakeholdern umsetzen. Erfahrungsgemäß kann auf diese Weise unter Einbezug der unterschiedlichen Perspektiven, Werte und Verwendungsansprüche ein gemeinsames Verständnis der Ergebnisse entwickelt werden. Sowohl geteilte als auch abweichende Auffassungen dokumentieren wir nachvollziehbar und berücksichtigen sie bei der Bewertung im abschließenden Ergebnisbericht.