Evaluationsstufen

Leistungsevaluation: Beschreibung und Bewertung der Input-Output-Relation bei Nutzung der Kosten-Leistungs-Rechnung: Es wird festgestellt, wie viele (geldwerte) Ressourcen eingesetzt wurden, um die gezählten Outputs zu produzieren (vgl. z.B. Rieder 2004). Wenn sich die Untersuchungen und Schlussfolgerungen auf diesen Aspekt beschränken, kann noch von Evaluation gesprochen werden, sondern einer prä-evaluativen Tätigkeit. Zielerreichungsevaluation (outcome-evaluation). Beschreibung und Bewertung, in welchem Ausmass die im Zielsystem des Programms gesetzten Outcome-Ziele erreicht werden. Programme gelten dann als erfolgreich, wenn sie die gesetzten Ziele in befriedigendem Maße erreichen (vgl. z.B. W.K. Kellogg Foundation 1998). Zuwachsevaluation: Beschreibung und Bewertung des Zuwachses (Incomes zu Outcomes) z. B. an Kompetenzen oder Vorteilen, der im Programmablauf bei den Zielgruppen auftritt. Über die Zielerreichung (also z.B. Anzahl der in alttagsnahen Gesprächssituationen aktiv beherrschten deutschsprachigen Vokabeln ) hinaus muss der Unterschied bestimmt werden (also xx Prozent mehr Vokabeln), der bei den Zielgruppenmitgliedern im Programmverlauf auftritt (z. B. der Zuwachs an aktivem Vokabular gegenüber der Einstiegssituation in den Kurs Deutsch als Fremdsprache). Hierfür ist ein angemessenes methodisches Untersuchungsdesign erforderlich, da der Messvorgang allein (z.B. eine Lernstandserhebung zu Beginn der Maßnahme) zu einem erhöhten Outcome führen kann (Lernen durch Bearbeiten von Tests). (Oder: die Lernstandserhebung wird als Programmintervention ausgewiesen) Wirksamkeitsevaluation: Beschreibung und Bewertung der Wirksamkeit des Programms, also Beibringen von Belegen, in welchem Maße empirisch nachgewiesene Outcomes (also z.B. abgeschlossene Lehrverträge Bildungsbenachteiligter) auf das Programm, insbesondere seine Interventionen zurückzuführen sind (also die Bewerbungstrainings, Übungsfirma-Simulationen, sozialpädagogische Begleitung). Dies kann – nach Kostenaufwand für die Evaluation gestaffelt – jeweils unter Berücksichtigung identifizierter Einflussfaktoren aus dem Kontext des Programms geleistet werden durch (a) Wirkungsabschätzung: Einschätzung des Programm Beitrages zu den gemessenen Outcomes durch Feldexperten und -expertinnen, die weder Mitglieder des Programm noch des Evaluationsteams sind (b) Wirkungsmodellierung: Messungen bei den programmtheoretisch relevanten Elementen des vorliegenden Programmbaums, insbesondere von Outcomes und Outputs (c) Wirkungsnachweis: empirische, statistisch abgesicherte Wirkungsmessungen i. R. (quasi-)experimen¬teller Designs mit Versuchs- und Kontroll /Vergleichsgruppen (vgl. Bortz/Döring 2005: 529f) Wirtschaftlichkeitsevaluation: Beschreibung und Bewertung der Wirtschaftlichkeit des Programms, d.h. Überprüfung, wie kostengünstig (Kosten im weitesten Sinne) der festgestellte Programmnutzen (bei Bilanzierung von Outcome–Wirkungen, erwünschten und unerwünschten nicht intendierten Resultaten) erbracht wird (Hinweise geben Lewin/Mc Evans 2001).

Quellen

• (hier Literatur-/Quellenangabe ergänzen)