Evaluationsstandards

Sollbestimmungen zu anzustrebenden Eigenschaften von Evaluationen, damit diese hohe Güte und Tauglichkeit erreichen können. Evaluationsfachleute haben sich in Fachgesellschaften oder Komitees auf Sets von Evaluationsstandards geeinigt, welche den Charakter von Sollstandards haben. Sie dienen als Basis u. a. für die Planung von Evaluationen, die Evaluation von Evaluationen (Meta-Evaluation) sowie die Aus- und Weiterbildung in Evaluation. Nach Typen von Evaluationsgegenständen unterschieden gibt es Programmevaluationsstandards, Personalevaluationsstandards sowie Standards für die Lernendenevaluation. Verbreitete Hauptgruppen von Evaluationsstandards sind Nützlichkeit, Durchführbarkeit, Fairness bzw. Korrektheit und Genauigkeit.

Die Texte sind Zeugnis eines paradigmatischen Wandels: Die technische Perfektion der Untersuchungsinstrumente und -designs, wie sie für die Evaluationspraxis bis in die 70er Jahre prägend war, reicht heute als Qualitätsausweis nicht mehr hin. Von Beginn notwendig ist eine klare Dienstleistungsorientierung an den Informationsinteressen der Nutzerinnen und Nutzer der Evaluationen und ihrer Ergebnisse. Zu diesen zählen nicht nur Auftraggebende und Finanziers sondern auch andere wichtige Beteiligte & Betroffene. Die Verantwortung der Evaluatorin/des Evaluators wird über technische Fragen hinaus auf Fragen der Programm- und Organisationsentwicklung ausgeweitet, bis hin zur Berücksichtigung des öffentlichen Wohls. Evaluation steht im Spannungsfeld von Werten der sozialen Praxis, sei es in öffentlichen Organisationen oder in privaten Unternehmen.

Für unterschiedliche Arten von Evaluationsgegenständen sind verschiedene Evaluationsstandards entwickelt worden: die prominentesten sind jene für die Evaluation von Programmen, von Lernenden und von Personal.

--> zu den Evaluations-Standards der Schweizerischen Evaluationsgesellschaft (SEVAL)

--> Verweis auf die Program Evaluation Standards (3rd. edition) des JCSEE (Joint Committee on Standards for Educational Evaluation)

Evaluationsstandards der Gesellschaft für Evaluation (DeGEval) (2016)

Die Evaluationsstandards der Gesellschaft für Evaluation beschreiben, wie eine Evaluation auszugestalten ist, damit sie eine hohe Qualität aufweist. Die einzelnen Standards sind teilweise sehr anspruchsvoll und konkurrieren miteinander. Sie dienen insbesondere zur Orientierung für die Durchführung von Evaluationen und die Vergabe sowie Beurteilung von Evaluationen.

Nützlichkeit

Die Nützlichkeitsstandards sollen sicher stellen, dass die Evaluation sich an den geklärten Evaluationszwecken sowie am Informationsbedarf der vorgesehenen Nutzer und Nutzerinnen ausrichtet.

Name	Inhalt
N1 Identifizierung der Beteiligten und Betroffenen	Die am Evaluationsgegenstand oder an der Evaluation Beteiligten sowie die von Evaluationsgegenstand oder Evaluation Betroffenen sollen vorab identifiziert werden, damit deren Interessen und Informationsbedürfnisse geklärt und so weit wie möglich bei der Anlage der Evaluation berücksichtigt werden können.
N2 Klärung der Evaluationszwecke	Es soll deutlich bestimmt sein, welche Zwecke mit der Evaluation verfolgt werden, so dass die Beteiligten und Betroffenen Position dazu beziehen und die Evaluierenden einen klaren Arbeitsauftrag verfolgen können.
N3 Glaubwürdigkeit und Kompetenz des Evaluators / der Evaluatorin	Wer Evaluationen durchführt, soll fachlich und methodisch kompetent sein, damit für die Evaluation und ihre Ergebnisse ein Höchstmaß an Glaubwürdigkeit und Akzeptanz erreicht wird.
N4 Auswahl und Umfang der Informationen	Auswahl und Umfang der erfassten Informationen sollen die adäquate Beantwortung der zu untersuchenden Fragestellungen zum Evaluationsgegenstand ermöglichen und die Informationsbedürfnisse der Auftraggebenden und weiterer Beteiligter und Betroffener berücksichtigen.
N5 Transparenz von Werthaltungen	Werthaltungen der Beteiligten und Betroffenen, die sich in deren Perspektiven und Annahmen manifestieren und einen Einfluss haben auf die Evaluation und Interpretation ihrer Ergebnisse, sollten transparent dokumentiert werden, um Evaluationsergebnisse besser einordnen zu können.
N6 Vollständigkeit und Klarheit der Berichterstattung	Evaluationsberichte sollen alle wesentlichen Informationen zur Verfügung stellen und für ihre Adressatinnen und Adressaten verständlich und nachvollziehbar sein.
N7 Rechtzeitigkeit der Evaluation	Evaluationsvorhaben sollen so rechtzeitig begonnen und abgeschlossen werden, dass ihre Ergebnisse in anstehende Entscheidungs-, Verbesserungs- oder sonstige Nutzungsprozesse einfließen können.
N8 Nutzung und Nutzen der Evaluation	Planung, Durchführung und Berichterstattung einer Evaluation sollen die Beteiligten und Betroffenen dazu ermuntern, die Evaluation mitzutragen und ihre Ergebnisse zu nutzen.

Durchführbarkeit

Die Durchführbarkeitsstandards sollen sicher stellen, dass eine Evaluation realistisch, gut durchdacht, diplomatisch und kostenbewusst geplant und ausgeführt wird.

Name	Inhalt
D1 Angemessene Verfahren	Evaluationsverfahren, einschließlich der Verfahren zur Beschaffung notwendiger Informationen, sollen so gewählt werden, dass einerseits die Evaluation professionell und den Erfordernissen entsprechend umgesetzt wird und andererseits der Aufwand für die Beteiligten und Betroffenen in einem adäquaten Verhältnis zum intendierten Nutzen der Evaluation gehalten wird.
D2 Diplomatisches Vorgehen	Evaluationen sollen so geplant und durchgeführt werden, dass eine möglichst hohe Akzeptanz der verschiedenen Beteiligten und Betroffenen in Bezug auf Vorgehen und Ergebnisse der Evaluation erreicht werden kann.
D3 Effizienz von Evaluation	Der Aufwand für Evaluation soll in einem angemessenen Verhältnis zum Nutzen der Evaluation stehen.

Fairness

Die Fairnessstandards sollen sicher stellen, dass in einer Evaluation respektvoll und fair mit den betroffenen Personen und Gruppen umgegangen wird.

Name	Inhalt
F1 Formale Vereinbarungen	Die Rechte und Pflichten der an einer Evaluation beteiligten Parteien (was, wie, von wem, wann getan werden soll und darf) sollen schriftlich festgehalten werden.
F2 Schutz individueller Rechte	Evaluationen sollen so geplant und durchgeführt werden, dass Rechte, Sicherheit und Würde der in eine Evaluation einbezogenen Personen geschützt sind.
F3 Umfassende und faire Überprüfung	Evaluationen sollen die Stärken und die Schwächen des Evaluationsgegenstandes möglichst fair und umfassend prüfen und darstellen.
F4 Unparteiische Durchführung und Berichterstattung	Die Evaluation soll unterschiedliche Sichtweisen von Beteiligten und Betroffenen auf Gegenstand und Ergebnisse der Evaluation beachten. Der gesamte Evaluationsprozess sowie die Evaluationsberichte sollen die unparteiische Position der Evaluierenden erkennen lassen.
F5 Offenlegung von Ergebnissen und Berichten	Evaluationsergebnisse und -berichte sollen allen Beteiligten und Betroffenen soweit wie möglich zugänglich gemacht werden.

Genauigkeit

Die Genauigkeitsstandards sollen sicher stellen, dass eine Evaluation gültige Informationen und Ergebnisse zu dem jeweiligen Evaluationsgegenstand und den Evaluationsfragestellungen hervor bringt und vermittelt.

Name	Inhalt
G1 Beschreibung des Evaluationsgegenstandes	Sowohl das Konzept des Evaluationsgegenstands als auch seine Umsetzung sollen genau und umfassend beschrieben und dokumentiert werden.
G2 Kontextanalyse	Der Kontext des Evaluationsgegenstandes soll ausreichend umfassend und detailliert analysiert sowie bei der Interpretation von Ergebnissen berücksichtigt werden.
G3 Beschreibung von Zwecken und Vorgehen	Zwecke, Fragestellungen und Vorgehen der Evaluation, einschließlich der angewandten Methoden, sollen so genau dokumentiert und beschrieben werden, dass sie nachvollzogen und beurteilt werden können.
G4 Angabe von Informationsquellen	Die im Rahmen einer Evaluation genutzten Informationsquellen sollen hinreichend genau dokumentiert werden, damit die Verlässlichkeit und Angemessenheit der Informationen eingeschätzt werden können.
G5 Valide und reliable Informationen	Erhebungsverfahren und Datenquellen sollen so gewählt werden, dass die Zuverlässigkeit der gewonnenen Daten und ihre Gültigkeit bezogen auf die Beantwortung der Evaluationsfragestellungen nach fachlichen Maßstäben sichergestellt sind. Die fachlichen Maßstäbe sollen sich an den Gütekriterien der empirischen Forschung orientieren.
G6 Systematische Fehlerprüfung	Die in einer Evaluation gesammelten, aufbereiteten, analysierten und präsentierten Informationen sollen systematisch auf Fehler geprüft werden.
G7 Angemessene Analyse qualitativer und quantitativer Informationen	Qualitative und quantitative Informationen einer Evaluation sollen nach fachlichen Maßstäben angemessen und systematisch analysiert werden, damit die Fragestellungen der Evaluation beantwortet werden können.
G8 Begründete Schlussfolgerungen	Die in einer Evaluation getroffenen wertenden Aussagen sollen auf expliziten Kriterien und Zielwerten basieren. Schlussfolgerungen sollen ausdrücklich und auf Grundlage der erhobenen und analysierten Daten begründet werden, damit sie nachvollzogen und beurteilt werden können.
G9 Meta-Evaluation	Meta-Evaluationen evaluieren Evaluationen. Um dies zu ermöglichen, sollen Evaluationen in geeigneter Form dokumentiert, archiviert und soweit wie möglich zugänglich gemacht werden.

Standards der Evaluation auf der Internetseite der DeGEval - Gesellschaft für Evaluation e.V.

Evaluations-Standards der Schweizerischen Evaluationsgesellschaft (2016) (SEVAL-Standards)

Die Evaluations-Standards der Schweizerischen Evaluationsgesellschaft, nachfolgend kurz SEVAL-Standards genannt, sollen einen Beitrag zur Professionalisierung der Evaluation in der Schweiz leisten. Die Einhaltung der SEVAL-Standards erhöht die Glaubwürdigkeit, Qualität und Vertrauenswürdigkeit von Evaluationen. Nur das positive Zusammenwirken aller Beteiligten, also von

• Evaluatorinnen und Evaluatoren,

• Auftraggeberinnen und Auftraggeber sowie

• weiteren, an der Evaluation beteiligten Personen,

• Personen, welche sich sich in der Aus- und Weiterbildung mit Evaluation befassen und so die Vermittlung und Beachtung der SEVAL-Standards unterstützen können

schafft die Basis für Evaluationen von hoher Qualität. Die SEVAL-Standards formulieren deshalb Kriterien, die alle an Evaluationen beteiligten Personen in die Pflicht nimmt.

Obwohl die Qualität einer Evaluation sich nach wie vor nach den Merkmalen Nützlichkeit, Durchführbarkeit, Korrektheit und Genauigkeit bestimmt, wurden diese Merkmale als Gliederungspunkte der Standards bei der letzten Bearbeitung aufgegeben. Die Standards umfassen nun Anforderungen, die an Evaluationen gestellt werden, um den diesen Qualitätsmerkmalen zu entsprechen, und sind nach dem drei Gruppen A - Allgemeine Grundprinzipien, B - Planung und Durchführung sowie C - Bewertung und Ergebnisvermittlung gegliedert.

A - Allgemeine Grundprinzipien

Name	Inhalt
A1 Ergebnisoffenheit und Unvoreingenommenheit	Eine Evaluation wird als ein ergebnisoffener Prozess angelegt, der eine unvoreingenommene Bewertung sicherstellt.
A2 Transparenz	Eine Evaluation wird transparent gestaltet und durchgeführt. Zweck, Vorgehen, Grundlagen der Bewertung und Ergebnisse werden offengelegt, so dass die Evaluation nachvollziehbar und überprüfbar ist.
A3 Berücksichtigung der Beteiligten und Betroffenen	Die an einer Evaluation zu beteiligenden und die von ihr betroffenen Personen und Organisationen werden identifiziert. Ihren Interessen, Bedürfnissen und Werthaltungen wird die angemessene Aufmerksamkeit geschenkt.
A4 Nutzungsorientierung	Eine Evaluation wird so geplant und durchgeführt und ihr Fortschritt sowie ihre Ergebnisse werden so kommuniziert, dass die Beteiligten & Betroffenen angeregt werden, sich angemessen an der Evaluation zu beteiligen und sowohl den Evaluationsprozess als auch die Evaluationsergebnisse zu nutzen.
A5 Angemessenes Verhältnis von Aufwand und Nutzen	Eine Evaluation wird so angelegt, dass sie einen Nutzen erzeugt, der den eingesetzten Aufwand rechtfertigt.
A6 Sicherstellung der erforderlichen Kompetenzen	Wer eine Evaluation plant, beauftragt, steuert oder durchführt, verfügt über dafür angemessene Kompetenzen oder sorgt dafür, dass diese ausreichend abgedeckt sind.
A7 Qualitätssicherung	Es werden geeignete Massnahmen getroffen, um die Qualität einer Evaluation während ihrer Durchführung sicherzustellen und nach ihrem Abschluss zu überprüfen.
A8 Beachtung des Rechts	Bei allen Tätigkeiten im Rahmen einer Evaluation werden die dafür massgeblichen rechtlichen Bestimmungen identifiziert und eingehalten.
A9 Schutz der Persönlichkeit und Vertraulichkeit	Persönlichkeitsrechte und Datenschutz werden gewährleistet. Ist Vertraulichkeit vorgeschrieben oder zur Wahrung schützenswerter Interessen erforderlich, wird alles Notwendige vorgekehrt, damit sensible Informationen nicht ohne Zustimmung der datengebenden Personen verwendet und nicht zu ihrer Quelle zurückverfolgt werden können.
A10 Ethik	Sämtliche Tätigkeiten im Zusammenhang mit einer Evaluation erfolgen ethisch verantwortungsvoll und mit Sensibilität für die gesellschaftliche und kulturelle Vielfalt.
A11 Respekt	Sämtliche Personen oder Organisationen, die an einer Evaluation beteiligt oder von ihr betroffen sind, werden respektvoll, fair und unvoreingenommen behandelt.
A12 Redlichkeit	Alle Beteiligten & Betroffenen verhalten sich in Bezug auf eine Evaluation redlich und unterlassen es, die Evaluationsaktivitäten zu behindern, die Evaluation zu missbrauchen oder ihre Ergebnisse zu verzerren oder verzerrt wiederzugeben.

B - Planung und Durchführung

Name	Inhalt
B1 Klärung von Gegenstand, Zweck, Evaluationsfragestellungen und Nutzung	Gegenstand, Zweck und Fragestellungen einer Evaluation sowie ihre vorgesehene Nutzung werden so bestimmt, dass sie für alle Beteiligten klar sind.
B2 Berücksichtigung des Kontexts	Die Einflüsse des Kontexts auf den Evaluationsgegenstand werden identifiziert und beachtet.
B3 Rechtzeitigkeit	Eine Evaluation wird so geplant und durchgeführt, dass ihre Ergebnisse rechtzeitig zum Zeitpunkt der vorgesehenen Nutzung vorliegen.
B4 Evaluationsvereinbarung	Auftraggebende und Evaluierende verständigen sich möglichst früh und verbindlich über die wesentlichen Elemente einer Evaluation und halten diese schriftlich fest, insbesondere Zweck, Gegenstand, Fragestellungen und Methodik der Evaluation, Pflichten und Rechte der Beteiligten, für die Evaluation verfügbare Ressourcen, Fristen für die Erreichung bestimmter Teilergebnisse und die Berichterstattung sowie Offenlegung und Kommunikation der Evaluation und ihrer Ergebnisse.
B5 Zweckmässiges Evaluationskonzept	Ein Evaluationskonzept orientiert sich an Gegenstand, Zweck und Fragestellungen der Evaluation sowie, wenn angebracht, an einem Wirkmodell des Evaluationsgegenstandes. Evaluationsansatz, Bewertungskriterien, Erhebungsmethoden und Vorgehen werden so bestimmt, dass der Evaluationszweck mit den verfügbaren Ressourcen bestmöglich erfüllt werden kann und die Ergebnisse den grösstmöglichen Nutzen stiften.
B6 Wissenschaftlichkeit bei Datenerhebungen und -auswertungen	Die Wahl der Datenquellen sowie der Methoden zur Datenerhebung und -auswertung richtet sich nach den Evaluationsfragestellungen und dem sich daraus ergebenden Informationsbedarf und der Datenlage. Erhebungen und Auswertungen erfolgen nach wissenschaftlichen Prinzipien unter Beachtung der massgeblichen Forschungs- und Ethikstandards sowie der Anforderungen an die gute Praxis.
B7 Massvolle Datenerhebung	Auswahl und Umfang der zu erhebenden und auszuwertenden Daten beschränken sich auf das zur Erfüllung des Evaluationszwecks notwendige Mass. Es wird darauf geachtet, dass die Datenerhebung den Evaluationsgegenstand so wenig wie möglich beeinträchtigt und beeinflusst.
B8 Gültigkeit und Zuverlässigkeit von Datenerhebungen	Es werden Datenquellen so verwendet und Verfahren zur Erhebung und Auswertung von Daten so eingesetzt, dass Gültigkeit und Zuverlässigkeit der Ergebnisse und der gewonnenen Interpretationen für den gegebenen Zweck sichergestellt sind.
B9 Qualität und Aussagekraft von Informationen	Die Methodik und die in einer Evaluation gewonnenen, verarbeiteten und präsentierten Daten und Informationen werden systematisch auf Qualität, Fehler und Grenzen der Aussagekraft überprüft.

C - Bewertung und Ergebnisvermittlung

Name	Inhalt
C1 Vollständige und faire Bewertung	Die Bewertung eines Evaluationsgegenstandes erfolgt vollständig und fair in einer Weise, dass seine Stärken weiter ausgebaut und seine Schwächen behandelt werden können.
C2 Nachvollziehbare Bewertung und begründete Folgerungen	Die Bewertung eines Evaluationsgegenstandes erfolgt auf systematische Weise. Die Kriterien und die empirischen Grundlagen der Bewertung und der Bewertungsvorgang werden nachvollziehbar dargelegt. Folgerungen werden aus den verfügbaren Daten hergeleitet und begründet.
C3 Nützliche Empfehlungen	Allfällige Empfehlungen sind begründet, konkret, an Adressaten gerichtet und für diese umsetzbar.
C4 Angemessene Berichterstattung	Ein Evaluationsbericht stellt die für das Verständnis und die Nachvollziehbarkeit einer Evaluation wesentlichen Angaben leicht verständlich, adressatengerecht und nachvollziehbar zur Verfügung. Er beschreibt den Evaluationsgegenstand einschliesslich seines Kontextes ebenso wie den Zweck, die Fragestellungen, das Vorgehen, die Informationsquellen und die Ergebnisse der Evaluation sowie die Grenzen der Aussagekraft ausgewogen und unparteiisch.
C5 Dokumentation der Evaluation	Bei Bedarf wird alles Material, das für die Nachprüfbarkeit der Ergebnisse durch Dritte erforderlich ist, in Ergänzung zur Berichterstattung separat dokumentiert.
C6 Zugang zu den Evaluationsergebnissen	Die Beteiligten & Betroffenen erhalten Zugang zu den Evaluationsergebnissen.

Evaluations-Standards auf der Internetseite der SEVAL – Schweizerische Evaluationsgesellschaft

Evaluationsstandards des JCSEE

Die Standards für Programmevaluationen des Joint Committee on Standards for Educational Evaluation (JCSEE) in der dritten Ausgabe finden sich hier [1] im englischen Originalwortlaut sowie in der unten aufgeführten Publikation von Yarbrough et al. versehen mit ausführlichen Erläuterungen und Anwendungshinweisen. Wolfgang Beywl und Thomas Widmer haben eine Übersetzung der Standard-Statements ins Deutsche vorgenommen und mit Veranschaulichungen für den Schulbereich versehen. Das betreffende PDF-Dokument finden Sie hier [2]. Die JCSEE-Standards sind in die Bereiche Utility (Nützlichkeit), Feasibility (Durchführbarkeit), Propriety (Korrektheit), Accuracy (Genauigkeit) sowie Evaluation Accountability (Evaluations-Verantwortlichkeit) unterteilt, wobei die Verantwortlichkeitsstandards die angemessene Dokumentation der Evaluation und eine auf die Verbesserung und Verantwortlichkeit ausgerichtete, meta-evaluative Perspektive auf Evaluationsprozesse und -produkte fördern sollen.

Englischer Begriff

evaluation standard

Französischer Begriff

standard d'évaluation

Quellen

• Beywl, Wolfgang/Widmer, Thomas (2012): Die Standards für Programmevaluation des Joint Committee on Standards for Educational Evaluation. Übersetzung der Kurzfassung aus Yarbrough, Donald B. et al. (2011). Aarau und Zürich: Pädagogische Hochschule FHNW/Universität Zürich. [3]
• DeGEval – Gesellschaft für Evaluation (2016): Standards für Evaluation. Erste Revision 2016. Mainz: DeGEval. [PDF und Bestellung der Broschüre: https://www.degeval.org/degeval-standards/]
• Sanders, James R./JCSEE – Joint Committee on Standards for Educational Evaluation (2006): Handbuch der Evaluationsstandards. Die Standards des Joint Committee on Standards for Educational Evaluation. 3., erweiterte und aktualisierte Auflage. Wiesbaden: VS Verlag.
• SEVAL - Schweizerische Evaluationsgesellschaft (2016): Evaluationsstandards der Schweizerischen Evaluationsgesellschaft. [4]
• Yarbrough, D. B./Shulha, L. M./Hopson, R. K./Caruthers, F. A. (2011): The program evaluation standards: A guide for evaluators and evaluation users (3rd ed.). Thousand Oaks, CA: Sage.

Stand

07.07.2024