Eval-Wiki: Glossar der Evaluation:Über

«The evaluation language we choose and use, consciously or unconsciously, necessarily and inherently shapes perceptions, defines <reality> and affects mutual understanding.»

Michael Q. Patton: Overview: language matters. In: New Directions for Evaluation, no.86, Summer 2000. S. 15.

Das Eval-Wiki wird getragen durch Univation – Institut für Evaluation Dr. Beywl & Associates GmbH, einem privatwirtschaftlichen Evaluationsinstitut in Köln. Entsprechend dem Leitbild von Univation stellen wir das Eval-Wiki als öffentliche Dienstleistung zur kostenfreien Nutzung zur Verfügung. Neben der Darlegung der Ziele, die wir mit dem Glossar verbinden, hat der folgende Text zwei Funktionen: Zum einen expliziert er die Regeln, die wir uns gegeben haben, um eine klare und konsistente Terminologie zu entwickeln. Zum anderen führt er diejenigen, die zur Mitarbeit bereit sind, in das Vorgehen bei der Begriffsauswahl und Definition ein. Hierzu ergänzende – auch schreibtechnische – Informationen finden sich auf Wikipedia: http://de.wikipedia.org/wiki/Hilfe:Tutorial. Im folgenden Text sind die Glossarbegriffe (analog zum Vorgehen bei den Begriffsdefinitionen im Glossar) jeweils bei ihrer ersten Verwendung mit dem entsprechenden Glossarbeitrag verlinkt.

Nutzen und Anspruch des "Eval-Wiki: Glossar der Evaluation"

Zielsetzung

Das "Eval-Wiki: Glossar der Evaluation" soll vorrangig eine klare Kommunikation unter denjenigen fördern, die sich professionell –sei es aus der Perspektive der Evaluierenden oder der Nutzenden – mit Evaluationen befassen oder darüber wissenschaftlich arbeiten. Unterstützt werden sollen die kooperative Planung von Evaluationen und die effiziente Bearbeitung verschiedenster Evaluationsaufgaben: beginnend bei der Erstellung von Angeboten (für die z. B. sehr klar sein muss, was Evaluationszweck und -fragestellungen sind), über die Entwicklung von Evaluationsplänen, die Erarbeitung von logischen Modellen, die Auswahl von Erhebungsmethoden und -instrumenten bis hin zur Berichterstattung und Ergebnisvermittlung (vgl. die sechs Evaluationsschritte in Beywl 2008). Das begriffliche Gerüst unterstützt einen konsistenten Sprachgebrauch; Interessierte finden schnell Definitionen und können diese auf Basis von Literatur prüfen und anpassen. Fachbegriffe in Online-Publikationen können mit dem Glossar verlinkt werden. Die Literaturangaben zu den Begriffen des Glossars ermöglichen das schnelle Auffinden einschlägiger Quellen zum Thema. Perspektivisch arbeitet dieses Glossar auf ein kontrolliertes Vokabular hin: Mehrdeutige Benennungen sollen minimiert werden; Bezeichnungen sollen soweit möglich eindeutig Begriffen oder Begriffsinhalten zugeordnet werden (siehe unten –Vorgehen bei der Begriffsbenennung–). Dieses Glossar will etwas anderes sein als eine Sammlung, die unkommentiert und additiv Begriffsdefinitionen aus unterschiedlichen Quellen dokumentiert. Vielmehr will es ein systematisch vernetztes Begriffssystem vorschlagen, das auf evaluationstheoretischen Erkenntnissen und Überlegungen beruht. Um diese Systematik zu explizieren, müsste man es in einen Lehrtext umsetzen; bislang gibt es hierzu einige Komponenten (siehe Literatur). Wir veröffentlichen dieses Glossar, um auch Interessierten außerhalb unseres Teams eine aktive Auseinandersetzung mit Fachbegriffen der Evaluation zu ermöglichen. Wir verbinden damit die Erwartung, dass sich Interessierte an der Erweiterung und Verbesserung des Glossars beteiligen. Das Glossar der Evaluationsfachsprache beansprucht keine Allgemeingültigkeit. Es dient denjenigen, die es in ihrer alltäglichen Arbeit nutzen wollen, zur Systematisierung ihrer Arbeit und schafft eine sichere Begriffsbasis für den fachlichen Austausch. Wir freuen uns über jeden und jede, für den/die dieses Glossar nützlich ist. Von diesen, aber auch von denjenigen, die einen anderen Umgang mit der Fachliteratur bevorzugen, wünschen wir uns kritische und konstruktive Hinweise.

Entstehungshintergrund

Die Evaluation hat eine eigene Fachsprache entwickelt. Dies zeigt ein Blick in die Inhalts- und Stichwortverzeichnisse aktueller Lehrbücher. Die Fachterminologie ist ausdifferenziert und enthält komplexe Begriffe. Das Verständnis der Terme erfordert oft vertiefte Kenntnisse zu Begriffsnetzen, die auf zahlreiche Quellen zur Theorie und Methodologie der Evaluation verstreut sind. In den verschiedenen Theorietraditionen der Evaluation werden unter denselben Benennungen dabei oft unterschiedliche Inhalte verstanden. Das Gleiche gilt für die vielfältigen Evaluationsansätze oder -felder (z. B. die Politikevaluation oder die Bildungsevaluation). Univation evaluiert (als eines der wenigen Institute in Deutschland) feldübergreifend und ist methodisch explizit multipel ausgerichtet ist, d. h. es gibt keine Bindung an eine bestimmte Methodentradition oder eine feldspezifische Fachsprache (z. B. der Berufsbildung). Daher ist es uns besonders wichtig, eine Bezugs-Terminologie zu schaffen. Diese ist für unser internes Team verbindlich. Mit unseren Kooperationspartnern und dem externen Team wird die Terminologie kontinuierlich diskutiert und weiterentwickelt.

Die Möglichkeiten eines Wiki

Einige Jahre lang haben wir unser Wissensmanagement rund um das Glossar intern auf eine einfache Word-Tabelle gestützt. Auf dessen Basis wurden zwei Printversionen des Glossars veröffentlicht. Zur ersten Printausgabe wurde bereits eine nur aufwändig veränderbare Datenbank ins Internet gestellt. Ab 2010 setzen wir die flexible und partizipative Wiki-Technologie ein.

• Der Zugriff auf alle Begriffe ist komfortabel mittels Webbrowser von jedem Ort mit Internetzugang möglich. Die zahlreichen Verlinkungen der Begriffe unterstützen den Workflow bei der Erstellung von Texten. Der Begriffgebrauch kann schneller reflektiert und abgesichert werden.
• Die Media-Wiki-Software bietet Möglichkeiten, das Glossar dynamisch weiter zu entwickeln und zu verbreiten. Außerdem ermöglicht es diese Web 2.0-Anwendung, versierte Evaluationsfachleute einzubeziehen. Die Wiki-Version des Glossars macht es möglich, Wissen und Erfahrung kollaborativ auszutauschen, zu dokumentieren und öffentlich zugänglich zu machen.

Intern nutzt Univation ergänzend ein fortlaufend gepflegtes Word-Makro, das alle in Dokumenten enthaltenen Glossarbegriffe markiert. Wenden Sie Sich bei Interesse an diesem Tool an Berthold Schobert.

Auswahl, Benennung und Definition von Begriffen

Uns ist daran gelegen, die nachfolgenden Abgrenzungen sowie das vorgeschlagene Vorgehen bei Begriffsdefinitionen und -übersetzungen zu diskutieren. Bitte kommentieren Sie unsere Überlegungen, so dass wir Vorgehensweise und Beschreibungstext schrittweise optimieren können.

Inhaltsraum des Glossars

Es werden Begriffe aufgenommen, die spezifisch für die Evaluation von Bedeutung sind. Es wird eine möglichst große Abdeckung der relevanten Begriffe angestrebt, ohne dass ein Anspruch auf Vollständigkeit besteht. Der Anspruch auf Abdeckung besteht für den Bereich der Programmevaluation. Auch für die damit überlappenden Bereiche der Politikevaluation oder der Evaluation von Organisationen werden einschlägige Begriffe aufgenommen. Kein Abdeckungsanspruch besteht für spezifische Begriffe der Personalevaluation oder Lernenden-Evaluation. Hierzu sollen ausschließlich solche Begriffe aufgenommen werden, die für eine Abgrenzung zur Programmevaluation relevant sind. Über den Bereich der Evaluation von Programmen hinaus werden auch solche berücksichtigt, welche den Evaluationsgegenstand Programm betreffen. Diese Vokabeln werden vielfach genutzt, um Programme evaluationsbasiert zu entwickeln und zu verbessern (Beispiele sind die Begriffe Ziel oder Intervention). Evaluation übernimmt zunehmend proaktive und klärende Funktionen für Programme und stellt dafür theoretische Konzepte und eine damit verbundene Terminologie zur Verfügung. Grundsätzlich nicht berücksichtigt werden Begriffe, die aus der Domäne der empirischen Sozialforschung oder der Statistik stammen (beides wichtige Bezugsdisziplinen für Evaluation) und keine besondere Ausprägung in der Evaluation haben. Beispiele wären "Mittelwert" oder "Panelmortalität". Hierfür bestehen eigenständige, teils sehr umfangreiche Glossare. Abweichend von der Grundregel werden Begriffe aus diesen Domänen dann aufgenommen, wenn sich gezeigt hat, dass in der Evaluation ein spezifischer Abgrenzungsbedarf besteht (z. B. zwischen Kriterium und Indikator, Daten und Ergebnissen, Vergleichsgruppe und Kontrollgruppe).

Quellen für die Begriffe

Bereits bei einer ersten Auseinandersetzung mit der Breite der insbesondere nordamerikanischen Fachliteratur zur Evaluation mussten viele Begriffe übersetzt werden (Beywl, 1988). Viele Begriffe sind seit den 1950er Jahren von Michael Scriven geprägt oder aufbereitet worden. Neben dem "Evaluation Thesaurus" (Scriven, 1991) ist die "Key evaluation checklist" (Scriven, 2007) bis heute eine der wichtigsten Quellen, um sich vertieft mit der Evaluationssprache zu beschäftigen. Diese und die Publikation seiner Schülerin Jane E. Davidson (Davidson, 2005) sind Quelle mancher Definition in diesem Glossar.\n \nZu Beginn der Arbeiten an einem Glossar, seit Mitte der 1990er Jahre, handelte es sich vielfach um Übersetzungen von Begriffen englischsprachiger Glossare, z. B. in Sanders/Joint Committee on Standards for Educational Evaluation (1999). Wurden die Benennungen und Definitionen anfangs wörtlich übersetzt, so entstanden im Laufe der Jahre – im Zusammenhang mit eigenen Publikationen sowie Lehrtätigkeiten – eigene Definitionen, die mit Fachkollegen und -kolleginnen sowie Studierenden diskutiert und verbessert wurden. Ein Print-Referenzwerk aus neuerer Zeit ist die "Encyclopedia of Evaluation" von Mathison (2005). Wie auch die meisten anderen Glossare, viele davon online zugänglich, sind hier Beiträge verschiedener Autoren und Autorinnen enthalten; auf den Versuch, systematische Relationen zwischen den Begriffsdefinitionen herzustellen, wird zugunsten einer hohen Pluralität der evaluationstheoretischen und methodologischen Positionen verzichtet. Viele Anregungen ergaben sich im Rahmen der Entwicklung der Evaluationsstandards der DeGEval. Hier wurden von den Reviewern der ersten Fassungen Begriffserläuterungen gewünscht. Diese finden sich im Einführungsteil zu den Standards (in den Fußnoten auf den Seiten 12–15 der Standards-Broschüre aus dem Jahr 2002). Sie sind sämtlich in diesem Glossar aufgenommen und weiterbearbeitet worden.\nIn seinen Publikationen –schwerpunktmäßig in den vergangenen zehn Jahren – hat Wolfgang Beywl immer wieder Begriffsdefinitionen und Systematisierungen vorgenommen. Diese sind in das Glossar eingearbeitet worden und sind über den entsprechenden Literaturnachweis leicht identifizierbar. Besonders hervorgehoben seien die im Zusammenhang mit dem Programmbaum genutzten Begriffe, die ein Begriffsnetz mit mehreren Dutzend Termen bilden. Eine Darstellung findet sich in Beywl/Niestroj (2009b). Im forum-evaluation, der seit 1997 von Wolfgang Beywl moderierten elektronischen Diskussionsliste, sind immer wieder Begriffe erörtert worden; ein Dauerbrenner ist die Evaluationsforschung. Auch solche Diskussionsergebnisse sind in das Glossar eingeflossen. Oft ging es dabei darum, zu differenzieren, Grenzen zwischen Begriffsräumen abzustecken oder sich nicht unmittelbar erschließende Unterschiede herauszuarbeiten, z. B. zwischen formativer Evaluation und Prozessevaluation. Im Kernteam von Univation, das seit gut zehn Jahren zusammen arbeitet, und auch in Netzwerkprojekten mit Kooperationspartnern, wurden immer wieder Begriffsdiskussionen geführt. Teils waren diese ausgelöst durch "Reklamationen" von Stakeholdern oder Evaluationsinteressierten. Ein Beispiel ist die Thematik der Zusammenfassung von Evaluationsberichten. Hier wurde geklärt, was der Unterschied zwischen einer Executive Summary und einer Management Summary ist. Diese Unterscheidung hat – wie viele andere im Glossar – ganz praktische Folgen, denn bevor man damit beginnt, eine Zusammenfassung zu erstellen, kann man sich vergewissern, welcher der beiden Arten für die vorgesehenen Nutzenden die angemessene ist. Eine weitere Quelle sind Herausforderungen, die sich im Rahmen von Lehrveranstaltungen gestellt haben, insbesondere solche des heutigen Master of Advanced Studies am Zentrum für universitäre Weiterbildung der Universität Bern. Eine der Herausforderungen in der Lehre war z. B. die Ausdifferenzierung mehrerer Arten von Evaluationsergebnissen. Aus den Erfahrungen in der universitären Weiterbildung, wo die Teilnehmenden oft energisch auf Klarheit und Systematik des Begriffsgebrauchs bestehen, stammen die meisten der nachfolgend eingeführten Konventionen. Weitere Hinweise zu Hintergrund und Entstehungsgeschichte des "Eval-Wiki: Glossar der Evaluation" findet sich in der Einleitung zur 2009 erschienenen Printversion des Glossars.

Die Rolle der Begriffsnetze

Im Glossar enthalten sind zahlreiche Begriffsnetze oder Begriffssysteme, d. h. die Benennungen und ihre Bedeutungen sind durch Relationen miteinander verbunden: \nEine Form der Relation ist der Gegensatz (z. B. formative und summative Evaluation); eine andere ist die von Oberbegriff und Unterbegriffen (z. B. Evaluationszweck mit den Ausprägungen Verbesserung, Wissensmanagement, Entscheidungsfindung, Rechenschaftslegung; die Verbesserung hat als Unterform die Optimierung). Ein großes und für unsere Arbeit zentrales Begriffssystem gründet sich auf den Programmbaum (selbst Unterform eines logischen Modells) mit gut 20 systematisch auf ihn bezogenen Begriffen. Andere Arten von Beziehungen sind chronologische oder hierarchische Anordnungen von Begriffen, z. B. Outputs I, Outputs II, Outputs III. Auch sie unterstützen das systematische Nachdenken – hier: über den Evaluationsgegenstand. Aus der mehr als 20 Jahre währenden Beschäftigung von Wolfgang Beywl mit Evaluationsmodellen (Beywl, 2010) resultiert eine Ausdifferenzierung mehrerer Bezeichnungen von Evaluationsmodellen, die sich an einem theoretisch begründeten Muster orientieren (dem der Steuerungsfaktoren – advance organisers –, also der Faktoren, welche von den Evaluierenden genutzt werden, um Steuerungsentscheidungen zur Evaluation zu treffen). Die Modellbenennungen werden über das Attribut "-gesteuert" homogenisiert, so dass ihre Zugehörigkeit zum Begriffnetz der Evaluationsmodelle erkennbar wird (Beispiel: kontext-mechanismus-gesteuerte Evaluation; englische Originalbezeichnung: realistic evaluation). Im Spannungsfeld "wortgetreue Übersetzung" vs. "evaluationstheoretisch schlüssige Benennung" wurde hier zugunsten der Evaluationstheorie entschieden. Ein weiteres Begriffsnetz bezieht sich auf den Begriff der Wirkung; der auch namensgebend war für die Vorläufer dieses Online-Glossars (Beywl/Niestroj, 2009a; Beywl/Univation 2004). Das Glossar grenzt Wirkung ab von Zielerreichung; darüber hinaus unterscheidet es hierarchisch angeordnete Stufen der Wirkungsfeststellung (mehr in Beywl, 2006). Die Arbeit mit Begriffsnetzen und der Versuch, systematische Relationen zwischen den Termen herzustellen, führen auch zur 'Entdeckung' von Lücken im Begriffsinventar. Beispiele sind die im nächsten Abschnitt genannten Terme Incomes und Übertragfähigkeit. Die Arbeit am Glossar hat so vielfach unsere methodologische Perspektive auf Evaluation erweitert und neue Sichtweisen auf die Evaluation und ihre Gegenstände ermöglicht.

Vorgehen bei der Begriffsbenennung

Wie oben auf dieser Seite angesprochen, soll Mehrdeutigkeit von Benennungen vermieden werden, da diese der Absicht des Glossars, eine verbindliche und entlastende Verständigungsbasis zu bieten, zuwider läuft. Ein für die Evaluationsfachsprache herausragendes Beispiel ist der Term "Wert", für sich genommen ein Homonym. Im Glossar werden daher drei Benennungen mit unterschiedlichen Bedeutungen ausgewiesen: Wert (eines Evaluationsgegenstandes), sozialer Wert und statistischer Wert. Einige der nachfolgend dargelegten Regeln dienen der Vermeidung mehrdeutiger Benennungen. Die Benennung des Begriffs entstammt entweder der deutschsprachigen Fachliteratur zur Evaluation bzw. dem weiteren Feld der Sozial- und Erziehungswissenschaften, er ist eine Übersetzung aus der englischsprachigen Evaluationsliteratur oder er stellt eine Wortschöpfung dar. Im Regelfall handelt es sich um ein Substantiv (teils Komposita; z. B. Kriterienzone), teilweise ergänzt um ein Attribut (z. B. Kriterienzone, positive). Das Attribut wird dann vorangestellt, wenn das Charakteristische des Begriffsinhalts damit schneller erkennbar ist (z. B. dokumentierende Evaluation). Charakteristisch für die Evaluationsfachsprache ist, dass ihre Begriffe Sachverhalte auf zwei Ebenen bezeichnen, die für Zwecke der Kommunikation und der Vermittlung deutlich getrennt werden müssen: Die Ebene des Evaluationsgegenstandes (oft ein Programm) und die der Evaluation dieses Gegenstandes. Wie dies für die Aus- und Weiterbildung der Evaluation in einem Studienbrief realisiert wurde, dem die Terminologie dieses Glossars zugrunde liegt, zeigt die Publikation von Beywl und Balzer (2009). In der Kommunikation zwischen Evaluierenden und Personen aus dem Programmumfeld (z. B. Programmmitarbeitenden) kommt es oft zu Störungen, wenn die beiden Ebenen nicht auseinander gehalten werden. Um dies zu unterstützen gilt in diesem Glossar die Konvention, für Sachverhalte, die auf beiden Ebenen ähnlich sind, unterschiedliche Benennungen zu nutzen. Damit wird mit der Bennennung auch der Geltungsbereich des Begriffs kommuniziert. Nachfolgend einige Beispiele (in nachfolgenden Klammern wird angegeben, zu welcher der beiden Ebenen der Begriff gehört):

Ebene Programm	Ebene Evaluation
Konzept (eines Programms)	Plan (einer Evaluation)
Ziele (eines Programms)	Zweck (einer Evaluation)
Resultate (eines Programms)	Ergebnis (einer Evaluation)
Übertragfähigkeit (von Programmen)	Übertragbarkeit (von Evaluationsergebnissen)
Stakeholder (eines Programms)	Evaluationsinteressierte
Kontext I (eines Programms)	Kontext II (einer Evaluation)
intendierte Resultate (eines Programms)	Einflussnahme (der Evaluation)

Wenn – wie bei den Termini der linken Spalte – in Klammern "Programm" nachgestellt ist, bedeutet dies, dass sie dezidiert für Programme, jedoch nicht immer ausschließlich für diese gelten, sondern auch für andere Arten von Evaluationsgegenständen. So können z. B. auch Produkte oder Organisationen mit Zielen verbunden sein, oder in Bezug sowohl auf ihre Güte wie auf ihre Tauglichkeit beschrieben und bewertet werden, oder z. B. Checklisten. Benennungs-Konventionen, die in der Kommunikation mit Stakeholdern, mit Evaluationsinteressierten oder in Aus- und Weiterbildung von Evaluierenden hilfreich sind, gibt es auch zu einigen anderen immer wieder gern verwechselten Begriffen; siehe z. B. Evaluationsfragestellungen vs. Frage (in einem Befragungsinstrument). Teilweise werden Wörter neu geschöpft, um diesen Unterschied zu verdeutlichen. In der Tabelle ist dies das Wort "Übertragfähigkeit (von Programmen)" (portability), das von "Übertragbarkeit (von Evaluationsergebnissen)" unterschieden wird. In Einzelfällen setzen wir uns mit dieser Trennung vom in der Evaluationsgemeinde vorherrschendem Begriffsgebrauch ab, wo explizit nicht zwischen beiden Ebenen unterschieden wird, z. B. bei "Stakeholder": –«Anyone whose life is affected by a program or its evaluation is a stakeholder in that program and its evaluation.–» (Yarbrough/Shula/Caruthers, 2010, S. xxi) Wir unterscheiden Beteiligten und Betroffene(eines Programms) (engl. stakeholders) von Evaluationsinteressierten. Dies ist auch ein Beispiel dafür, dass wann immer möglich für die Benennung ein Wort der deutschen Sprache genutzt wird. Dafür sind insbesondere bei Übersetzungen aus dem Englischen Wortschöpfungen erforderlich. Liest man eine solche (z. B. Übertragfähigkeit) das erste Mal, mag sie befremdlich erscheinen. Wenn man in der Arbeit mit Begriffen feststellt, dass Kunstworte funktional sind, schleifen sie sich im Arbeitsalltag ein. In einigen Fällen haben wir die englischsprachigen Terme nicht übersetzt, besonders prominent bei Inputs, Outputs, Outcomes und Impacts. Ein Sonderfall ist der Begriff Incomes, den wir als Gegenstück zu den Outcomes in Analogie zur Input-Output-Relation geprägt (Beywl/Niestroj, 2009b) und für die englische und die französische Benennung übernommen haben. Er wird – wie wir im Nachhinein feststellen konnten – auch in einigen nordamerikanischen Publikationen im Sinne unserer Begriffsdefinition genutzt. Bei Übersetzungen aus dem Englischen und in das Englische haben wir u. a. mehrsprachige Glossare und Fachwörterbücher aus Evaluation und Sozial-/Erziehungswissenschaften herangezogen. Fanden sich dort keine Übersetzungen, sind allgemeine Wörterbücher (www.leo.org und www.wordreference.com) zu Hilfe genommen worden. In die Gegenrichtung – vom Deutschen ins Englische – ist es noch schwieriger. Für einen deutschsprachigen Term, evtl. sogar eine Wortschöpfung, muss eine passende fremdsprachliche Benennung gefunden werden. Sind Möglichkeiten identifiziert, kann mittels "Dieses Buch durchsuchen" in http://books.google.de/ oder www.linguee.de geprüft werden, ob dieser Term im Kontext der Evaluation in der jeweiligen Fremdsprache geläufig ist. In einzelnen Fällen wurden auch native speakers / locuteurs natifs persönlich angefragt. Die französischsprachigen Benennungen sind jedoch noch vielfach korrekturbedürftig. Handelt es sich bei den Termen um Personenbezeichnungen, wird zur Benennung eine genusneutrale Lösung gesucht, die im Plural genutzt wird, zum Beispiel das substantivierte Partizip Auftraggebende (der Evaluation) (mehr zum Genusgebrauch in Beywl/Kehr/Keller-Ebert, 2004).

Sprachvarianten Deutsch – Englisch – Französisch

Wie bereits angesprochen, ist die Evaluation und ihre Fachsprache stark durch die nordamerikanische Evaluation geprägt, die sich bereits seit mehreren Jahrzehnten an den Hochschulen – im Besonderen der USA – etabliert hat. In den ersten Jahren war die Arbeit am Glossar stark durch ein Übersetzen aus dem Englischen geprägt. Mit der Zeit wurden zunehmend deutschsprachige Begriffe aufgefunden bzw. für das Glossar konstruiert. Damit ergab sich – wollte man die Wörterbuchfunktion Deutsch-Englisch erhalten – das Erfordernis einer Übersetzung ins Englische. Im Falle mehrerer Varietäten des Englisch wird der Begriff aus dem Britischen Englisch (BE) genutzt.

Diese Arbeit des hin und her Übersetzens hat sich als ausgesprochen fruchtbar für das Finden passender Benennungen und die Definition des Begriffsinhalts erwiesen. Da die englischen Benennungen nur in wenigen Fällen durch evaluationskundige Muttersprachler und Muttersprachlerinnen geprüft sind, sind hier sicher noch Optimierungen möglich. Noch mehr gilt dies für die französischsprachigen Benennungen: Diese sind als Erstübersetzungen zu verstehen, die in vielen Fällen korrigiert werden müssen. Hilfestellung gibt z. B. TERMDAT [1], die Terminologie-Datenbank der schweizerischen Bundesverwaltung. Immer wieder sind wir jedoch auf die persönliche Hilfe uns Hilfe von evaluationskundigen Bi- oder Multilingualen angewiesen.

Aufbau eines Glossareintrags

Im folgenden Abschnitt zum Aufbau eines Glossareintrags finden sich Hinweise zum Verständnis und zur Erstellung einer eigenen Begriffsdefinition. Zudem sind die unterschiedlichen Inhalte und Übersichten kurz erläutert, um die Nutzung des Eval-Wiki zu erleichtern. Wenn Sie erstmals einen Begriff in der Eval-Wiki: Glossar-Werkstatt definieren wollen oder eine bestehende Definition kommentieren möchten, lesen Sie sich zuvor in einige zufällig ausgesuchte oder auch benachbarte Begriffe ein. Aufbau eines Glossareintrags Ein Glossareintrag umfasst mehrere Registerkarten, die je nachdem, ob Sie als Nutzerin oder Nutzer angemeldet sind oder nicht, variieren. Sie werden durch einen Klick auf den "Reiter" am oben Rand des Fensters geöffnet. Insbesondere auf der Registerkarte –Begriff– folgen die Einträge einer bestimmten Gliederung, die im Folgenden wiedergegeben wird. Je nachdem, ob Sie sich derzeit im "Eval-Wiki: Glossar der Evaluation" oder in der Eval-Wiki: Glossar-Werkstatt befinden, haben Sie mehr oder weniger direkte Bearbeitungsmöglichkeiten.

Registerkarte –Begriff–

Diese Registerkarte ist jeweils für alle lesbar. Hier finden sich die Begriffsdefinition, die Übersetzungen und Quellenangaben. Die Einträge hier sind nach Vorgabe gegliedert, wobei nicht alle der folgenden Abschnitte enthalten sein müssen (Quellen alternativer Begriffsdefinitionen und Danksagungen sind optional). Zur Illustration der folgenden Erläuterungen sehen Sie sich die beiden Beispiele unerwünschte Resultate (eines Programms) sowie Legitimation an. Benennung Name des Begriffs in Form eines Substantivs, teils ergänzt um ein Attribut, teils mit Angabe des Geltungsbereichs in runden Klammern; in Ausnahmefällen mit einer römischen Ordnungsziffer (z. B. Outputs III (eines Programms)). Definition Begriffsbeschreibung, orientiert an den Regeln der Terminologielehre (vgl. Arntz/Picht/Meyer, 2004). Demnach wird im ersten Satz angegeben, zu welchem Oberfeld oder Überbegriff der jeweilige Terminus gehört. Dies können wiederum Fachterme sein oder allgemeinsprachliche Wörter. Im ersten Satz darf der zu definierende Glossarbegriff selbst nicht enthalten sein. Bei längeren Erläuterungen darf er im Fortgang der Definition genutzt werden, um die Verständlichkeit zu erleichtern. Es besteht der Anspruch, dass alle relevanten, in den Begriffserläuterungen enthaltenen Fachbegriffe definiert sind. Dies geschieht mittels der wiki-typischen Hyperlinks. Angestrebt ist, Überschneidungen zwischen Begriffen ebenso wie Widersprüche zu vermeiden. Englischer Begriff Übersetzung ins (britische) Englisch; je nachdem wörtlich; dann sinngemäß, wenn es in der englischen Evaluationsfachsprache einen Fachbegriff gibt (dann stellt die deutschsprachige Benennung oft eine Rückübersetzung dar). Französischer Begriff In aller Regel wörtliche Übersetzungen; nach der Übersetzung wurde durch Abfragen in evaluationsfachlichen Quellen auf [2] auf Adäquanz vorgeprüft; vielfach korrekturbedürftig. Für den Bildungsbereich bietet das CEDEFOP-Glossay/Glossaire [3] Übersetzungshilfen Englisch-Französisch Quellen Angabe mindestens einer Literaturquelle, welche die Definition unterstützt; soweit möglich mit Seitenangabe (für Ergänzungen bei den Seitenangaben sind wir dankbar). Wenn vorhanden, Angabe des Links zu einer Online-Quelle (Beispiel bei Zielsystem, dreigliedriges). Quellen alternativer Begriffsdefinitionen (optional) Für dieselbe oder eine ähnliche Benennung gibt es in der Evaluationsfachliteratur oft auch andere Definitionen. Mit der Benennung wird dann ein anderer Begriffsinhalt verbunden. In besonders wichtigen Fällen (z. B. aktuelle deutschsprachige Lehrbücher der Evaluation) weisen wir darauf hin. Danksagung (optional) Hier sind Personen möglichst mit einem Hyperlink zu ihrer persönlichen Webseite aufgeführt, die durch ihre Hinweise und Diskussionsbeiträge wesentlich zur Definition des Begriffs und ihrer Weiterentwicklung beigetragen haben. Stand Datum der Aufnahme in das Glossar bzw. der letzten substanziellen Textüberarbeitung. Wenn Sie einen Glossarbegriff zitieren, schließen Sie dieses Datum ein (verzichten Sie auf die Angabe "Datum der letzten Abfrage").

Registerkarte –Diskussion–

Diese Seite ist in beiden Wikis für angemeldete Nutzerinnen und Nutzer zugänglich und bearbeitbar. Hier können Sie Ihre Kommentare und Fragen zur Begriffsdefinition eingeben, alternative Formulierungsvorschläge machen oder Hinweise bspw. auf ergänzende Literaturquellen geben. Die Redaktion wird auf Ihre Diskussionsbeiträge reagieren und die Begriffsseite ggf. ergänzen oder anpassen. (In der Eval-Wiki: Glossar-Werkstatt können Sie auch gleich die Begriffsseite bearbeiten, wobei Sie die Registerkarte "Bearbeiten" nutzen.)

Registerkarte –Quelltext anzeigen–

Nicht angemeldete Nutzende sehen diese Registerkarte zu einem Begriff. Im "Eval-Wiki: Glossar der Evaluation" sehen sie auch angemeldete Nutzende statt der Registerkarte "Bearbeiten", da alle Begriffe hier geschützt sind und ausschließlich durch die Redaktion direkt bearbeitet werden. Auf der Registerkarte können Sie den Quelltext (Text inkl. Tags) der Begriffsseite einsehen, aber nicht bearbeiten.

Registerkarte –Bearbeiten–

Diese Registerkarte steht angemeldeten Nutzerinnen und Nutzern in der Eval-Wiki: Glossar-Werkstatt zur Verfügung, um direkt die Begriffsseite zu bearbeiten. Im "Eval-Wiki: Glossar der Evaluation" ist die direkte Bearbeitung der Begriffsseite der Redaktion vorbehalten und die Registerkarte ist nicht sichtbar. Bitte informieren Sie sich über das Vorgehen beim Anlegen neuer Begriffsseiten und deren Gliederung unter der Hilfe der Glossar-Werkstatt. Die Eingabe des Textes muss unter Nutzung der wiki-typischen Tags und Konventionen erfolgen.

Registerkarte –Versionen/Autoren–

Diese Registerkarte ist für alle - auch unangemeldete Nutzerinnen und Nutzer - lesbar. Sie finden hier die "Versionengeschichte" des betreffenden Begriffs, d.  h. Sie erhalten eine Auflistung aller vorgenommenen Änderungen. Sie können den Links folgen und sich bspw. ältere Versionen der Begriffsdefinition anschauen. Gleichzeitig erhalten Sie die Information, wer die Änderungen vorgenommen hat. Verschiedene Versionen können verglichen werden. Eine Bearbeitung dieser Seite ist nicht möglich.

Registerkarte –Verschieben–

Das "Verschieben" von Begriffen ist angemeldeten Nutzenden ausschließlich in der Glossar-Werkstatt und nicht im "Eval-Wiki: Glossar der Evaluation" möglich. Über diese Registerkarte kann ein Begriff umbenannt bzw. weitergeleitet werden.

Registerkarte –Beobachten–

Diese Registerkarte ist durch angemeldete Nutzerinnen und Nutzer nutzbar. Mit einem Klick auf diese Seite wird der betreffende Begriff zu Ihrer "Beobachtungsliste" hinzugefügt. Zu Ihrer persönlichen Beobachtungsliste kommen Sie bspw. über den Link rechts oben in der Kopfzeile, wenn Sie angemeldet sind. Der Beobachtungsliste können Sie u. a. Informationen darüber entnehmen, ob die ausgewählten Begriffe in einem bestimmten Zeitraum bearbeitet wurden.

Weiterentwicklung des Glossars und Ihre Mitarbeit

Wir arbeiten – wie bereits in den Jahren vor Erscheinen des "Eval-Wiki: Glossar der Evaluation" – kontinuierlich an den Begriffsdefinitionen arbeiten und nehmen neue Begriffe in das Glossar auf. Unter anderem geschieht dies im Rahmen der überarbeiteten Neuauflagen von "evaluiert - Planungsbuch für Evaluationen im Bildungsbereich" [4] in Zusammenarbeit mit Lars Balzer [5]. Die neu gewählte Form des Wiki ermöglicht dabei Ihre Unterstützung – wir hoffen darauf und freuen uns auf eine rege Diskussion und neue Anregungen. Dabei möchten wir eines ganz deutlich machen: Die Redaktion der Begriffe bleibt dem Univation Kernteam und ggf. ausgewählten externen Redakteurinnen und Redakteuren vorbehalten. Ihre Unterstützung und Ihren Beitrag zur (Weiter-)Entwicklung der Begriffe werden wir selbstverständlich würdigen – zum einen wird er durch die Historie der Begriffsdefinitionen sichtbar, zum anderen werden wir in Form einer Danksagung explizite Hinweise auf Personen aufnehmen, die substanziell zu den Begriffsdefinitionen beigetragen haben. Die Möglichkeit, neue Begriffe vorzuschlagen, die bisher nicht im Glossar enthalten sind, ist nicht im "Eval-Wiki: Glossar der Evaluation" gegeben. Hierfür haben wir die eigenständige Eval-Wiki: Glossar-Werkstatt eingerichtet. Neue Begriffe werden erst dann in das Glossar überführt, wenn ihre Beschreibung vollständig und aus unserer Sicht ausreichend klar und ausformuliert ist. Ausführliche Hinweise die Mitarbeitsmöglichkeiten betreffend haben wir unter dem Menüpunkt "Ihre Mitarbeit" zusammengestellt. Bitte informieren Sie sich dort über das konkrete Vorgehen!

Danksagungen

Wir bedanken uns herzlich für ihre wertvollen Hinweise und Unterstützung bei der Entwicklung und Erstellung des "Eval-Wiki: Glossar der Evaluation" bei Dr. Maria Gutknecht-Gmeiner, Dr. Jan Hense, Marc Jelitto, Dr. Rüdiger Preißer, Dr. Dirk Scheffler und Zijad Naddaf. Bei der Suche nach Übersetzungen haben uns u.a. Werner Stangl, Gerlinde Struhkamp Munshi und Sandy Taut immer wieder wertvolle Anregungen gegeben. Donatella Pulitano hat uns den Zugang zur Terminologielehre erschlossen.

Literatur

• Arntz, Reiner/Picht, Heribert/Mayer, Felix (2004): Einführung in die Terminologiearbeit. 5., verb. Aufl. Hildesheim: Olms.
• Balzer, Lars/Beywl, Wolfgang (2018): evaluiert. - erweitertes Planungsbuch für Evaluationen im Bildungsbereich. 2. überarb. Aufl. Bern: h.e.p.[6]

Balzer, Lars/Laupper, Ellen/Eicher, Veronique/Beywl, Wolfgang (2020): Schlüssel zur Evaluation. 10 Schritte zur Planung einer Evaluation. "evaluiert" kurz gefasst. Zollikofen: Eidgenössisches Institut für Hochschulbildung EHB.[7]

• Beywl, Wolfgang (1988): Zur Weiterentwicklung der Evaluationsmethodologie. Grundlegung, Konzeption und Anwendung eines Modells der responsiven Evaluation Frankfurt a. M.: Lang.
• Beywl, Wolfgang (2006): Demokratie braucht wirkungsorientierte Evaluation. Entwicklungspfade im Kontext der Kinder- und Jugendhilfe. In: Deutsches Jugendinstitut (DJI) (Hg.): Wirkungsevaluation in der Kinder- und Jugendhilfe. Einblicke in die Evaluationspraxis. München: DJI. S. 25-46.
• Beywl, Wolfgang (2008): Evaluation Schritt für Schritt Planung von Evaluationen. Darmstadt: Hiba.
• Beywl, Wolfgang (2010): Modelle der Evaluation personenbezogener/-orientierter Dienstleistungen. In: Beck, Iris /Greving, Heinrich (Hg.): Enzyklopädisches Handbuch der Behindertenpädagogik. Band 6: Gemeindeorientierte Dienstleistungssysteme Stuttgart: Kohlhammer. (im Erscheinen)
• Beywl, Wolfgang/Balzer, Lars (2009): Evaluation in der Weiterbildung. Studienbrief EB 0830 im Fernstudium Erwachsenenbildung. 1. Auflage. Kaiserlsautern: TU Kaiserslautern.
• Beywl, Wolfgang/Kehr, Jochen /Keller-Ebert, Cornelia (2004): Genus-Gebrauch in Evaluationsberichten. Gender Mainstreaming in der sozialwissenschaftlichen Schreibpraxis. In: Sozialwissenschaften und Berufspraxis (SuB), Jg. 27, Nr. 4, S. 451-460.
• Beywl, Wolfgang/Niestroj, Melanie (2009a): Das A-B-C der wirkungsorientierten Evaluation. Glossar - Deutsch Englisch - der wirkungsorientierten Evaluation. 2., vollständig überarbeitete Auflage. Köln: Univation.
• Beywl, Wolfgang/Niestroj, Melanie (2009b): Der Programmbaum – Landmarke wirkungsorientierter Evaluation. In: Beywl, Wolfgang/Niestroj, Melanie (Hg.): Das A-B-C der wirkungsorientierten Evaluation. Glossar - Deutsch Englisch - der wirkungsorientierten Evaluation. Köln: Univation. S. 137-149.
• Beywl, Wolfgang/Univation - Institut für Evaluation Dr. Beywl & Associates (Köln) (2004): Das A-B-C der wirkungsorientierten Evaluation Glossar - Deutsch Englisch - der wirkungsorientierten Evaluation. Köln: Univation.
• Davidson, Jane E. (2005): Evaluation methodology basics. The nuts and bolts of sound evaluation. Thousand Oaks: Sage.
• DeGEval - Gesellschaft für Evaluation (2017): Standards für Evaluation - Erste Revision 2016. Mainz: DeGEval. [8]
• Mathison, Sandra (Hg.) (2005): Encyclopedia of evaluation. Thousand Oaks: Sage.
• Sanders, James R./Joint Committee on Standards for Educational Evaluation (Hg.) (1999): Handbuch der Evaluationsstandards. Die Standards des "Joint Committee on Standards for Educational Evaluation". Opladen: Leske+Budrich.
• Schobert, Berthold/Beywl, Wolfgang/Niestroj, Melanie (2016): "Beitrag zu einer konsistenten Evaluationsterminologie – das Glossar von Univation". In: Giel, Susanne/Klockgether, Katharina/Mäder, Susanne (Hg.): Evaluationspraxis. Professionalisierung - Ansätze - Methoden. Münster: Waxmann, S. 21-30.[9]
• Scriven, Michael (1991): Evaluation thesaurus. 4th edition. Newbury Park: Sage.
• Scriven, Michael (2007): Key Evaluation Checklist KEC. Michigan: Western Michigan University.
• Yarbrough, Donald B./Shula, Lyn M./Hopson, Rodney K./Caruthers, Flora A. (2010): The program evaluation standards : a guide for evaluators and evaluation users. 3rd ed. London: Sage.

Stand

09.12.2022