Würden Sie Ihrer Architektin erklären, wie stark eine tragende Wand sein muss? Ihrem Chirurgen sagen, wo er das Skalpell ansetzt? Ihrer Steuerberaterin die Formulare vorausfüllen? Nein?
Und trotzdem nehmen wir es in der Evaluation als gegeben hin, dass wichtige Weichenstellungen eines Evaluationsprojekts oft nicht von jenen Fachkräften vorgenommen werden, die eigentlich dafür qualifiziert sind. Und nennen solche Konstellationen dann immer noch Fremdevaluation. Mit welcher Berechtigung?
Vor etwas mehr als 20 Jahren, als ich meine Dissertation zum Thema abgeschlossen hatte, war Selbstevaluation ein relativ neuer und v.a. in der Praxis seltener Ansatz. „Neu“ war Selbstevaluation v.a. gegenüber ihrem natürlichen Gegenpol, der klassischen Konstellation der Fremdevaluation: Bei ihr wird „von außen“, aus sicherer Distanz, die Objektivität gewährleisten soll, ein Gegenstand evaluiert, der dabei eine relativ passive Rolle als Untersuchungsgegenstand einnimmt.
Selbstevaluation war also der „Exot“ in der Debatte und Fremdevaluation der Normalfall, vielleicht auch daran zu erkennen, dass in der DeGEval nach langen Diskussionen keine eigenen Standards der Selbstevaluation verabschiedet wurden, sondern „nur“ Hinweise zur Anwendung der „normalen“ Standards im Feld der Selbstevaluation.
Aus heutiger Perspektive frage ich mich allerdings, ob es nicht eher umgekehrt ist: Wie oft gibt es eigentlich echte Fremdevaluationen? Wichtig vorab: Mir geht es dabei nicht um den Unterschied zwischen interner und externer Evaluation, der die Frage betrifft, wo die operative Evaluationstätigkeit angesiedelt ist. Stammen die Evaluierenden von außerhalb der Institution, die den Evaluationsgegenstand verantwortet, ist es eine externe Evaluation. Gibt es dafür aber Abteilungen oder Personal innerhalb der Organisation wie z.B. die Evaluationsstelle einer Hochschule, die Evaluationsabteilung einer Stiftung oder die zuständige Verwaltungsstelle einer Administration, handelt es sich um interne Evaluation. Wie so oft gibt es Mischformen, wenn etwa die interne Evaluationsabteilung externe Evaluierende beauftragt.
Die Unterscheidung Selbst/Fremd betrifft dagegen die Frage der „Ownership“. Wer hat also den „Hut“ auf bei den wichtigen Weichenstellungen der Evaluation? Wer entscheidet z.B. über Evaluationszwecke, Bewertungskriterien und Fragestellungen, über die Methodenwahl und Stichprobenauswahl bis hin zu Ergebnisinterpretation und letztendlicher Bewertung? Sind das diejenigen, die auch den evaluierten Gegenstand verantworten wie z.B. Fachpersonal oder Projektmitarbeitende, die ihre eigene Praxis evaluieren, dann ist es eine Selbstevaluation, im anderen Fall eine Fremdevaluation. Entscheidend ist hier also weniger die Frage, wer konkret was tut, sondern die Frage der Entscheidungshoheit. Denn auch Selbstevaluierende können z.B. Schritte wie die Datenerhebung „outsourcen“, solange sie dabei selbst „am Steuer“ bleiben.
Wenn nun aber wichtige Entscheidungen aus den Händen der Evaluation genommen werden, kann man dann noch berechtigt von einer externen Fremdevaluation sprechen? Wenn etwa in einer Ausschreibung eine qualitative Methodik vorgegeben wird? Wenn nur vorausgewählte Teile einer Programmdokumentation zur Verfügung gestellt werden? Wenn ein bestimmter Evaluationsansatz, sei es partizipativ, programmtheoriebasiert oder experimentell, verlangt wird? In diesen und ähnlichen Fällen wandert ein Teil der Ownership zu den Auftraggebenden. Ergo: Sie werden damit oft unbemerkt zu Mit-Evaluierenden.
Man bemerke, es geht hier nicht um den viel offensichtlicheren Fall der Einflussnahme, dass etwa die Berichterstattung verändert oder in der Schublade verschwinden soll. Der Einfluss ist hier subtiler, weil er schon vor der Auswahl der Evaluierenden per Selbstselektion erfolgt: Wer nicht bereit ist, sich solchen vorgegebenen Einschränkungen zu beugen, und sich das leisten kann, wird den Auftrag nicht übernehmen.
Ich bin offen gesagt nicht sicher, ob ich mir den gleichen Grad von Autonomie, wie ihn die eingangs genannten Professionen wie Chirurgie, Architektur oder Steuerberatung erlangt haben, für die Evaluation wünsche. Zumindest ist ja das Aushandeln von Entscheidungen ein wichtiges Prinzip der Partizipation von Beteiligten und Betroffenen. Und solange das Feld nicht mehr Autonomie hat, gilt immer noch „Wer zahlt, schafft an“. Aber wofür braucht es die Professionalität der Evaluation, wenn sie nicht selbst darüber entscheiden soll, was in einem gegebenen Evaluationskontext bei gegebenen Informationsbedarfen der angemessene methodische Ansatz oder die relevanten Datenquellen sind?
Und selbst wenn man dies alles für nicht besonders dramatisch hält: Ist es nicht dennoch ein Problem, wenn eine solche Evaluation dann als angeblich neutral und unabhängig, weil ja extern beauftragt, dargestellt wird?
Ich denke wir sollten den Kern unserer Profession so gut es geht schützen. Er besteht m.E. genau darin:
Zu wissen, wie Evaluationsbedarfe am besten und unter Einhaltung fachlicher Standards zu erfüllen sind. Auch wenn das manchmal bedeutet, dass wir Auftraggebenden verbitten müssen, uns zu sagen, wo das Skalpell anzusetzen ist oder wie dick eine tragende Wand sein soll.