Erfüllungsgehilfen ihrer Auftraggeber

Dass das Jahr 2015 auch das Internationale Jahr der Evaluation war, dürfte nur wenigen aufgefallen sein. Was aber sind Evaluationen? Es sind wissenschaftliche Bewertungen organisatorischer oder politischer Sachverhalte. Durchgeführt werden Evaluationen entweder von Evaluierenden innerhalb der Organisation, deren Tätigkeit es zu bewerten gilt, oder von externen Evaluierenden. Politikevaluationen sind meist mehr als nur wissenschaftliche Auftragsforschung, sie sind häufig von grosser politischer Relevanz. Wenn eine Politik scheitert, ist die Frage nach den Schuldigen nicht nur für die betroffenen Verwaltungsstellen zentral, sondern ebenso für die politischen Entscheidungsträger: Wenn der politische Entscheid falsch war, nützt der beste Vollzug nichts - die Politik wird versagen.

Stefan Wolter: «Wer den Unterricht einer zweiten Fremdsprache aus der Primarschule verbannen will, kann dies mit Sicherheit nicht mit wissenschaftlicher Forschung begründen.» Bild: Migrosmagazin

Evaluierende in der Zwickmühle, NZZ, 9.1. von Lyn Pfleger und Fritz Sager

Dieses Spannungsfeld ist ein Problem für Evaluierende. Es birgt das Risiko, dass politische Akteure eine Evaluation zu instrumentalisieren versuchen. Die unabhängige Bewertung eines Sachverhalts kann dazu führen, dass die Befunde den Interessen der betroffenen Akteure zuwiderlaufen. Um das zu verhindern, können die Auftraggeber von Evaluationen versuchen, in den Evaluationsprozess einzugreifen und den Evaluierenden und seine Ergebnisse zu beeinflussen. Das steht offenkundig im Widerspruch zum Anliegen der Evaluation: die Bereitstellung einer unabhängigen Bewertung, auf deren Basis politische Entscheidungen getroffen werden können.

Wie schnell es passieren kann, dass Politiker diese Grenze überschreiten, wurde vor einigen Jahren in Deutschland deutlich. Die ehemalige Familienministerin Kristina Schröder hatte Ergebnisse einer 13 Millionen Euro teuren Evaluation der deutschen Familienpolitik derart verkürzt und zu ihren Gunsten interpretiert, dass die an der Evaluation beteiligten Wissenschafter Schröders Schlussfolgerungen öffentlich widersprachen.

In diesem Fall waren es also die Evaluierenden selber, die sich gegen den Versuch der falschen Ergebnisinterpretation zur Wehr setzten. Was passiert aber, wenn Evaluierende den Beeinflussungsversuchen von Auftraggebern nachgeben? Wie stark verankert ist das berufliche Ethos von Evaluierenden in der Schweiz? Wie steht es hierzulande um deren Unabhängigkeit?

Diesen Fragen wurde jüngst in einer Studie der Universität Bern nachgegangen. Befragt wurden Mitglieder der Schweizerischen Evaluationsgesellschaft (Seval). Die Ergebnisse bestätigen, dass Auftraggeber durchaus versuchen, in den vermeintlich unabhängigen Evaluationsprozess einzugreifen. So sah sich die Hälfte der Befragten schon mindestens einmal mit der versuchten Einflussnahme durch den Auftraggeber konfrontiert - bei 90 Prozent von ihnen blieb es zudem nicht beim Einzelfall.

Das Spektrum der Beeinflussungen reicht vom Wunsch der Auftraggeber, Ergebnisse positiver darzustellen, bis hin zur Aufforderung zu inhaltlichen Verzerrungen. Die Ergebnisse zeigen, dass Schweizer Evaluierende zwar die Einhaltung der Berufsstandards hochhalten, gleichzeitig aber doch auch sehr bemüht sind, den Wünschen des Auftraggebers gerecht zu werden.

Das Dilemma lässt sich nur lösen, wenn der Auftraggeber die Unabhängigkeit der Evaluation nicht gefährdet. Im Fall einer bewussten Einflussnahme befindet sich der Evaluierende indes in einer sehr misslichen Lage.

Es überrascht denn auch nicht, dass nur rund jeder zehnte Evaluierende angab, auf die Beeinflussungsversuche hin keinerlei Änderungen am eigenen Bericht vorgenommen zu haben. Das heisst, rund 90 Prozent aller Evaluierenden reagierten auf die Beeinflussungsversuche durch den Auftraggeber, wenngleich ein Grossteil angab, die vorgenommenen Änderungen entsprächen einem Kompromiss und hätten zu keiner falschen oder ungenauen Darstellung der Ergebnisse geführt.

Dieses Verhalten widerspricht dem Selbstbild der Schweizer Evaluierenden, wonach ein guter Evaluierender primär festgelegten Evaluationsstandards verpflichtet ist und immer nur die von ihm tatsächlich ermittelten Ergebnisse präsentiert - ohne etwas abzuschwächen oder aufzuwerten.

Insgesamt macht die Studie deutlich, dass in der Schweiz Handlungsbedarf besteht. Hierfür bieten die Evaluierenden selber verschiedene Möglichkeiten an. Diese reichen von Vorschlägen einer besseren Ausbildung aufseiten der Auftraggeber bis hin zur Einführung obligatorischer Evaluationsprotokolle, die den Evaluationsprozess stark formalisieren.

Es liegt im Interesse des gesamten politischen Entscheidungsprozesses, dass die Unabhängigkeit von Evaluationen abgesichert wird. Die Verpflichtung von Auftragnehmern und Auftraggebern auf entsprechende Standards kann hierzu einen wesentlichen Beitrag leisten.