MetaEvaluation Blog

Würden Sie Ihrer Architektin erklären, wie stark eine tragende Wand sein muss? Ihrem Chirurgen sagen, wo er das Skalpell ansetzt? Ihrer Steuerberaterin die Formulare vorausfüllen? Nein? Und trotzdem nehmen wir es in der Evaluation als gegeben hin, dass wichtige Weichenstellungen eines Evaluationsprojekts oft nicht von jenen Fachkräften vorgenommen werden, die eigentlich dafür qualifiziert sind. Und nennen solche Konstellationen dann immer noch Fremdevaluation. Mit welcher Berechtigung? Vor etwas mehr als 20 Jahren, als ich meine Dissertation zum Thema abgeschlossen hatte, war (...)

Ein Aufruf von Kai Dröge, dem Autor der Transkriptionssoftware noScribe in der Mailingliste QSF-L, den ich hiermit gerne umsetze und weiterverbreite (s.u.), bietet den willkommenen Anlass, etwas zum Thema lokal installierbare KI-Modelle zu schreiben. Lokale KI-Modelle hatte ich schon in meiner im vergangenen Jahr erschienenen Expertise für das PrEval-Projekt zum Thema KI in der Evaluation als Alternative erwähnt (Kap. 6.2.3). Sie könnten uns potenziell von großen Anbietenden wie OpenAI (ChatGPT), Google (Gemini), Microsoft (CoPilot), Mistral (Le Chat) oder Anthropic (Claude) (...)

Wegen meiner Schwäche für alles Französische habe ich vor Kurzem den Film "Birnenkuchen mit Lavendel" ( Le goût des merveilles) gesehen, der nett, aber bis auf eine Tatsache nicht weiter bemerkenswert gewesen war: Mir fiel zum ersten Mal bewusst auf, dass das Wort "Evaluation" in einem Spielfilm verwendet wurde. Zwar handelt es sich in diesem Fall eher um eine schlampige Übersetzung, aber es war das deutsche, latinisiert ausgesprochene " Evaluation", das mich aufhorchen ließ. Offenbar hatte man das Französische évaluation (...)

Meta ist nicht nur ein schöner Vorname, der wie viele andere altmodische Namen zuletzt offenbar wieder Konjunktur bei den Kindernamen hatte. Meta ist auch im nicht weniger schönen Begriff der Metaevaluation enthalten. Gemeint ist mit Metaevaluation die Evaluation von Evaluationen. Als Begriff 1967 1969 1 von Michael Scriven in die Welt gesetzt, enthält er den Gedanken, dass auch Evaluationen mehr oder weniger gut sein können und dass sich das, eben mit einer Metaevaluation, auch systematisch prüfen lässt. Als mit dem (...)