MetaEvaluation Blog

REM ist die Abkürzung für rapid eye movement, das sind die unbewussten flatternden Augenbewegungen, die während bestimmter Schlafphasen auftreten. Nach ihnen benannte sich eine „alternative“, aber trotzdem kommerziell äußerst erfolgreiche Band der 1990er Jahre. Der größte Hit von R.E.M. war „Losing my religion“, ein Titel, der nicht religiös zu verstehen ist, sondern das frustrierte Gefühl ausdrückt, die Geduld zu verlieren. Deswegen waren „I’m losing my religion“ und „ich bekomme Augenflattern“ Assoziationen, die sich mir aufdrängten, als ich vor einer Weile (...)

Evaluation bedeutet systematisches Bewerten. Trotzdem fällen viele Evaluationen kein explizites Werturteil wie „gut“, „nicht erfolgreich“ oder „verbesserungswürdig“. Oder sie enthalten solche Aussagen, lassen aber im Unklaren, wie genau sie zu ihnen kommen. Beispiele finden sich in den unterschiedlichsten Evaluationskontexten. So lassen etwa viele Lehrevaluationen die Lehrenden mit der Frage, ob ein rückgemeldeter Mittelwert nun „gut“ oder „ausreichend“ ist, allein. In anderen Fällen spricht die Berichterstattung zwar wertende Urteile aus, es wird aber nicht klar, wie es von den qualitativen oder (...)

Würden Sie Ihrer Architektin erklären, wie stark eine tragende Wand sein muss? Ihrem Chirurgen sagen, wo er das Skalpell ansetzt? Ihrer Steuerberaterin die Formulare vorausfüllen? Nein? Und trotzdem nehmen wir es in der Evaluation als gegeben hin, dass wichtige Weichenstellungen eines Evaluationsprojekts oft nicht von jenen Fachkräften vorgenommen werden, die eigentlich dafür qualifiziert sind. Und nennen solche Konstellationen dann immer noch Fremdevaluation. Mit welcher Berechtigung? Vor etwas mehr als 20 Jahren, als ich meine Dissertation zum Thema abgeschlossen hatte, war (...)

Ein Aufruf von Kai Dröge, dem Autor der Transkriptionssoftware noScribe in der Mailingliste QSF-L, den ich hiermit gerne umsetze und weiterverbreite (s.u.), bietet den willkommenen Anlass, etwas zum Thema lokal installierbare KI-Modelle zu schreiben. Lokale KI-Modelle hatte ich schon in meiner im vergangenen Jahr erschienenen Expertise für das PrEval-Projekt zum Thema KI in der Evaluation als Alternative erwähnt (Kap. 6.2.3). Sie könnten uns potenziell von großen Anbietenden wie OpenAI (ChatGPT), Google (Gemini), Microsoft (CoPilot), Mistral (Le Chat) oder Anthropic (Claude) (...)

Wegen meiner Schwäche für alles Französische habe ich vor Kurzem den Film "Birnenkuchen mit Lavendel" ( Le goût des merveilles) gesehen, der nett, aber bis auf eine Tatsache nicht weiter bemerkenswert gewesen war: Mir fiel zum ersten Mal bewusst auf, dass das Wort "Evaluation" in einem Spielfilm verwendet wurde. Zwar handelt es sich in diesem Fall eher um eine schlampige Übersetzung, aber es war das deutsche, latinisiert ausgesprochene " Evaluation", das mich aufhorchen ließ. Offenbar hatte man das Französische évaluation (...)