Ein Aufruf von Kai Dröge, dem Autor der Transkriptionssoftware noScribe in der Mailingliste QSF-L, den ich hiermit gerne umsetze und weiterverbreite (s.u.), bietet den willkommenen Anlass, etwas zum Thema lokal installierbare KI-Modelle zu schreiben.
Lokale KI-Modelle hatte ich schon in meiner im vergangenen Jahr erschienenen Expertise für das PrEval-Projekt zum Thema KI in der Evaluation als Alternative erwähnt (Kap. 6.2.3). Sie könnten uns potenziell von großen Anbietenden wie OpenAI (ChatGPT), Google (Gemini), Microsoft (CoPilot), Mistral (Le Chat) oder Anthropic (Claude) unabhängig machen und damit mindestens zwei Probleme lösen:
Weil bei lokalen Modellen sämtliche Ein- und Ausgaben nicht den eigenen Rechner verlassen, erübrigen sich alle Fragen des Datenschutzes, soweit sie die Verarbeitung durch externe Dienste betreffen.
Ein zweiter Vorteil ist, dass uns lokale Modelle größere Kontrolle und Einflussnahme auf Arbeitsweise und Verhalten des Systems ermöglichen. So können unter anderem Modellversion, System Prompt (die konkreten Verhaltensregeln für das Modell) und Modellparameter wie z.B. die Rolle des Zufalls genau gesteuert werden. In der Summe ermöglicht das die Reproduzierbarkeit und Replizierbarkeit von Ergebnissen. Das von den KI-Chatbots bekannte Problem, dass trotz identischer Eingaben jedes Mal andere Ergebnisse herauskommen und damit deren Zustandekommen nicht nachvollzogen werden kann, lässt sich so prinzipiell lösen.
Die Installation lokaler KI-Chatbots ist inzwischen zum Kinderspiel geworden. Dafür steht ein ganzes Bündel von kostenlosen Open Source Applikationen bereit, die nicht schwerer zu installieren sind als jedes andere heruntergeladene Programm. Deren Oberfläche erlaubt dann die bequeme Auswahl unter einer großen Anzahl frei verfügbarer konkreter Sprachmodelle (LLMs), die mit Dateigrößen von 2GB aufwärts nachinstalliert werden müssen, bevor man eine Oberfläche nutzen kann, die sich vom look and feel der herkömmlichen Chatbots kaum unterscheidet.
Am bekanntesten waren lange gpt4all und localAI, zuletzt ist ein Projekt mit dem für mich etwas irritierenden Namen Jan populär geworden ("Hallo, ich bin Jan, wie kann ich dir helfen?" 🙂). Da alle Produkte auf die gleichen freien LLMs zurückgreifen, ist die Auswahl letzten Endes Geschmackssache. Lassen Sie sich einfach vom aktuellen Chatbot ihrer Wahl bei Auswahl und Installation beraten, falls Sie es selbst probieren wollen.
Vorher müssen wir aber zu den Problemen dieser Alternative kommen und warum ich sie bisher nur als potenzielle Alternative bezeichne: Die Ressourcenanforderungen sind nicht gering, am besten ist eine aktuelle Graphikkarte, wie Sie Ihre Kinder vielleicht zum Zocken verwenden, und selbst dann ist die Antwortgeschwindigkeit nicht die der serverbasierten Lösungen. Speicherplatz wird ebenfalls nicht zu knapp gebraucht, sonst verweigert das Modell schnell den Dienst oder generiert nur noch Kauderwelsch.
Noch gravierender sind allerdings die Fähigkeiten der verfügbaren freien Modelle. Es gibt hier keine, die an die Leistungsfähigkeit der kommerziellen Konkurrenz herankommen würden. Für mich fühlt es sich wie 2023 an, als wir mit ChatGPT v3.5 das erste Mal Bekanntschaft mit KI-Chatbots machten: durchaus beeindruckend und zu gebrauchen, im Vergleich ist man aber inzwischen mehr gewohnt.
Allerdings muss man auch sagen, dass so viele verschiedene Modelle verfügbar sind, oft spezialisiert auf bestimmte Anwendungen, dass dieses Bild je nach Anwendungssituation auch positiver ausfallen kann. Es wird also derzeit nicht um einen 1:1 Ersatz gehen, was nicht ausschließt, dass sinnvolle Anwendungen geben kann, v.a. wenn der Datenschutz besonders wichtig ist.1
Einen Zwischenweg bieten übrigens inzwischen viele Institutionen mit Rechenzentren oder größeren IT-Abteilungen, die einerseits Rahmenverträge mit großen Anbietenden haben, andererseits die genannten lokalen Modelle in ihrem Netzwerk für Organisationsangehörige bereit stellen, was zumindest die Limitierungen durch den eigenen Rechner löst.
Das Zwischenfazit ist also leider ernüchternd: Auch wenn verschiedene Gründe den Einsatz lokaler KI-Modelle wünschenswert erscheinen lassen, ist nach meinen Erfahrungen zumindest bei den KI-Chatbots bisher noch kein leistungsmäßig adäquater Ersatz in Sicht.
Womit ich auf das eingangs erwähnte noScribe zurückkomme. Es ist ebenfalls KI-basiert, nutzt aber kein allgemeines Sprachmodell, sondern ist auf die Transkription natürlicher gesprochener Sprache spezialisiert. Die kann zwar auch von Google und Co. erledigt werden, aber nur cloudbasiert, also auf externen Servern. noScribe läuft wie die oben besprochenen Anwendungen komplett lokal und produziert nach meinen Erfahrungen, zumindest solange Stimmen sich nicht überlagern, hervorragende Ergebnisse in verschiedenen Sprachen und kann selbst unterschiedliche Personen relativ gut auseinanderhalten.
Auch hier sind die Ressourcenanforderungen nicht gering und man muss längere Transkription auch einmal oft über Nacht laufen lassen, tatsächlich handelt es sich aber um ein Produkt, das für den Alltagseinsatz in der Evaluation ohne Fragen tauglich ist und auch schon umfassend in Forschungs- und journalistischen Kontexten genutzt wird. Es handelt sich um reine Freiwilligenarbeit, daher unterstütze ich den unten angehängten Aufruf von Kai Dröge besonders gerne.
Autor: Kai Dröge
Betreff: noScribe - Warnung und Bitte um Unterstützung
Liste: QSF_L
Datum: 06.02.2026
Message-ID: 068201dc977a58f5cba0$0ae162e0@em.uni-frankfurt.de
Liebe Quali-Community,
einige haben es vielleicht schon mitbekommen: Jemand versucht die Reputation meiner freien Transkriptionssoftware noScribe zu nutzen, um unter ‚noscribe(.)ai‘ kostenpflichtige und wenig datenschutzfreundliche Transkriptionsdienste zu vermarkten. Ich versuche seit Tagen, dagegen anzugehen. Da die Spuren nach Reykjavik, in die USA und letztlich nach Indien führen, ist das leider nicht so einfach.
Ein gutes Ergebnis aber hat die Sache immerhin: Das echte noScribe hat seit heute endlich eine eigene offizielle Website mit einer umfassenden deutschen Dokumentation: https://noscribe.de
Ich hoffe, damit den Spitzenplatz bei Google und anderen Suchmaschinen zurückzugewinnen. Dabei könnte ich Unterstützung gebrauchen. Aufmerksamkeit ist die Währung der Digitalökonomie. D.h., umso mehr Links von seriösen Seiten auf https://noscribe.de verweisen, umso besser für das Google-Ranking. Deshalb wäre es toll, wenn möglichst viele der guten Anleitungen im Netz, die aktuell auf mein GitHub-Seite verlinken, diese Verweise auf https://noscribe.de ändern könnten. Dies ist zukünftig der zentrale Ort für Informationen über noScribe, nicht mehr GitHub.
In einem zweiten Schritt würde ich gerne die Dokumentation auch in anderen Sprachen anbieten, konkret Englisch, Französisch, Spanisch, Italienisch und Niederländisch. Englisch kann ich selbst, aber bei den anderen Sprachen wäre Unterstützung sehr willkommen! Ich bin auch für weitere Sprachvorschläge offen. Wer helfen kann und mag, kann sich gerne melden: k.droege@em.uni-frankfurt.de
Schöne Grüße in die Runde und vielen Dank,
Kai Dröge
Institut für Sozialforschung
Frankfurt am Main
Dr. Kai Dröge
Permanent Fellow
E-Mail: k.droege@em.uni-frankfurt.de
https://www.ifs.uni-frankfurt.de/personendetails/kai-droege.html
_______________________________________________
QSF_L mailing list QSF_L@lists.fu-berlin.de https://lists.fu-berlin.de/listinfo/qsf_l
1In einer ersten Version nannte ich hier ein hypothetisches Beispiel mit lokaler Pseudonymisierung und Weiterverarbeitung durch Dritte. Ich danke Thorsten Dresing für den Hinweis, dass auch pseudonymisierte und selbst anonymiserte Daten nicht alle Datenschutzfragen lösen, das Beispiel trotz Konjunktiv also missverständlich sein könnte.