KI auf dem eigenen Computer laufen lassen – unabhängig werden von KI-Diensten

Wie im Blogbeitrag über das didaktische Dreieck angekündigt erzähle ich hier, wie die sogenannte künstliche Intelligenz ganz auf den eigenen Computer kommt. Keine Notwendigkeit mehr Daten hochzuladen, Services via Internet zu benutzen, keine Notwendigkeit, Geld zu zahlen und doch: in voller Unabhängigkeit sogenannte künstliche Intelligenz lokal auf dem eigenen Rechner nutzen können.

Ein Kollege hatte mir davon erzählt, dass das geht, und nun habe ich es gut geschafft. Die künstliche Intelligenz »Whisper«, Flüsterintelligenz ermöglicht es, von einem Audiofile zu transkribieren in geschriebenem Text. Eine Technologie, die ich gerne nutze, um eigene Notizen als Audios aufnehmen zu können und dann in aller Ruhe transkribieren zu lassen und weiter zu verwenden. Whisper habe ich also lokal installiert und: läuft perfekt. Links mit Anleitung folgen am Schluss.

Dabei ist etwas Interessantes passiert, als meine Frau diese KI auch angefangen hat zu nutzen, um Protokolle ihrer Beratungen festzuhalten: Es gab es eine sogenannte »Halluzinationen«, die immer wieder aufgetreten sind. Ganz am Ende der Aufnahme stand im transkribierten Text einfach so: »Danke fürs Zuschauen« oder etwas Ähnliches in der Art. Das war eine sehr interessante Erfahrung, die auch darauf hinweist, dass diese KI nicht einfach Silbe für Silbe von Audio übersetzt in Text, sondern gewissermaßen in Analogien »denkt« zu all dem Material, mit dem diese KI trainiert wurde. Offenbar gab es in diesem Material immer wieder Aufnahmen, die mit so etwas Ähnlichem geendet haben. Es könnte also ein Hinweis darauf sein, dass diese KI oft trainiert wurde mit Fernsehsendungen, Videoaufnahmen und Filmen. Denn zu diesen besteht natürlich oft eine Transkription, weil Untertitel vorhanden sind. Von daher also dieses »Danke fürs Zuschauen«, frei erfunden von der sogenannten KI.

Ich habe eine Weile geforscht und ausprobiert. Schliesslich sind diese Halluzinationen (es gab auch noch zwei, drei andere Arten von Halluzinationen) allesamt weggegangen, nachdem ich den Schalter »Condition on Previous Text« auf »aus« geschaltet habe. Dabei habe ich auch sonst viel Interessantes gelernt.

Diese KI läuft also nun auf dem eigenen Rechner, schafft Unabhängigkeit, Datensicherheit und spart Geld. Es ist erfreulich, wenn immer mehr Menschen KI in einer solchen Selbstständigkeit nutzen, denn verschiedene dieser KIs sind jetzt »open source«, somit auch erhältlich zum Download und zur Installation auf dem eigenen Rechner. Das gilt auch für Mistral, eine sehr schöne KI aus Frankreich und wird auch gelten für die KI aus der Schweiz, die in den nächsten Monaten online und zum freien Download zur Verfügung stehen wird.

Die Politik der Vereinigten Staaten ist ja durchaus auch eine Einladung, an Unabhängigkeit gegenüber den USA zu gewinnen. Vielleicht sowieso und generell eine gute Idee, eine gewisse Autarkie in wichtigen Bereichen zu erlangen. Das kann gestärkt werden, indem immer mehr Menschen freie Software auch selbst benutzen.

Natürlich macht die Künstliche Intelligenz auf dem eigenen Rechner noch etwas mehr Spaß, wenn sie noch schneller läuft. Das kann man erreichen, indem man die entsprechende Umgebung für diese sogenannte Künstliche Intelligenz auf dem eigenen Rechner stärker macht, durch die Nutzung einer geeigneten Grafikkarte. Dazu mehr dann in einem nächsten Beitrag.

Links

Auch dieser Blogbeitrag wurde zuerst ganz einfach auf Audio aufgesprochen – hier der Blogbeitrag im Originalton: