Kanäle
Jetzt personalisiertes
Audiomagazin abonnieren
Log-in registrieren
forum verwendet Cookies und andere Analysewerkzeuge um den Dienst bereitzustellen und um dein Website-Erlebnis zu verbessern.

handverlesenswert

Kluge Köpfe filtern für dich relevante Beiträge aus dem Netz.
Entdecke handverlesene Artikel, Videos und Audios zu deinen Themen.

Du befindest dich im Kanal:

Technologie und Gesellschaft

AI-Systeme als JPGs

René Walter
Grafik-Designer, Blogger, Memetiker | goodinternet.substack.com

Irgendwas mit Medien seit 1996, Typograph, Grafiker, Blogger. Ask me anything.

Zum picker-Profil
René WalterFreitag, 10.02.2023

Spätestens mit ChatGPT sind "künstliche Intelligenz" und Large Language Models im Mainstream angekommen. Microsoft und Google haben in den vergangenen Tagen ein von der New York Times sogenanntes "A.I. arms race" losgetreten, in dem praktisch alle Kernprodukte der Konzerne mit AI-Features angereichert werden, von Office bis Search. Natürlich halluzinierte Googles AI-Chatbot "Bard" ausgerechnet in einer Werbekampagne für diese Integration, was den Aktienkurs prompt (sic!) einbrechen lies.

Der bekannte Science-Fiction-Autor Ted Chiang, der mit "The Story of your life" die Vorlage zu Denis Villeneuves exzellentem Film "Arrival" lieferte, vergleicht im New Yorker-Magazin den Latent Space dieser AI-Systeme mit verlustreicher Datenkompression, die ähnlich wie bei einem JPG Artefakte aufweisen und nur eine ungefähre Näherung liefern. Mit diesem Vergleich ist er nicht allein: Emad Mostaque, Gründer von Stability.ai (Stable Diffusion), sprach nach dem Start des wegweisenden Open Source-Models davon, dass sein Team "100.000 Gigabyte von Wissen in 2 Gigabyte komprimiert" habe (ein Fakt, der wohl auch bald die Gerichte beschäftigen wird).

Diese Lesart ähnelt Alison Gropniks Interpretation dieser neuen Generativen AI-Modelle als bibliotheksartige kulturelle Technologien, die Zugang zu Wissen bereitstellen und dieses vervielfältigen. Auch dieser Vergleich ist naheliegend, und ich würde die von Algorithmen berechneten Latent Spaces davon ausgehend als stochastische Bibliotheken bezeichnen, wie eine Bücherei, in der man einem Roboter-Bibliothekar beschreibt, welches Buch man haben möchte und der dann ein ungefähr passendes heraussucht: "AI ist wie eine Schachtel Pralinen, man weiß nie, was man kriegt – aber immer bekommt man Schokolade."

Diese stochastischen Bibliotheken sind interpolationsfähige Datenbanken ihrer Trainingsdaten: Eine AI lernt durch Mustererkennung verschiedene Charakteristika ihres Inputs und speichert diese als sogenannte Weights, die man als Parameter über Prompt Engineering ansteuern kann. Eine AI, die auf Bilder von Katzen und Häusern trainiert wurde, kann ich nun über die Parameter "Katzen-artig" und "Haus-artig" eine Interpolation erzeugen, die eine Katze in einem Haus zeigt. Die Speicherung der "Katzen-artigkeit" als Weights in einer Datenbank entspricht einer Datenkompression, und die Interpolation zwischen diesen komprimierten Datenpunkten erzeugt die bekannten Halluzinationen, die in Office-Produkten oder einer Suchmaschine unerwünscht und in anderen Sektoren potenziell gefährlich sind, die allerdings grade aus diesen Gründen in der Bildsynthese oder Creative Writing für zumindest kurzweilige Unterhaltung, oft aber auch zu überraschenden und ungesehenen Ästhetiken führen, weshalb AI als "art of the archive" wohl einen der spannendsten kreativen Schauplätze unserer Zeit ausmacht.

Ausgehend von seinem Vergleich von AI-Systemen, Datenkompression, den "Halluzinationen" und JPG-Artefakten evaluiert Ted Chiang in seinem Artikel schließlich, welchen Nutzen eine solche stochastische Bibliothek voll komprimierter Sprach/Bild-Relationen in der kreativen Anwendung wirklich haben könnten, und seine Antwort ist: Keinen. 

Ich würde dem teilweise widersprechen wollen und sagen, dass diese stochastischen Bibliotheken durchaus ein veritables Werkzeug für Künstler und Autoren darstellt, die ihr Handwerk bereits verstehen und die stochastische, "halluzinierende" Natur dieser Systeme als ästhetisches Element bewusst in ihrer Arbeit nutzen können. Ich würde allerdings auch sagen, dass diese interessantere AI-Kunst immer experimentellen Charakter aufweist und die interpolative Stochastik von AI-Systemen in Business-Anwendungen noch lange für ausreichend Witz-Material mit Papageien und betrunkenen Clippys sorgen wird.

AI-Systeme als JPGs

Möchtest du kommentieren? Dann werde jetzt kostenlos Mitglied!

Kommentare 6
  1. Christoph Weigel
    Christoph Weigel · vor einem Jahr

    danke für's piqn, rené. das ist der informativste artikel, den ich in dem ganzen hype um LLMs bisher gelesen habe. der hintergrund der jpeg analogie ist sauber dargelegt!

  2. Thomas Wahl
    Thomas Wahl · vor einem Jahr

    Ist der menschliche Zugang zu so komplexen Wissen nicht noch viel stochastischer? Also ist nicht AI viel effektiver und zielführender? Letztendlich gibt es ja immer nur Annäherungen an die unendliche Wirklichkeit.

    1. René Walter
      René Walter · vor einem Jahr

      Zumindest derzeitige AI-Systeme haben ja praktisch gar keine Annäherung an die Wirklichkeit, sondern nur statistische Modelle über Wort-Relationen - also zum Beispiel dass das Wort 'Wort' hier nahe bei dem Wort 'Relationen' steht -, und dieses 'Wissen' steht in keinerlei Relation zu multimodalen Erfahrungen aller Art. Grade das Verhältnis zur Wirk-lichkeit, also den wirkenden Dingen und den Regeln dieses Wirkens, ist ja gar nicht vorhanden.

      Unsere Annäherung an die letzten Endes nicht erfahrbare Basis-Realität im Simulations-Sinne von Donald Hoffman ist auch nicht wirklich zufällig, sondern eben eine Annäherung auf Basis von Erfahrungswerten und Wahrscheinlichkeiten, wie Du schon sagst, aber diese Annäherung erfolgt auf einer sehr viel breiteren Datenbasis und einer sehr viel komplexeren Architektur des kognitiven Apparats.

      Das schließt natürlich nicht aus, dass diese Systeme im Laufe der Zeit aufholen und uns möglicherweise kognitiv übertreffen werden.

    2. Thomas Wahl
      Thomas Wahl · vor einem Jahr · bearbeitet vor einem Jahr

      @René Walter Unsere multimodalen Erfahrungen beziehen sich ja vor allem auf unsere Lebenswelten. Und vieles ist wahrscheinlich genau so ähnlich „trainiert“ wie bei KI. Gerade was abstraktere Begriffe und Regeln betrifft. Unser kognitiver Apparat mag komplexer sein (eine Komplexität, die wir noch nicht wirklich verstehen). Aber macht das die Ergebnisse besser? Im Alltag, wo wir unmittelbar mit der Umwelt agieren, sicher. Aber sonst, wenn ich die Lernfähigkeit von Gruppen und Gesellschaften bei komplizierteren Prozessen und Diskursen sehe? Vielleicht überhöhen wir uns und unseren Apparat da?

    3. René Walter
      René Walter · vor einem Jahr

      @Thomas Wahl Die Intelligenz von Gruppen und Organisationen ist ja noch einmal etwas völlig anderes und ich denke da derzeit in eine analoge Richtung über 'organisationale Künstliche Intelligenz' nach.

      Und ja, der kognitive Apparat des Individuums funktioniert ebenfalls 'chaotisch' und spuckt sehr oft nur Gibberish und komische Fehler aus, die wir dann lieber für uns behalten und nicht laut aussprechen. Das ist ja für mich eins der faszinierendsten Dinge in diesen AI-Systemen: Es ist, als ob man einem sich entwickelnden Neuronalen System beim Denken zusieht.

      Aber menschliche Kognition verfügt eben aufgrund der sehr viel komplexeren, multimodalen Daten über sehr viel bessere Filter, und aufgrund sozialer Denkmodelle wie 'shared intentionality' über eine sehr viel breitere, flexiblere Lernfähigkeit, so dass man künstliche Kognition und biologische noch nicht wirklich vergleichen kann.

    4. Thomas Wahl
      Thomas Wahl · vor einem Jahr

      @René Walter Ja, es ist und bleibt spannend …..

Bleib immer informiert! Hier gibt's den Kanal Technologie und Gesellschaft als Newsletter.

Abonnieren

Deine Hörempfehlungen
direkt aufs Handy!

Einfach die Hörempfehlungen unserer KuratorInnen als Feed in deinem Podcatcher abonnieren. Fertig ist das Ohrenglück!

Öffne deinen Podcast Feed in AntennaPod:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Apple Podcasts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Downcast:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Instacast:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Apple Podcasts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Podgrasp:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Bitte kopiere die URL und füge sie in deine
Podcast- oder RSS-APP ein.

Wenn du fertig bist,
kannst du das Fenster schließen.

Link wurde in die Zwischenablage kopiert.

Öffne deinen Podcast Feed in gpodder.net:

Wenn alles geklappt hat,
kannst du das Fenster schließen.

Öffne deinen Podcast Feed in Pocket Casts:

Wenn alles geklappt hat,
kannst du das Fenster schließen.