Kollabierende methodische Modelle
Wenige Innovationen der letzten Jahrzehnte dürften so mit Hoffnungen und Erwartungen überladen sein wie die generative künstliche Intelligenz (in Form von Programmen wie Chat GTP, Gemini, o.Ä.). Um so ironischer dürfte es sein, dass wir durch sie etwas lernen können, was so niemand erwartet haben dürfte: wir können anhand der Evolution dieser Technologie erkennen, warum methodische Vorgehensweisen dem starken Risiko ausgesetzt sind, mit der Zeit unbrauchbar zu werden. Aber der Reihe nach.
Im Frühling 2023 veröffentlichten britische und kanadische Forscher die Studie The Curse of Recursion: Training on Generated Data Makes Models Forget. In ihr belegten sie folgendes Phänomen: wenn eine künstliche Intelligenz (KI) nur zu Beginn auf Basis bestehender Datensätze trainiert wird, dann aber ihre auf dieser Basis generierten Ergebnisse wiederum zu dem Trainingsmaterial hinzugefügt werden, dann wird die Qualität der Ergebnisse mit zunehmender Zeit immer schlechter.
Der Grund dafür ist Folgender: die Generierung erfolgt (stark vereinfacht) durch die Ermittlung der Durchschnittswerte aus bestimmten thematisch zusammengehörigen Teilen des Trainingsmaterials. Dadurch gehen Nuancen und Kontext verloren, Trends und verbreitete Missverständnisse entwickeln dagegen ein überproportionales Gewicht. Fliessen die so erzeugten Ergebnisse wieder in das Traininingsmaterial ein, entsteht eine immer stärker werdende Verfälschungs-Dynamik.
Das Ergebnis dieser Dynamik ist der irgendwann stattfindende Modell-Kollaps (Modell steht hier stellvertretend für die KI-Programme): die generative KI hat mit der Zeit so viel fehlerhaftes Material erstellt, dass das Trainingsmaterial in einem derartigen Ausmass davon kontaminiert ist, dass die ursprünglichen, unkontaminierten Bestandteile in Relation dazu in den Hintergrund treten. Und auf Grundlage dieser fehlerhaften Basis entstehen ab jetzt im Wesentlichen falsche Ergebnisse.
Jetzt zur Übertragung auf methodische Vorgehensweisen. Auch diese beruhen zu Beginn (sofern sie seriös sind) auf empirisch erhobenen Erfahrungswerten und sind so in der Realität verankert. Auf dieser Basis entehen aber auch hier Ergebnisse (Konferenzbeiträge, Fachpublikationen, etc.), die populäre Irrtümer, Durchschnitte und Moden verstärkt abbilden. Und wenn das wieder in die Weiterentwicklung der Methodik einfliesst, droht der Kollaps dieser (mentalen) Modelle auch an dieser Stelle.
Die Folge dieser kollabierenden methodische Modelle sind deren zunehmende Entkoppelungen von der Realität, oft in Form von immer trivialer und esoterischer werdenden Frameworks und Methoden. Transaktionale Führung, Selbstorganisation, Purpose oder ähnlich generische Konzepte werden undifferenziert und kontextbefreit zu Universallösungen erhoben, Management-Moden wie das "Spotify Model" oder OKRs werden mit unrealistischen Erfolgsversprechen verbunden, etc, etc.
Ein Weg, der aus dieser Situation herausführen kann, lässt sich übrigens erneut aus den Trainings der generativen KIs extrahieren. Diese führen nämlich dann wieder zu besseren Ergebnissen, wenn die selbsterzeugten Inhalte bewusst nicht in das Ausgangsmaterial weiterer Trainings aufgenommen werden (bzw. dort wo das bereits passiert ist wieder aus ihm entfernt werden), um so die sich selbst verstärkenden Verfälschungs-Kreisläufe gar nicht erst entstehen zu lassen.
Auf die Methodenwelt übertragen würde das bedeuten, Management-Moden, generische oder vereinfachte Ideen und stark kontextspezifische Fallstudien bewusst nicht in die Weiterentwicklung von Vorgehensmodellen einfliessen zu lassen und sich stattdessen auf empirische Validierung und wissenschaftliche Evidenz zu stützen. Inwiefern Organisationen wie das Project Management Institute oder Scaled Agile Inc. wohl dazu bereit wären, kann jeder für sich selbst zu bewerten versuchen.
