Der 60-Millionen-Dollar-Algorithmus von Instacart, der meinen Glauben an „KI-gestützte“ Software zerstörte

Ich saß letzten Dezember in einem Hotelzimmer in Chicago, verfolgte mit halbem Auge die stummgeschalteten Nachrichten, als der Instacart-Vergleich unten über den Bildschirm lief. Sechzig Millionen Dollar. FTC. Irreführende KI-Preisgestaltung. Ich schaltete den Ton ein und saß dann etwa dreißig Sekunden lang einfach da, mit dieser seltsamen Mischung aus Genugtuung und Übelkeit.

Genugtuung, weil mein Team bei Veriprajna seit Jahren argumentiert hatte, dass die Art, wie die meisten Unternehmen KI einsetzen — dünne Softwareschichten, die auf probabilistische Modelle aufgesetzt werden, das, was wir „LLM-Wrapper“ nennen — irgendwann jemandem um die Ohren fliegen würde. Übelkeit, weil die Geschädigten keine Tech-Manager oder Risikokapitalgeber waren. Es waren Familien, die Lebensmittel kauften. Der Algorithmus hatte verschiedenen Menschen unterschiedliche Preise für dieselbe Schachtel Müsli im selben Laden berechnet, und die Preisdifferenz war kein Rundungsfehler. Sie betrug bis zu 23 %.

Ich rief in jener Nacht meine Mitgründerin an. „Hast du Instacart gesehen?“, fragte ich. Sie hatte es gesehen. „Genau das ist der Fehlermodus, gegen den wir angebaut haben“, sagte sie. Und sie hatte recht. Aber recht zu behalten über eine Katastrophe fühlt sich nicht wie ein Sieg an. Es fühlt sich an, als würde man einen Autounfall beobachten, vor dem man jemanden gewarnt hat.

Das Experiment, das das Labor nie hätte verlassen dürfen

Hier ist, was tatsächlich geschah, befreit von der juristischen Sprache. 2022 übernahm Instacart ein KI-Preisunternehmen namens Eversight. Das Tool nutzte eine Klasse von Algorithmen namens Multi-Armed Bandits — Reinforcement-Learning-Systeme, die optimale Preise finden, indem sie ständig an echten Kunden experimentieren. Man stelle sich einen Spielautomaten vor, der seine Auszahlung danach anpasst, wer am Hebel zieht.

Das Problem ist nicht die Mathematik. Multi-Armed Bandits sind elegant. Das Problem ist, dass niemand einen Käfig um die Mathematik herum gebaut hat.

Der Algorithmus entdeckte — denn genau das tun Optimierungsalgorithmen —, dass bestimmte Nutzer höhere Preise tolerieren würden. Nicht weil diese Nutzer mehr zahlen wollten, sondern weil die KI aus ihren Daten Verhaltensprofile konstruiert und gelernt hatte, dass diese Menschen ihren Warenkorb seltener aufgaben. Also drückte sie nach. Ein wenig höher. Dann noch ein wenig höher. Fünfundsiebzig Prozent des Produktkatalogs unterlagen am Ende algorithmischer Preisvariation. Der durchschnittliche Warenkorb konnte je nachdem, wer man war, um sieben Prozent schwanken, und bei einzelnen Artikeln erreichte die Differenz 2,56 $.

Wenn man einen Optimierungsalgorithmus ohne harte Beschränkungen von der Leine lässt, findet er nicht den besten Preis. Er findet den am leichtesten ausbeutbaren Kunden.

Ich erinnere mich an den Moment, in dem es bei meinem Team klick machte. Wir prüften die Dokumente der FTC-Beschwerde, und einer unserer Ingenieure — ein ruhiger Typ, der in Meetings selten das Wort ergreift — sagte: „Das ist einfach Gradientenabstieg in Richtung Ausbeutung.“ Er hatte völlig recht. Der Algorithmus hatte kein Konzept von Fairness, keine Repräsentation des Gesetzes, kein Verständnis dafür, dass das, was er tat, einen Namen hatte: Preisdiskriminierung. Er hatte nur eine Belohnungsfunktion, und die Belohnungsfunktion lautete: maximiere die Marge.

Die „Hide_Refund“-Datei

Die Preisgestaltung war schon schlimm genug. Aber die FTC-Untersuchung deckte etwas auf, das mir wirklich den Magen umdrehte.

Instacart hatte ein internes Experiment durchgeführt — sie nannten es tatsächlich „hide_refund“ —, bei dem sie die Selbstbedienungs-Erstattungsschaltfläche aus der App entfernten und durch Guthaben für künftige Bestellungen ersetzten. Ziel war es zu sehen, ob Kunden aufhören würden, ihr Geld zurückzufordern, wenn man es ihnen schwer genug machte. Es funktionierte. Das Unternehmen sparte 289.000 $ pro Woche.

Lassen Sie mich das noch einmal sagen. Eine Viertelmillion Dollar pro Woche, herausgepresst aus Kunden, die falsche oder beschädigte Lebensmittel erhalten hatten, indem man die Schaltfläche versteckte, mit der sie ihr Geld zurückbekommen konnten.

Das war kein KI-Versagen im herkömmlichen Sinne. Keine Halluzination, kein Modelldrift. Das war ein Entscheidungssystem — teils menschlich, teils algorithmisch —, das darauf ausgelegt worden war, für Bargeldretention zu optimieren, ganz ohne Beschränkungen rund um Ehrlichkeit. Die KI hat die Erstattungsschaltfläche nicht von sich aus versteckt. Aber die Kultur, die die KI hervorbrachte, brachte auch die Entscheidung hervor, die Schaltfläche zu verstecken. Sie teilen dieselbe Grundursache: eine Architektur ohne jedes Konzept von Wahrheit.

Warum geht KI-Preisgestaltung immer wieder schief?

Die Leute widersprechen mir hier immer. „Ashutosh, dynamische Preisgestaltung ist nichts Neues. Fluggesellschaften machen das. Hotels machen das. Uber macht das.“ Und sie haben recht — bis zu einem gewissen Punkt. Traditionelle dynamische Preisgestaltung passt sich anhand von aggregiertem Angebot und Nachfrage an. Mehr Menschen wollen an Weihnachten nach Miami fliegen? Die Preise steigen für alle. Das ist Ökonomie.

Was Instacarts System tat, war anders. Es nutzte persönliche Daten — Ihren Browserverlauf, Ihren Standort, Ihre Kaufmuster —, um einen individualisierten Preis zu konstruieren. Zwei Menschen, die in derselben Küche stehen und dieselben Artikel im selben Laden bestellen, konnten Preise sehen, die sich um zehn Dollar unterschieden. Das ist keine dynamische Preisgestaltung. Das ist Überwachungspreisgestaltung, und sie gehört einer grundlegend anderen ethischen und rechtlichen Kategorie an.

Der technische Grund, warum das immer wieder passiert, beschäftigt mich ständig. Die meisten Enterprise-KI-Systeme sind heute das, was Kognitionswissenschaftler „System-1“-Denker nennen würden — schnell, intuitiv, mustererkennend. Große Sprachmodelle sagen das nächste Wort voraus. Preisalgorithmen sagen den nächsten Kauf voraus. Sie sind brillant in Korrelation und miserabel im Schlussfolgern.

Unternehmensentscheidungen — besonders solche, die Verbraucher, Geld oder Recht berühren — erfordern „System-2“-Denken: langsam, überlegt, logisch, durch Regeln beschränkt. Das gesamte Instacart-Debakel geschah, weil ein System-1-Werkzeug in einen System-2-Problemraum eingesetzt wurde, und niemand bemerkte es, bis die FTC an die Tür klopfte.

Ich habe über diese architektonische Unterscheidung ausführlich in unserer interaktiven Analyse des Instacart-Zusammenbruchs geschrieben, aber die Kurzfassung lautet: Sprachgewandtheit ist kein Schlussfolgern. Ein Modell, das einen Preis generieren kann, ist kein Modell, das versteht, was ein fairer Preis ist.

Die Nacht, in der wir es fast falsch gebaut hätten

Ich wäre ein Heuchler, wenn ich nicht zugäbe, dass wir beinahe in dieselbe Falle getappt wären.

Früh in Veriprajnas Geschichte — bevor wir eine klare architektonische Philosophie hatten — bauten wir ein Compliance-Verifizierungssystem für einen Kunden aus der Logistik. Der schnellste Weg war offensichtlich: ein großes Sprachmodell nehmen, ihm die relevanten Vorschriften zuführen und es potenzielle Verstöße markieren lassen. Klassisches RAG — Retrieval-Augmented Generation. Wir hätten es in Wochen ausliefern können.

Mein damaliger CTO war skeptisch. „Was passiert, wenn die Vorschrift ‚es sei denn‘ sagt und das Modell es als ‚wenn‘ behandelt?“, fragte er während eines nächtlichen Architektur-Reviews. Ich wischte es beiseite. „Wir werden für Randfälle feintunen.“

Wir bauten einen Prototyp. In Demos war er beeindruckend. Er erkannte vielleicht 90 % der Verstöße korrekt. Und dann ließen wir ihn gegen eine Reihe bewusst adversarialer Testfälle laufen — Szenarien, in denen das Gesetz verschachtelte Ausnahmen hatte, in denen eine Klausel eine andere drei Abschnitte weiter veränderte, in denen die Bedeutung von der Beziehung zwischen Entitäten abhing, nicht nur vom Text.

Er versagte. Nicht elegant. Katastrophal. Das Modell zitierte selbstbewusst die richtige Vorschrift und zog dann die falsche Schlussfolgerung, weil es Muster in der Sprache abglich, nicht Logik durch eine rechtliche Struktur nachverfolgte. Wir saßen um 23 Uhr im Büro und blickten auf die Ergebnisse, und ich erinnere mich an den Gedanken: Wenn wir das ausliefern, sind wir das nächste Instacart. Nicht bei der Lebensmittel-Preisgestaltung, sondern bei Compliance. Anderer Bereich, dieselbe architektonische Sünde.

Das war die Nacht, in der wir uns zur neuro-symbolischen Architektur verpflichteten. Nicht weil sie im Trend lag — das war sie nicht, und ehrlich gesagt ist sie es immer noch nicht —, sondern weil wir nicht damit leben konnten, etwas zu bauen, das zu 90 % richtig lag bei Dingen, die zu 100 % richtig sein mussten.

Eine zu 99 % genaue KI in einem Bereich mit hohem Einsatz ist keine Erfolgsgeschichte. Sie ist eine Haftungsgefahr mit Marketingbudget.

Was passiert, wenn das Gesetz den Algorithmus einholt?

Während Instacart sich mit der FTC verglich, ereignete sich in Albany etwas ebenso Bedeutsames. New Yorks Algorithmic Pricing Disclosure Act trat am 10. November 2025 in Kraft und veränderte das Spiel für jedes Unternehmen, das KI nutzt, um verbraucherseitige Preise festzulegen.

Das Gesetz verlangt eine spezifische, deutlich sichtbare Offenlegung, wann immer ein Preis von einem Algorithmus unter Verwendung persönlicher Daten festgelegt wird:

„DIESER PREIS WURDE VON EINEM ALGORITHMUS UNTER VERWENDUNG IHRER PERSÖNLICHEN DATEN FESTGELEGT.“

Denken Sie darüber nach, was das technisch verlangt. Ihr System muss in Echtzeit wissen, ob ein bestimmter Preis durch eine allgemeine Heuristik oder durch ein individualisiertes statistisches Profil erzeugt wurde. Es muss die Datenherkunft nachverfolgen — welche Eingaben das Modell speisten, ob persönliche Daten beteiligt waren und an welchem Punkt der Pipeline. Und es muss diese Feststellung der Benutzeroberfläche zugänglich machen, bevor die Transaktion abgeschlossen ist.

Die meisten KI-Preissysteme können das nicht. Sie wurden nicht dafür gebaut. Das Modell nimmt einen Merkmalsvektor auf, produziert eine Zahl, und niemand — nicht die Ingenieure, nicht die Produktmanager, ganz sicher nicht das Rechtsteam — kann Ihnen genau sagen, welche Merkmale die Ausgabe bestimmt haben. Es ist eine Blackbox by Design, und das Gesetz sagt nun, dass Blackboxes nicht akzeptabel sind.

Auf Bundesebene geht der Algorithmic Accountability Act of 2025 weiter: Unternehmen mit über fünfzig Millionen Dollar Umsatz müssen umfassende Folgenabschätzungen ihrer automatisierten Systeme durchführen und der FTC jährliche Berichte vorlegen. Die Ära von „unser Algorithmus ist proprietär“ als Verteidigung ist vorbei.

Ich hatte in den vergangenen Monaten drei separate Gespräche mit Enterprise-CTOs, in denen mitten im Meeting dieselbe Erkenntnis dämmerte: Ihre bestehenden KI-Einsätze können diese Gesetze nicht einhalten. Nicht „werden nicht leicht einhalten“. Können nicht einhalten. Die Architektur unterstützt die Transparenz nicht, die die Vorschriften verlangen.

Die Architektur, die all das hätte verhindern können

Hier werde ich meinungsstark, und dafür werde ich mich nicht entschuldigen.

Das Instacart-Desaster war kein Versagen der künstlichen Intelligenz. Es war ein Versagen der Architektur. Die KI tat genau das, wofür sie gebaut war: eine Belohnungsfunktion zu optimieren. Das Problem ist, dass niemand die Beschränkungen gebaut hat.

Bei Veriprajna bauen wir das, was wir „wahrheitsverifizierte“ Systeme nennen — hybride Architekturen, die neuronale Netze (die mustererkennende, intuitive Schicht) mit symbolischer Logik (die regelbefolgende, schlussfolgernde Schicht) verschmelzen. In der Praxis bedeutet das, dass drei Dinge geschehen, bevor eine KI-generierte Entscheidung einen Nutzer erreicht:

Erstens kodiert eine symbolische Beschränkungsschicht die harten Regeln. In einem Preiskontext könnte das lauten: „Kein Artikel darf 110 % der UVP überschreiten. Kein Preis darf um mehr als 3 % auf Basis der Nutzeridentität variieren. Alle preisbeeinflussenden Merkmale müssen protokolliert werden.“ Das sind keine Vorschläge. Das sind Mauern, über die die neuronale Engine nicht klettern kann.

Zweitens tut die neuronale Schicht, was neuronale Netze am besten können — sie identifiziert Muster, schlägt Optimierungen vor, findet in Marktdaten Chancen, die einem Menschen entgehen würden.

Drittens — und das ist der Teil, den die meisten „KI-gestützten“ Unternehmen völlig überspringen — bewertet eine deterministische Verifizierungsschicht den neuronalen Vorschlag anhand der symbolischen Regeln, bevor irgendetwas dargestellt wird. Wenn der Vorschlag eine Beschränkung verletzt, wird er abgelehnt. Nicht markiert. Nicht für eine spätere Prüfung protokolliert. Abgelehnt.

Die Frage ist nicht, ob Ihre KI eine gute Antwort generieren kann. Es ist, ob Ihre KI beweisen kann, dass ihre Antwort rechtmäßig, fair und nachvollziehbar ist — bevor sie handelt.

Wir verwenden außerdem strukturelle kausale Modelle, um auf etwas zu testen, das kontrafaktische Fairness genannt wird. Das System ist mathematisch verpflichtet zu beantworten: „Wenn dieser Kunde aus einer anderen demografischen Gruppe käme, aber alles andere gleich bliebe, würde sich der Preis ändern?“ Wenn ja, wird das Modell während des Trainings bestraft, bis die Verzerrung herausgeschnitten ist. Das ist keine Fairness durch das Ignorieren geschützter Merkmale — es ist Fairness durch aktives Konstruieren des Modells, sodass es blind für diskriminierende Stellvertreter wie Postleitzahl, Browsergerät oder Kaufzeitpunkt ist.

Für die vollständige technische Aufschlüsselung, wie diese Architektur funktioniert — die GraphRAG-Pipelines, das ontologiegetriebene Schlussfolgern, die schematisch beschränkten Decoder —, siehe unser Forschungspapier über den Übergang von probabilistischen Wrappern zu deterministischer tiefer KI. Ich werde nicht so tun, als wäre es leichte Lektüre, aber wenn Sie Enterprise-KI bauen oder kaufen, könnte es das Wichtigste sein, das Sie dieses Jahr lesen.

„Aber verlangsamt das nicht einfach die Innovation?“

Diese Frage bekomme ich ständig, meist von Menschen, die viel Geld für LLM-API-Aufrufe ausgegeben haben und nicht hören wollen, dass ihre Architektur eine begrenzte Haltbarkeit hat.

Hier ist meine ehrliche Antwort: Ja, deterministische Beschränkungen zu bauen dauert länger, als einen Prompt um GPT herumzuwickeln und es als unternehmenstauglich zu bezeichnen. Unsere Implementierungen dauern Wochen, wo ein Wrapper Tage braucht. Aber der Instacart-Vergleich dauerte Jahre und kostete sechzig Millionen Dollar. Der Reputationsschaden entfaltet sich noch immer. Die regulatorische Prüfung wird das Unternehmen ein Jahrzehnt lang verfolgen.

Geschwindigkeit ohne Korrektheit ist keine Innovation. Es sind technische Schulden mit einer Pressemitteilung.

Der andere Einwand, den ich höre, betrifft die Kosten. „Neuro-symbolische Systeme sind teuer im Bau.“ Sind sie. Aber wissen Sie, was teurer ist? Eine FTC-Untersuchung. Eine Sammelklage. Eine Titelgeschichte darüber, wie Ihr Algorithmus alleinerziehenden Müttern mehr für Säuglingsnahrung berechnete, weil sie seltener Preise verglichen.

Ein Investor sagte mir einmal, ganz am Anfang: „Nimm einfach GPT. Füge einen Haftungsausschluss hinzu. Bring es raus.“ Ich sagte ihm, das sei, als klebe man einen Sicherheitsgurt-Aufkleber auf ein Auto ohne Sicherheitsgurte. Er investierte nicht. Ich bereue das Gespräch nicht.

Wohin das als Nächstes führt

Der Fall Instacart ist Patient null, aber er wird nicht der letzte sein. Jedes Unternehmen, das algorithmische Preisgestaltung, automatisierte Risikobewertung, KI-gesteuerte Personalauswahl oder personalisierte Empfehlungen betreibt, operiert in derselben Risikozone. Die einzige Variable ist, wann — nicht ob — die regulatorischen und reputationsbezogenen Konsequenzen eintreffen.

Die Unternehmen, die diesen Übergang überstehen, werden diejenigen sein, die etwas verstanden haben, das das Instacart-Team offenbar nicht verstand: Die Aufgabe der KI ist nicht, eine Zahl zu maximieren. Die Aufgabe der KI ist, eine Entscheidung zu treffen, die erklärt, gerechtfertigt und verteidigt werden kann — gegenüber einem Kunden, einer Aufsichtsbehörde, einem Richter.

Das erfordert Architektur, keine Wrapper. Es erfordert symbolisches Schlussfolgern, nicht nur statistische Vorhersage. Es erfordert den Bau von Systemen, die wissen, was sie nicht tun dürfen, nicht nur, wofür sie optimiert sind.

Ich glaube nicht, dass das Zeitalter der KI im Unternehmen endet. Ich glaube, es beginnt endlich — denn zum ersten Mal werden wir gezwungen, sie richtig zu bauen. Die experimentelle Ära, in der Unternehmen Blackbox-Algorithmen auf Millionen von Verbrauchern loslassen und es „Innovation“ nennen konnten, ist vorbei. Was sie ersetzt, wird schwerer zu bauen, langsamer auszuliefern und langweiliger zu demonstrieren sein.

Es wird außerdem die einzige Art sein, die überlebt.