Reasoning-Engine für die Eignungsprüfung in klinischen Studien
Ein Patienten-Matching-Modell liest eine Notiz als Text, verwechselt daher einen zentralen Venenkatheter mit einer Herzkatheteruntersuchung und schließt einen Patienten aus, der geeignet war. TrialProof lässt ein LLM die Notiz nur lesen, löst die Bedeutung über einen SNOMED-CT-Wissensgraphen auf und berechnet ELIGIBLE, EXCLUDED oder NEEDS-REVIEW in deterministischem Code, den ein LLM nicht überschreiben kann. Jedes Urteil trägt eine Begründungsspur, die eine Aufsichtsbehörde einreichen kann.
100%
Entscheidungsgenauigkeit auf dem gelabelten Gold-Set
vs 53.8% bei der fairen lexikalischen Baseline (13 Fälle)
0 vs 3
Verlorene geeignete Patienten
TrialProof verliert 0, wo die Baseline 3 verliert
100% vs 0%
Abdeckung der Begründungsspur
Jedes Urteil nachvollzogen; byte-identisch beim erneuten Lauf
Dies ist eine ausführbare Demo auf einem festen, gelabelten Gold-Set. Alle Patienten, Notizen und Protokolle sind synthetisch, die Ontologie ist ein kuratierter 24-Konzept-SNOMED-CT-Teilgraph, und Konnektoren wie die Live-FHIR-Ingestion sind simuliert.
Der Fehlermodus hinter fälschlichen Ausschlüssen beim KI-Patienten-Matching.
KI für Patienten-Matching liest klinische Notizen als Text und verwechselt daher Wörter, die ähnlich aussehen, medizinisch aber Unterschiedliches bedeuten. Der kanonische Fehlschlag ist konkret. Eine Phase-III-Antikoagulans-Studie schließt Herzkatheteruntersuchungen aus; die Notiz eines Patienten nennt die Anlage eines zentralen Venenkatheters. Ein Ähnlichkeits-Matcher sieht zwei kardiovaskuläre Katheterverfahren, bewertet sie hoch und schließt einen Patienten aus, der geeignet war. Veröffentlichte Evaluationen bestätigen, dass KI-Modelle genau diesen Katheterisierungsfehler machen (Fierce Biotech, 2025).
Dieselbe Fehlerklasse reicht weiter als ein Verfahren. Sie umfasst Negation, bei der no evidence of diabetes als Diabetes gematcht wird. Sie umfasst Familienanamnese, die dem Patienten zugeschrieben wird. Und sie umfasst Ausnahmeklauseln, etwa unless completed more than 12 months before randomization, die ein Ähnlichkeitswert überhaupt nicht abbilden kann. Ein besseres Basismodell beseitigt nichts davon, weil es keine Sprachprobleme sind. Es sind Logikprobleme.
Die Kosten sind nicht akademisch. Rekrutierungsverzug bedeutet 800,000 Dollar pro Tag an entgangenem Umsatz mit verschreibungspflichtigen Arzneimitteln für jeden Tag, den eine Studie in Verzug gerät (Tufts CSDD Impact Report, 2024), steigend auf 840,000 Dollar pro Tag in der Onkologie und 1.4 Millionen Dollar pro Tag in kardiovaskulären Studien (Tufts CSDD). 80% der Studien verfehlen ihre Rekrutierungszeitpläne (Branchenkonsens, 2025), der durchschnittliche Screen Failure kostet 1,200 Dollar (Antidote.me, 2025), und Studienverfahren sind seit 2005 um 139% komplexer geworden (IQVIA, 2026). Gegenüber Zahlen wie diesen ist ein fälschlich ausgesiebter geeigneter Patient kein Rundungsfehler.
Die Agenten beraten bei der Extraktion. Deterministischer Code entscheidet über die Eignung. Das ist neuro-symbolisch: ein LLM liest die Prosa, symbolische Logik entscheidet über den Patienten.
Jeder Patient läuft gegen jedes Protokoll durch fünf Stufen, live an die Oberfläche gestreamt. Die wichtige Grenze: nur eine Stufe ist probabilistisch, und sie entscheidet niemals etwas.
Lädt den FHIR-förmigen synthetischen Patientenakt, seine Freitext-Notiz, die Studienkriterien und das Randomisierungsdatum.
Ein anbieterseitig austauschbares LLM schlägt Kandidatenfakten vor, jeweils mit einer wörtlichen Notizspanne, einer Kandidaten-SCTID aus einem geschlossenen Vokabular und einer Konfidenz. Es berät; es entscheidet nicht. Kodierte Beobachtungen, die als vertrauenswürdiges FHIR eintreffen, laufen niemals durch den Extraktor. Wenn der Offline-Lexikon-Fallback genutzt wird, sagt die Live-Konsole das, statt es zu verbergen.
Jeder vorgeschlagene Fakt wird gegen die wörtliche Notiz mit drei Prüfungen herausgefordert: span-present (fängt eine halluzinierte Entität), Negation und Subjekt (Familienanamnese versus Patient). Abgelehnte Fakten werden als REJECTED markiert, mit der ausgelösten Prüfung und dem Grund, und erreichen niemals die Entscheidung.
Die exakte verifizierte Faktenmenge, die in die Logik-Engine eintritt, markiert als coded-FHIR versus Freitext.
Eine Engine für deontische Logik bewertet prohibition-, temporal-exception-, controlled-unless- und requirement-Kriterien über SNOMED-is-a-Subsumption und Datumsarithmetik und gibt ELIGIBLE, EXCLUDED oder NEEDS-REVIEW mit einer vollständigen Spur aus. Ein LLM kann dieses Tor nicht überschreiben.
Die deterministischen Stufen laufen tatsächlich in einigen zehn Mikrosekunden pro Kriterium, während das Modell, das die Notiz liest, Sekunden braucht. Dieser Kontrast ist der Punkt, kein Anspruch auf sofortiges Screening: der langsame, fehlbare Teil ist auf das Lesen beschränkt, und die Entscheidung, die er speist, ist schnell, günstig und reproduzierbar.
Der Vergleich in der Demo ist eine faire lexikalische Baseline, und das absichtlich. Sie ist entitätsbezogene TF-IDF-Kosinus-Ähnlichkeit, eine echte Vektorähnlichkeitsmethode, mit einem großzügigen Setup mit sauberer Entität-zu-Konzept-Auflösung, und ihre Entscheidungsschwelle wurde zu ihren eigenen Gunsten kreuzvalidiert (t = 0.6932). Sie ruft niemals das LLM auf. Ihre einzigen Handicaps sind die fehlende Hierarchie-, Negations-, Temporal- und Enthaltungslogik, und das ist die ganze These. Sie wurde nicht darauf getrimmt, zu scheitern.
Synthetischer Patient P-074 und seine Kohorte, gegen die synthetischen Protokolle ONC-204 und ANTI-3. Jedes Bild unten ist ein Screenshot der laufenden TrialProof-App.
Die ICU-Notiz von P-074 lautet central venous catheter placement for IV medication access. Gegen das Kriterium EXCL-CARDCATH von ANTI-3 (keine vorangegangene Herzkatheteruntersuchung) sieht ein Ähnlichkeits-Matcher zwei kardiovaskuläre Katheterverfahren. TrialProof fragt stattdessen die Ontologie: ist Central venous catheterization (392230005) ein is-a-Nachfahre von Cardiac catheterization (41976001)? Ist es nicht. Die beiden Konzepte sitzen auf unterschiedlichen Ästen der SNOMED-CT-Hierarchie, es existiert also kein Subsumptionspfad, und das Urteil ist ELIGIBLE mit einer dreistufigen Spur, die beide SCTIDs nennt. Beide Codes sind echt und auf jedem öffentlichen SNOMED-Browser prüfbar. Die faire lexikalische Baseline gibt hier ebenfalls ELIGIBLE zurück, aber bei einer bloßen Ähnlichkeit von 0.437 ohne Begründungsspur und ohne etwas, das eine Aufsichtsbehörde einreichen könnte.
Die Engine fragt nicht ganz SNOMED-CT ab. Sie durchläuft einen kuratierten 24-Konzept-Teilgraphen mit 22 is-a-Relationen. Konzepte mit echter SCTID sind durchgezogen gezeichnet; die 9 für die Demo kuratierten ohne öffentliche SCTID tragen das Präfix CUR- und sind gestrichelt gezeichnet, statt als echte Codes ausgegeben zu werden. Verifizierte Fakten sind grün, Kriteriumskonzepte umrandet, und die durchlaufenen is-a-Pfade fett. Die beiden Katheterisierungen leben sichtbar auf unterschiedlichen Ästen, und genau deshalb kann eine String- oder Vektorähnlichkeit die Subsumption nicht ersetzen.
Dieselbe Notiz sagt No evidence of diabetes. Gegen EXCL-DM von ONC-204 (keine Diagnose Diabetes mellitus) matcht die Vektor-Baseline das Token diabetes mit Ähnlichkeit 1.0 und gibt EXCLUDED zurück, weil sie kein Modell der Negation hat. Der Verifizierer von TrialProof streicht die negierte Erwähnung, bevor sie die Entscheidung erreichen kann, das Urteil ist daher ELIGIBLE. Das ist der geeignete Patient, den ein Ähnlichkeits-Matcher wegwirft, und auf dem Gold-Set ist es einer der drei, die die Baseline verliert.
Für P-106 schlägt der Extraktor einen Carboplatin-Fakt vor, der keine stützende Spanne in der Notiz hat, eine absichtlich platzierte Halluzination. Der adversariale Verifizierer führt span-present, Negation und Subjekt auf jedem vorgeschlagenen Fakt aus; der Carboplatin-Fakt scheitert an span-present (span not found in note) und wird als REJECTED markiert, erreicht die Entscheidung also nie. Über das Gold-Set hinweg hat der Verifizierer 7 Faktinstanzen abgelehnt (3 unterschiedliche schlechte Fakten: eine negierte Diabetes-Erwähnung, eine Zuschreibung von Brustkrebs aus der Familienanamnese und dieses halluzinierte Carboplatin) in 4 der 13 bewerteten Fall-Läufe. Die Agenten beraten bei der Extraktion; deterministischer Code entscheidet über die Eignung.
P-101 hat adjuvantes Carboplatin und Pemetrexed abgeschlossen, zuletzt infundiert 03/2025. EXCL-PLAT von ONC-204 verbietet vorangegangene Platintherapie unless given as adjuvant or neoadjuvant and completed more than 12 months before randomization (2026-04-15). Die Engine bestätigt, dass Carboplatin (386905003) is-a Platinum-containing antineoplastic agent ist, berechnet das Intervall auf 13 Monate, erfüllt die Ausnahme und gibt ELIGIBLE mit einer vierstufigen Spur zurück. Wenn dieselbe Klausel an einem Patienten mit palliativer Intention geprüft wird, greift die Ausnahme nicht und das Urteil kippt auf EXCLUDED. Dasselbe Kriterium, entgegengesetzte Urteile, beide korrekt, weil es die Logik-Engine ist und keine Schwelle.
Auf einem festen Gold-Set von 13 gelabelten Fällen aus 7 synthetischen Patienten über 2 synthetische Protokolle, bewertet gegen die kreuzvalidierte lexikalische Baseline bei t = 0.6932, erreicht TrialProof 100% Entscheidungsgenauigkeit gegenüber 53.8% der Baseline, verliert 0 geeignete Patienten, wo die Baseline 3 verliert, und trägt eine reproduzierbare Begründungsspur bei 100% der Entscheidungen gegenüber 0% der Baseline. Es enthält sich sicher zweimal mit NEEDS-REVIEW, wo die Baseline rät, und ein erneuter Lauf aller 13 Fälle ergibt byte-identische Urteile und Spuren (13 von 13). Wir schreiben jede Zahl diesem gelabelten Gold-Set zu, niemals als Open-World-Anspruch.
Derselbe Vergleich, den die Demo bewertet, Dimension für Dimension.
| Dimension | Faire lexikalische Baseline | TrialProof |
|---|---|---|
| Wer entscheidet über die Eignung | Ein Ähnlichkeitswert über einer Schwelle | Eine deterministische Engine für deontische Logik, außerhalb der Agenten |
| Hierarchie / is-a | Keine, nur Token-Nähe | SNOMED-CT-is-a-Subsumption |
| Negation (no evidence of diabetes) | Als vorhanden gematcht | Vom Verifizierer gestrichen |
| Zuschreibung der Familienanamnese | Dem Patienten zugeschrieben | Bei der Subjektprüfung abgelehnt |
| Temporale Ausnahmeklauseln | Nicht abbildbar | Datumsarithmetik über dem Randomisierungsdatum |
| Fehlendes Labor oder Vitalwert | Rät, enthält sich nie | NEEDS-REVIEW, nennt, was fehlt |
| Begründungsspur | Keine, eine bloße Ähnlichkeitszahl | Vollständige Spur, exportiert als CDISC SDTM IE |
| Reproduzierbarkeit | Nicht anwendbar | Byte-identisch beim erneuten Lauf (13 von 13) |
TrialProof ist kein Datennetzwerk und keine Cloud-Matching-Plattform, und es ist kein Klon dieser Werkzeuge. Es ist die deterministische Begründungs- und Provenienzschicht, die ihnen fehlt: der Teil, der das Eignungsurteil berechenbar, prüfbar und einreichbar macht. Eine Matching-Plattform reicht Ihnen eine gerankte Liste mit einem Score; TrialProof reicht Ihnen ELIGIBLE, EXCLUDED oder NEEDS-REVIEW mit den SNOMED-Konzept-IDs und der Graphkante, die es entschieden hat. Es soll neben einer Matching-Pipeline sitzen, nicht das Datennetzwerk darunter ersetzen.
Weil sie eine klinische Notiz als Text liest und Ähnlichkeit bewertet, und daher Wörter verwechselt, die ähnlich aussehen, medizinisch aber Unterschiedliches bedeuten. Eine Notiz, die central venous catheter placement sagt, bewertet hoch gegen eine Studie, die Herzkatheteruntersuchungen ausschließt, und der Patient wird fälschlich ausgeschlossen. Derselbe Fehlschlag umfasst Negation (no evidence of diabetes gematcht als Diabetes), Familienanamnese, die dem Patienten zugeschrieben wird, und Ausnahmeklauseln, die ein Ähnlichkeitswert überhaupt nicht abbilden kann. Veröffentlichte Evaluationen bestätigen, dass KI-Modelle genau diesen Katheterisierungsfehler machen (Fierce Biotech, 2025).
Ja. Jede Entscheidung exportiert als CDISC-SDTM-IE-Datensatz in JSON und CSV, eine Zeile pro Patient und Kriterium, mit dem Kriterium, dem Urteil und der vollständigen deterministischen Begründungsspur, die die SCTIDs und die deontische Operation nennt. Wo ein Fakt gematcht hat, trägt die Zeile auch den is-a-Pfad und, bei notizabgeleiteten Fakten, die wörtliche Spanne. Auf dem 13-Fälle-Gold-Set tragen 100% der TrialProof-Entscheidungen eine reproduzierbare Spur und die Baseline 0%, und ein erneuter Lauf des Sets erzeugt byte-identische Ausgabe (13 von 13).
Jedes Konzept, das die Demo für eine Entscheidung anführt, trägt eine echte SCTID, prüfbar auf jedem öffentlichen SNOMED-Browser: Central venous catheterization ist 392230005 und Cardiac catheterization ist 41976001, und sie sitzen auf unterschiedlichen Ästen, weshalb kein Subsumptionspfad sie verbindet. Die Engine fragt einen kuratierten 24-Konzept-Teilgraphen mit 22 is-a-Relationen ab, nicht volles SNOMED-CT. Die 9 für die Demo kuratierten Konzepte ohne öffentliche SCTID tragen das Präfix CUR- und sind gestrichelt gezeichnet, statt als echte Codes ausgegeben zu werden. Volles SNOMED-CT, MedDRA und LOINC sind der aufgeschobene Produktionspfad.
Alle Daten sind synthetisch. Es gibt keine echte PHI, keine Live-EHR und keine echte Studie; die Patienten, Notizen und Protokolle sind erfundene Testkonstrukte. Dies ist eine ausführbare Demo, die den Mechanismus beweist, keine produktiv gesetzte Pipeline, daher ist sie nicht HIPAA-zertifiziert, SOC-2-zertifiziert, FDA-cleared oder CDS-exempt, und sie trifft keine klinischen Entscheidungen. Die Clinical-Decision-Support-Leitlinie der FDA vom Januar 2026 ist der relevante Rahmen für eine Human-in-the-Loop-Matching-Hilfe, und sie ist unsere Richtung, keine Freigabe, die wir halten.
Nein, weil das keine Sprachprobleme sind, sondern Logikprobleme. Ein Ähnlichkeitswert kann is-a nicht abbilden, kann not nicht abbilden und kann unless completed more than twelve months before randomization nicht abbilden, und keine Menge an Prompting oder Kontext fügt sie hinzu. Also lassen wir das Modell das eine tun, worin es wirklich gut ist: unordentliche Prosa lesen und Fakten vorschlagen mit der Spanne, aus der es sie gelesen hat, dann einen adversarialen Verifizierer das verwerfen, was die Notiz nicht stützt, und deterministischen Code über einer medizinischen Ontologie das Urteil berechnen. Das LLM kann dieses Tor nicht überschreiben, und das ist es, was dieselbe Akte bei jedem Lauf dieselbe Antwort erzeugen lässt.
Es ist 100% Entscheidungsgenauigkeit auf einem festen gelabelten 13-Fälle-Gold-Set, gezogen aus 7 synthetischen Patienten über 2 synthetische Protokolle, bewertet gegen eine faire lexikalische Baseline, deren Schwelle zu ihrem eigenen Vorteil kreuzvalidiert wurde (t = 0.6932). Es ist niemals ein universeller oder Open-World-Anspruch, und es ist nicht dasselbe, als wäre dieses Produkt auf jeder möglichen Akte richtig. Auf demselben Set verliert TrialProof 0 geeignete Patienten, wo die Baseline 3 verliert, und enthält sich sicher zweimal mit NEEDS-REVIEW, statt zu raten.
Die Forschung hinter dieser Demo — die Architektur, das Verifikationsdesign und der Enterprise-Bauplan.
Vollständige Lösung
Die KI-Lösung zur Rekrutierung für klinische Studien erkunden →Die deterministische Begründungs- und Provenienzschicht ist der harte Teil. Wir bauen sie.
Wenn Ihr Team abwägt, wie eine Eignungsentscheidung vor eine Aufsichtsbehörde kommt, ohne sie zu bitten, einem Ähnlichkeitswert zu vertrauen, würden wir wirklich gerne hören, wie Sie darüber denken. Das Problem betrifft die gesamte Branche, und die Antworten werden es auch.