Crucible · Model Vetting Firewall
Een synthetisch model doorstaat de PickleScan-baseline en probeert vervolgens tijdens het laden een database te openen. Crucible registreert en blokkeert dat geconfigureerde effect en retourneert QUARANTINE met het bewijsmateriaal bijgevoegd.
23/23 vs 19/23
Detectie van geblokkeerde gebeurtenissen vs PickleScan-vlaggen
Dezelfde 23 kwaadaardige en ontwijkende synthetische testcases
4/4 vs 0/4
Vier geconstrueerde ontwijkers
Gedragsdetectie vs PickleScan 1.0.4
2/2
Onthoudingstestcases gerouteerd naar REVIEW
Nader bewijs vereist; geen handtekening afgegeven
Cards rapporteren één vaste synthetische referentierun van de directe pijplijn met 33 artefacten op 6 oktober 2026 met deterministisch advies. Ze schatten geen detectie op onbekende modellen. De video legt afzonderlijk verse geconfigureerde controles vast in de lokale app: de hoofdconsole gebruikt gecachet Codex-advies en de benchmark gebruikt deterministisch advies. Er wordt geen verse modelinferentie vastgelegd.
Wanneer een beveiligingsteam een geserialiseerd model goedkeurt, reikt de relevante vraag verder dan de gedeclareerde identiteit: welke bewerking probeert het laden uit te voeren, en welk bewijsmateriaal blijft onopgelost?
Python waarschuwt dat gemanipuleerde pickle-gegevens code kunnen uitvoeren tijdens het unpicklen. De documentatie van Hugging Face over pickle-scans beschrijft eveneens beperkingen van import- en opcode-inspectie. Python pickle-documentatie; Hugging Face pickle-scandocumentatie.
Onze synthetische SQLite-testcase maakt dat onderscheid inspecteerbaar: een baseline zonder infectievlag staat naast een geblokkeerde poging om een database te openen. Het toelatingsrecord bewaart beide bevindingen in plaats van het schone scannerveld als vrijgave te behandelen.
Het advies gebruikt analist- en challenger-rollen in één gecombineerd verzoek. De opgenomen hoofdconsole gebruikt gecachet advies; de benchmark gebruikt deterministisch advies. Deze geconfigureerde controles garanderen niet dat elk misvormd bestand, niet-ondersteund formaat of analysefout naar REVIEW leidt.
Alle artefacten, modelnamen en hf:// bronlabels hieronder zijn synthetische lokale testcases, geen klantmodellen of geverifieerde registerrecords. De eerste drie schermafbeeldingen leggen verse geconfigureerde controles vast met gecachet Codex-advies; de afzonderlijke benchmarkopname gebruikt deterministisch advies. Er wordt geen verse modelinferentie getoond.
De gegenereerde trusted-looking/finetune-safe pickle probeert tijdens deserialisatie een SQLite-database te openen. De naam is een opgesteld testcaselabel, geen bewijs van vertrouwen. De nuttige vraag is of de scannerbevinding en het waargenomen laadgedrag dezelfde toelatingsbeslissing ondersteunen.
Geconfigureerd resultaat
PickleScan: CLEAN. Waargenomen bewerking: sqlite3.connect, geprobeerd en geblokkeerd. Eindoordeel: QUARANTINE. Handtekening: geen.

PickleScan 1.0.4 registreert _sqlite3.connect als verdacht zonder de infectievlag in te stellen. De statische disassemblage van Crucible behoudt die geïmporteerde callable eveneens, maar deze ontbreekt in de geconfigureerde gevaarlijke-global-set. De zichtbare badge NO CODE SURFACE betekent daarom geen geconfigureerde gevaarlijke-global-treffer; het betekent niet dat het bestand geen uitvoerbare callable bevat.
| Controle | Geregistreerde bevinding | Wat het vaststelt |
|---|---|---|
| PickleScan-baseline | flagged: false; _sqlite3.connect [suspicious] | Deze baseline vlagt het artefact niet. Het stelt geen schadeloos laden vast. |
| Statische disassemblage | _sqlite3.connect in imports en benaderde callables; geen geconfigureerde gevaarlijke global | De callable is zichtbaar, zelfs al heeft de geconfigureerde weigerlijst geen treffer. |
| Waargenomen laadproces | sqlite3.connect met blocked: true; loaded: false | De audithook werpt een exceptie op vóór het geconfigureerde database-openende effect. |
| Eindpoort | QUARANTINE; signature: null | De geblokkeerde poging bepaalt dit oordeel. Er wordt geen handtekening afgegeven. |
De nieuwe Python-worker reikt sqlite3.connect naar /tmp/vp_demo_persist/.store.db. Diens CPython-audithook registreert de bewerking en werpt een exceptie op vóór het geconfigureerde effect. De poort retourneert QUARANTINE omdat er een geblokkeerde gevaarlijke gebeurtenis is waargenomen, ongeacht de schone baselinevlag. Dit bewijsmateriaal toont geen aangemaakte database of succesvolle persistentie.
De gebruikersinterface noemt deze worker een sandbox. De geïmplementeerde grens is een subproces met geselecteerde Python-audithooks, zonder sandbox van het besturingssysteem, containerisolatie of netwerkisolatie. Een productietoelatingssysteem vereist een afzonderlijk vastgestelde inperkingsgrens.
Het downloadbare JSON-record koppelt de SHA-256 van het artefact aan diens statische bevindingen, baselineresultaat, geprobeerde aanroepen, poortreden, minimale modelinventaris en lokale hash-ketenvelden. Voor dit QUARANTINE-resultaat is het handtekeningveld null. Beoordelaars kunnen het beslissingsbewijs inspecteren zonder adviesaanbevelingen als een goedkeuring of een voltooide registeractie te behandelen.
Een hash identificeert de geïnspecteerde artefactbytes. De lokale keten ondersteunt consistentiecontroles tussen records, maar heeft geen onafhankelijke bewaring of externe verankering en is geen onveranderlijk archief. De hieronder getoonde ondertekende ALLOW-payload dekt een beperktere reeks velden dan het volledige bewijsrecord.
De afzonderlijke synthetische acme/experimental-rl testcase bevat builtins.eval bij statische inspectie. Diens voorwaardelijke vertakking wordt in deze omgeving niet doorlopen, en het waargenomen laadproces registreert geen geblokkeerde gevaarlijke gebeurtenis. De onopgeloste statische bevinding stuurt deze naar REVIEW zonder handtekening. Deze route behoudt de noodzaak van nader bewijs; er wordt geen voltooid menselijk onderzoek getoond.

Het gegenereerde acme/sentiment-mlp gewichtendictionary volgt het schone pad: er wordt geen geblokkeerde gevaarlijke gebeurtenis geregistreerd, de geconfigureerde controles retourneren ALLOW en er wordt een Ed25519-handtekening afgegeven. Diens inventaris vermeldt het artefact en de hash, het serialisatieformaat, het afgeleide framework en de gedeclareerde bron. Herkomst van trainingsgegevens en fine-tuninggeschiedenis blijven UNKNOWN.

De handtekening authenticeert de canonieke modelnaam, artefacthash en minimale CycloneDX-vormige inventarispayload ten opzichte van een lokale ontwikkelingssleutel. Deze ondertekent niet elk oordeel of het gehele record, vult geen upstream-geschiedenis aan, stelt geen trainingsrechten vast en bewijst niet dat een willekeurig model veilig is. De zichtbare regelgevingsreferentietekst is geconfigureerde testcasemetadata, geen gevalideerde naleving.
Eén bevroren referentierun van de directe pijplijn op 6 oktober 2026 maakt gebruik van deterministisch advies, PickleScan 1.0.4, tijdelijke ontwikkelingssleutels en een tijdelijk grootboek. Diens 33 gegenereerde artefacten omvatten 8 goedaardige, 19 kwaadaardige, 4 geconstrueerde ontwijkers en 2 onthoudingstestcases. De vergelijking van kwaadaardig-plus-ontwijker telt dezelfde 23 artefacten in beide kolommen.
| Meting | Waargenomen resultaat | Reikwijdte |
|---|---|---|
| Detectie van kwaadaardig-plus-ontwijker | Gedrag 23/23; PickleScan 19/23 | Detectie van geblokkeerde gebeurtenissen vergeleken met de baseline-infectievlag op dezelfde 23 testcases. |
| Geconstrueerde ontwijkers | Gedrag 4/4; PickleScan 0/4 | Vier testcases ontworpen om het verschil tussen deze controles te illustreren. |
| Goedaardige beslissingen | 0/8 kreeg een ander oordeel dan ALLOW | Acht goedaardige testcases, geen schatting van fout-positieven op onbekende modellen. |
| ALLOW-handtekeningen | 8/8 afgegeven en geverifieerd | Verificatie maakt gebruik van de meegeleverde functie en lokale ontwikkelingssleutel. |
| Onthoudingsroute | 2/2 REVIEW | Onopgeloste testcases blijven niet-ondertekend; onderzoek is niet voltooid. |
| Verwachte oordelen en lokale keten | 33/33 kwamen overeen; hash-links intact | Opgestelde testcase-verwachtingen en een lokale consistentiecontrole, zonder externe verankering. |
De onderstaande schermafbeelding is een afzonderlijke voltooide HTTP/SSE-benchmarkrun in de lokale app, met deterministisch advies. Deze toont dezelfde vergelijking op de vaste set en 33/33 verwachte overeenkomsten in het oordeel. Het is niet de bron van de bovenstaande bevroren direct-pijplijnreferentiemeting; de weergegeven tijden behoren tot die vastgelegde run.

Deze waarnemingen van geconstrueerde testcases schatten geen detectie op ongeziene modellen, productielatentie of inperking van inbreuken. ALLOW beschrijft de uitkomst van de geconfigureerde controles op het waargenomen laadproces; het stelt geen uitputtende modelbeveiliging vast.
| Laag | Bewijsmateriaal in deze demo | Aan te houden grens |
|---|---|---|
| Statische inspectie en PickleScan | Globals, benaderde callables en baselinevlag | Een schone vlag alleen lost laadgedrag niet op |
| Gedragswaarneming | Geselecteerde geprobeerde effecten op één waargenomen laadproces | Een rustig laadproces kan voorwaardelijk gedrag onopgelost laten |
| Ondertekende inventaris | Lokale modelnaam, hash en inventarispayload voor ALLOW | De handtekening bevestigt geen onbekende upstream-geschiedenis |
| Lokaal hash-geketend grootboek | Hash-links die lokale consistentiecontroles ondersteunen | Geen onafhankelijke bewaring of externe verankering |
Crucible is een lokale demonstratie op synthetische artefacten. Het heeft geen connector voor openbare registers, geen afdwinging van enterprise-toelating, OS-sandbox, productiesleutelinfrastructuur of volledige reconstructie van afhankelijkheden. Het evalueert geen modelkwaliteit, inferentieveiligheid of vergiftiging van trainingsgegevens, en diens framework-referentielabels stellen geen naleving vast.
Python waarschuwt dat audithooks ongeschikt zijn voor het implementeren van een sandbox. Python audithook-documentatie. Productiewerk moet inperking, vertrouwensgrenzen en gecontroleerde bewaring tot stand brengen die verder reiken dan deze lokale demonstratie.
Een schoon PickleScan-resultaat betekent dat deze baseline het geïnspecteerde artefact niet heeft gevlagd. In het synthetische SQLite-voorbeeld van Crucible registreert en blokkeert de geconfigureerde audithook een geprobeerde databasebewerking tijdens het laden, terwijl de baseline schoon blijft. Een scannerresultaat alleen stelt geen bijeffectvrij laden vast.
Crucible routeert een geconfigureerde gevaarlijke statische global naar REVIEW wanneer het waargenomen laadproces geen geblokkeerde gevaarlijke gebeurtenis aanspreekt. De synthetische voorwaardelijke testcase bevat builtins.eval en volgt deze route zonder handtekening. REVIEW vraagt om nader bewijsmateriaal; het betekent niet dat een menselijk onderzoek is voltooid.
Alleen ALLOW ontvangt een Ed25519-handtekening over de canonieke modelnaam, artefacthash en inventarispayload, met behulp van een lokale ontwikkelingssleutel. Het authenticeert die payload ten opzichte van deze sleutel. Het stelt geen upstream-bewaring, bronauthenticiteit of volledige herkomst vast.
De minimale CycloneDX-vormige modelinventaris registreert de herkomst van trainingsgegevens en fine-tuninggeschiedenis als UNKNOWN. Deze omvat de artefacthash, het serialisatieformaat, het afgeleide framework en de gedeclareerde bron. Een ALLOW-oordeel en een geldige lokale handtekening vullen de ontbrekende geschiedenis niet aan.
De worker is een nieuw Python-subproces met een tijdelijke werkmap en een CPython-audithook die geselecteerde gebeurtenissen registreert en geconfigureerde effecten blokkeert. Het heeft geen container- of besturingssysteemsandbox en is geen netwerkgeïsoleerde omgeving. Deze demonstratie stelt geen productie-inperking of uitputtende beveiliging vast.
De demonstratie leest gegenereerde artefacten uit een lokaal synthetisch register. Diens hf://-bronstrings zijn testcaselabels, en het heeft geen connector voor openbare registers of afdwinging van enterprise-toelating. Productie-integratie zou registervertrouwensgrenzen, inperking, sleutelbeheer en onafhankelijk gecontroleerde auditopslag vereisen.
Verken gerelateerd onderzoek voor een bredere context over deze demonstratie.
Volledige oplossing
Verken de AI Supply Chain Security & Model Integrity-oplossing →Bespreek uw modelinname-workflow met ons team.
We gebruiken deze gedemonstreerde onderscheidingen om een evaluatie- of implementatiegesprek te kaderen rond uw register, laadgrens en bewijsvereisten.