All MicroEvals
P52 — EXTERNÍ EXPERTNÍ ADVERSARIÁLNÍ AUDIT R80/M316 Projekt:...
Create MicroEval

P52 — EXTERNÍ EXPERTNÍ ADVERSARIÁLNÍ AUDIT R80/M316 Projekt:...

Prompt

P52 — EXTERNÍ EXPERTNÍ ADVERSARIÁLNÍ AUDIT R80/M316 Projekt: Prompt 1 Režim: nezávislé hodnocení jedním modelem z anonymního více-modelového panelu. Datum zadání: 2026-10-03. ÚČEL Prověř aktuální procesní architekturu Promptu 1 po sérii oprav P51→R80. Nejde o obecnou recenzi promptu ani o hledání kosmetických změn. Hledej reprodukovatelné, systémové nebo přenositelné chyby, které interní testy mohly přehlédnout kvůli společným předpokladům, korelovaným orákulům, selekci testů nebo příliš složité architektuře. Zaměř se zvlášť na nový M316: explicitní samoučící se základnu, dlouhodobou autonomní evoluci, řízení aktuálnosti, efektivitu testů, zjednodušování artefaktů a budoucí adaptaci oblastí zájmu. AKTUÁLNÍ IDENTITA Procesní autorita: Prompt1_CURRENT_PROCESS_HEAD_R80.json SHA-256: c7b39630b708a88ed425e1861bcd1eb9f00278a1158e58a94371cd4fa53d65ab Metodika: M316_SELF_LEARNING_AND_SUSTAINABLE_EVOLUTION_SUCCESSOR.md SHA-256: e942475d5ba7db06497937860bbae50f56f20e3968747f27374a89f7026d2475 Delta podpůrný balík: Prompt1_R80_SELF_LEARNING_SUPPORT_PACK.md SHA-256: 598343c36cd8ff16f48a35580a4e90c2bc288bb2074b969342fb8a642b56c014 Aktuální počet významově účinných požadavků: 61. Stavová autorita: Z520/R83/C2; assurance zůstává REOPENED. P51: RESULTS-INTEGRATED / HISTORICAL-EXACT-FROZEN. P52 je tento právě vydaný panel; interní výsledky se s jeho výsledky nesmějí aritmeticky slévat. CO M316 ZAVÁDÍ 1. Učení z posledních přibližně 20 projektových vláken jako zobecněné lekce, nikoli jako tvrzení bajtové úplnosti všech chatů. 2. Životní cyklus lekce: SIGNAL → CANDIDATE_LESSON → VERIFIED_LESSON → SHADOW_CHANGE → QUALIFIED_CHANGE → ACTIVE_CHANGE → LONGITUDINALLY_SUPPORTED; možné REOPENED/RETIRED. 3. Druhá materiálně ekvivalentní recidiva po tvrzené opravě má vyvolat systémovou CAPA/refaktorovou revizi. 4. Autonomní smyčka: zjistit delta/selhání → určit třídu chyby a kořenovou příčinu → hledat proti-důkaz → navrhnout nejmenší vratnou změnu → negativní/benigní/účelově odlišné testy → stínové ověření, je-li vhodné → M301 head-last nasazení → sledovat skutečné používání/recidivu → zjednodušit nebo vyřadit, když přínos klesne. 5. Monitory jsou read-only senzory pro změny, nezávislé hledání chyb a dlouhodobé signály; přímé reprodukovatelné testy a integrace patří do interaktivního `pracuj`. 6. Budoucí oblasti zájmu se smějí adaptovat podle explicitních domén skutečných uživatelských dotazů až po autoritativním uzavření odlaďovací fáze; mechanismus je nyní ARMED_NOT_ACTIVE. Citlivý osobní profil se nesmí inferovat. 7. Externí projekty/modely/standardy jsou pouze donor mechanismů; vendor benchmark ani self-report nemá lokální promotion kredit. 8. Kompaktní publikační profil má cílit na nejvýše čtyři kořenové artefakty na materiální aktivaci: metodika, přesný delta podpůrný balík, current head, společný exit/checkpoint receipt. P-panel TXT a transition ZIP jsou mimo tento rozpočet. 9. Testovací strategie má preferovat levné diskriminační property/mutation/metamorfní/differential/replay/fault-injection testy před opakovanými širokými audity, ale nesmí ztratit nezávislost orákula ani reálné pokrytí. 10. Zachovány musí být starší ochrany M299–M315: anti-hallucination a biomedical safety, evidence stages, M301 bezpečné nasazení, M303 effect-unknown/reconciliation/saga/circuit-breaker, P exactly-once, aktuálnost požadavků/odvozeného stavu, dlouhé běhy M314 a komunikační/epistemická integrita M315. DŮLEŽITÉ DOSAVADNÍ TŘÍDY SELHÁNÍ - stale/current authority a „přesný, ale zastaralý“ odvozený stav; - zaměnění návrhu nebo konfigurace za skutečné vykonání/účinnost; - validátor či selftest se stejnou chybou jako implementace; - partial writes / timeout po možném vedlejším účinku a nebezpečný retry; - oprava exempláře místo systémové třídy; - neúplný requirement/receipt census; - stale monitor policy nebo rozpor live scheduler vs uložený stav; - zbytečná duplicita monitorů a `pracuj`; - překračování časových limitů a host interruption; - P-family duplicate issuance a potřeba exactly-once; - ztráty při `prechod` (chybějící klikatelné Px, ZIP/path/copy-ready pokyn); - příliš mnoho samostatných souborů zvyšujících partial-write a tokenovou režii; - vendor/donor tvrzení povýšená bez lokálního ověření; - manipulativní či příliš jisté rámování odpovědi, paměť vydávaná za současný stav. TVŮJ ÚKOL Nejdřív se pokus M316 a celou retained architekturu VYVRÁTIT, ne potvrdit. Nespoléhej na počet interních PASS. Přemýšlej jako kombinace: seniorní software/reliability architekt, specialista na AI evaly a TEVV, red-team auditor, odborník na řízení změn, provenance/currentness a bezpečnou autonomii. Proveď alespoň následující kontroly; pokud dvě kontroly sdílejí stejnou kořenovou příčinu, sluč je a místo duplicity přidej nový útok. A. SAMOUČENÍ A META-UČENÍ - Může systém chybně zobecnit jednu lokální chybu do příliš širokého pravidla? - Jak zjistí, že „lekce“ sama způsobuje regresi? - Je stav REOPENED/RETIRED skutečně dostatečný proti dogmatizaci starých oprav? - Jak odlišit stabilní pravidlo od náhodného výsledku malé série testů? - Navrhni případ, kde recurrence trigger selže: dvě stejné příčiny vypadají odlišně, nebo dvě odlišné příčiny vypadají stejně. - Hledej Goodhartovo chování: optimalizace PASS, počtu nalezených chyb, souborů, času či „unikátního výnosu“ místo skutečné kvality. B. AUTONOMIE A SEBEPROMOTION - Najdi cestu, jak by interní koordinátor mohl být zároveň autorem změny, testu, orákula a aktivace a tím obejít skutečnou nezávislost. - Prověř, zda „purpose-distinct“ může být pouze slovní a stále korelovaný. - Navrhni enforceable hranici mezi autonomním návrhem/testem a promotion oprávněním. - Hledej nekonečnou smyčku autonomních zlepšení nebo „auditního toilu“. C. PŘETRVÁNÍ UŽIVATELSKÝCH PŘÍKAZŮ - Napadni supersession/event resolver: kolize priority, chybějící událost, starý snapshot, jednorázový pokyn omylem povýšený na trvalý, trvalý pokyn omylem uzavřený. - Hledej situaci, kdy přesný hash maskuje sémanticky neaktuální stav. - Ověř, zda zákaz P52 bez explicitního pokynu, P exactly-once a `prechod` povinnosti mohou být ztraceny při další kompakci. D. ADAPTACE OBLASTÍ ZÁJMU - mechanismus je zatím vypnutý: navrhni podmínky bezpečné aktivace; - hledej selection bias, topic lock-in, recency bias, popularity bias, citlivé inference a vytěsnění podpůrných oblastí; - posuď, zda rozsahy 60–80 % demand / 10–30 % adjacent / 5–15 % exploration nejsou falešná přesnost; - navrhni robustnější adaptivní schéma, pokud existuje, ale bez zbytečné složitosti. E. SOUBOROVÁ KONSOLIDACE - Pokus se dokázat, že čtyř-artefaktový profil může ztratit nezávislou dohledatelnost, možnost cíleného načítání, currentness, recovery nebo interoperabilitu. - Otestuj pack tampering, member omission, duplicate member name, hash collision assumptions, špatný extractor, stale member v novém packu a head odkazující na správný pack s chybnou vnitřní sémantikou. - Rozliš počet root files od skutečných tokenových/I/O nákladů. - Navrhni minimální metadata, která musí zůstat mimo balík, pokud vůbec nějaká. F. TESTOVACÍ STRATEGIE - Hledej selhání, která property/mutation/metamorfní testy typicky nezachytí. - Prověř korelaci interních testů, data leakage, overfitting na známé regresní svědky, evaluator aging, benign-case deficit, příliš syntetické testy a špatné orákulum. - Navrhni způsob výběru dalšího testu podle očekávané informační hodnoty bez kruhového hodnocení vlastním modelem. - Urči, kdy je široký nezávislý audit stále nutný. G. MONITORY A DLOUHODOBÁ ÚČINNOST - Posuď současné rozdělení: Delta / Fault Finder / Frontier Delta / Biomedical Delta / Effectiveness. - Hledej mezery a duplicity vůči `pracuj`. - Jak měřit false-positive/false-negative rate monitoru, když ground truth není úplná? - Jak zabránit tomu, aby monitor jen vyráběl více úkolů a souborů bez dopadu? - Navrhni minimální longitudinální metriky skutečné účinnosti oprav. H. CONTROL PLANE A NASAZENÍ - Napadni M301 head-last, effect-unknown reconciliation, exactly-once a circuit breaker. - Simuluj host interruption během compact deploy, během P issuance a během prechod. - Hledej TOCTOU mezi readbackem a aktivací. - Hledej stale-head, partial support-pack replacement a rozdíl mezi „intent durable“ a skutečně potvrzeným efektem. I. EPISTEMICKÁ A BIOMEDICÍNSKÁ BEZPEČNOST - Prověř, zda autonomní optimalizace nemůže oslabit přísnější biomedical/evidence pravidla. - Hledej tlak na stručnost/efektivitu, který by ořezal negativní důkazy, kontraindikace, přenositelnost, uncertainty nebo provenance. - Hledej konflikt mezi aktivním oponováním a zákazem falešné rovnováhy. - Paměť smí být kontinuita, ne current-state evidence: najdi obcházení tohoto pravidla. J. PŘECHOD / RECOVERY - Ověř, zda jediný ZIP + current head + Px opravdu stačí k bezeztrátové rekonstrukci. - Co musí transition bundle obsahovat, aby jiné vlákno/účet poznalo aktuální autoritu, P exposure lock, monitory, neuzavřené transakce, learning states a rollback bod bez spoléhání na paměť? - Navrhni test destruktivní obnovy z bundle. POVINNÁ NEGATIVNÍ DISCIPLÍNA 1. Každý HIGH/CRITICAL nález musí mít konkrétní reprodukční scénář nebo deterministický rozpor. 2. U každého významného nálezu zkus napsat nejsilnější protiargument, proč může být falešně pozitivní. 3. Rozliš: FACT (přímo z kontraktu), INFERENCE, HYPOTHESIS/ATTACK, EXTERNAL-EVIDENCE. 4. Neuděluj lokální účinnost jen podle designu nebo interních PASS. 5. Pokud používáš Web/externí zdroje, uveď datum a přesnou URL; vendor claim označ jako vendor claim. 6. Pokud něco nelze z podkladů ověřit, napiš UNKNOWN/NEEDS-EVIDENCE. Nedoplňuj chybějící stav. 7. Nevyráběj „best practices“ bez vazby na konkrétní failure mode Promptu 1. 8. Nekritizuj počet vrstev jen proto, že je vysoký; ukaž konkrétní náklad, konflikt, chybějícího spotřebitele nebo možnost ekvivalentního zjednodušení. POŽADOVANÝ VÝSTUP Vrať jeden syntakticky platný JSON objekt a nic mimo něj. Schéma: { "panel": "P52", "independent_review": true, "assumptions_and_access_limits": [...], "attack_summary": { "distinct_attack_paths_attempted": <int>, "verified_findings": <int>, "unverified_hypotheses": <int>, "false_positive_candidates_rejected": <int> }, "findings": [ { "id": "P52-Fxx", "severity": "CRITICAL|HIGH|MEDIUM|LOW", "status": "VERIFIED|PARTIAL|HYPOTHESIS", "class": "...", "evidence_type": "FACT|INFERENCE|EXTERNAL-EVIDENCE|MIXED", "reproduction_or_deterministic_witness": "...", "root_cause": "...", "why_current_controls_fail": "...", "strongest_counterargument": "...", "counterargument_disposition": "...", "minimal_repair": "...", "systemic_repair_if_recurrence": "...", "negative_test": "...", "benign_test": "...", "regression_witness_to_preserve": "...", "expected_side_effects_or_complexity_cost": "...", "confidence": "HIGH|MEDIUM|LOW" } ], "architecture_gaps_without_verified_failure": [...], "simplification_candidates": [ { "target": "...", "what_can_be_removed_or_merged": "...", "parity_conditions": [...], "rollback_trigger": "..." } ], "self_learning_assessment": { "unsafe_feedback_loops": [...], "missing_observability": [...], "promotion_boundary_issues": [...], "lesson_retirement_issues": [...] }, "artifact_minimization_assessment": { "safe": true|false|null, "required_external_metadata": [...], "failure_modes": [...] }, "monitor_assessment": { "unique_value": [...], "duplication_or_toil": [...], "missing_longitudinal_metrics": [...] }, "top_repairs": [ { "priority": 1, "repair": "...", "blocks_promotion_or_not": true|false, "reason": "..." } ], "tests_chatgpt_should_run_next": [...], "evidence_that_would_change_your_conclusions": [...], "web_sources": [ {"url":"https://...","date":"YYYY-MM-DD|unknown","supports":"...","source_type":"primary|independent|vendor"} ] } OMEZENÍ VÝSTUPU - Nejvýše 12 findings; sluč duplicitní kořenové příčiny. - Nejvýše 8 top_repairs. - Preferuj konkrétní svědky před dlouhou prózou. - Nepřidávej celkové číselné skóre projektu; jednotlivé nálezy mají severity/confidence. - Pokud nenajdeš ověřenou chybu, vrať attack_summary s přesným popisem útoků a seznam nejsilnějších neověřených hypotéz; „no errors found“ samo o sobě není důkaz stability. - Zachovej anonymitu: nehádej, které jiné modely jsou v panelu, a nereaguj na jejich možné výsledky.

Drag to resize
Drag to resize
Drag to resize
Drag to resize
Drag to resize