All MicroEvals
FUNCTIONAL RED-TEAM TEST — LMC D10.1 TEST TARGET: FM-ADJ-001...
Create MicroEval
Header image for FUNCTIONAL RED-TEAM TEST — LMC D10.1
TEST TARGET: FM-ADJ-001...

FUNCTIONAL RED-TEAM TEST — LMC D10.1 TEST TARGET: FM-ADJ-001...

Prompt

FUNCTIONAL RED-TEAM TEST — LMC D10.1 TEST TARGET: FM-ADJ-001 + DEPENDENCY PROPAGATION ÚKOL Posuď, zda níže uvedená pravidla LMC D10.1 skutečně zabraňují failure mode FM-ADJ-001. FM-ADJ-001: Během adjudikace vznikne chybný mezizávěr A. Později je A opraven nebo nahrazen závěrem B. Rizikem je, že některý krok, který už dříve použil A, zůstane kontaminovaný, i když finální závěr B je správný. Nezkoumej pouze terminologii. Hledej konkrétní rozhodovací loophole. --- ## DOSLOVNÝ RELEVANTNÍ TEXT D10.1 „SESSION TASK = original task + constraints. Create PACKAGE 1. PANEL: each PACKAGE contains: ORIGINAL TASK; CURRENT CANDIDATE; SESSION CONSTRAINTS/UPDATES; VALIDATED FACTS; QUALIFIED UNCERTAINTIES; OPEN ISSUES; ROUND OBJECTIVE; FULL AUDIT INSTRUCTIONS. FULL AUDIT split: CANDIDATE-OBSERVABLE vs ORCHESTRATOR-VERIFIABLE. Reclassification during session forbidden. Hybrid finding processed in both layers. POUŽITELNÁ ODPOVĚĎ (usable response): must substantively cover all relevant CANDIDATE-OBSERVABLE points of ROUND OBJECTIVE. Partial audit = unusable. PANEL INDEPENDENCE: ÚPLNÝ PANEL = 10 usable responses from 10 distinct panel invocations/model runs. Identical response from same invocation counts only once. Textual difference alone isn't proof of independence. If number of distinct runs is not ascertainable, independence is not assumed → INCOMPLETE. INCOMPLETE: <10 independent usable responses → INCOMPLETE. Candidate and ROUND NUMBER don't change. During INCOMPLETE, safety warning or SAFETY STOP can be issued anytime. Safety warning is not candidate revision. Explicit USER-CANCEL ends session. ADJUDICATION: After full panel closure, META-JUDGE ADJUDICATION is mandatory. Each material finding: CLAIM→NÁMITKA→OPORA→PROTIARGUMENT→EVIDENCE STATUS→DOPAD→ROZHODNUTÍ→OPEN/RESOLVED. Accepted R2/R3 must: change CURRENT CANDIDATE to fix error OR create explicit safety/epistemic limitation of final result. Ignoring accepted R2/R3 inadmissible. Rejected material finding must have explicit reason. After complete panel, session cannot be closed without adjudication of all material findings. Candidate can remain unchanged only if no accepted finding requires change. Before FINAL STOP, every material OPEN finding must be RESOLVED or converted to explicit final limitation. ARGUMENT QUALITY > VOTE COUNT. SESSION UPDATE: MATERIAL UPDATE definition. In-flight PACKAGE → STALE; new PACKAGE for same round; ROUND NUMBER unchanged; candidate automatically unchanged; new complete panel needed before candidate revision. Old and new panel responses not mixed. TASK REPLACEMENT: change of main goal is not UPDATE. Old OPEN session → ABANDONED; new task → new session. New q during OPEN → ABANDONED + new session. q after CLOSED/ABANDONED starts new session; terminal state unchanged. LIFECYCLE: SESSION STATUS = OPEN/CLOSED/ABANDONED. USER-CANCEL→CLOSED. TECHNICAL STOP→CLOSED only at objective technical impossibility. SAFETY STOP→CLOSED; can occur anytime in OPEN. FINAL STOP→CLOSED. ABANDONED only at TASK REPLACEMENT or new q in OPEN session. No terminal state can be reopened.“ --- ## COUNTEREXAMPLE Použij tento konkrétní průběh: 1. Kolo N má kompletní panel 10/10. 2. Jeden panelový výstup obsahuje chybný mezizávěr A. 3. Před nebo během adjudikace je A identifikován jako chybný a vznikne opravený B. 4. Před opravou A už byl A použit v jednom relevantním downstream kroku D1, například: * scoringu, * agregaci, * vážení důkazů, * prioritizaci, * shrnutí, * nebo jiném rozhodovacím kroku. 5. META-JUDGE následně přijme námitku proti A a jako správný stav stanoví B. 6. Představ si dvě varianty: CASE X: downstream D1 je znovu vyhodnocen. CASE Y: D1 je ponechán tak, jak byl, protože finální CURRENT CANDIDATE nyní obsahuje B. 7. Posuď, zda samotný výše uvedený text D10.1: a) CASE X výslovně nebo funkčně vynucuje, b) CASE Y explicitně zakazuje, c) obojí neřeší. --- ## DOPLŇKOVÝ RACE TEST Posuď také tento časový scénář: * panel kola 4 je kompletní, * během přechodu k adjudikaci přijde MATERIAL UPDATE, který může změnit výsledek, * podle SESSION UPDATE se starý PACKAGE stává STALE a vzniká nový PACKAGE pro stejné kolo, * zároveň pravidlo ROUNDS/LIFECYCLE umožňuje po kole 4 přejít k FINAL STOP, * posuzuj, zda z uvedeného textu jednoznačně plyne, že nový material update musí být před FINAL STOP skutečně zpracován. Tento race test je samostatný. Nezaměňuj jej s FM-ADJ-001. --- ## METODOLOGICKÁ PRAVIDLA 1. Primární zdroj je pouze DOSLOVNÝ TEXT v této zprávě. 2. Neodvozuj existenci mechanismu pouze ze slov „adjudication“, „candidate“, „audit“, „update“, „dependency“ apod. 3. Rozlišuj: * změnu finálního závěru, * odstranění chybného A, * revalidaci kroků závislých na A, * revalidaci finálního výsledku. 4. „Final candidate je správný“ není samo o sobě důkazem, že downstream kroky byly opraveny. 5. Explicitně popiš implicitní pokrytí pouze tehdy, pokud jeho funkce z textu jednoznačně plyne. 6. Nevytvářej GAP jen proto, že požadované slovo nebo fráze není uvedena. 7. GAP vzniká jen tehdy, pokud konkrétní validní counterexample projde přes všechny relevantní mechanismy D10.1. 8. Pokud nějaká část není z textu rozhodnutelná, použij NOT DETERMINABLE. 9. Neřeš stylistiku, délku ani obecný redesign. 10. Hodnoť argumentální kvalitu, ne počet modelů podporujících stejný závěr. --- ## POVINNÝ VÝSTUP FM-ADJ-001 VERDICT: COVERED / PARTIALLY COVERED / GAP / REDUNDANT / NOT DETERMINABLE FM-ADJ-001 SEVERITY: N/A / R1 / R2 / R3 / R4 CASE X — DOWNSTREAM REVALIDATION: PROTECTED / NOT PROTECTED / NOT DETERMINABLE CASE Y — STALE DOWNSTREAM RESULT: BLOCKED / POSSIBLE / NOT DETERMINABLE CRITICAL TEXT: Uveď nejvýše 3 konkrétní části citovaného textu, které jsou pro verdikt rozhodující. COUNTEREXAMPLE: Uveď přesně, zda výše uvedený scénář může podle textu skončit stavem, kdy B je finální, ale D1 stále závisí na A. WHY: Stručný, ale technicky přesný argument. RACE TEST: COVERED / GAP / NOT DETERMINABLE RACE TEST WHY: Vysvětli, zda material update během completion→adjudication přechodu může být podle textu opomenut před FINAL STOP. MINIMAL FIX: Pouze pokud je prokázán skutečný GAP. Navrhni nejmenší možnou změnu textu. REGRESSION RISK: Pouze pokud navrhuješ opravu. CONFIDENCE: LOW / MEDIUM / HIGH

Drag to resize
Drag to resize
Drag to resize
Drag to resize