LMC DEVELOPMENT — INDEPENDENT METHODOLOGY AUDIT ÚKOL Prove...

Prompt

LMC DEVELOPMENT — INDEPENDENT METHODOLOGY AUDIT ÚKOL Proveď nezávislý, kritický a metodologicky rigorózní audit přiložené/verze LMC Dlouhodobé metodiky pro nová vlákna. Nejde o redesign metodiky od nuly. Úkolem je zjistit: 1. zda metodika skutečně definuje reprodukovatelný a provozuschopný postup, 2. zda její pravidla lze konzistentně aplikovat na reálné případy, 3. zda obsahuje skryté logické mezery, circularitu, Goodhartovy efekty, neověřitelné předpoklady nebo rozpory, 4. zda správně zachází s experimentální evidencí, replikací, evaluátory, anonymizací, provenance a závislostí mezi modely, 5. zda její rozhodovací pravidla skutečně vedou k jednoznačnému dalšímu kroku, 6. zda metodika nepředstírá vyšší míru jistoty, nezávislosti evidence nebo generalizace, než jakou lze z dat legitimně vyvodit. PRAVIDLA AUDITU A. ZDROJOVÁ DISCIPLÍNA Pracuj primárně pouze s dodanou metodikou a s jejím skutečným obsahem. Nevymýšlej části metodiky, které nejsou v textu. Nevkládej do ní pravidla, která tam nejsou. Pokud něco nelze z textu metodiky zjistit, označ to jako: UNRESOLVED — CHYBĚJÍCÍ INFORMACE Nezaměňuj: - absenci pravidla, - nejasně formulované pravidlo, - pravidlo přítomné, ale neoperacionalizované, - pravidlo přítomné a operacionalizované, ale metodologicky chybné. B. NEZÁVISLOST AUDITU Hodnoť metodiku jako celek i její jednotlivá rozhodovací pravidla. Nespoléhej na: - reputaci autora, - reputaci modelu, - počet podobných doporučení, - konsenzus jiných LLM, - údajnou „best practice“, pokud není z metodiky samotné zřejmé, jak je aplikována. Pokud uvádíš externí metodologický argument, explicitně jej označ jako EXTERNAL EVIDENCE. Pokud nemáš možnost ověřit aktuálnost tvrzení, nepoužívej absenci informace jako důkaz její neplatnosti. C. NEJDŘÍVE VALIDITA, POTOM HODNOCENÍ Před hodnocením jednotlivých výsledků vždy ověř: - zda je auditní objekt skutečně dostupný, - zda je zadání jednoznačné, - zda lze simulovat nebo testovat požadovaný mechanismus, - zda nejsou chybějící vstupy, - zda jsou dostupné podmínky potřebné k posouzení konkrétního pravidla. Jestliže validita konkrétního testu není splněna, nevyvozuj z něj závěr o kvalitě metodiky. Výsledek takového testu klasifikuj jako: INVALID TEST / DIAGNOSTIC ONLY. D. AUDITOVANÉ OBLASTI Prověř minimálně: 1. ARCHITEKTURU METODIKY - jsou vrstvy a jejich role jednoznačné? - jsou odděleny produkční prompt, frozen baseline, experimentální stavy a archiv? - může vzniknout stav, kdy není jasné, který artefakt je produkční? 2. ROZHODOVACÍ LOGIKU - vede stav → rozhodnutí → rozhodovací mezera → další akce → stop/escalace k jednoznačnému postupu? - existují situace, ve kterých dvě legitimní interpretace vedou k různým dalším krokům? - existují slepé větve nebo nekonečné smyčky? 3. EXPERIMENTÁLNÍ VALIDITU - je experiment před interpretací výsledků validován? - je přesně definována jednotka replikace? - není zaměňována variabilita modelu s nezávislou replikací? - nejsou modelové rodiny nebo poskytovatelé nesprávně považováni za nezávislé důkazní zdroje? - jsou negativní kontroly skutečně na stejné úrovni konstruktu jako test? 4. REPLIKACI A GENERALIZACI Rozliš: - INTRA-MODEL REPLICATION, - CROSS-MODEL DIVERSITY, - CROSS-CONDITION ROBUSTNESS. Explicitně posuď, zda metodika správně brání tvrzení: „10 modelů = 10 nezávislých replikací.“ 5. EVIDENCE A CLAIM–EVIDENCE LEDGER Ověř: - zda lze každé významné tvrzení přiřadit k evidenci, - zda je evidováno SUPPORTS / CONFLICTS / INSUFFICIENT, - zda jsou zaznamenávány alternativní interpretace, - zda lze vysledovat rozhodnutí zpět k evidenci. 6. ANONYMIZACI A PROVENANCE Prověř, zda metodika správně odděluje: BLIND LAYER - co vidí hodnotitel, - zda identita modelu není zpětně odvoditelná. ANALYSIS LAYER - pseudonymizovaný model, - provider, - model family, - dependency group, - konfigurace a další relevantní metadata. AUDIT/PROVENANCE LAYER - skutečná identita modelu, - provider, - family, - verze, - konfigurace, - čas běhu, - známé vztahové závislosti. Explicitně rozhodni, zda metodika umožňuje současně: a) zachovat skutečnou anonymitu vůči hodnotiteli, b) zachovat interní provenance, c) po uzavření blind fáze analyzovat závislosti mezi zdroji. Hledej chybu typu: „anonymizace odstraní i informace potřebné pro analýzu nezávislosti evidence.“ 7. LLM-AS-A-JUDGE / EVALUATOR VALIDITY Prověř: - construct validity, - task/domain fit, - calibration, - systematic bias, - position/order bias, - verbosity/length bias, - source-label bias, - self-preference, - family/preference leakage, - reference/anchor sensitivity, - test-retest consistency, - inter-judge consistency, - uncertainty/disagreement handling. Zvlášť ověř tvrzení implicitního typu: „více evaluatorů = více nezávislé evidence“. 8. KALIBRACE EVALUÁTORU Prověř: - zda existuje human-audited nebo jinak nezávisle kalibrovaná sada, pokud je potřeba, - zda je zohledněno, že procentuální shoda sama o sobě nestačí, - zda metodika umí zachytit systematický posun skóre, - zda rozlišuje shodu od skutečné validity evaluátoru. 9. RESEARCH SEARCH VS EVALUATION SEARCH Prověř, zda metodika rozlišuje: RESEARCH SEARCH = Web Search použitý k výzkumu metodiky, EVALUATION SEARCH = Search používaný samotným hodnoceným systémem nebo evaluátorem během testu. Zhodnoť, zda asymetrie mezi cílovým systémem a evaluátorem může vytvořit zkreslení výsledku. 10. KNOWLEDGE CUTOFF Prověř: - zda je knowledge cutoff externích modelů veden jako provenance/calibration metadata, - zda není automaticky interpretován jako důkaz nekvality, - zda metodika umí zacházet s konfliktem mezi starším LLM názorem a novější validní evidencí. 11. EVALUATOR OVERFITTING / GOODHART Prověř, zda opakovaná optimalizace proti stejnému evaluatoru nemůže způsobit: - přizpůsobení výstupu evaluatoru, - umělý růst benchmark skóre, - pokles generalizace. Zhodnoť, zda metodika vyžaduje fresh judge, změnu rubriky, blind human subset nebo nezávislý holdout v případech, kde je to nutné. 12. BENCHMARK CONTAMINATION Prověř, zda metodika rozlišuje: - výkon na pozorovaném benchmarku, - generalizovaný výkon, - riziko contamination/exposure. 13. STATISTICKOU INTERPRETACI Prověř, zda metodika správně rozlišuje: - point estimate, - uncertainty, - effect size, - benchmark-conditioned performance, - generalized performance. Nevyžaduj statistickou složitost tam, kde není přiměřená datům, ale hledej falešnou přesnost. 14. STOP / ESCALATION Prověř: - zda je definováno, kdy je otázka skutečně uzavřena, - zda STOP neznamená pouze „už nemáme další nápady“, - zda má ESCALATE důvod, očekávaný informační přínos a nový omezený rozpočet, - zda je možné předejít nekonečnému experimentování. 15. PROMOTION / ROLLBACK / FROZEN BASELINE Prověř: - zda pouze PROMOTE mění produkční prompt, - zda po PROMOTE vzniká přesná nová frozen baseline, - zda je starý baseline archivován, - zda rollback skutečně vrací známý stav, - zda neexistuje silent change. 16. NEGATIVE CAPABILITY Prověř, zda metodika chrání před nenápadnou regresí schopností, které nebyly primárním cílem optimalizace. 17. NO SILENT CHANGE Prověř, zda material evidence po uzavření experimentu nebo balíčku nemůže být tiše zpětně přimíchána do již uzavřeného závěru. 18. BUDGET A ITERACE Prověř: - zda je standardní rozpočet omezený, - zda je možné rozpočet adaptivně přerozdělit, - zda je po dosažení limitu povinné rozhodnutí, - zda continuation vyžaduje explicitní escalation, - zda není číslo iterací mechanicky zaměňováno za statistickou dostatečnost. E. KONSTRUKTOVÁ VALIDITA U každého závažného problému polož implicitně otázku: „Co přesně touto částí metodiky měříme nebo rozhodujeme?“ Pokud pravidlo měří něco jiného, než tvrdí, označ: CONSTRUCT MISMATCH. F. SKRYTÉ ZÁVISLOSTI Hledej zejména závislosti vznikající přes: - stejný model family, - stejného providera, - odvozené modely, - sdílený checkpoint, - sdílená tréninková data, - stejného evaluátora, - stejnou rubriku, - stejné reference/anchors, - stejný benchmark, - stejné proměnné v promptu, - opakované optimalizování proti témuž hodnoticímu mechanismu. Nezaměňuj „odlišný název modelu“ za skutečnou nezávislost. G. ANONYMIZACE — ADVERSARIAL TEST Představ si minimálně tuto situaci: Je testováno 10 anonymizovaných odpovědí různých modelů. Hodnotitel nezná identitu modelu. Po vyhodnocení je však nutné zjistit: - které odpovědi pocházejí ze stejné model family, - které mají společného providera, - které mohou být genealogicky nebo technicky závislé. Urči, zda současná metodika umožňuje tento audit bez porušení blind evaluace. Pokud ne, navrhni nejmenší nutnou strukturální opravu. H. SIMULACE Proveď interní mentální/strukturální simulaci alespoň těchto případů: CASE 1 10 modelů, z nichž 4 patří do jedné family. CASE 2 10 anonymních odpovědí, ale evaluator je schopen odvodit identitu podle stylu nebo zdrojových labelů. CASE 3 Dva evaluátoři nesouhlasí zásadně. CASE 4 Evaluator preferuje vlastní family/model. CASE 5 Benchmark je částečně kontaminovaný. CASE 6 Target system nemá Web Search, evaluator Web Search má. CASE 7 Po uzavření experimentu přijde nový důkaz v rozporu se závěrem. CASE 8 Po 20 iteracích zůstává významná nejistota. CASE 9 Výsledek se zlepšil na benchmarku, ale není jasné, zda se zlepšil obecný konstrukt. CASE 10 Experiment používá anonymizaci, která současně odstraní provenance metadata potřebná pro analýzu závislosti. U každého CASE uveď: - očekávaný průběh podle metodiky, - zda je jednoznačný, - případnou mezeru, - závažnost. I. HODNOCENÍ ZÁVAŽNOSTI Používej: CRITICAL = chyba může vést k systematicky chybnému rozhodování, neplatnému důkazu nebo nekontrolované změně produkce. MAJOR = významná metodologická mezera s reálným dopadem, ale obvykle lokálně opravitelná. MINOR = omezení nebo nejasnost s omezeným dopadem. OBSERVATION = doporučení ke zlepšení bez prokázané metodologické chyby. J. ODDĚL FAKTA OD INFERENCE Pro každé závažné zjištění uveď: FINDING EVIDENCE REASONING IMPACT CONFIDENCE Neprezentuj inference jako textovou skutečnost. K. KONKRÉTNÍ OPRAVY U každého CRITICAL/MAJOR problému navrhni: 1. minimální nutnou opravu, 2. zda jde o: - wording fix, - operationalization fix, - structural fix, - experimentálním ověřením nutnou změnu, 3. zda oprava může vytvořit sekundární problém. Nenavrhuj redesign celé metodiky, pokud problém lze odstranit menší změnou. L. FINÁLNÍ ADJUDIKACE Na konci proveď vlastní syntézu bez hlasování a bez „většinového“ principu. Rozliš: A. VALIDATED STRENGTH B. PLAUSIBLE BUT UNVALIDATED C. AMBIGUITY D. METHODOLOGICAL DEFECT E. MISSING CONTROL F. UNRESOLVED Následně rozhodni: STATUS: - PASS - PASS WITH REQUIRED PATCHES - MAJOR REVISION REQUIRED - INVALID / INCOMPLETE AUDIT A doplň: TOP 5 FINDINGS PRIORITY ORDER RECOMMENDED NEXT ACTION STOP / CONTINUE / ESCALATE REASON FOR DECISION Nepředpokládej, že nutně musí existovat problém. Je legitimní dojít k závěru, že konkrétní část metodiky je dostatečně robustní. M. DŮLEŽITÉ OMEZENÍ Nesmíš: - vymýšlet chybějící části metodiky, - vyrábět falešnou shodu, - používat počet souhlasných modelů jako náhradu za validaci, - považovat více modelů za automaticky nezávislé důkazy, - považovat největší nebo nejsilnější model za automaticky nejlepšího evaluátora, - zaměňovat anonymizaci za odstranění provenance, - zaměňovat benchmarkový výkon za generalizaci, - zaměňovat vyšší počet iterací za vyšší validitu. N. POŘADÍ PRÁCE Audit proveď v tomto pořadí: 1. INPUT/VALIDITY GATE 2. STATIC STRUCTURAL AUDIT 3. OPERATIONAL SIMULATION 4. ADVERSARIAL / RED-TEAM AUDIT 5. EVALUATOR VALIDITY AUDIT 6. DEPENDENCY / PROVENANCE AUDIT 7. CLAIM–EVIDENCE AUDIT 8. SYNTHESIS AND ADJUDICATION 9. FINAL DECISION Každý krok může označit další krok jako zbytečný, pokud je otázka již validně uzavřena. O. ITERAČNÍ DISCIPLÍNA Audit má maximálně 5 interních iterací: 1. STRUCTURE 2. OPERATIONAL 3. ADVERSARIAL 4. REFINEMENT 5. FINAL ADJUDICATION Není nutné použít všech 5 iterací, pokud je otázka uzavřena dříve. Po každé iteraci přehodnoť: - co zůstává nejisté, - která další akce má nejvyšší informační hodnotu, - zda má další iterace smysl. Pokud není další iterace odůvodněná, proveď STOP. P. POVINNÝ VÝSTUP Na začátku: AUDIT VALIDITY: VALID / INVALID DŮVOD: Poté: 1. EXECUTIVE VERDICT 2. CRITICAL / MAJOR FINDINGS Pro každý: - ID - Severity - Finding - Evidence - Reasoning - Impact - Confidence - Recommended fix 3. SIMULATION RESULTS 4. ANONYMIZATION + PROVENANCE VERDICT Explicitně odpověz: „Lze při zachování blind evaluace současně zachovat interní provenance a následně analyzovat skutečnou nezávislost modelových výsledků?“ 5. EVALUATOR VALIDITY VERDICT 6. DEPENDENCY / INDEPENDENCE VERDICT 7. WHAT THE METHODOLOGY CAN LEGITIMATELY CLAIM 8. WHAT IT CANNOT YET CLAIM 9. MINIMAL REQUIRED PATCHES 10. FINAL STATUS 11. NEXT ACTION DŮLEŽITÉ Pokud najdeš rozpor mezi dvěma částmi metodiky, necíluj automaticky na kompromis. Urči, která formulace má vyšší logickou a operační prioritu podle samotné architektury metodiky. Pokud najdeš několik vzájemně závislých problémů, nepočítej je jako několik nezávislých důkazů. Uveď jejich společnou příčinu. Pokud je problém způsoben pouze chybějícím vstupem do auditu, neoznačuj to za metodologickou chybu. Výsledný audit musí být reprodukovatelný jiným nezávislým modelem pracujícím se stejným textem metodiky. Sem napiš dotaz: