All MicroEvals
Som tvorca hodnotiacej sady (evaluation dataset) pre LLM. Ú...
Create MicroEval

Som tvorca hodnotiacej sady (evaluation dataset) pre LLM. Ú...

Prompt

Som tvorca hodnotiacej sady (evaluation dataset) pre LLM. Úloha modelu: [napr. klasifikácia e-mailov, extrakcia údajov z faktúr, odpovedanie na otázky z dokumentov, generovanie stručných zhrnutí, hodnotenie rizík v digitálnej forenzike] Kontext použitia: [napr. slovenský jazyk, univerzitné materiály, interné dokumenty, verejné dáta] Typ výstupu modelu: [napr. binárna klasifikácia / viacklasová klasifikácia / štrukturovaný JSON / voľný text / kód / zhrnutie] Známe kategórie alebo typy vstupov: 1. [typ A, očakávaná podiel, napr. 40 %] 2. [typ B, napr. 30 %] 3. [typ C, napr. 20 %] 4. [hraničné alebo zriedkavé prípady, napr. 10 %] Známe chybové režimy modelu: - [napr. zámena kategórií A a B] - [napr. halucinácie pri chýbajúcich dátach] - [napr. nesprávny formát JSON] - [napr. zlyhanie pri dlhých vstupoch] Požiadavky na hodnotenie: - Chcem zistiť, či je zmena promptu/modelu lepšia aspoň o [X] percentuálnych bodov. - Akceptovaná miera chyby je maximálne [Y] %. - Chcem 95% interval spoľahlivosti pre hlavnú metriku. - Dataset má byť rozdelený na dev / test, pomer [napr. 40/60] alebo [50/50]. - Zohľadni triednu nevyváženosť a zoskupenie príkladov podľa dokumentu, témy alebo používateľa. Úloha: 1. Navrhni minimálny, odporúčaný a robustný počet príkladov pre tento dataset. 2. Pre každý variant uveď, akú presnosť dokáže spoľahlivo rozlíšiť. 3. Navrhni konkrétne rozloženie príkladov do kategórií, vrátane hraničných prípadov. 4. Navrhni stratifikovaný výber a pravidlá proti duplicitám a úniku dát (data leakage). 5. Uveď, ktoré štatistické ukazovatele mám počítať pre daný typ úlohy. 6. Navrhni spôsob výpočtu intervalu spoľahlivosti a testu štatistickej významnosti. 7. Uveď predpoklady, riziká a čo robiť, ak je dataset príliš malý. Výstup daj vo forme: - Tabuľka: variant datasetu, počet príkladov, rozlíšiteľný rozdiel, 95% CI, odporúčanie - Tabuľka: rozloženie tried / typov príkladov - Zoznam povinných metrík - Zoznam štatistických testov a ich podmienky použitia - Krátky plán vytvorenia datasetu

Drag to resize
Drag to resize
Drag to resize