Som tvorca hodnotiacej sady (evaluation dataset) pre LLM. Ú...
Prompt
Som tvorca hodnotiacej sady (evaluation dataset) pre LLM. Úloha modelu: [napr. klasifikácia e-mailov, extrakcia údajov z faktúr, odpovedanie na otázky z dokumentov, generovanie stručných zhrnutí, hodnotenie rizík v digitálnej forenzike] Kontext použitia: [napr. slovenský jazyk, univerzitné materiály, interné dokumenty, verejné dáta] Typ výstupu modelu: [napr. binárna klasifikácia / viacklasová klasifikácia / štrukturovaný JSON / voľný text / kód / zhrnutie] Známe kategórie alebo typy vstupov: 1. [typ A, očakávaná podiel, napr. 40 %] 2. [typ B, napr. 30 %] 3. [typ C, napr. 20 %] 4. [hraničné alebo zriedkavé prípady, napr. 10 %] Známe chybové režimy modelu: - [napr. zámena kategórií A a B] - [napr. halucinácie pri chýbajúcich dátach] - [napr. nesprávny formát JSON] - [napr. zlyhanie pri dlhých vstupoch] Požiadavky na hodnotenie: - Chcem zistiť, či je zmena promptu/modelu lepšia aspoň o [X] percentuálnych bodov. - Akceptovaná miera chyby je maximálne [Y] %. - Chcem 95% interval spoľahlivosti pre hlavnú metriku. - Dataset má byť rozdelený na dev / test, pomer [napr. 40/60] alebo [50/50]. - Zohľadni triednu nevyváženosť a zoskupenie príkladov podľa dokumentu, témy alebo používateľa. Úloha: 1. Navrhni minimálny, odporúčaný a robustný počet príkladov pre tento dataset. 2. Pre každý variant uveď, akú presnosť dokáže spoľahlivo rozlíšiť. 3. Navrhni konkrétne rozloženie príkladov do kategórií, vrátane hraničných prípadov. 4. Navrhni stratifikovaný výber a pravidlá proti duplicitám a úniku dát (data leakage). 5. Uveď, ktoré štatistické ukazovatele mám počítať pre daný typ úlohy. 6. Navrhni spôsob výpočtu intervalu spoľahlivosti a testu štatistickej významnosti. 7. Uveď predpoklady, riziká a čo robiť, ak je dataset príliš malý. Výstup daj vo forme: - Tabuľka: variant datasetu, počet príkladov, rozlíšiteľný rozdiel, 95% CI, odporúčanie - Tabuľka: rozloženie tried / typov príkladov - Zoznam povinných metrík - Zoznam štatistických testov a ich podmienky použitia - Krátky plán vytvorenia datasetu