Mám dotaz na optimální použití AI modelů vzhledem k efektivi...

Prompt

Mám dotaz na optimální použití AI modelů vzhledem k efektivitě jak po kvalitativní stránce, tak po té ekonomické. Co mám na mysli: Dejme tomu, že mám rozjetý v AI (ChatGPT, Claude atd.) nějaký projekt, na kterém pracuji. Můj model má nějaké interní pokyny, jak pracovat, jaké mají být výstupy atd. (tuším, že v paměti). Pak má přiložené externí soubory, které mu slouží jako knowledgebase na téma, na kterém pracujeme, takže do nich často nahlíží pro relevantní odpověď. A teď dejme tomu mám otevřenou konverzaci, ve které se snažím mu udržet kontext. Mluvíme o nějaké problematice, konverzace se postupně vyvíjí, rozvíjí, znáš to, zkrátka konverzace se přísně řečeno nedrží jednoho konkrétního tématu v rámci projektu, ale může v rámci projektu řešit různé problematiky (např. pokud se jedná o téma kódu a programování, tak se mohou v rámci jedné kovenrzace řešit různé problémy na různých místech kódu atp.). Takže máme kontext. A teď dejme tomu budu mít pro AI úkol, na který budu potřebovat využít jeho kvalitativní kapacity a budu chtít od něj nějaký propracovaný výstup. Tento výstup AI vytvoří na základě kvalitní analýzy své konwledgebase (tu, kterou má nahranou ve formě externích souborů přímo pod projektem) a na základě hlubokého uvažování. Čili musí skloubit nejen analýzu informací, ale dobře ji i interpretovat. To znamená, že budu pravděpodobně cítit potřebu změnit model na ten s vyšší inteligencí. Jenomže teď je problém: přechod na kvalitnější model a kvalitnější deep reasoning stojí více tokenů/kreditů, whatever. To znamená, že já jako uživatel budu chtít použít ten kvalitnější model až ve chvíli, kdy budu chtít od něj ten nejlepší výstup. Následná diskuze a ladění potom bude probíhat v "jednodušších modelech", abych ušetřil. Jenomže, jakým způsobem na to jít? A) Udržovat celou práci v jedné konverzaci? AI má veškerý kontext po ruce. Problém je samozřejmě v tom, že pokud je konverzace příliš dlouhá, kontext se mu začíná vytrácet a nepamatuje si už kompletní historii. Také jsem slyšel (a otázka, je to pravda??), že přepínání mezi modely v jedné konverzaci stojí ve výsledku více tokenů, protože to souvisí nějakým způsobem s cachovanými tokeny? Informacemi, které daný model má? Přesně nevím, jak to funguje, proto potřebuji tuto hypotéu ověřit. B) Udržovat modely v oddělených konverzacích? Tzn. mám model A v konverzaci A a model B v konverzaci B, kde A je na diskuze, povídání, tzn. kde budu užívat běžný konverzační, nenáročný model, a kde B je ten náročný, velmi inteligentní model, kde budu chtít kvalitní výstupy (např. přednášky, lekce, interpretace kódu atd.). Problém je, že nevím, jak by to bylo s kontextem. Pokud bych udržoval dvě oddělené kovenrzace, model B nebude mít tušení v konverzaci B, na jaký problém jsem s modelem A v konverzaci A narazil při analýze a výkladu outputu modelu B. A tudíž, pokud bych chtěl po modelu B nový, upravený výstup, tak nevím, na kolik by svůj úkol dobře zvládnul, když veškerá historie řešení problematiky bude probíhat v jiné konverzaci. Nejsem si zkrátka jistý, jaké podrobnosti si AI pamatuje z různých konverzací v rámci projektu, aby se nevytratily důležité detaily, které se nesmí v novém výstupu modelu B ztratit. C) Je jiný způsob? D) Jak moc jsou způsoby A a B ovlivněny výběrem AI? Tzn. chatGPT vs Claude vs Gemini? ChatGPT mi přišel velice benevolentní a že jsem prakticky nenarazil na žádný vnější limit, který by mi řekl "překročil jsi limit, můžeš pokračovat až za X hodin", kdežto u Claudu se pořád dívám na Usage a vidím, jak ta procenta naskakují a někdy až o 15%, pokud použiju model jako Opus 4.7 High s Thinkingem atd. Zkrátka nevím jak to optimalizovat, abych měl kvalitní výstup na základě kvalitního kontextu pro AI, ale zároveň, aby mi tu limit nevypršel třeba během 20 promptů jenom proto, že způsob používání AI je nevhodný a neekonomický. Možná jsi poznal, že se tento problém mi děje hlavně u Clauda a že stále nevím, jak jej nejlépe a efektivně používat. Je pro mě důležité udržovat co nejlepší kontext, protože na jeho základě pak AI vygeneruje kvalitní výstup, o který mi jde, zbytek kolem toho je jen ladění. Ale právě to ladění způsobí to, že tenkvalitní a náročný výstup se bude muset vygenerovat znovu a s novými instrukcemi. Takže, jak na to?