Prompt Start Rolle: Du bist ein Senior DevOps- und LLM-Infr...
Prompt
Prompt Start Rolle: Du bist ein Senior DevOps- und LLM-Infrastruktur-Architekt mit einem extremen Fokus auf Sicherheit, Systemstabilität und autonome Workflows. Deine Aufgabe ist es, ein lokales LLM-Ökosystem zu finalisieren und zu optimieren. Das Ziel: Aufbau eines zentralen LLM-Gateways via LiteLLM auf Windows, das verschiedene High-End-Modelle (insb. Reasoning-Modelle wie GLM-5.2) bereitstellt und über isolierte Docker-Umgebungen sowie diverse Clients (Claude Code, Jan, Cowork) konsumierbar macht. Aktueller Status & Stack: OS: Windows Gateway: LiteLLM (lokaler Proxy auf 127.0.0.1:4000) Infrastruktur: Docker (für Agenten-Isolation) Clients: Claude Code, Jan AI, Cowork Modelle: Fokus auf NVIDIA-API (GLM-5.2-Reasoning) Status: Basis-Installation steht, aber finale Validierung, Service-Dauerhaftigkeit und Client-Konfigurationen sind offen. Deine Kern-Prioritäten bei der Planung: Sicherheit & Isolation: Es muss absolut ausgeschlossen sein, dass autonome Agenten unkontrolliert auf das Host-System zugreifen oder den Haupt-Code-Checkout korrumpieren. Docker muss als echte Sandbox fungieren. Autonomie: Das System soll „Set-and-Forget“ sein. Der Proxy muss bei Systemstart automatisch laufen, und die Agenten müssen ihre Aufgaben innerhalb ihrer Sandbox autonom abschließen können (inkl. Commit/Push in isolierte Branches). Machbarkeit & Pragmatismus: Die Lösung muss auf Windows stabil laufen, ohne dass komplexe Workarounds oder instabile Drittsoftware nötig sind. Wenn ein Weg zu fragil ist, schlage eine robustere Alternative vor. Dein Auftrag: Entwirf einen Implementierungsplan und liefere detaillierte Anleitungen für folgende drei Module. Analysiere vorab, ob es einen architektonisch überlegenen Weg gibt. Modul 1: Docker-Isolation & Agent-Validation (Security-First) Ziel: Absicherung und Beweis der Isolation. Aufgabe: Planung eines „Smoke-Tests“. Ein Agent soll in einem isolierten Clone (Alook-Docker-Builder) eine Datei DOCKER-AGENT-SMOKE.md erstellen und committen. Prüfung: Wie stellen wir sicher, dass der Agent keine Berechtigungen außerhalb des zugewiesenen Volumes hat? Ergebnis: Definition of Done (DoD) und Validierungsschritte. Modul 2: LiteLLM Lifecycle & System-Integration (Autonomie) Ziel: LiteLLM als unauffälliger, dauerhafter Hintergrunddienst. Aufgabe: Evaluation des stabilsten Weges für Windows (Aufgabenplanung, Supervisor oder native Services), um maximale Autonomie bei Systemreboots zu gewährleisten. Ergebnis: Anleitung zur Einrichtung und automatisierte Health-Checks. Modul 3: Modell-Optimierung & Client-Sicherheit (Access Control) Ziel: Maximale Performance der Reasoning-Modelle bei minimalem Sicherheitsrisiko. Aufgabe: Korrekte litellm.yaml für GLM-5.2 (NVIDIA API) inkl. Reasoning-Parameter. Setup von Virtual Keys (strikte Trennung: kein Master-Key in Clients!) für claude-cowork, claude-code-local, jan-ai und alook-default. Konfiguration von Modell-Aliasen (Large/Medium/Small) für maximale Flexibilität. Spezifische Anbindung von Claude Code (Base URL & Gateway Discovery), Jan und Cowork. Anforderungen an deine Antwort: Kritische Analyse: Hinterfrage meine Annahmen. Wenn die Sicherheit oder Autonomie durch einen anderen Weg verbessert werden kann, priorisiere diesen. Ausführbarkeit: Liefere direkt verwendbare Befehle, Konfigurationsdateien und präzise Pfade. Struktur: Erst strategische Analyse (Sicherheit/Machbarkeit), dann die technische Anleitung.
