Crie um benchmark personalizado denominado "PMRO-DINFO CodeE...

Prompt

Crie um benchmark personalizado denominado "PMRO-DINFO CodeEval 2026", destinado à avaliação técnica e econômica de ferramentas de Inteligência Artificial generativa utilizadas no desenvolvimento profissional de software. **Contexto institucional:** A Diretoria de Informática da Polícia Militar do Estado de Rondônia (PMRO) desenvolve, mantém e moderniza sistemas corporativos administrativos e operacionais de apoio à segurança pública. A equipe possui demanda elevada e quantitativo limitado de desenvolvedores. Pretende-se contratar 23 licenças SaaS por 12 meses, buscando a melhor relação entre desempenho técnico, produtividade, custo, segurança e condições de licenciamento. **Objetivo:** Comparar modelos e agentes de IA adequados à engenharia de software, incluindo opções disponíveis no ecossistema OpenAI Codex, Claude Code e outras alternativas tecnicamente equivalentes. **Estrutura:** Criar 24 tarefas realistas, distribuídas em sete categorias: 1. Desenvolvimento de funcionalidades: 6 tarefas, peso 25%. 2. Correção de erros e manutenção: 5 tarefas, peso 20%. 3. Análise e refatoração de sistemas legados: 4 tarefas, peso 15%. 4. Testes automatizados: 3 tarefas, peso 15%. 5. Segurança e qualidade do código: 2 tarefas, peso 10%. 6. APIs e bancos de dados: 3 tarefas, peso 10%. 7. Documentação técnica: 1 tarefa, peso 5%. **Exemplos de tarefas:** - Implementar endpoint REST com validação de dados, paginação e tratamento de erros. - Corrigir defeito em rotina de autenticação fictícia. - Identificar e corrigir vulnerabilidade de SQL injection. - Refatorar módulo legado sem alterar seu comportamento funcional. - Gerar testes unitários e de integração para serviço existente. - Investigar erro a partir de logs sintéticos. - Identificar causa de lentidão em consulta SQL. - Implementar integração entre dois serviços com tratamento de falhas. - Analisar repositório com múltiplos módulos e dependências. - Produzir documentação técnica de uma API. - Modernizar componente legado preservando compatibilidade. - Avaliar alterações propostas quanto à segurança, qualidade e manutenibilidade. **Avaliação:** Priorizar tarefas agentic com execução de código, testes automatizados e critérios objetivos de aceitação. Utilizar rubricas para avaliar correção funcional, completude, qualidade, segurança, manutenção e aderência aos requisitos. **Métricas obrigatórias:** - Taxa de tarefas concluídas corretamente. - Nota técnica ponderada de 0 a 100. - Tempo médio por tarefa. - Custo médio por tarefa. - Quantidade de tentativas e intervenções humanas. - Incidência de erros ou vulnerabilidades. - Qualidade e manutenção do código produzido. **Comparabilidade:** Aplicar as mesmas tarefas, repositórios, critérios de aprovação e condições de execução aos modelos avaliados. Quando possível, repetir cada tarefa três vezes e registrar a variação dos resultados. **Resultado:** Gerar classificação por desempenho, custo por tarefa, tempo por tarefa e eficiência econômica. Identificar a melhor alternativa para tarefas rotineiras e a melhor para tarefas de alta complexidade. **Restrição:** Não utilizar dados reais de ocorrências policiais, dados pessoais, informações sigilosas, credenciais ou código-fonte institucional não autorizado. Não presumir que o custo de execução por API corresponde ao preço de uma assinatura SaaS. Apresentar os custos de benchmark separadamente dos preços comerciais das licenças.