LLM evals: como medir se seu modelo presta
Você mudou o system prompt. O time de ML acha que ficou melhor. Mas “achar” não é métrica. Em infra, você não faz deploy sem rodar tests. Em AI, o equivalente é evals. LLM Evals são testes automatizados que medem a qualidade das respostas do modelo. É o seu test suite pro AI. Sem evals, toda mudança no pipeline (prompt, modelo, RAG, chunking) é um deploy no escuro. O mapa pro profissional de infra Conceito Evals O que faz Equivalente em infra Eval dataset Conjunto de perguntas + respostas esperadas Test fixtures Metric Medida de qualidade (0-1) SLA metric (uptime, latência) Regression test Verificar que mudanças não pioraram Load test before/after deploy Benchmark Comparação entre modelos/configs Performance benchmark (ApacheBench) Human eval Humano julga qualidade User acceptance testing LLM-as-judge Outro LLM avalia a resposta Automated QA Golden dataset Dataset curado com respostas “certas” Test fixtures com assertions Por que evals são difíceis (e por que fazer mesmo assim) Em software tradicional, testes são determinísticos. assert add(2, 3) == 5. Sempre. ...