AI Por Dentro: De Tokens a Agents

Você monta um RAG pipeline, conecta ao Azure OpenAI, e as respostas ficam… meh. Genéricas. Às vezes ignora o contexto que você enviou. Às vezes inventa coisas. O modelo é potente, mas o input que você manda determina 80% da qualidade do output. Context engineering é a disciplina de montar esse input de forma que o modelo entregue exatamente o que você precisa. Não é “prompt engineering” (que virou buzzword). É engenharia de verdade: estrutura, constraints, trade-offs. ...

O VP de produto chega na daily: “Quero que o chatbot responda perguntas sobre nossa documentação interna. Tem 2000 páginas de runbooks, políticas, e procedimentos. O ChatGPT não sabe nada disso.” O time de ML responde: “Vamos implementar RAG.” Todo mundo concorda. Você fica com a tarefa de provisionar a infra. Mas antes de subir recursos, vale entender o que RAG realmente faz por dentro. O mapa pro profissional de infra Conceito RAG O que faz Equivalente em infra Retrieval Buscar documentos relevantes Query no search engine Augmentation Adicionar docs ao prompt do LLM Montar o payload do request Generation LLM gera resposta usando o contexto O response do modelo Chunking Dividir documentos em pedaços menores Partition de dados, sharding Indexing pipeline Processar docs e gerar embeddings ETL/data pipeline Hybrid search Combinar busca semântica + keyword Usar CDN + origin server O problema que RAG resolve LLMs têm duas limitações fundamentais: ...

O time de ML acabou de te pedir um “vector database” em produção. Você sabe operar PostgreSQL, Redis, Cosmos DB. Mas isso? É um banco de dados ou um índice de busca? Precisa de backup? Tem replicação? Qual o modelo de consistência? Aqui dentro: o que é, como funciona por dentro, e como operar em produção. O mapa pro profissional de infra Conceito Vector DB O que faz Equivalente em infra Vector/Embedding Array de floats que representa significado Uma row com 1536 colunas numéricas Similarity search Buscar vetores parecidos Query com ORDER BY distance LIMIT K Index (HNSW, IVF) Estrutura pra busca rápida B-tree, hash index num banco relacional Dimension Tamanho do vetor (768, 1536, 3072) Largura da row (quantas colunas) Distance metric Como calcular “parecido” Cosine similarity, Euclidean, dot product Recall % de resultados corretos encontrados Taxa de acerto da recuperação (o que deveria aparecer apareceu?) O problema fundamental Num banco relacional, buscar é comparar valores exatos ou ranges. WHERE status = 'active' ou WHERE created_at > '2024-01-01'. Indexes como B-tree resolvem isso em O(log n). ...

Você já se perguntou por que o ChatGPT responde educadamente em vez de cuspir texto incoerente? Um modelo base sem alignment gera texto estatisticamente provável. Ele completa frases. Não “quer” ajudar ninguém. O que transforma um gerador de texto num assistente útil é Reinforcement Learning from Human Feedback (RLHF). E entender isso explica muito do comportamento que você observa nos modelos em produção. O mapa pro profissional de infra Conceito RL O que faz Equivalente em infra Agent Quem toma ações O autoscaler, o controller Environment Onde as ações acontecem O cluster, a infra Reward Feedback numérico (bom/ruim) Métricas (latência, custo, uptime) Policy Estratégia de decisão Regras do autoscaler (quando escalar, quanto) Episode Uma sequência completa de ações Um ciclo de scaling (scale up → observa → scale down) Exploration vs Exploitation Tentar coisas novas vs usar o que funciona Canary deploy vs stable release Reinforcement learning em 5 minutos RL é uma das três formas de machine learning. As outras duas são: ...

Sexta-feira, 17h. Você recebe um ticket do time de data science: “O modelo está retornando respostas cortadas. Parece que o context window encheu. Pode aumentar?” Você olha pro ticket. Context window? Aumentar como? Isso é configuração de infra ou limitação do modelo? É memória? É disco? Onde isso vive? Se você já passou por isso, esse post é pra você. Aqui dentro: o que cada peça de um Large Language Model faz, explicado pra quem entende de sistemas. Não pra virar ML engineer, mas pra ter vocabulário e contexto pra resolver problemas reais no dia a dia. ...