Pipeline robusto começa antes da ferramenta.

• 05 Sep
  Zero to Expert Ep 07: Dashboard bonito não te salva às 3h. Log estruturado é o caminho de volta Observability não é Grafana bonito. É log estruturado com correlation_id. Sem ele, todo dashboard é retrato pós-morte e a madrugada de plantão fica mais longa.
  zero-to-expert
• 03 Sep
  Airflow 3.0 vs 2.x: 74% dos times não migraram, e na maioria dos casos está certo Airflow 3.0 saiu faz seis meses e 74% dos times seguem no 2.x. O verdict: quando o 3.0 paga a migração e quando você troca estabilidade por versão.
  ferramentas
• 01 Sep
  Task mapping em dois eixos vira 100 mil tasks: o produto cartesiano que o Airflow agenda sem avisar Dynamic task mapping em dois eixos multiplica, não soma. Mil por cem dá 100 mil tasks, e o scheduler agenda todas sem perguntar. O guardrail que falta.
  engenharia-de-dados
• 23 Aug
  Zero to Expert Ep 06: O dado que chega atrasado vai quebrar seu número. Event-time e watermark na prática Toda pipeline lida com dado atrasado. Quem não modela event_time explicitamente está aceitando que o fechamento do trimestre vai estar errado de vez em quando.
  zero-to-expert
• 21 Aug
  Seu agente não deveria escrever o código final. O paper que prova isso com número LLM propõe, verificador mede: por que deixar o agente gerar o artefato final é onde os resultados parecem certos e não são.
  ia
• 19 Aug
  US$ 1.500 por mês por ferramenta: o benchmark de FinOps que torna qualquer orçamento de IA defensável A Uber definiu US$ 1.500/mês por ferramenta de coding agent. O benchmark revelado pelo cálculo torna qualquer orçamento de IA defensável.
  ferramentas
• 15 Aug
  Zero to Expert Ep 05: O grão do fato. Errar a linha custa mais caro que errar a coluna O que significa UMA linha da sua tabela fato? Se ninguém responde em uma frase, o modelo está em areia movediça.
  zero-to-expert
• 13 Aug
  Markowitz morre em cripto: a fronteira eficiente ignora o regime, o único fator que decide sobrevivência Média de bull e bear é um mercado que não existe. A covariância muda com o regime e a diversificação encolhe na queda.
  cripto
• 11 Aug
  20 milhões de linhas, agentes por cima: o que a Spotify ensina sobre monorepo em 2026 O agente não era a parte difícil. Teste automatizado, padronização e verificação seguram as 20 milhões de linhas.
  engenharia-de-dados
• 08 Aug
  1M linhas não cabem no LLM. Por que reescrita direta falha e o loop feature-por-feature funciona O caso FrankClaw: a ordem direta devolve casca com promessa dentro. O loop lento produz sistema 22x menor que compila.
  ia
• 06 Aug
  Fronteira de valor: qual modelo LLM faz sentido pra cada orçamento De $1 a $10 por milhão de tokens de entrada. A régua certa é o tipo de trabalho cognitivo, não o tamanho da tarefa.
  ferramentas
• 04 Aug
  O que é script e o que é LLM no seu agente (e por que pedir pra IA contar quebra) Contagem, parsing e validação vão pro script. Julgamento vai pro LLM. E o modelo não reconta o que o script já apurou.
  engenharia-de-dados
• 01 Aug
  Prompt injection não se resolve com prompt melhor. Você corta uma perna da trifecta letal Dados privados, conteúdo não confiável e saída de rede: com os três juntos, injeção vira roubo. A defesa é cortar a perna mais barata.
  ia
• 30 Jul
  Memória de agente não é enfiar tudo no prompt: RAM, disco e fatos que vencem Letta gerencia espaço, Graphiti gerencia tempo, A-MEM gerencia estrutura. O que fica fora do contexto importa mais do que o que cabe nele.
  ia
• 28 Jul
  Audit Envelope, campo a campo: a anatomia do header que transforma auditoria em query Por que input_hash é SHA-256, por que output_hash só entra no fim, e o caminho do envelope até virar SQL no catálogo.
  engenharia-de-dados
• 25 Jul
  Cruzei 5 domínios do meu conhecimento. A IA achou 130 pontes que eu nunca vi. Terça o porquê, quinta o motor. Hoje o que o motor achou quando cruzou finanças, IA, método, mestrado e carreira de uma vez: 130 conexões que passaram batido...
  segundo-cerebro
• 23 Jul
  Por que seu RAG mente com confiança (e as 3 peças que consertam) Terça eu mostrei por que minerar vale mais que acumular. Aqui está a britadeira por dentro: 111 conexões tipadas, fusão de rankings e um nó de avaliação que...
  segundo-cerebro
• 21 Jul
  6 anos de Zettelkasten: o dia que a IA me mostrou o que eu já sabia Eu escrevi as notas. A IA achou as ligações entre memórias que eu tinha esquecido.
  segundo-cerebro
• 18 Jul
  IA Foundations 07: janela de 1M tokens não resolve nada se a informação cai no meio ---
  ia
• 16 Jul
  Staff Engineer não é 'Sênior Sênior'. É outro modelo mental de impacto. ---
  engenharia-de-dados
• 14 Jul
  Iceberg em produção: 3 anti-padrões que matam seu data lake em 3 meses Particionamento ingênuo, manifesto que engorda e compaction esquecida. E como isso vira 100 mil GET requests numa query que devia custar centavos.
  engenharia-de-dados
• 11 Jul
  Seu LLM concorda com o que você quer ouvir. E isso é um bug de arquitetura, não de prompt Sycophancy é viés de confirmação automatizado. Não se resolve com prompt melhor. Se resolve com arquitetura: modelos independentes, consenso por confiança e uma fonte primária que veta o resto.
  ia
• 09 Jul
  Build verde, produção em chamas: quando o stub do teste ensina uma mentira sobre a lib real Um modelo de ponta tirou nota baixa num benchmark de coding com CI 100% verde. O bug estava blindado pelo próprio mock. Teste verde não prova integração correta.
  ferramentas
• 04 Jul
  Zero to Expert Ep 04: Particionar errado custa mais caro que não particionar Quase todo mundo aprende "particiona pra ficar rápido". Granularidade errada deixa o pipeline mais lento, mais caro e mais frágil que sem partição nenhuma.
  zero-to-expert
• 04 Jul
  Seu agente está degradando em silêncio. Montei uma suíte de 9 evals pra provar Medir só o output final esconde regressão. Sem eval por passo e por papel, o agente piora sem ninguém ver. A suíte de 9 golden cases que trava isso.
  ia
• 02 Jul
  Pare de escrever prompt na mão: DSPy e TextGrad tratam prompt como código compilável Melhorar prompt não é redação manual, é compilação contra uma métrica. Dois frameworks de Stanford provam isso, e um deles saiu na Nature.
  ferramentas
• 30 Jun
  Você está rodando tudo no modelo mais caro: rotear por papel corta 60-70% da conta do agente Num swarm de agentes, só a decisão irreversível justifica o frontier. O resto é coordenação, implementação e transformação de artefato. Cobrar Opus por isso é inverter a prioridade de gasto.
  engenharia-de-dados
• 27 Jun
  Zero to Expert Ep 03: Idempotência, por que rodar o pipeline duas vezes não pode mudar o resultado No Ep 01 a gente falou de *data flow* (o conceito antes de qualquer ferramenta), no Ep 02 de dependências em DAG (a ordem em que as coisas precisam rodar). H...
  zero-to-expert
• 27 Jun
  Os 5 subsistemas que separam um agente que funciona de um que só parece funcionar Semana passada eu escrevi que a LLM não faz nada, o harness faz. Recebi várias mensagens concordando, e uma que me incomodou: "ok, entendi que o harness impo...
  ia
• 25 Jun
  Você não precisa de um vector DB: o veredito honesto sobre RAG na era do contexto de 1M tokens
  ferramentas
• 23 Jun
  O produtor renomeou uma coluna e ninguém avisou: por que pipeline sem contrato de dados quebra no escuro Tem um tipo de incidente que eu aprendi a temer mais do que pipeline caindo: pipeline que NÃO cai. Job verde, alerta silencioso, dashboard atualizado. E os n...
  engenharia-de-dados
• 20 Jun
  Por que pedir pra IA revisar o próprio código não funciona (e o que funciona) IA Foundations 03: pedir pro mesmo modelo se autocorrigir pode degradar o raciocínio. A alternativa com múltiplos agentes chega a 82.6% no HumanEval.
  ia
• 20 Jun
  Lineage retroativo é dívida técnica. Documenta no momento da decisão ou perde. O Audit Envelope Pattern que aprendi a custo caro: instrumentar depois sempre sai mais caro do que instrumentar antes.
  engenharia-de-dados
• 18 Jun
  A IA não vai matar o engenheiro. Vai matar o codificador. A distinção que vai separar quem prospera de quem fica pra trás nos próximos 3 anos.
  engenharia-de-dados
• 16 Jun
  Prompt injection é o SQL injection da IA. E quase ninguém leva a sério. OWASP LLM Top 10 #1 desde 2023. O vetor de ataque mais perigoso em pipelines com IA ainda é tratado como detalhe.
  engenharia-de-dados
• 13 Jun
  Zero to Expert · Ep 02: Dependências em DAG, a lei que todo orquestrador segue Antes de escolher Airflow, Dagster, Prefect ou qualquer outro, entender o grafo.
  dag
• 13 Jun
  IA Foundations · 02: A LLM não faz nada. O harness faz. O erro mais comum de 2026 é não separar o modelo da rédea. Custa dinheiro e segurança.
  llm
• 11 Jun
  Prompt caching: o ajuste de 1 linha que corta 90% do custo de LLM em produção cache_control ephemeral, TTL 5 min, e como uma linha derrubou 75% do custo do meu pipeline noturno.
  llm
• 10 Jun
  SQL ainda é a linguagem mais importante de DE em 2026 Por que dev que terceiriza SQL pra ORM ou pandas vira o preenchedor de planilha da IA.
  sql
• 04 Jun
  YouTube bloqueia o endpoint de legendas. O de áudio continua aberto. Por que --sleep-subtitles 60 não resolve mais o HTTP 429 do YouTube, qual endpoint ainda funciona, e o que self-host com faster-whisper entrega vs SaaS pago.
  youtube
• 02 Jun
  Code review do meu próprio repo. Cinco coisas que eu mudaria hoje. Abri um repositório meu de dois anos atrás. Achei cinco anti-padrões no meu próprio código. Review honesto antes de continuar citando ele no portfólio.
  code-review
• 30 May
  SLA, não moda: quando batch, quando streaming, quando ambos A decisão entre batch e streaming não é cultural. É técnica: SLA do consumidor, custo, complexidade. E quase ninguém mede antes de escolher.
  batch
• 30 May
  Data Flows Ep01: o conceito que vem antes de qualquer ferramenta A Knight Capital perdeu 440 milhões de dólares em 45 minutos porque um servidor rodava código velho. Antes de qualquer ferramenta, existe um conceito que separa pipeline robusto de pipeline frágil: data flow.
  zero-to-expert
• 24 May
  Airflow por 2 anos: o que eu faria diferente Dois anos de Airflow em produção: finanças, processos de fábrica, marketing, analytics. Lista do que eu mudaria se começasse de novo, não teoria de doc.
  airflow
• 23 May
  Vinte conceitos de IA que você precisa entender em 2026 O guia visual completo de como a IA funciona, da base à fronteira. Seis seções, vinte conceitos, sem jargão de sobra.
  ia
• 17 May
  Quando o modelo deveria dizer 'não sei' Em 1998 a LTCM perdeu 4.6 bilhões porque seus modelos confiavam em território que nunca tinham visto. 27 anos depois meu HMM fazia o mesmo, em escala menor. Aqui é o que aprendi a colocar entre ele e o trade.
  cripto
• 13 May
  Instrumentando lineage do zero com Unity Catalog Unity Catalog captura lineage automaticamente, mas tem limitações que importam: UPDATE/DELETE/MERGE, RDDs, JDBC, multi-hop. O que ele cobre e onde a maioria erra.
  databricks
• 12 May
  Quando a Medallion Architecture atrapalha mais do que ajuda Medallion virou resposta automática para qualquer pipeline. Quando funciona bem, onde atrapalha, e o anti-padrão que ninguém comenta.
  medallion
• 02 May
  LGPD e modelos de ML: o que fazer com dados que já viraram pesos de modelo Direito ao apagamento acionado. Você deletou a linha do banco. O modelo em produção ainda carrega a contribuição daquele CPF. O que a LGPD exige e o que é possível fazer.
  lgpd
• 30 Apr
  Delta Lake ou Parquet? Você está fazendo a pergunta errada Delta Lake não compete com Parquet. Ele é construído em cima dele. A decisão real é outra, e errar aqui corrompe dados silenciosamente.
  delta-lake
• 23 Apr
  Sharpe -1.14 é sucesso de engenharia, não fracasso Data leakage destruiu um Sharpe +0.66 em -1.14. O que aprendi: 7 camadas, 202 testes, 90x melhor capital preservation que buy-hold.
  cripto
• 18 Apr
  Engenharia de dados em português de verdade é rara. Vou ajudar a mudar isso. Por que uma engenheira de dados sênior com passagens por grandes bancos brasileiros, fintech em escala global e projeto de big tech em Silicon Valley decidiu começar a escrever, e o que você vai encontrar aqui.
  manifesto
• 16 Apr
  LGPD na ingestão de dados: 4 princípios que mudam sua arquitetura LGPD não é checklist no fim do pipeline. É restrição de design desde o primeiro byte que entra. O que isso significa na prática.
  lgpd

Nenhum post ainda. Tudo