DevOps

Desentupimento na Vila Maria mantém rotina de integração contínua funcionando

Como um problema de infraestrutura física na Vila Maria ameaçou o pipeline de CI/CD e a solução que manteve os deploys automatizados rodando sem interrupções.

Seu pipeline de integração contínua falhou às 3h da madrugada e os logs não mostram erro de código, nem falha de teste, nem problema de dependência. O alerta veio do sensor de temperatura do rack: 42°C e subindo. Ao abrir a porta da sala de servidores, a equipe encontrou água escorrendo pelo rodapé, vinda do banheiro do andar acima — um entupimento na coluna principal que já alagava o piso técnico. Quantos deploys você perde enquanto a água sobe?

A Vila Maria, bairro com infraestrutura mista de edifícios comerciais antigos e novos condomínios tech, concentra diversos escritórios de desenvolvimento que dependem de servidores locais para runners de CI/CD, ambientes de staging e caches de artefatos. Um entupimento na coluna de esgoto ou água pluvial não é apenas um transtorno de facilities: é um incidente de disponibilidade que derruba o ciclo de entrega de software. A integração contínua pressupõe infraestrutura confiável; quando o físico falha, o lógico para.

Este artigo mostra como um caso real na região exigiu ação coordenada entre DevOps, facilities e fornecedor especializado para restaurar a normalidade do pipeline sem perder o histórico de builds nem comprometer o deploy da sprint. Vamos detalhar os sinais de alerta, a resposta a incidente e as medidas preventivas que transformam risco hidráulico em item de confiabilidade do sistema.

Sinais invisíveis que antecedem a falha do pipeline

Antes da água aparecer no rack, o sistema já avisava. O sensor de umidade relativa do datacenter — muitas vezes ignorado por ser “apenas facilities” — registrou elevação gradual de 45% para 68% em 48 horas. O alerta de temperatura do switch de core subiu 3°C acima da baseline. O agente de build no servidor local começou a falhar com erros intermitentes de I/O no disco de cache. Nenhum desses sinais disparou paging para a equipe de plantão porque não estavam correlacionados no painel de observabilidade.

A lição: métricas de infraestrutura física (umidade, temperatura, vazamento, vibração) devem ser ingeridas pelo mesmo stack de monitoramento que coleta latência de API, taxa de erro de build e uso de CPU. Ferramentas como Prometheus + Node Exporter com sensores IPMI, ou agentes Telegraf lendo Modbus/TCP de sensores industriais, tornam isso viável sem custo de licenciamento. Quando o alarme de “umidade alta na sala de servidores” chega no mesmo canal do “build falhou no stage de testes”, a correlação é imediata.

No caso da Vila Maria, a equipe retrospectivamente identificou que o ralo do banheiro do andar superior apresentava escoamento lento há duas semanas. O zelador havia acionado desentupimento caseiro com soda cáustica, o que deslocou o resíduo para a curva da coluna principal, agravando o bloqueio. A comunicação entre facilities e TI foi reativa, não preventiva.

Anatomia do incidente: da detecção à contenção

Às 02h47, o alerta crítico de temperatura do rack (limite 40°C) disparou no PagerDuty. O engenheiro de plantão acessou a câmera IP da sala e viu reflexo de água no piso elevado. Acionou o runbook de “Incidente Físico - Nível 2” que previa: (1) confirmar se energia dos racks estava estável; (2) isolar a entrada de água sem desligar PDUs; (3) acionar fornecedor 24h com SLA de 60 minutos; (4) redirecionar runners para pool em nuvem.

O passo 3 foi decisivo. A empresa contratada chegou em 45 minutos com caminhão de hidrojateamento de alta pressão e câmera de inspeção. Identificaram obstrução na curva de 90° da coluna principal, a 12 metros do ponto de vazamento. A intervenção durou 90 minutos. Durante esse período, a equipe DevOps executou o failover planejado: alterou labels dos runners no GitLab CI para priorizar instâncias AWS Spot, ajustou variáveis de cache para S3 e notificou o time de produto que o deploy de homologação atrasaria 2h.

O diferencial foi ter o contato de emergência pré-qualificado. Não se busca “desentupidor” no Google durante incidente severo. O fornecedor já conhecia o layout do prédio, tinha seguro de responsabilidade civil para danos a equipamentos e assinou termo de confidencialidade para acesso à sala de servidores. Para equipes que operam na região, Confira O Conteúdo e valide credenciais antes de precisar.

Integrando facilities ao ciclo de DevOps

A separação entre “infraestrutura de código” e “infraestrutura de tijolo” é um anti-pattern de confiabilidade. Times de plataforma maduros tratam sala de servidores, cabeamento, refrigeração e hidráulica como dependencies do sistema — com SLIs, SLOs e error budgets próprios. Exemplo prático: defina SLO de “disponibilidade de runners locais ≥ 99,5%” e inclua nele falhas por alagamento, superaquecimento por filtro sujo, queda de nobreak por bateria vencida.

Implemente health checks físicos no mesmo pipeline de deploy: um job pré-deploy que consulta API de sensores (ex.: /health/sala-servidores) e falha se umidade > 70% ou temperatura > 35°C. Isso impede deploy em ambiente degradado e força resolução da causa raiz física antes de promover artefato. O custo é um Raspberry Pi com sensor DHT22 + sensor de vazamento por condutividade (dois fios no piso), exposto via Flask + Prometheus exporter — menos de 200 reais em hardware.

A cultura de blameless post-mortem deve abranger facilities. No retrospectiva do incidente da Vila Maria, o zelador participou da reunião. Descobriu-se que a limpeza de caixas de gordura do restaurante do térreo era semestral, mas o volume de resíduos exigia trimestral. A ação corretiva foi contratual: aditivo no contrato de facilities com frequência ajustada e relatório fotográfico enviado ao canal #infra-alerts no Slack.

Checklist de resiliência hidráulica para times de CI/CD

  1. Mapeamento de risco: Planta baixa com rotas de tubulação (água, esgoto, pluvial) sobrepostas a salas técnicas. Identifique pontos únicos de falha — curvas, reduções de diâmetro, caixas de inspeção.
  2. Instrumentação: Sensores de vazamento (condutividade) sob piso elevado, ao lado de PDUs e sob bandejas de gotejamento de ar-condicionado. Sensores de temperatura/umidade a cada 3m lineares.
  3. Observabilidade unificada: Métricas físicas no mesmo Grafana/Datadog do application. Alertas roteados para mesma rotação de on-call.
  4. Fornecedor pré-qualificado: Contrato com empresa de desentupimento/hidrojateamento 24h, com SLA de chegada, seguro, equipe treinada para ambientes com equipamentos energizados. Teste trimestral de acionamento (simulado).
  5. Runbook de incidente físico: Passos numerados, contatos, chaves de acesso, procedimento de isolamento de água sem power off de rack, critérios de escalação para nuvem.
  6. Failover de runners: Pool de runners em nuvem (GitHub Actions self-hosted runners em ASG, GitLab runners em GKE, Jenkins agents em EC2 Spot) com warm-up de cache (S3, Artifactory) para latência aceitável.
  7. Manutenção preventiva sincronizada: Limpeza de caixas de gordura, inspeção de colunas com câmera, teste de bombas de recalque — agendadas em janelas de code freeze ou baixo tráfego de builds.
  8. Documentação viva: Runbook versionado no Git, revisado a cada incidente ou mudança de layout físico. Inclui fotos de pontos de corte de água, localização de válvulas, contatos de facilities do prédio.
  9. Treinamento cruzado: Engenheiros de plantão sabem localizar registro geral de água do andar; facilities sabem o que é “runner de CI/CD” e por que não pode desligar a PDU UPS.

Lições do pós-incidente: métricas que mudaram

Após o incidente, a equipe adotou três métricas novas no dashboard de confiabilidade da plataforma: Mean Time To Detect Physical Threat (MTTD-Physical) — tempo do primeiro sinal de sensor até alerta no on-call; Physical Incident Impact on Build Queue — builds atrasados/perdidos por incidente de facilities; Preventive Maintenance Compliance — % de inspeções hidráulicas executadas no prazo contratual.

Em 90 dias, MTTD-Physical caiu de 4h12min (detecção visual pelo plantonista) para 6min (alerta automático de sensor de umidade). Build Queue Impact zerou: dois eventos menores de gotejamento de ar-condicionado foram contidos antes de atingir equipamentos. Compliance subiu de 60% para 100% com a inclusão no OKR do time de plataforma.

A cultura mudou: facilities deixou de ser “aqueles que abrem chamado no Jira do TI” e passou a ser stakeholder de confiabilidade com assento na weekly platform review. O zelador recebe relatório mensal de uptime dos runners locais — ele entende que seu trabalho de limpar a caixa de gordura no prazo evita que o deploy da madrugada falhe.

Referências internas para aprofundar

Para expandir a estratégia de observabilidade unificada, veja como estruturar métricas de infraestrutura no artigo sobre dashboard de monitoramento para diagnósticos de auto elétrica veicular — o padrão de instrumentação de sensores industriais é idêntico. Se seu time ainda não tem failover de runners para nuvem, o guia sobre automatizando deployments com ferramentas de DevOps escaláveis detalha a arquitetura de runners híbridos. E para integrar runbooks físicos ao ciclo de vida de desenvolvimento, as boas práticas de DevOps para agilizar o ciclo de vida de desenvolvimento cobrem a governança de incidentes mistos.

A confiabilidade do seu pipeline de integração contínua não termina no docker build nem no kubectl apply. Ela começa no cano que passa acima do rack. Trate a hidráulica como dependência de produção: monitore, version, teste e tenha plano de contingência. O próximo deploy de madrugada agradece.

Checklist prático

0 de 9 concluídos

Perguntas frequentes

Como um entupimento físico pode afetar um pipeline de integração contínua?

Vazamentos ou alagamentos causados por entupimentos podem danificar servidores locais, equipamentos de rede e sistemas de refrigeração de racks onde rodam agentes de build e runners de CI/CD. Isso interrompe execuções automatizadas, falha deploys e compromete a disponibilidade do ambiente de homologação.

Quais sinais indicam risco de paralisação do CI/CD por problemas hidráulicos?

Odores fortes vindos de ralos próximos à sala de servidores, escoamento lento em pias ou vasos do mesmo andar, manchas de umidade em paredes próximas a racks e alertas de temperatura elevada nos equipamentos são indícios de que a infraestrutura hidráulica precisa de atenção imediata.

Como integrar manutenção predial ao ciclo de DevOps?

Inclua verificações de infraestrutura física no checklist de confiabilidade do sistema, agende inspeções hidráulicas preventivas alinhadas às janelas de manutenção de servidores e configure alertas de sensores de umidade/vazamento integrados ao seu sistema de monitoramento (ex.: Prometheus, Datadog).

O que fazer quando o incidente já ocorreu e o pipeline parou?

Isole a área afetada, acione suporte especializado para conter o vazamento sem desligar energia dos racks se possível, redirecione builds para runners em nuvem ou ambientes espelhados e documente o incidente para pós-mortem com foco em resiliência física.

Vale a pena investir em sensores de vazamento para proteger o pipeline?

Sim. Sensores de baixo custo conectados ao sistema de alertas da equipe DevOps permitem detectar água antes que atinja equipamentos críticos. A integração com Slack, PagerDuty ou Opsgenie garante resposta em minutos, evitando horas de downtime no CI/CD.