DevOps

Desentupimento em Barueri evita paralisação do servidor de homologação: lições de infraestrutura

Como um problema hidráulico em Barueri ameaçou o ambiente de testes e quais práticas de DevOps evitam paradas não planejadas em servidores de homologação.

Você já teve um deploy bloqueado porque o ambiente de homologação caiu por um motivo que nada tinha a ver com código?

Na semana passada, um entupimento na rede de esgoto de um escritório em Barueri alagou o piso elevado onde ficava o rack do servidor de homologação. A água atingiu a UPS e o sistema de refrigeração, forçando o desligamento de emergência. O time de desenvolvimento ficou sem validar pull requests por quase seis horas. O incidente não foi causado por bug, falha de CI/CD ou erro de configuração — foi uma falha de infraestrutura física que o monitoramento de aplicação não enxerga.

Este artigo mostra como integrar a gestão de facilities ao ciclo de DevOps, criar runbooks de incidente misto e implementar barreiras físicas e alertas que evitam que um problema hidráulico vire indisponibilidade de ambiente de testes.

O ponto cego do monitoramento tradicional

A maioria das equipes instrumenta aplicações com métricas de latência, taxa de erro, throughput e uso de recursos. Poucas estendem essa visibilidade para temperatura da sala, nível de umidade, status da UPS, vazamento de água ou falha no ar-condicionado. Quando o alagamento começou, o primeiro alerta veio de um técnico de facilities que ouviu o barulho da água — não do Prometheus, não do Grafana, não do PagerDuty.

Essa lacuna existe porque a responsabilidade pela sala de servidores costuma ficar com facilities, enquanto a responsabilidade pela aplicação fica com engenharia. A comunicação entre as duas áreas costuma ser reativa: facilities avisa TI quando já há água no rack. A solução é tornar a infraestrutura física um cidadão de primeira classe no seu sistema de observabilidade.

Sensores IoT e alertas unificados

Sensores de vazamento (water leak detection), umidade e temperatura custam pouco e se integram via MQTT, HTTP ou agentes Node Exporter ao Prometheus. Um exemplo prático: coloque fitas condutivas sob o piso elevado e ao redor da UPS; conecte a um Raspberry Pi ou ESP32 que publica em um tópico MQTT; o Prometheus faz scrape via MQTT Exporter e dispara alertas no Alertmanager para o mesmo canal Slack onde caem alertas de deploy falho.

- alert: WaterLeakDetected
  expr: water_leak_sensor == 1
  for: 30s
  labels:
    severity: critical
    team: devops
    facility: true
  annotations:
    summary: "Vazamento detectado na sala de homologação"
    description: "Sensor de vazamento acionado. Verificar rack imediatamente."
    runbook_url: "https://wiki.interno/runbooks/water-leak-homologacao"

Com isso, o time de plantão recebe o alerta no mesmo fluxo de trabalho que usa para incidentes de aplicação, reduzindo o tempo de detecção de horas para segundos.

Runbook de incidente misto: DevOps + Facilities

Um runbook eficaz para esse cenário define:

  1. Detecção: alerta de sensor ou relato de facilities.
  2. Triagem: on-call DevOps confirma impacto no rack (ping, SSH, métricas de hardware via IPMI/Redfish).
  3. Comunicação: avisa facilities e aciona desentupimento de ralos de emergência se a causa for hidráulica.
  4. Mitigação: se houver risco iminente, executa failover planejado do ambiente de homologação para outra zona de disponibilidade ou para a nuvem (ex.: terraform apply -target=module.homologacao-dr).
  5. Validação: após contenção, testa subida dos serviços, roda smoke tests e libera o ambiente.
  6. Pós-incidente: registra timeline, causa raiz (5 Porquês), ações corretivas e atualiza checklists.

O segredo é ter esse documento antes do incidente, com contatos atualizados e comandos de failover testados mensalmente.

Barreiras físicas e manutenção preventiva

Além de sensores, barreiras passivas reduzem danos: bandejas de contenção sob racks, ralos dimensionados com sifão, bombas de drenagem automáticas com flutuador, e piso elevado com vedação nas passagens de cabo. A manutenção preventiva deve incluir:

  • Limpeza trimestral de caixas de gordura e ralos da sala técnica.
  • Teste de acionamento das bombas de drenagem.
  • Verificação de vedação de passagens de tubulação na laje.
  • Inspeção visual de mangueiras de ar-condicionado e UPS.

Essas tarefas entram no mesmo calendário de manutenção que atualizações de kernel e rotação de segredos.

Failover de homologação: tratar como cattle, não pet

Muitos times tratam o servidor de homologação como um pet: único, configurado à mão, com dados irreplicáveis. A abordagem DevOps exige que o ambiente seja recriável via IaC (Terraform, Ansible, Pulumi) e que o banco de dados tenha snapshots automatizados e testes de restauração semanais.

Camada Estratégia de recuperação RTO alvo RPO alvo
Aplicação Re-deploy via pipeline (imagem imutável) 10 min 0
Configuração GitOps (ArgoCD/Flux) 5 min 0
Banco de dados Snapshot diário + WAL shipping 30 min 15 min
Segredos Vault com replicação cross-region 5 min 0

Se o failover for testado e documentado, a decisão de evacuar o rack físico vira rotina, não crise.

Cultura de responsabilidade compartilhada

O incidente em Barueri só foi resolvido rápido porque o time de plantão tinha o runbook, os sensores funcionaram e a escalação para facilities foi automática. Mas a raiz do problema — falta de limpeza preventiva da rede de esgoto — só será eliminada se houver cadência de revisão conjunta entre engenharia e facilities.

Crie uma reunião trimestral “Infra + Facilities” com pauta fixa: revisão de sensores, status de barreiras, pendências de manutenção predial, resultados de testes de failover e incidentes recentes. Registre atas e ações no mesmo tracker de backlog da equipe de desenvolvimento.

Conclusão prática

Ambientes de homologação caem por motivos que o código não controla. Estender a observabilidade para a camada física, padronizar runbooks mistos e tratar a infraestrutura como código são passos que transformam surpresas caras em incidentes gerenciáveis. Comece hoje: instale um sensor de vazamento, escreva o primeiro runbook e agende a reunião com facilities. A estabilidade do seu pipeline agradece.

Para aprofundar práticas de automação e monitoramento, veja Automatizando deployments com ferramentas de DevOps escaláveis e Boas práticas de DevOps para agilizar o ciclo de vida de desenvolvimento.

Checklist prático

0 de 8 concluídos

Perguntas frequentes

Por que um entupimento físico pode derrubar um servidor de homologação?

Vazamentos ou refluxo de esgoto atingem salas técnicas, danificam equipamentos de refrigeração e energia, e forçam desligamentos de emergência para evitar curtos-circuitos e perda de dados.

Qual a diferença entre monitoramento de aplicação e monitoramento de infraestrutura física?

O monitoramento de aplicação foca em métricas de software como latência e erros, enquanto o de infraestrutura física acompanha temperatura, umidade, energia e condições do ambiente onde o hardware opera.

Como integrar alertas de facilities ao pipeline de DevOps?

Sensores IoT em salas de servidores enviam eventos para ferramentas como Prometheus ou Datadog, que disparam alertas nos mesmos canais usados pelo time de desenvolvimento, unificando a resposta a incidentes.

O que é um runbook de incidente misto (software + facilities)?

É um procedimento documentado que descreve passos coordenados entre a equipe de TI e a de facilities para cenários onde falhas físicas impactam sistemas, definindo responsáveis, contatos e critérios de escalação.

Com que frequência revisar a proteção física do ambiente de homologação?

Recomenda-se revisão trimestral dos sensores, barreiras contra vazamento, rotas de drenagem e testes de restauração, alinhados ao ciclo de manutenção preventiva da infraestrutura predial.