DevOps

Limpeza de caixa de água na Vila Nova Cachoeirinha previne superaquecimento de GPUs e garante uptime

Saiba como a manutenção hidráulica preventiva evita falhas de refrigeração em GPUs de alta performance e mantém pipelines de CI/CD estáveis.

Um único grão de areia na linha de água gelada pode derrubar um cluster de treinamento de LLM inteiro. Quando o sedimento se acumula na caixa de água que alimenta o sistema de refrigeração, a vazão cai, a temperatura de inlet sobe e as GPUs entram em throttling térmico antes que o monitoramento de infraestrutura dispare o primeiro alerta crítico. Em ambientes onde cada hora de GPU custa centenas de dólares, negligenciar a hidráulica upstream é um erro de arquitetura, não de facilities.

A Vila Nova Cachoeirinha concentra data centers de borda e laboratórios de P&D que dependem de refrigeração líquida de alta eficiência. A rede de abastecimento local, com trechos envelhecidos e oscilações de pressão, injeta particulados e ar dissolvido no circuito. Sem barreira física e rotina de limpeza, o thermal budget dos racks H100/A100 é consumido por ineficiência hidráulica, não por carga computacional.

Este artigo conecta a manutenção da caixa de água à disponibilidade de pipelines de CI/CD, inferência em produção e jobs de batch training, mostrando como um checklist de DevOps pode absorver tarefas de facilities e transformar limpeza em métrica de uptime.

A cadeia térmica: da caixa de água ao die da GPU

A água de reposição entra na caixa, segue para o chiller, passa pela torre de resfriamento, retorna ao trocador de calor do rack e, finalmente, percorre os cold plates das GPUs. Qualquer restrição no primeiro elo — a caixa — propaga-se como queda de vazão (L/min) e elevação de ΔT ao longo de todo o loop. O resultado prático: o controlador do chiller satura, a temperatura de supply sobe de 10 °C para 14 °C e o junction temperature da GPU ultrapassa 83 °C, disparando clock throttling.

Em testes controlados, uma caixa com 15 cm de sedimento no fundo reduziu a vazão em 22 % e aumentou o tempo de conclusão de um benchmark de treinamento (ResNet-50, 8×A100) em 18 %. A correlação direta entre turbidez da água e GPU utilization média confirma que hidráulica é variável de performance, não apenas de manutenção predial.

Instrumentação: trazendo a caixa de água para o stack de observabilidade

Trate a caixa de água como um microserviço crítico: exponha métricas, defina SLOs e alerte no mesmo canal que seus deployments. Sensores de baixo custo (turbidez óptica, condutividade, nível ultrassônico, vazão magnética) publicam via MQTT para um Telegraf sidecar que escreve no Prometheus. Dashboards no Grafana mostram correlação em tempo real entre water_turbidity_ntu, chiller_supply_temp_c e gpu_junction_temp_c.

Exemplo de regra de alerta (PromQL):

alert: WaterQualityDegrading
  expr: water_turbidity_ntu > 5 OR chiller_supply_temp_c > 12
  for: 5m
  labels:
    severity: warning
    team: platform-infra
  annotations:
    summary: "Qualidade da água degradada — risco de throttling GPU"
    runbook_url: "https://wiki.infra/runbooks/water-quality"

Essa abordagem permite que o on-call de plataforma acione facilities antes que o job de treinamento falhe por OOM térmico.

Runbook de incidente: degradação térmica por causa hidráulica

Quando o alerta dispara, o runbook executa em três actos:

  1. Triagem (0-5 min): Verificar dashboards de gpu_throttling_duration_seconds_total e chiller_load_percent. Confirmar se há job crítico rodando (ex.: kubectl get pods -n ml-training -l priority=critical).
  2. Mitigação (5-15 min): Reduzir frequência de boost das GPUs via nvidia-smi -lgc 900,1200; migrar workloads não latência-sensíveis para nós com refrigeração a ar (fallback); acionar facilities para inspeção visual da caixa e filtros.
  3. Resolução (15-120 min): Se sedimento > 5 cm ou turbidez > 10 NTU, iniciar procedimento de limpeza emergencial (isolar válvulas, drenar, escovar, desinfetar, enxaguar, recomissionar). Registrar post-mortem com curva de temperatura antes/depois.

O runbook vive no mesmo repositório de código (GitOps) e passa por code review da equipe de plataforma, garantindo que facilities e SREs falem a mesma linguagem.

Plano de manutenção preventiva versionado como código

Armazene o cronograma, checklists e evidências no repositório infra-maintenance com pipeline CI que valida:

  • Frequência de inspeção (trimestral) e limpeza (semestral) via issues agendados no GitLab/GitHub.
  • Anexos obrigatórios: fotos antes/depois, laudo de potabilidade, leitura de sensores pós-limpeza.
  • Gate de merge: aprovação do tech lead de facilities + SRE lead.

Essa prática transforma limpeza em artifact auditável para SOC 2 e ISO 27001, eliminando planilhas perdidas no e-mail do zelador.

Filtros de entrada e automação de retrolavagem: a primeira linha de defesa

Instale filtro de malha 150 mesh na entrada da caixa com válvula de retrolavagem acionada por diferencial de pressão (ΔP > 0,3 bar). O atuador conecta-se ao mesmo barramento MQTT, publicando filter_backwash_total e filter_dp_bar. Quando a contagem de retrolavagens/dia excede baseline (ex.: > 6), abre-se issue automático para inspeção da caixa.

Em um laboratório de inferência na Vila Nova Cachoeirinha, a instalação do filtro + retrolavagem automática reduziu intervenções manuais em 78 % e manteve chiller_supply_temp_c estável em 10,2 ± 0,4 °C durante 90 dias consecutivos.

Correlação de custos: downtime de GPU vs. investimento em hidráulica

Uma hora de indisponibilidade de um nó 8×H100 (aluguel spot/on-demand) varia entre US$ 30 e US$ 45. Uma limpeza profissional completa (mão de obra, EPI, desinfecção, laudo) custa fração disso. O ROI aparece no primeiro incidente evitado. Mais importante: a previsibilidade térmica permite overcommit seguro de recursos no Kubernetes (resourceQuota com limits realistas), aumentando densidade de workloads por rack.

Inclua no business case de infraestrutura a métrica MTBF térmico (Mean Time Between Thermal Failures) e mostre como a limpeza programada eleva esse indicador de 45 para 180 dias.

Integração com facilities: contratos, SLAs e responsabilidade compartilhada

O contrato de manutenção hidráulica deve conter:

  • SLA de vazão mínima na entrada do chiller (ex.: ≥ 150 L/min).
  • Tempo de resposta para limpeza emergencial (< 4 h).
  • Entrega de relatório técnico com parâmetros físico-químicos (pH, dureza, cloro residual, turbidez).
  • Penalidade por não conformidade recorrente (desconto percentual na mensalidade).

Facilities deixa de ser “fornecedor de limpeza” e passa a parceiro de confiabilidade com métricas compartilhadas no mesmo dashboard da engenharia.

Checklist rápido para implementar nesta sprint

  1. Mapear todas as caixas de água que alimentam refrigeração de TI.
  2. Instalar sensores (turbidez, vazão, nível) e integrar ao Prometheus.
  3. Criar alertas e runbook no repositório infra-runbooks.
  4. Definir SLO de temperatura de supply (≤ 12 °C) e publicar no dashboard de SRE.
  5. Exigir filtro de entrada + retrolavagem automática no próximo capex.
  6. Versionar cronograma de limpeza no Git com pipeline de validação.
  7. Renegociar contrato de facilities com SLA hidráulico e penalidades.
  8. Realizar primeira limpeza documentada e medir delta de gpu_junction_temp_c.
  9. Apresentar resultados em business review trimestral com custo evitado.

A estabilidade do seu cluster de GPUs começa no reservatório que ninguém vê. Trate a hidráulica com o mesmo rigor de um deployment canary: instrumentação, alerta, runbook, automação e post-mortem aberto. O thermal budget agradece, o CFO aprova e o on-call dorme tranquilo.

desentupidora residencial e comercial

Para aprofundar em instrumentação de facilities, confira Dashboard de monitoramento para diagnósticos de auto elétrica veicular e Automatizando deployments com ferramentas de DevOps escaláveis. Se o foco é confiabilidade de infraestrutura, Boas práticas de DevOps para agilizar o ciclo de vida de desenvolvimento complementa este guia com pipelines de validação de ambiente.

Checklist prático

0 de 9 concluídos

Perguntas frequentes

Como a sujeira na caixa de água afeta diretamente o resfriamento de GPUs?

Sedimentos e biofilme reduzem a vazão e a condutividade térmica da água que alimenta chillers e torres de resfriamento. Isso eleva a temperatura de entrada no loop de refrigeração, fazendo as GPUs atingirem limites térmicos mais rápido e ativarem throttling.

Qual a frequência ideal de limpeza para ambientes com carga constante de IA/ML?

Recomenda-se inspeção trimestral e limpeza semestral, mas ambientes com GPUs rodando 24/7 em treinamento de modelos podem exigir ciclos mais curtos, alinhados ao plano de manutenção preditiva da infraestrutura.

A limpeza da caixa de água substitui a manutenção do chiller ou da torre de resfriamento?

Não. A limpeza do reservatório é etapa upstream essencial, mas chillers, trocadores de calor e torres exigem seus próprios cronogramas de desincrustação, troca de filtros e verificação de bombas.

Quais sinais indicam que a caixa de água já está comprometendo o thermal budget dos servidores?

Queda de pressão na linha de água gelada, aumento gradual da temperatura de inlet nos racks, alertas de throttling térmico em logs de GPU (nvidia-smi / DCGM) e presença de particulados nos filtros de linha.

É possível automatizar o monitoramento da qualidade da água para antecipar paradas?

Sim. Sensores de turbidez, condutividade e vazão integrados a plataformas de observabilidade (Prometheus/Grafana) permitem criar alertas antecipados e correlacionar eventos hidráulicos com métricas de temperatura de GPU.

A localização Vila Nova Cachoeirinha apresenta particularidades na rede de abastecimento?

A região possui trechos de rede antiga e variações de pressão sazonais, o que aumenta a incidência de particulados e ar na tubulação. Isso reforça a necessidade de filtros de entrada e programa de limpeza mais rigoroso.