Mesma queda mais de uma vez
OLT, sessão ou concentrador caindo de novo, com o mesmo sintoma, em semanas diferentes.
Suporte N3 · Provedores
A falha que volta investigada até o motivo, com linha do tempo, evidências e ações que fecham a porta por onde a próxima queda entraria.
Análise de causa raiz é a investigação de uma falha da rede até o motivo que a deixou acontecer, e não só até o reinício que trouxe o serviço de volta. É para o provedor que vê a mesma queda pela segunda ou terceira vez, na OLT, na borda ou no concentrador, e não sabe explicar por quê. O resultado é a causa provada com dados e uma lista de ações para a falha não se repetir.
É um serviço de investigação: reconstrói o que aconteceu, testa as explicações possíveis e só aceita a que os dados confirmam. Acontece depois da queda, com a rede já funcionando.
Dentro do suporte técnico N3, restaurar o serviço vem primeiro e investigar vem depois, com calma. Misturar as duas coisas no meio da queda faz o técnico mexer em várias peças ao mesmo tempo e apagar o rastro do que aconteceu.
Muitas causas raiz de provedor estão na borda: uma sessão BGP que cai porque o limite de prefixos ficou baixo, ou porque os keepalives se perdem num link saturado. Outras estão na OLT, na energia do POP ou numa versão de software com defeito conhecido.
A análise também protege o SLA que você deve aos clientes empresariais, porque a falha que volta é a que mais estoura prazo de reparo e gera desconto. O trabalho se divide em quatro partes:
Logs, alarmes, gráficos e mudanças recentes colocados no mesmo relógio. Sem horário sincronizado entre os equipamentos, esta etapa vira adivinhação.
Todas as explicações possíveis listadas, inclusive as incômodas, como uma alteração feita pela própria equipe na véspera da queda.
As hipóteses que sobram são testadas em janela ou em laboratório, reproduzindo a condição da falha sem afetar assinantes.
Cada ação ataca uma causa provada e ganha dono e data. Recomendação sem dono costuma ficar só no papel.
Você precisa quando a correção do dia não explica a queda e a sua equipe já espera pela próxima. Estes seis sinais mostram que falta investigação.
OLT, sessão ou concentrador caindo de novo, com o mesmo sintoma, em semanas diferentes.
O serviço volta depois do reboot e ninguém consegue dizer o que estava errado antes dele.
Quedas perto da meia-noite, do pico ou de um backup agendado apontam para uma causa que se repete.
Contrato com multa pede causa provada. A análise vira a base do relatório pós-incidente.
Cada um diz que o problema é do outro. As evidências mostram onde está a falha e sustentam o chamado.
Uma parada longa que afetou a base inteira e terminou sem que ninguém entendesse o motivo.
São cinco etapas, e as três primeiras só leem o que a rede já registrou. Nada é alterado em produção sem janela e aprovação sua.
Logs, alarmes, gráficos, histórico de mudanças e relato de quem atendeu, antes que a retenção apague os dados.
Prazo: [PREENCHER]
Eventos organizados minuto a minuto, do primeiro sinal até a volta completa do serviço, com a fonte de cada um.
Prazo: [PREENCHER]
Explicações possíveis confrontadas com os dados; as que sobram são reproduzidas em janela ou em laboratório.
Prazo: [PREENCHER]
Relatório com a causa provada, as evidências e as ações corretivas e preventivas, cada uma com dono.
Prazo: [PREENCHER]
Acompanhamento depois das ações para confirmar que a falha parou de voltar no período combinado.
Acompanhamento: [PREENCHER]
A análise cobre a investigação inteira, da coleta à conferência das ações. A execução das correções e o documento para clientes ficam à parte.
O preço depende de quantos equipamentos a falha envolve e de quantos dados já existem. O valor fechado sai depois de olhar o que a rede registrou.
| Fator | Como influencia | Exemplo |
|---|---|---|
| Equipamentos envolvidos | Cada equipamento é mais um log para ler e alinhar no tempo | OLT, concentrador e borda na mesma falha |
| Dados disponíveis | Sem logs nem gráficos, parte da investigação vira teste ao vivo | Syslog guardado só na memória do equipamento |
| Frequência da falha | Falha rara demora mais a ser reproduzida e confirmada | Queda que acontece uma vez por mês |
| Testes em laboratório | Reproduzir a condição fora da produção soma horas | Defeito suspeito numa versão de firmware |
| Fornecedores no caso | Chamado com fabricante ou operadora estende o prazo | Fabricante pedindo dumps e logs extras |
Faixa de preço para uma falha num único equipamento: [PREENCHER faixa aprovada pela Táquion Tech]. A análise pode ser avulsa ou usar horas de um contrato de suporte N3 para provedor.
Confira os métodos de investigação, os erros que fazem a análise parar no meio e o que separar antes de pedir. Os critérios servem para avaliar qualquer empresa de análise de causa raiz, inclusive a Táquion Tech.
A tabela mostra os três níveis de uma mesma queda; os métodos abaixo levam do primeiro ao último. Uma boa análise combina pelo menos dois, e o fornecedor deve dizer quais usa.
| Nível | Exemplo | O que a correção faz |
|---|---|---|
| Sintoma | Assinantes de uma região sem internet às 21h | Nada; só descreve a queda |
| Causa imediata | O concentrador reiniciou sem memória livre | Reiniciar, até a próxima vez |
| Causa raiz | Versão com vazamento de memória e nenhum alerta configurado | Atualizar e criar o alerta |
Pergunta-se por que a falha aconteceu, depois por que aquela causa existia, até chegar a algo que a equipe pode mudar.
Segue um caminho só. Falhas com duas causas juntas pedem outro método ao lado.
Agrupa as causas possíveis em famílias, como equipamento, configuração, energia, pessoas e fornecedor.
Lista hipóteses, mas não prova nenhuma. Cada uma ainda precisa de dado ou de teste.
Coloca cada evento no mesmo relógio e mostra o que veio antes do quê.
Depende de NTP em todos os equipamentos e de logs guardados fora deles.
Falhas de método que fazem a investigação concluir cedo demais. Pergunte como o fornecedor evita cada uma.
Concluir que o equipamento travou não explica por que travou. A pergunta seguinte é sempre o que permitiu aquilo.
Quando a análise vira caça a quem errou, a equipe esconde informação na próxima queda. O foco é processo, configuração e equipamento.
Reiniciar sem salvar logs, ou limpar contadores de interface, destrói a prova. Antes de reiniciar, copie o que der.
Uma recomendação genérica como reforçar o monitoramento não acontece. Cada ação precisa de responsável, prazo e forma de conferir.
Com estes dados em mãos, a investigação começa no mesmo dia e custa menos.
Quando a falha começou, quando foi percebida e quando o serviço voltou, mesmo que aproximados.
Syslog, alarmes, tráfego e CPU do período, exportados antes que a retenção do equipamento os apague.
Tudo que foi alterado nos dias anteriores, de configuração e firmware a link, energia e fornecedor.
Nome de quem trabalhou na queda e o que fez, na ordem em que fez.
Referências que dão forma ao método e ao registro da investigação.
Separa o incidente, que é restaurar o serviço, do problema, que é achar e remover a causa [CONFIRMAR na norma]. Veja a gestão de problemas no NOC.
Pede que as lições de incidentes de segurança sejam registradas e usadas para reduzir a chance de repetição [CONFIRMAR na norma].
Interrupções de grande alcance podem precisar ser informadas à Anatel com causa e duração [CONFIRMAR na norma].
Porque a conclusão só entra no relatório com a prova ao lado, e a análise termina quando a falha para de voltar. Seis compromissos de toda investigação.
OLT, borda, concentrador e energia de POP são o dia a dia da equipe, não teoria de livro.
[PREENCHER: anos de experiência da equipe em operação de provedores]
Hipótese sem dado que a sustente aparece no relatório como hipótese, nunca como causa.
Evidência anexada a cada conclusão
O relatório fala de configuração, processo e equipamento. A equipe colabora mais quando não se sente acusada.
Relatório sem nomes apontados como causa
Se a causa é defeito de firmware ou falha de link, as evidências vão organizadas para o fabricante ou a operadora.
Pacote de evidências entregue com o relatório
A análise só fecha quando a falha deixa de aparecer no período combinado com você.
Período de conferência definido na proposta
Se a recomendação for trocar hardware, ela vem da causa encontrada, porque a Táquion Tech não vende equipamento.
Recomendação sem comissão de fabricante
A análise de causa raiz é remota e atende provedores de todo o Brasil. A visita presencial fica para o litoral de Santa Catarina, quando a suspeita está no físico.
Logs, gráficos e configurações lidos à distância, entrevistas por vídeo e testes em janela combinada, de qualquer estado.
Para conferir energia, aterramento, temperatura do rack ou fibra no POP quando os dados apontam para o físico. [CONFIRMAR área de atendimento]
As perguntas mais comuns de quem tem uma falha que insiste em voltar. Se a sua não estiver aqui, pergunte no WhatsApp.
É investigar uma falha até o motivo que a originou, com evidências, para que as ações impeçam a repetição. Vale para OLT, borda, concentrador, energia e qualquer parte da rede do provedor.
A causa é o que derrubou a rede naquele momento, como o concentrador reiniciando. A causa raiz é o que permitiu isso, como uma versão com defeito sem alerta de memória.
O preço da análise de causa raiz muda com os equipamentos envolvidos, os dados disponíveis e a necessidade de laboratório. A faixa para um equipamento é [PREENCHER], com valor fechado antes de começar.
Depende de quantos dados existem e de quão rara é a falha. O prazo típico é [PREENCHER], e o do seu caso vai escrito na proposta.
Fica mais difícil e mais demorado, porque parte da prova precisa ser recriada em teste. Por isso uma das ações costuma ser guardar logs e gráficos fora dos equipamentos.
Pode, com tempo e método. O Especialista entra quando a falha cruza várias partes da rede ou quando a equipe está tomada pela rotina, como no suporte técnico nível 2.
Quase sempre. A visita só entra quando os dados apontam para energia, temperatura ou fibra num POP do litoral de Santa Catarina.
A análise descobre e prova a causa, para a equipe técnica. O relatório pós-incidente conta a queda para diretoria e clientes, usando essa causa.
Sim, e muitas vezes a causa cruza as três. Para a rotina de cada uma, veja o suporte a OLTs e o suporte a BGP.
Horários da falha, logs e gráficos do período, a lista de mudanças recentes e acesso de leitura aos equipamentos envolvidos. Quanto antes os dados forem salvos, mais completa fica a análise.
Três serviços que vêm antes ou depois da investigação. Cada um cobre uma parte que a análise não cobre.
A queda contada para diretoria e clientes, com horários, impacto, causa e o que muda.
Ver o relatório pós-incidente
Gráficos e alarmes guardados todo dia, para a próxima investigação ter dados.
Ver o monitoramento de rede
Análise técnica com valor de prova quando a falha vira disputa com fornecedor ou cliente.
Ver a perícia técnica em redesTrês guias para entender a investigação de falhas e o que fazer antes dela.
Como separar o incidente do problema e tratar a causa que se repete.
Um caso comum de falha que volta e as causas que costumam estar por trás.
Como os dados guardados ajudam a prever a próxima falha antes da queda.
Orçamento
Conte qual falha se repete e com que frequência. Um Especialista devolve escopo, prazo e valor por escrito.
Falar com o André Comercial, no WhatsApp