Acompanhar uma operação com IA envolve descobrir a causa de falhas, escolher mudanças e conferir seus efeitos no trabalho real. Veja como organizar essa rotina entre operação e engenharia, usando uma passagem de atendimento para uma pessoa como exemplo.
A operação atende, a integração responde e o painel mostra conversas encerradas. Mesmo assim, a equipe relata que as pessoas precisam explicar tudo de novo quando chegam ao atendimento humano. O problema aparece na rotina, mas ainda não está formulado de um jeito que permita corrigi-lo. É desse intervalo entre percepção e mudança que tratamos aqui.
Escolha uma unidade de trabalho que tenha consequência
Neste exemplo fictício, uma empresa usa IA para receber solicitações de manutenção. O agente identifica o equipamento, reúne informações e encaminha situações específicas a um atendente. A responsabilidade pelo serviço continua com a equipe da empresa. O objetivo da passagem é permitir que o atendente assuma com contexto suficiente para dar continuidade ao pedido.
Contar mensagens ou conversas encerradas não responde se isso aconteceu. Para investigar, vamos acompanhar uma solicitação desde a entrada até a primeira ação útil da pessoa que assumiu. Esse recorte inclui a conversa, o registro na fila, os dados que chegaram ao atendente e o que ele precisou perguntar novamente.
O recorte também estabelece um limite. Não estamos avaliando todo o serviço de manutenção nem atribuindo ao agente resultados que dependem de estoque, deslocamento ou execução em campo. Podemos observar essas dependências sem confundir responsabilidades.
Transforme a queixa em hipóteses que possam ser testadas
“O agente passa sem contexto” é um bom sinal para começar, mas ainda admite causas diferentes. Talvez ele não tenha coletado o equipamento. Talvez tenha coletado e a integração descartou o campo. Talvez tudo tenha chegado, mas a tela não mostre a informação onde o atendente trabalha.
Selecione exemplos com quem recebeu os encaminhamentos. Inclua situações problemáticas e situações que a equipe considera boas, preservando o contexto necessário para comparar. A intenção é entender o mecanismo da falha; uma amostra escolhida para investigação não deve ser apresentada como retrato estatístico de toda a operação.
| Hipótese | Evidência a procurar | Mudança possível |
|---|---|---|
| A informação não foi coletada | Pedido original e perguntas feitas antes da passagem. | Rever a coleta e o tratamento de respostas incompletas. |
| A informação se perdeu na integração | Conteúdo preparado e registro recebido na fila. | Corrigir o mapeamento e acompanhar falhas de entrega. |
| A informação chegou, mas não foi útil | Tela do atendente e contexto usado para decidir. | Reorganizar a apresentação com a equipe que assume. |
Uma mudança no texto de instrução do agente pode ajudar na primeira hipótese. Nas outras duas, ela deixaria a causa intacta. Registre a explicação como hipótese até conseguir confrontá-la com os registros e com o funcionamento observado.
Faça a investigação atravessar as fronteiras do produto
Suponha que o agente coletou o equipamento e resumiu o problema corretamente. A integração enviou o resumo em um campo de observação, mas o atendente só vê esse campo ao abrir uma aba secundária. Na fila principal, aparece apenas “solicitação recebida”. A experiência faz o atendente repetir perguntas mesmo quando a informação existe.
Agora temos uma mudança concreta para discutir: apresentar equipamento, problema relatado e motivo do encaminhamento no local em que a pessoa assume a tarefa. A equipe de operação ajuda a escolher a ordem. Engenharia verifica de onde vêm os campos, se podem chegar vazios e como distinguir informação fornecida pelo cliente de interpretação do agente.
Essa aproximação entre processo e implementação é o papel que atribuímos ao trabalho FDE: investigar junto de quem opera, transformar a necessidade em uma alteração e acompanhar sua adoção. A composição da equipe e o escopo desse trabalho são definidos em cada projeto; o termo não substitui responsáveis e entregas explícitos.
Mude com um critério de aceite e um caminho de retorno
Antes de alterar a tela, escreva como reconhecer uma boa passagem. Neste exemplo: o atendente encontra o equipamento informado, entende a solicitação, vê o motivo da transferência e sabe o que ainda precisa confirmar. Se uma informação estiver ausente, essa ausência deve aparecer claramente.
Prepare situações que desafiem a mudança: equipamento não identificado, respostas contraditórias, integração indisponível, solicitação encaminhada duas vezes e desistência antes da conclusão. Use esses exemplos para avaliar o percurso completo, incluindo o que a pessoa que assume consegue fazer.
A primeira liberação pode ser limitada a uma fila ou grupo que aceite acompanhar a mudança. Combine quem observa, onde registrar problemas e em que circunstância voltar à versão anterior. Escolher um recorte menor reduz o volume de situações simultâneas a investigar, embora exija cuidado antes de generalizar o que foi aprendido.
- Hipótese
O contexto está difícil de encontrar.
- Alteração
Campos úteis aparecem na fila de entrada.
- Conferência
A equipe consegue continuar sem repetir a coleta.
- Decisão
Manter, ajustar, voltar ou ampliar o recorte.
Compare efeitos sem esconder o que mudou no caminho
Depois da liberação, volte a observar solicitações completas. Confira se o contexto chegou, se o atendente o usou e se as perguntas repetidas tinham outra justificativa. Confirmar um dado antes de uma decisão pode fazer parte do processo; não é automaticamente retrabalho.
Se a equipe quiser acompanhar uma medida, defina o que entra na contagem. “Passagem com contexto utilizável”, por exemplo, precisa de critérios comuns entre quem classifica os casos. Registre também o período, a fila, a versão e mudanças relevantes, como treinamento de novos atendentes ou alteração no tipo de solicitação.
Se o efeito esperado não aparecer, a investigação continua. A tela pode ter melhorado e o problema principal estar na qualidade da coleta. Uma alteração pode resolver uma etapa e aumentar o esforço em outra. A decisão de manter ou ampliar precisa considerar o percurso, além do ponto que foi modificado.
Organize uma rotina que produza decisões
Uma rotina possível é separar três momentos. No acompanhamento diário, a equipe trata falhas e situações pendentes. Em uma revisão periódica, operação e engenharia escolhem padrões que merecem investigação. Na revisão de escopo, avaliam quais melhorias justificam ampliar integrações, alterar o processo ou iniciar outra frente.
Cada melhoria precisa de um problema descrito, uma hipótese, um responsável, uma mudança proposta e uma forma de conferir o efeito. O registro pode ser simples. Sua utilidade está em permitir que outra pessoa entenda por que a decisão foi tomada e o que ainda falta aprender.
Análises de interações e perguntas aos dados podem apoiar essa rotina. Elas ganham valor quando o achado chega a alguém que pode agir e quando a mudança retorna para avaliação. Sem esse vínculo, o painel acrescenta informação, mas a operação continua trabalhando do mesmo jeito.
Perguntas para levar à equipe
- Que parte do trabalho a equipe precisa repetir e em qual situação?
- Qual hipótese explica o problema e que evidência poderia contrariá-la?
- Quem participa da correção além de quem configura o agente?
- O que precisa acontecer para manter, reverter ou ampliar a mudança?
Quando a operação com IA Aplicada entra em produção, surge a oportunidade de aprender com o uso. Uma rotina de evolução transforma esse aprendizado em mudanças verificáveis, com participação de quem constrói e de quem assume as consequências no dia a dia.
Referências para aprofundar
- NIST AI RMF Playbook · Measure 1.1 e 1.2 ↗
Orienta a escolher medidas apropriadas ao contexto, documentar o que não foi medido e rever a avaliação quando as condições mudam. É uma referência de avaliação; os exemplos e critérios deste material são propostas de trabalho.