Ir para o conteúdo

Guia prático · Avaliação · Critérios

Agentes de IA em produção no Brasil: como avaliar uma plataforma

O que exigir de uma plataforma ou parceiro para operar agentes de IA em produção no Brasil: responsável, verificação, evidência, integração, implantação e LGPD.

Para quem

Lideranças de operação, tecnologia, segurança e compras que avaliam plataformas e parceiros de agentes de IA

O que você leva

Uma matriz de critérios, perguntas e evidências para comparar propostas com os mesmos requisitos

Para operar agentes de IA em produção no Brasil, avalie a plataforma e o parceiro pelo que conseguem demonstrar no seu processo, e não pela fluência de uma demonstração. Exija um responsável nomeado, um critério de verificação combinado antes do piloto e evidência do resultado no sistema de destino, não apenas na transcrição. Confira o escopo delimitado, a transferência para a equipe com contexto, a integração com os sistemas-fonte, a modalidade de implantação, o mapa de dados para a LGPD e quem acompanha a operação depois do go-live. Este guia é escrito pela Starya e não ranqueia fornecedores.

Existe um responsável nomeado pelo processo?

Um agente de IA executa passos dentro de um processo, mas não responde por ele. Pergunte a qualquer fornecedor como o projeto define quem, do lado da empresa, aceita o recorte, define o critério de verificação, recebe as exceções e pode pausar o uso. Uma proposta que trata “o time” ou “a IA” como responsável deixa essas decisões sem dono.

O que pedir. Uma tabela com o processo, o responsável por nome e papel, o substituto e os donos de permissões e de cada sistema de destino. O guia sobre o responsável por um agente de IA em produção detalha o que essa pessoa decide e como nomeá-la antes do piloto.

O critério de verificação é combinado antes do piloto?

Antes de medir qualquer resultado, a empresa e o fornecedor precisam escrever o que conta como tarefa concluída e onde isso é conferido. Sem esse critério, cada área interpreta o resultado de um jeito, e a avaliação do piloto vira uma discussão de opiniões.

O que pedir. O critério escrito para cada fluxo do recorte, com a fonte de conferência, o responsável por aprovar e o que acontece quando o resultado não atende. Um indicador sem critério combinado antes não permite comparar propostas.

A evidência fica no sistema, e não só na transcrição?

Uma resposta “feito” na conversa é um relato. A conclusão aparece no sistema de destino: o registro criado, a consulta devolvida, o envio confirmado. A transcrição mostra o que foi dito; ela não comprova que a ação foi executada nem que o resultado está correto.

O que pedir. Um exemplo de registro que mostre, para uma mesma solicitação, a resposta do agente, a ação executada e a confirmação no sistema de destino. Pergunte também como o acompanhamento separa conclusão, tentativa sem confirmação e transferência.

O escopo é delimitado e a transferência leva contexto?

Uma operação em produção começa por pedidos com começo e fim claros, uma fonte de dados definida e limites escritos. O que está fora do escopo precisa ter destino conhecido. Em saúde, por exemplo, consultar o status de uma guia não é decidir uma autorização assistencial, e essa decisão continua com a equipe responsável.

O que pedir. A lista de pedidos incluídos e excluídos, as condições de transferência e o que chega à pessoa que assume: identificação, pedido e o que o agente já tentou ou consultou. Sem esse contexto, a equipe recomeça a conversa e o motivo da exceção se perde.

A integração alcança os sistemas-fonte?

Um agente sem integração reconhece o pedido, mas não consegue concluí-lo. A informação que ele entrega deve vir do sistema-fonte, pela interface definida no projeto, e não ser gerada pelo modelo. Quando a consulta falha, a resposta correta é informar que não foi possível confirmar e transferir com contexto.

O que pedir. O mapa de sistemas que o agente lê e altera, as permissões de cada integração, quem aprova e quem pode revogar. Pergunte também como o controle alcança o ponto que executa a ação: observar a chamada ao modelo não comprova a autorização, a execução ou o resultado da chamada seguinte a um sistema.

Onde a operação executa, e o que muda para a LGPD?

Pergunte quais modalidades de implantação existem, quem opera cada componente e por onde passam dados e chamadas aos modelos. Na Starya, as modalidades são Shared SaaS e Dedicated. O canal de compra é uma decisão separada do ambiente de execução: contratar por um marketplace não define onde a operação roda.

Nenhuma modalidade resolve sozinha as questões de LGPD. Em qualquer desenho, recomendamos mapear quais dados pessoais o agente trata, com que finalidade, por quais sistemas, modelos e fornecedores eles passam, quem acessa e por quanto tempo ficam retidos, e levar esse mapa à avaliação jurídica e de privacidade da empresa. A seção sobre LGPD do guia Shared SaaS ou Dedicated organiza esse mapa.

Quem acompanha a operação depois do go-live?

A entrada em produção é o começo da operação, não o fim do projeto. Mudanças de fonte, de permissão, de modelo ou de volume podem alterar o comportamento do agente. Alguém precisa acompanhar conclusões, exceções e motivos de transferência, e decidir quando ajustar, ampliar ou pausar.

O que pedir. Como o fornecedor participa do acompanhamento, quais painéis ou registros ficam disponíveis, com que frequência os resultados são revisados em conjunto e como novas frentes são avaliadas. Prazos, cobertura e condições de suporte precisam ser acordados; não podem ser deduzidos do nome da oferta.

Português e operação no Brasil: o que conferir

Peça para ver o agente com o vocabulário, os documentos e os canais da sua operação, em português, e não apenas em um roteiro de demonstração. Pergunte quais operações no Brasil o fornecedor publica como caso, com qual escopo e com quais limites.

Entre os casos publicados pela Starya estão a Unicall, no Sistema Unimed Paraná, com atendimento por voz na URA, e o dr.consulta, com relacionamento pelo WhatsApp. Cada caso descreve o próprio recorte, e seus resultados não valem como garantia para outros contextos.

Perguntas para levar a qualquer fornecedor

Use as mesmas perguntas para todas as propostas e registre a resposta e a evidência mostrada. Uma resposta sem evidência continua pendente. O roteiro no fim desta página permite preencher e baixar essas perguntas com a sua equipe.

Perguntas para levar a qualquer fornecedor de agentes de IA em produção
CritérioPerguntaResposta verificável
ResponsávelQuem, do lado da empresa, responde pelo processo e pode pausar o uso?Tabela com nome, papel, substituto e donos de permissões e sistemas.
Critério de verificaçãoO que conta como tarefa concluída e onde isso é conferido?Critério escrito para cada fluxo, aprovado antes do piloto.
EvidênciaComo vejo que a ação foi executada, além da transcrição?Registro que liga resposta, ação e confirmação no sistema de destino.
Escopo e transferênciaO que fica fora do escopo e o que chega à pessoa que assume?Lista de pedidos incluídos e excluídos e exemplo de transferência com contexto.
IntegraçãoQuais sistemas o agente lê e altera, e com quais permissões?Mapa de integrações com quem aprova e quem pode revogar.
Implantação e LGPDOnde a operação executa e por onde passam os dados?Desenho da modalidade com rotas, fornecedores e responsáveis para a revisão jurídica e de privacidade.
AcompanhamentoQuem acompanha resultados e exceções depois do go-live?Rotina de revisão, registros disponíveis e condições de suporte acordadas.

Como a Starya atende esses critérios

Responsável e critério. A Starya começa por um processo delimitado e pede que a empresa indique quem responde por ele. Antes de começar, a empresa escolhe o processo, identifica os dados e sistemas envolvidos e combina o que será considerado um resultado concluído. O guia sobre o responsável por um agente de IA em produção e o artigo sobre resposta e resultado detalham essa preparação.

Evidência e controle. O NebulaOS conecta modelos, fontes e ferramentas e permite acompanhar os pontos incluídos na implantação. Para controlar uma ação, o desenho integra também o ponto que a executa. O guia para CISOs trata da trilha de auditoria e das evidências que permitem liberar ou retomar a operação.

Escopo, integração e transferência. Na Unicall, no Sistema Unimed Paraná, a agente Júlia foi integrada à URA para identificar o beneficiário e atender fluxos delimitados, como consulta de status de guia e segunda via de boleto. O status informado vem do sistema-fonte pela API, e a ligação é transferida com a identificação e as informações coletadas quando a consulta falha ou o pedido está fora do escopo. Nos fluxos automatizados, o TMA passou de 8 para 2 minutos, e no primeiro mês de operação 12% das chamadas foram resolvidas integralmente pela IA. Os indicadores pertencem a esses fluxos, não ao total de ligações da Unicall nem às demais operações da Starya. O guia sobre URA com IA que identifica o beneficiário e consulta o status da guia sem alucinar aplica esses critérios a uma operadora de saúde.

Acompanhamento depois do go-live. No dr.consulta, a Gabi apoia o relacionamento pelo WhatsApp nas Linhas de Cuidado, e situações mais complexas vão para a equipe humana. A evolução foi acompanhada pelas equipes do dr.consulta e da Starya, e a análise das interações revelou a demanda que deu origem à Lara, voltada a agendamentos.

Implantação. Shared SaaS e Dedicated são as duas modalidades. Dedicated pode usar OCI, AWS ou infraestrutura local, conforme a avaliação técnica e o escopo contratado, e o canal de compra é definido separadamente do ambiente de execução. A modalidade não torna a operação conforme à LGPD automaticamente; o mapa de dados vai para a avaliação jurídica e de privacidade da empresa.

Sobre esta página

Este guia é escrito pela Starya. Ele organiza critérios para avaliar qualquer plataforma ou parceiro de agentes de IA em produção e não compara, ranqueia nem cita outros fornecedores. Onde a Starya aparece, os fatos são os publicados em suas próprias páginas de casos, produto e guias, com os limites descritos em cada uma.

Exemplo ilustrativo · sem dados de cliente

Duas propostas para a mesma consulta de status

Exemplo fictício: uma empresa recebe duas propostas para um agente que responde consultas de status de pedidos. As duas demonstrações parecem fluentes. A equipe decide comparar as propostas pelos mesmos critérios, registrando a evidência mostrada em cada um, e não pela impressão da demonstração.

A matriz abaixo mostra como ficaria o registro. As propostas são fictícias e não representam fornecedores reais nem uma oferta da Starya.

Matriz de avaliação de duas propostas · exemplo fictício
CritérioProposta AProposta BPendência
ResponsávelPede a indicação de um responsável e de um substitutoNão menciona quem responde pelo processoProposta B precisa indicar como o responsável será definido
Critério de verificaçãoCritério escrito antes do pilotoCritério definido depois do pilotoProposta B precisa combinar o critério antes de medir
EvidênciaMostra resposta, ação e confirmação no sistema de pedidosMostra apenas a transcrição da conversaProposta B precisa demonstrar a confirmação no sistema de destino
Escopo e transferênciaLista pedidos excluídos e o contexto da transferênciaTransfere sem contexto definidoProposta B precisa descrever o que chega à equipe
IntegraçãoLeitura no sistema de pedidos, com permissões aprovadasIntegração a definirAs duas precisam de aprovação de segurança
Implantação e dadosModalidade candidata com rotas de dados descritasAmbiente citado sem rotas de dadosAs duas precisam de revisão jurídica e de privacidade
AcompanhamentoRevisão conjunta de resultados e exceçõesSuporte sob demandaAs duas precisam de condições de suporte acordadas

Preencha uma coluna para cada proposta com a evidência mostrada, não com a promessa. Uma célula sem evidência é uma pendência. No exemplo, nenhuma proposta está aprovada enquanto integração, dados e suporte não forem verificados.

Quando o caminho precisa mudar

Se nenhuma proposta atende a um critério obrigatório, reduza o recorte ou mantenha a decisão pendente até que o critério seja demonstrado. Se a empresa ainda não tem um responsável para o processo, resolva isso antes de comparar fornecedores. Se o requisito de dados não estiver claro, comece pelo mapa de dados e pela revisão de privacidade, e só depois escolha a modalidade.

Um ponto de atenção: comparar propostas pela fluência de uma demonstração, sem conferir evidência no sistema de destino nem quem responde depois do go-live.

O roteiro está pronto para avançar quando…

  • Cada proposta foi avaliada com os mesmos critérios e as mesmas perguntas.
  • Responsável, critério de verificação e evidência no sistema de destino estão registrados para o recorte.
  • Escopo, transferência, integrações e permissões têm donos e condições escritas.
  • Modalidade de implantação, mapa de dados e acompanhamento depois do go-live foram levados à revisão técnica, jurídica e de privacidade.

Leve a matriz para a avaliação inicial e compare com o guia sobre o responsável e com o guia para CISOs. Confirme as pendências antes de escolher a plataforma.

Seu roteiro

Preencha com sua equipe.

Registre o que já sabe e o que ainda precisa confirmar. As respostas permanecem em memória, sem envio.

Arquivo HTML independente com o guia completo, suas respostas e opção de imprimir / salvar PDF. Não inspeciona sistemas nem comprova controles.

Referências para aprofundar

Próximos materiais

Continue com este contexto

Guia · CISO

O que um CISO pergunta antes de pôr IA Aplicada em produção

Como auditar o que um agente de IA fez: relacione escopo, dados, RBAC/ABAC, trilha de auditoria e recuperação em uma matriz de controles, evidências, responsáveis e pendências.

SegurançaGovernançaAções e evidênciasContexto e dados
Publicado

Produto e entrega

NebulaOS: a base tecnológica da operação

NebulaOS conecta modelos, fontes e ferramentas e permite acompanhar os pontos incluídos na implantação.

Ações e evidênciasContexto e dados
Material de referência

Continuidade

IA Aplicada na Starya

Conecte este roteiro aos produtos, às condições de implantação e à avaliação da sua operação.