Sobre a Starya
A Starya desenvolve IA aplicada a operações complexas. Conectamos inteligência artificial, software e dados para transformar processos reais de negócio, com segurança, confiabilidade e controle.
Nossa plataforma, o NebulaOS, é a base para construir, integrar e operar essas soluções. Nosso trabalho combina engenharia próxima do cliente, desenvolvimento de produto e uma base de dados, infraestrutura e segurança.
O desafio
Ajudar a equipe a entender o risco de uma mudança e verificar o comportamento do produto antes e depois da entrega. Uma operação com IA envolve respostas, decisões e ações: a avaliação precisa alcançar o resultado no destino, as permissões utilizadas e os caminhos de recuperação disponíveis às pessoas.
O que você vai fazer
- Construir um mapa de riscos e um plano de testes por jornada com PM, Design e engenharia. Priorizar situações com maior efeito operacional, como uma aprovação indevida, uma ação duplicada ou uma execução sem confirmação, associando cada risco às verificações necessárias.
- Automatizar verificações de interfaces, APIs e integrações conforme o risco. Conferir estado no destino e efeitos observáveis; simular timeout depois de uma escrita, repetição de eventos e retomada de execução para verificar duplicidades e tratamento de resultados desconhecidos.
- Testar limites de autorização e isolamento entre organizações com dados apropriados. Cobrir trocas de contexto, referências a recursos de outro tenant e tentativas de executar ações sem permissão, registrando evidências que permitam reproduzir e corrigir a falha.
- Entregar conjuntos de dados versionados e suítes de contrato e regressão integradas ao fluxo de CI. Preparar estados conhecidos e investigar testes instáveis, separando falhas do ambiente e do produto para que o resultado permita decidir sobre uma mudança.
- Conectar avaliação de IA e qualidade funcional com AI Research. Usar casos de referência para observar respostas incorretas, informações ausentes e uso inadequado de ferramentas, distinguindo variação aceitável de violações de regras, permissões ou critérios de resultado.
- Investigar problemas encontrados em produção com os responsáveis pelo serviço. Entregar reprodução, resultado esperado e observado, e um caso de regressão. Complementar automação com exploração e relatar verificações realizadas, limitações e riscos que permanecem para a entrega.
O que buscamos
- Experiência testando aplicações e integrações, com capacidade de derivar cenários a partir de regras e riscos. Exemplos de defeitos encontrados e de como a evidência orientou a correção.
- Capacidade de programar automação de testes e organizar verificações repetíveis. Entendimento de preparação de dados, isolamento de cenários e diagnóstico de falhas no teste ou no produto.
- Conhecimento de APIs, estados e efeitos de operações para investigar diferenças entre resposta e resultado. Capacidade de discutir contratos, repetição e condições de falha com desenvolvedores.
- Capacidade de raciocinar sobre autorização, isolamento e dados de teste, usando ambientes e informações apropriados. Atenção à rastreabilidade das evidências e à proteção de conteúdo sensível.
- Comunicação clara para explicar risco, reprodução e cobertura, trabalhando com outras especialidades. Capacidade de priorizar verificações pelo efeito da mudança e rever a estratégia com base no uso.
Diferenciais
- Experiência com Playwright ou ferramentas equivalentes, testes de contrato e pipelines de CI, com exemplos de manutenção de suítes e investigação de resultados intermitentes.
- Vivência com avaliação de aplicações de IA, datasets versionados ou comportamentos probabilísticos, aproximando análise de modelos e verificação de jornadas e ações do produto.
- Experiência com acessibilidade, desempenho ou integrações orientadas a eventos, contribuindo para escolher verificações específicas quando esses fatores representam risco relevante para a operação.
Seu impacto
Ao repetir uma chamada após timeout, a suíte verifica se houve uma única alteração no destino e se a interface apresenta o resultado correto. Casos assim tornam falhas relevantes detectáveis durante a entrega. Acompanhar regressões escapadas e testes instáveis orienta onde melhorar a cobertura e a automação.
Com quem você constrói
Qualidade é construída com SWE, PM, Design e Client Engineering ao longo da entrega. Com AI Research, compartilha casos e critérios, preservando a avaliação própria de modelos e métodos. Com SRE e segurança, conecta incidentes e riscos operacionais à estratégia de verificação e prevenção de regressões.