Enxágue e Revele: A Equipe de QA de The Sims

Ahoy e boas-vindas! Aqui é o Alex, o QA residente de The Sims… o cara. Talvez você se lembre de mim de conversas anteriores, como os Q&As no Discord!

A comunidade de The Sims tem sido incrível ao se envolver e fazer perguntas sobre o que a QA realmente faz, então achei que era hora de puxar a cortina e mostrar com mais detalhes o que a QA faz (e o que não faz!).

Este artigo vai abordar a maior parte (mas não tudo) do trabalho da QA — não apenas em The Sims, mas também na maioria dos outros jogos e até em softwares tradicionais ou não interativos.

Sou bem apaixonado pela minha área e adoro compartilhar informações, então espero que, ao final, vocês tenham uma compreensão melhor de como a QA funciona e por que ela é tão importante!

O que é QA?

QA significa Quality Assurance, e o nome explica muito bem! Nosso trabalho é garantir a qualidade do jogo assegurando que verificamos diversos aspectos dele (incluindo, mas não se limitando à busca por bugs). Grande parte do nosso trabalho acontece nos bastidores, nas fases iniciais do desenvolvimento, mas também somos responsáveis por garantir a qualidade quando o jogo chega às suas mãos!

Todo software tem bugs, e os jogos não são exceção. Nosso objetivo é capturar os problemas mais graves, ao mesmo tempo em que garantimos que os jogadores encontrem o menor número possível de pequenos problemas. Começamos pelos erros mais óbvios, mas também caçamos aqueles mais sutis, que podem corromper salvamentos, bloquear o progresso ou causar problemas em cascata. (Essa é a parte divertida do trabalho!)

Quando uma correção é proposta, primeiro confirmamos se ela é válida e depois trabalhamos para identificar possíveis efeitos colaterais. (Não é uma correção de verdade se você conserta uma coisa e quebra outras!) No caso de The Sims 4, compartilhamos o que aprendemos com os desenvolvedores com a equipe TheSimsDirect para garantir que nossas comunicações com vocês por meio dos blogs de investigação de salvamentos, Laundry Lists e notas de atualização sejam precisas. Na QA, usamos nosso conhecimento técnico do jogo para fazer a ponte entre quem cria o jogo (os desenvolvedores) e quem joga (vocês!).

Então… o que a equipe de QA realmente faz?

Ainda bem que você perguntou, porque é aqui que as coisas ficam divertidas! Como o QA participa de todas as etapas do desenvolvimento, nossos dias mudam bastante dependendo da parte do jogo em que estamos trabalhando…

Durante o início do desenvolvimento, que pode durar de alguns meses a alguns anos dependendo do projeto, o QA passa boa parte do tempo trabalhando em parceria com os desenvolvedores e observando qualquer coisa que possa afetar a estabilidade ou a jogabilidade. Quando um sistema ou recurso começa a tomar forma, identificamos possíveis problemas, verificamos se as mudanças se comportam da maneira que a equipe planejou e começamos a testar o jogo em cenários comuns para ver o que pode quebrar. Nessa fase inicial, podemos e somos incentivados a dar feedback. É aqui que tentamos representar você, o jogador, da melhor forma possível.

Conforme as correções chegam, testamos tudo novamente sob vários ângulos para garantir que o problema foi realmente resolvido e que nenhuma surpresa nova apareceu. Aliás espera aí, eu tenho uma história sobre isso…

Histórias do QA, um momento de storytime.

Recentemente, enquanto testávamos o novo recurso de Escapada de Novas Aventuras, encontramos um bug bem engraçado:

“Cães pequenos podem ser colocados como solteiros na Escapada de Competição Romântica”

Isso mesmo. Você podia colocar o Toto para participar do seu novo reality show de namoro.

Encontramos esse bug durante a fase de testes ad hoc e halo. Essa etapa acontece depois que validamos que tudo está funcionando, de forma geral, como o desenvolvedor planejou. E é justamente nessa fase que nós, do QA, podemos nos divertir um pouco mais.

Antes de explicar como o bug foi descoberto, vamos definir alguns termos.

O teste halo consiste em testar tudo ao redor de algo específico, neste caso a Escapada de Competição Romântica.

O teste ad hoc é um tipo de teste sem roteiro. Pense nisso como uma noite de improviso em um clube de comédia.

O testador estava planejando como testar as novas Escapadas e pensou: “Será que dá para criar uma Competição Romântica com participantes não humanos?”

Isso levou a várias tentativas diferentes, sempre confirmando com o desenvolvedor qual deveria ser o comportamento esperado. Até que surgiram os cães.

Mais especificamente, cães pequenos. O bug foi então sinalizado para correção.

Por que apenas cães pequenos？Por que não outra coisa？Quem sabe！Mas o que o QA sabia é que, por mais bonito que Dilbert Wing seja, ele não deveria participar da Escapada de Competição Romântica como competidor. Este é apenas um pequeno vislumbre do que fazemos nos bastidores para garantir a qualidade.

Pobre Dilbert vai ter que encontrar o amor do jeito antigo…

Agora, voltando ao nosso artigo principal.**

À medida que as correções chegam, nós as testamos novamente sob vários ângulos diferentes, o que chamamos de “testes halo”, para garantir que elas realmente resolvem o problema e não introduzem novas surpresas. Também usamos os saves que VOCÊS compartilharam conosco no passado por meio dos Fóruns da EA, além daqueles que criamos internamente, para nos ajudar a testar diferentes cenários no jogo, tentando reproduzir estilos de jogo da vida real. Testamos ainda em diferentes plataformas, com diversas configurações de hardware, como diferentes tipos de componentes de computador, e com várias combinações de pacotes, para entender melhor como o jogo pode se comportar no mundo real. Fazemos tudo isso enquanto verificamos se os novos conteúdos funcionam bem com o restante do jogo, incluindo pacotes mais antigos. Grande parte do nosso tempo fora do jogo em si é dedicada à criação de checklists e estruturas de teste que ajudam todo o estúdio a identificar problemas mais cedo. (Em linguagem corporativa, isso significa que garantimos a qualidade de como o jogo é feito E do jogo em si.)

À medida que nos aproximamos do lançamento, geralmente cerca de um mês antes, dependendo do projeto, as coisas ficam mais intensas. É nesse momento que começamos a fechar tudo, confirmamos que os desenvolvedores estão atentos a quaisquer riscos restantes e começamos a revalidar cada conjunto de mudanças que fará parte da próxima versão. Realizamos mais testes de cenário, investigamos mais casos extremos e fazemos mais uma rodada de verificação das correções para garantir que nada importante tenha passado despercebido antes do lançamento.

Depois que uma atualização entra no ar, nosso foco passa a ser o feedback pós lançamento. Monitoramos as conversas da comunidade, acompanhamos os relatos enviados aos Fóruns da EA e procuramos padrões que nos ajudem a entender o quão disseminado e grave é um problema. Levamos o feedback de vocês a sério e transformamos esses relatos em bugs para que os desenvolvedores possam trabalhar em correções. Todas essas informações retornam diretamente ao nosso pipeline de desenvolvimento, influenciando a forma como acompanhamos as correções e planejamos o futuro.

O que o QA não pode fazer?

O QA é responsável por muita coisa, mas também tem seus limites. O QA não decide quais recursos ou conteúdos serão criados, nem qual deve ser o seu funcionamento; nosso papel é permanecer o mais objetivo possível. Trabalhamos em conjunto com os desenvolvedores para definir quais dados podem ser usados para medir se o que foi construído atinge o padrão de qualidade esperado. Questões relacionadas a mods também estão fora do nosso controle, embora nos mantenhamos atualizados sobre os mods mais populares do momento e procuremos padrões nos relatos dos jogadores que possam indicar preocupações mais profundas de compatibilidade.

Embora o QA teste uma enorme variedade de cenários, todo jogo ou software apresenta, na prática, uma quantidade quase infinita de possibilidades. Pense em cada escolha que VOCÊ pode fazer desde o momento em que inicia The Sims 4 e em como cada uma delas cria um novo caminho que torna sua experiência única. Agora pense em quantas pessoas jogam este jogo (são muitas!). Nenhum Simmer percorre exatamente a mesma jornada, mesmo chegando a destinos semelhantes, e nós adoramos isso. Por conta dessas variações, infelizmente alguns problemas acabam passando despercebidos. Quando isso acontece, ouvimos o feedback de vocês, transformamos essas informações em bugs e evoluímos nossos modelos de teste para continuar melhorando.

Que mudanças o QA fez recentemente?

A gente tem se concentrado bastante em colocar no ar mais rápido, e em maior quantidade, as correções mais votadas pela comunidade. Parte da nossa capacidade de fazer isso depende da habilidade do QA de transformar os relatos de vocês em bugs acionáveis. Lá em janeiro de 2025, atualizamos para os novos Fóruns da EA. (O tempo voa!) Essa mudança nos deu uma telemetria melhor, ou seja, mais dados, para entendermos melhor quais relatos vocês realmente se importam. Os dados no back end ajudam a gente a conseguir informações melhores, mais rápido. Do ponto de vista do jogador, agora vocês têm os status nos relatos, então dá para ver como eles avançam pelo fluxo. Esses status também nos ajudam a sinalizar quando precisamos da SUA ajuda para reproduzir um relato internamente, com o status “Needs Info”. Informações melhores, uma comunicação melhor da nossa parte e mais saves permitiram que a gente entregasse aos desenvolvedores bugs mais completos.

Apesar de coletarmos saves há muito tempo, recentemente colocamos um foco extra em como podemos ampliar nossos testes usando esses saves para além do bug para o qual eles foram enviados inicialmente. Não basta só resolver os bugs que vocês reportam, estamos usando os dados que recebemos para ampliar nossa compreensão de como vocês jogam!

(Respira fundo porque essa frase é pesada) Essas melhorias na forma como medimos e monitoramos quais problemas estão causando mais dor para vocês na nossa comunidade, com um foco específico nos 20 principais problemas, somadas ao uso cada vez maior da nossa vasta coleção de saves de jogadores e a ferramentas ampliadas que analisam dados em diferentes períodos, além de apenas votos, fizeram com que a gente corrigisse 27 dos 40 relatos da comunidade mais votados!

A gente reconhece que esse processo não é perfeito e estamos sempre buscando melhorar. (O feedback de vocês tem sido incrivelmente útil nisso!) Para mim, QA é uma forma de arte, e a gente busca evoluir junto com o nosso meio. Para o time de QA de The Sims 4, isso significa evoluir constantemente nossos processos para atender aos padrões que esperamos de nós mesmos e entregar um produto de qualidade para vocês.

Como QA e Simmers trabalham juntos**

Os relatos dos jogadores são uma parte enorme de como entendemos o que está acontecendo em escala. Comparativamente, nós somos poucos, e vocês são um exército! Um ditado antigo em QA é: “O melhor playtest é o dia em que você lança seu jogo!” Na prática, não importa quantas horas de teste você coloque no jogo, o feedback do dia de lançamento sempre é o melhor. Em algum lugar por aí, alguém vai fazer algo que a gente nunca pensou em fazer. É por isso que os relatos de vocês são tão importantes. (E é por isso que eu amo os Simmers por serem tão proativos em reportar as coisas!)

Temos uma equipe dedicada a analisar os relatos para encontrar padrões, entender a frequência e identificar a gravidade em potencial. Todas as informações que vocês compartilham com a gente nos Fóruns da EA são lidas e consideradas enquanto tentamos fazer o bug acontecer do nosso lado. Quando vocês compartilham seus saves, vídeos e ou instruções passo a passo, isso ajuda muito nosso time a rastrear o bug e torná lo reproduzível. No fim das contas, é trabalho do QA registrar o bug e usar nossas ferramentas para ajudar a decifrar a possível causa raiz para que o desenvolvedor possa entrar e corrigir, mas eu não consigo enfatizar o quanto somos gratos por ter uma comunidade tão engajada quanto vocês, isso é uma ajuda enorme.

Às vezes, os bugs são mais complicados do que parecem na superfície. Por isso, passos de reprodução claros e bem definidos são o que nós do QA usamos para nos comunicar com os desenvolvedores e entre nós. Nosso objetivo é conseguir 100% das vezes, mas nem sempre isso é possível. Podemos tentar mil cenários em mil saves diferentes que criamos, tentando reproduzir um problema relatado pela comunidade, mas sinceramente não tem nada melhor do que receber a informação direto de quem está vivendo isso. Porque no fim das contas não basta dizer “o bug existe”, nós do QA precisamos provar que ele existe e fazemos isso descobrindo como ele acontece.

Um sincero agradecimento

Mais uma vez, queremos compartilhar o quanto nosso time é grato à comunidade The Sims 4. Somos extremamente sortudos por ter jogadores comprometidos com a qualidade, dispostos a compartilhar suas experiências e a nos dar a oportunidade de melhorar o jogo. QA é uma forma de arte imperfeita, que funciona melhor quando todos trabalham juntos como um time. Quanto mais perspectivas diferentes conseguimos reunir, melhor ficamos em encontrar bugs. Então, se algo parecer estranho, quebrado ou simplesmente fora do lugar, por favor, envie um relato. Suas informações fazem toda a diferença!