por Max Stabile*
Pesquisas eleitorais sérias, feitas por empresas e profissionais responsáveis diferem entre si? Mas por quais motivos? Diversos. Nos últimos anos, a cobertura midiática em relação às pesquisas eleitorais está se tornando cada vez mais profissional, o que é muito bom. Enquanto isso, a academia e alguns veículos estão se debruçando para tentar entender razões e diferenças entre as pesquisas eleitorais e quais razões de seus erros.
Nas eleições de 2018, nós já temos algumas estatísticas interessantes sobre essas diferenças dos institutos de pesquisa, ou como a literatura chama: “house effects”. Em publicação recente, o Jota foi taxativo: FSB/BTG possui um viés positivo para Jair Bolsonaro de 4 pontos e o DataPoder360 um viés positivo para Haddad de 3 pontos. Outra forma de acompanhar o “house effects” de forma super atualizada é o PollingData. Basta clicar em eleições presidenciais e depois ir em “Viés dos Institutos”.
Segundo a metodologia utilizada pelo PollingData e considerando apenas diferenças maiores que 1.0, fica claro:
Bolsonaro tem um viés positivo pela pesquisa FSB e negativo em Vox Populi;
Alckmin possui um viés positivo no DataFolha e IPESPE e negativo em Vox Populi;
Haddad possui um viés positivo em Vox Populi e DataPoder360 e negativo em FSB e IBOPE;
Marina possui um viés positivo em DataFolha e Paraná Pesquisas e negativo em DataPoder360.
Sobre possíveis causas dessas diferenças, existem alguns bons debates e potenciais explicações. O primeiro deles é que são pesquisas bem diferentes. Selecionamos as sete principais, que tiveram uma grande repercussão nas últimas semanas e separamos em pelo menos três tipos.
Face-a-face
São as mais tradicionais: uma pessoa aborda alguém em sua residência ou ponto de fluxo (não vamos entrar nessa diferença por enquanto)
DataFolha (BR-06919-2018) – Descrição da metodologia: Pesquisa do tipo quantitativo, por amostragem, com aplicação de questionário estruturado e abordagem pessoal em pontos de fluxo populacional. O conjunto do eleitorado brasileiro com 16 anos ou mais foi tomado como universo da pesquisa.
IBOPE (BR-05221-2018) – Descrição da metodologia: Pesquisa quantitativa, que consiste na realização de entrevistas pessoais, com a aplicação de questionário estruturado junto a uma amostra representativa do eleitorado em estudo.
MDA (BR-04362-2018) – Descrição da metodologia: Será adotada a metodologia quantitativa do tipo “survey”, com entrevistas pessoais, do tipo face-a-face, domiciliar ou em pontos de fluxo, por meio da utilização de questionário estruturado, sendo o universo representado pelos eleitores do Brasil.
Vox Populi (BR-01669-2018) – Descrição da metodologia: Pesquisa quantitativa, que consiste na realização de entrevistas pessoais, com a aplicação de questionários estruturados e padronizados junto a uma amostra representativa do eleitorado brasileiro.
Telefônicas – com entrevista
Com uma base de dados de telefones fixos e celulares válidos o instituto sorteia um número para ligar e um entrevistador realiza a entrevista
FSB PESQUISA (BR-06478-2018) – Descrição da metodologia: Pesquisa quantitativa telefônica realizada com população brasileira a partir de 16 anos, com título de eleitor, em um questionário estruturado, para avaliação do cenário político eleitoral. Os entrevistados são selecionados por sorteio em uma amostra representativa do eleitorado brasileiro com acesso a telefonia fixa e móvel. Todas as entrevistas serão realizadas por pesquisadores experientes em pesquisas telefônicas.
IPESPE (BR-02995-2018) – Descrição da metodologia: Pesquisa quantitativa, telefônica, através de entrevistas a pessoas às quais é aplicado um questionário estruturado. Essas pessoas constituem uma amostra representativa dos eleitores brasileiros com acesso à rede telefônica fixa (na residência ou no trabalho) e a telefone celular. As entrevistas serão realizadas por equipes de pesquisadores, com bastante experiência nesse tipo de trabalho, e especialmente treinados para esta pesquisa.
Telefônicas – automatizadas (URA)
São entrevistas automatizadas por telefone com URA (Unidade de Resposta Audível). Funcionam como as entrevistas por telefone, mas no lugar de ter uma pessoa entrevistando, o entrevistado ouve uma gravação telefônica e responde digitando um número no teclado, igual o começo de diversos call centers.
DataPoder360 (BR-02039-2018) – Descrição da metodologia: Metodologia de pesquisa: Pesquisa quantitativa por amostragem. Aplicação de questionário estruturado por meio de ligações automatizadas para telefones fixos e celulares. O universo da pesquisa é o conjunto de eleitoras e eleitores com 16 anos ou mais.
Baixamos todos os questionários disponíveis no TSE (você poder fazer o download aqui) e destaco alguns pontos de atenção curiosos sobre as diferenças.
Filtros ou critérios para a entrevista existir
Filtros ou critérios existem para que o(a) entrevistador(a) não entreviste uma pessoa totalmente fora do objetivo da pesquisa. Em pesquisas eleitorais, o exemplo mais simples é perguntar se a pessoa possui título de eleitor e se vota na cidade onde está sendo entrevistada. Chamo atenção para algumas coisas diferentes:
IBOPE faz um filtro para quem declara ter votado na eleição passada. Se a pessoa não votou, está fora da entrevista. Confesso que eu não lembro de nenhuma literatura que sugira um filtro específico para quem votou em eleições passadas. Meu palpite: existe um conjunto na população que sistematicamente não votaria, apesar do voto obrigatório? Se sim, é importante retirá-las das pesquisas?
Vox Populi pergunta se o(a) entrevistado(a) trabalha ou tem alguém no domicílio que trabalha em empresas de pesquisas, agências de publicidade/comunicação/rp e veículo de comunicação. Caso positivo, a entrevista não é realizada. Esse filtro é relativamente comum e seu objetivo é manter a pesquisa longe dos holofotes que ela poderia ter. Eu particularmente acho que para pesquisas públicas e com a obrigação de submeterem o questionário no TSE não faça tanto sentido assim.
Algo que me chamou a atenção na relação entre telefone vs. face-a-face é que o DataPoder360 aparentemente não faz um controle de filtro de título de eleitor naquele local e não pergunta a região/UF.
Exemplo de dois filtros do IBOPE e do VoxPopuli
A ordem e o que vem antes das principais perguntas
A ordem das perguntas em um questionário pode influenciar as respostas. Intuitivamente, quando você vai ter uma conversa importante, vai me dizer que você não reflete a hora e como abordar algumas coisas? Pois bem, com pesquisas eleitorais esta lógica também funciona. Questionários começam com as perguntas de filtro, depois algumas perguntas sócio-demográficas, como idade, e na maioria dos casos, as perguntas eleitorais em sequência.
IBOPE faz duas perguntas sobre “avaliação da vida” de forma mais ampla antes das perguntas eleitorais: “Para começar, como o(a) sr(a) diria que se sente com relação à vida que vem levando hoje?” e “Como o(a) Sr(a) diria que se sente atualmente em relação ao futuro do país, o(a) Sr(a) diria que está…”;
DATAFOLHA e IPESPE perguntam o interesse em relação às eleições;
VoxPopuli faz uma bateria de questões que incluem a avaliação do governo Temer, quem foi o melhor presidente do país e… começa a bateria eleitoral.
Em todos os questionários, a ordem é clara: pergunta espontânea (não se apresenta uma lista dos candidatos) e depois a estimulada (apresenta-se uma lista de candidatos para que o respondente possa escolher). Exceto Vox Populi, que entre uma pergunta e outra, inclui algumas perguntas sobre conhecimento de alguns políticos. Convido o leitor a ler as perguntas no questionário e a analisá-las.
A pergunta espontânea
As perguntas espontâneas são parecidas:
DataFolha – No mês que vem haverá eleição para Presidente da República. Em quem você pretende votar para presidente no mês que vem? (ESPONTÂNEA – ANOTE EXATAMENTE O QUE O ENTREVISTADO RESPONDER)
DataPoder360 – N/A
FSB PESQUISA – Se as eleições fossem hoje, em quem você votaria para presidente do Brasil? (ESPONTÂNEA E ÚNICA, PRÉ-CODIFICADA; OPÇÕES NÃO SERÃO LIDAS)
IBOPE – Pensando na eleição para PRESIDENTE DA REPÚBLICA, em quem o(a) sr(a) votaria para Presidente da República se a eleição fosse hoje? (ESPONTÂNEA – RU – CASO NÃO ENCONTRE NA LISTA MARQUE “OUTROS”)
IPESPE – ESTE ANO TEREMOS ELEIÇÃO PARA PRESIDENTE DO BRASIL. SE A ELEIÇÃO FOSSE HOJE, EM QUEM O(A) SR(A) VOTARIA PARA PRESIDENTE? (ESPONTÂNEA)
MDA – Em outubro deste ano, haverá eleição presidencial. Se a eleição fosse hoje, em quem o (a) Sr. (a) votaria? (ESPONTÂNEA)
Vox Populi – Se a eleição para presidente da república fosse hoje, em quem você votaria? (resposta espontânea)
Chamo atenção para sutil diferença do DataFolha, que pergunta em quem o eleitor votará no dia da eleição e não “se a eleição fosse hoje”.
A pergunta estimulada
A principal pergunta dessas pesquisas são as estimuladas, afinal é o principal dado consumido nacionalmente. A pergunta estimulada funciona da seguinte forma: quem está aplicando o questionário precisa apresentar uma lista dos candidatos ao entrevistado. Aqui moram diversos detalhes e as principais diferenças entre os métodos. Afinal, uma coisa é apresentar uma lista para alguém na sua frente, outra bem diferente é por telefone.
Na pesquisa face-a-face o modelo adotado entre os institutos de pesquisa é o uso de um disco circular onde estão os nomes dos candidatos divididos de forma igual. Atenção, não é um cartão com uma ordem (alfabética ou qualquer), mas um disco para que na teoria, todos os candidatos tenham a mesma chance de ser visualizado pelo entrevistado. Observe o GIF ao lado do IBOPE. (A versão estática está no arquivo do questionário).
Todas as pesquisas face-a-face analisadas utilizam um cartão semelhante. Chamo atenção apenas para VoxPopuli que no cartão não deixou apenas o nome do candidato Fernando Haddad (PT), incluiu “Fernando Haddad, apoiado por Lula (PT)”, destoando completamente do padrão adotado.
Ainda sobre VoxPopuli, algumas perguntas são introduzidas entre a estimulada e a espontânea. Inicialmente, o instituto faz perguntas relacionadas aos conhecimentos gerais sobre os presidenciáveis. A partir destas questões, são mapeadas a probabilidade de voto em cada candidato. Em seguida, é perguntado se o participante votaria no Lula, caso possível. Depois destas perguntas, uma alternativa estimulada com o Lula é apresentada – vale ressaltar que este é a única pesquisa que ainda considerava o cenário com Lula . Logo após, perguntam sobre a veracidade da candidatura do Lula; o apoio deste ao Haddad; a opinião sobre o PT ganhar a eleição com ou sem o Lula; e a transferência do voto do participante para o Haddad. Finalmente, é feita uma pergunta estimulada com o Haddad. Desta forma, a pesquisa do Vox Populi introduz diversas perguntas reflexivas, o que pode influenciar as respostas dos entrevistados. Deste modo, ocorre uma diminuição de credibilidade dos resultados apresentados pelo veículo.
E como fica a apresentação dos candidatos por telefone? Esse é talvez um detalhes mais interessantes. É de conhecimento comum que apresentar uma lista é um problema (por isso os discos). Mas não há como mostrar um disco em uma ligação telefônica. Nesses casos o comum é ler os nomes de forma aletória ou em rodízio e é o que FSB e IPESPE fazem. Aleatório é simples, se for um sistema informatizado (o que normalmente acontece) o sistema simplesmente aleatoriza a exibição do nome. Antigamente era utilizado o rodízio, ou seja, o aplicador deveria começar a ler por um nome diferente e seguir a ordem.
O que mais me chamou atenção é o formato via URA adotado pelo DataPoder360. Eles não fazem de forma aleatória e leem os nomes de forma alfabética. Mais ainda, como o limite de dígitos no telefone para que a pessoa possa responder é de 10 dígitos, eles estimulam os 8 primeiros e depois pede para o respondente continuar a bateria com os outros candidatos.
Espero ter contribuido para o debate sobre as difereças das pesquisas eleitorais (além de preparar meu material de aula sobre construção de questionários =] ). Caso tenha notado outras diferenças entre em contato! Existe um bom debate para avançarmos.
Contribuiram para a publicação: Geovana Pessoa e Daniela Teles
*Max Stabile é o atual diretor-executivo do IBPAD - Instituto Brasileiro de Pesquisa e Análise de Dados, doutorando em Ciência Política (IPOL-UnB) e pesquisador do RESOCIE (Grupo de pesquisa Repensando as Relações entre Sociedade e Estado).