Estudos randomizados controlados na educação

Você tomaria um remédio sem teste nem controle nenhum? As agências de controle requerem muita pesquisa por parte das empresas fornecedoras de tais produtos para dizer que algo funciona de verdade. E funcionar não significa perceber que “minha avó tomava suco de maracujá, tem 95 anos e está muito bem”. É necessário um rigor científico que exigem testes controlados.

Dentre diversos métodos de testes, o estudo clínico randomizado controlado é o mais famoso, vamos ver um exemplo. O nome dele em inglês é randomized controlled test, abreviado por RCT.

Imagine que queremos testar se um novo remédio é eficaz para diminuir a ansiedade. Selecionamos um grupo de 300 indivíduos (N=300), que são separados aleatoriamente em dois grupos, de 150 cada um (N/2).

Um grupo recebe as pílulas que estão sendo testadas (grupo de teste), o outro recebe pílulas falsas, só para acreditarem que estão tomando o remédio (grupo de controle). É fundamental que o indivíduo não saiba em qual grupo ele está.

Ao término do período de teste, como por exemplo, 2 meses, verifica-se a taxa de sucesso do remédio de verdade, e a taxa de sucesso do “de mentira” (chamado de placebo). Aplicando estatística, em geral chega-se em uma das conclusões a seguir:

  • o remédio é melhor do que o placebo, e o quanto
  • o remédio é melhor do que o placebo, mas não sabemos o quanto
  • não se pode afirmar que o remédio é melhor que o placebo

Se a conclusão for uma das duas primeiras, temos um resultado que parece animador. Se for a terceira, uma pena.

Esse método é difícil de ser aplicado. Por exemplo, na acupuntura, como fingir que uma agulha está penetrando a pele de um paciente? Se ele não sentir a agulha penetrando, ele sabe que está no grupo de controle. Para isso desenvolveram “agulhas” especiais que dão a sensação de perfuração.

Outro exemplo, alguns dos pacientes podem ter se submetido a outro método de tratamento ao mesmo tempo, afetando os resultados dos dois grupos. O tamanho dos grupos importa. A distribuição aleatória pode não ser ótima. São muitas dificuldades, o que torna o processo custoso.

A vantagem é ter afirmações que possuem embasamento estatístico, ao invés de comentários do tipo “meu sobrinho fez e veja o resultado dele”.

Vamos levar o método do RCT então para educação? Esse foi o processo feito pelos acadêmicos da educação 20 anos atrás, assumindo que o RCT (e suas variações) é a unica maneira válida de testar se algo funciona.

Em 2001, o ato “No Child Left Behind” dos Estados Unidos remoldou a educação estado unidense de diversas maneiras, entre elas definindo que professores usassem somente métodos eficazes… cientificamente comprovados como eficazes. Ao olhar os resultados do PISA desde então, os Estados Unidos teve pouco a nenhum resultado. O que acontece?

É difícil testar alunos em um ambiente científico controlado. Mais ainda controlar e impor métodos de educação. O quanto os resultados são influenciados por métodos externos, fora do controle direto do professor que está aplicando o método testado?

Assim como é difícil controlar o ambiente de teste e controle em um teste RCT no laboratório, como controlar o dia a dia de um aluno? E como medir esse resultado isolando outras variáveis?

Todos esses são pontos de discussão importantes, e o professor Gary Thomas acaba de escrever um artigo sobre o assunto, discutindo se devemos continuar com o RCT como o único meio de provar algo na comunidade científica de educação? O artigo também foi resumido em um post.

 

Deixe uma resposta

O seu endereço de e-mail não será publicado. Campos obrigatórios são marcados com *