Estudos randomizados controlados na educação

Você tomaria um remédio sem teste nem controle nenhum? As agências de controle requerem muita pesquisa por parte das empresas fornecedoras de tais produtos para dizer que algo funciona de verdade. E funcionar não significa perceber que “minha avó tomava suco de maracujá, tem 95 anos e está muito bem”. É necessário um rigor científico que exigem testes controlados.

Dentre diversos métodos de testes, o estudo clínico randomizado controlado é o mais famoso, vamos ver um exemplo. O nome dele em inglês é randomized controlled test, abreviado por RCT.

Imagine que queremos testar se um novo remédio é eficaz para diminuir a ansiedade. Selecionamos um grupo de 300 indivíduos (N=300), que são separados aleatoriamente em dois grupos, de 150 cada um (N/2).

Um grupo recebe as pílulas que estão sendo testadas (grupo de teste), o outro recebe pílulas falsas, só para acreditarem que estão tomando o remédio (grupo de controle). É fundamental que o indivíduo não saiba em qual grupo ele está.

Ao término do período de teste, como por exemplo, 2 meses, verifica-se a taxa de sucesso do remédio de verdade, e a taxa de sucesso do “de mentira” (chamado de placebo). Aplicando estatística, em geral chega-se em uma das conclusões a seguir:

  • o remédio é melhor do que o placebo, e o quanto
  • o remédio é melhor do que o placebo, mas não sabemos o quanto
  • não se pode afirmar que o remédio é melhor que o placebo

Se a conclusão for uma das duas primeiras, temos um resultado que parece animador. Se for a terceira, uma pena.

Esse método é difícil de ser aplicado. Por exemplo, na acupuntura, como fingir que uma agulha está penetrando a pele de um paciente? Se ele não sentir a agulha penetrando, ele sabe que está no grupo de controle. Para isso desenvolveram “agulhas” especiais que dão a sensação de perfuração.

Outro exemplo, alguns dos pacientes podem ter se submetido a outro método de tratamento ao mesmo tempo, afetando os resultados dos dois grupos. O tamanho dos grupos importa. A distribuição aleatória pode não ser ótima. São muitas dificuldades, o que torna o processo custoso.

A vantagem é ter afirmações que possuem embasamento estatístico, ao invés de comentários do tipo “meu sobrinho fez e veja o resultado dele”.

Vamos levar o método do RCT então para educação? Esse foi o processo feito pelos acadêmicos da educação 20 anos atrás, assumindo que o RCT (e suas variações) é a unica maneira válida de testar se algo funciona.

Em 2001, o ato “No Child Left Behind” dos Estados Unidos remoldou a educação estado unidense de diversas maneiras, entre elas definindo que professores usassem somente métodos eficazes… cientificamente comprovados como eficazes. Ao olhar os resultados do PISA desde então, os Estados Unidos teve pouco a nenhum resultado. O que acontece?

É difícil testar alunos em um ambiente científico controlado. Mais ainda controlar e impor métodos de educação. O quanto os resultados são influenciados por métodos externos, fora do controle direto do professor que está aplicando o método testado?

Assim como é difícil controlar o ambiente de teste e controle em um teste RCT no laboratório, como controlar o dia a dia de um aluno? E como medir esse resultado isolando outras variáveis?

Todos esses são pontos de discussão importantes, e o professor Gary Thomas acaba de escrever um artigo sobre o assunto, discutindo se devemos continuar com o RCT como o único meio de provar algo na comunidade científica de educação? O artigo também foi resumido em um post.

 

Boas intenções são suficientes em EdTech

Zuckerberg, um empreendedor de sucesso financeiro e midiático, não erraria feio. Essa é a imagem que temos desses grupos de empreendedores, seja por terem aparecido como pessoas mais influentes do mundo pela Forbes ou outras mídias, ou como grandes empreendedores de sucesso financeiro.

A jornalista Dale Russakoff mostra em seu livro que os 100 milhões investidos pelo criador do Facebook não mudaram a realidade da educação, e foram jogados fora.

Zuckerberg. 100 milhões investidos em Newark... perdidos?
Zuckerberg. 100 milhões investidos em Newark… perdidos?

Claro, ele não é o primeiro doador milionário ou bilionário a ter um bom coração, até mesmo boas ideias, e investir em educação. Diversos filantropistas que não conseguiram mudar a realidade que apostaram. Outros aprenderam com os erros deles e fizeram melhores escolhas.

Existem indicações que, em alguns casos, o ego e a motivação de quem está tomando a decisão é onde mora o erro. Mas também existem ambições demasiadas que atrapalham o caminho. Pensar em uma tecnologia inovadora para a educação pode ser um começo, mas se a equipe de execução for de pessoas que somente acreditam naquilo, após meses ou anos de desenvolvimento, o resultado pode ser um produto engessado que não se encaixa com a realidade local, uma falha de didática que famosos como Paulo Freire já abordavam.

Outras causas para investimentos do genero falharem? Problema de escopo generalistas demais ou objetivos grandiosos que podem até mesmo gerar um enorme número de usuários gratuitos (o muito discutido modelo freemium), publicações frequentes na mídia citando esses milhões de ususários, sem comentar sobre seus clientes pagantes.

Depois de um tempo, sem encontrar uma fonte de renda estável, as rodadas de investimentos acabam, cortes são feitos e a empresa é vendida a um preço simbólico, um dólar.

O autor do artigo publicou um livro onde discute diversos investidores que fizeram o papel de “palhaço da sala de aula”, em situações onde mesmo que com boas intenções, executaram projetos que acabaram sem alcançar seus objetivos. Em geral são empresas que viraram pó.

Em um outro caso, uma empresa polêmica nos Estados Unidos. Theranos é uma empresa de biotech investida por diversos, possui Elizabeth Holmes como empreendedora. Ela foi reconhecida pela Fortune e pela Forbes como influenciadora. Apareceu em diversas mídias, obteve suporte e holofotes de diversos, até ser questionada pelo impacto real de sua empresa no mercado. As falhas das empresas que investiram? Uma empreendedora fanática por seu produto, sem um board que dominasse a área de conhecimento (no caso, medicina) entre outros.

Na verdade, as grandes investidoras do Vale do Silício não colocaram dinheiro na Theranos. Mas muitas outras colocaram, mesmo sem ter supervisão de alguém especialista da área. Há muito o que investidores de edtech podem aprender com os erros cometidos ao investir na Theranos. Cada falha no setor de medicina implica em pessoas que tiveram sua saúde possivelmente deteriorada. Cada empresa que falha na educação pode significar crianças e adultos que tiveram uma educação ruim. Se o produto era ruim, a consequência é direta, um aprendizado ruim. Se o produto era razoável, o dinheiro poderia ter sido melhor utilizado.

Claro, em toda falha o importante é aprender. E é isso que, segundo os autores citados, parece que alguns dos investidores não tem feito: aprender com as falhas anteriores.

Aqueles que criam políticas de educação e fazem grandes investimentos tem que aprender com essas lições. Uma empresa ou investimento de sucesso em edtech não exige somente uma boa ideia e um bom empreendedor.

Uma mensagem de Knee? É mais importante executar direito e estar maleável ao que é seu produto educacional, do que ser o dono da verdade e virar pó.

Revolução na edtech via MOOC? Vídeo-aulas?

Já em 1828 e não somente no século 21 que decidiram fazer um teste de educação que revolucionaria a universidade: o aprendizado através da tecnologia.

A então University of London testava as cartas como nova tecnologia e criava uma intensa disputa sobre quem podia ensinar e quem podia certificar o conhecimento que hoje imaginamos ser dado por uma faculdade.

Depois das cartas vieram o rádio, a tv, os cds e dvds e a internet, entre outros. O ensino em massa não é novo assim como a visão de que uma tecnologia nova mudará a estrutura regulada que é o ensino superior.

O ensino superior mudou muito a sua cara pela abertura do ramo a instituições privadas, transformando a educação em um produto. Esse é um resultado visível que vemos e consumimos hoje, portanto como consumidores pensamos nos benefícios que esse produto nos trás.

Por outro lado, será que o uso mais primitivo das tecnologias revoluciona a educação? Os MOOCs digitalizaram e disponibilizaram inicialmente de forma gratuita diversas aulas de faculdades. Boas e ruins. De professores bons e ruins. Fora o acesso remoto, o que mais mudou?

No passado, uma faculdade chegou a adotar MOOCs como tecnologia e meio para seu curso, cancelando o projeto 6 meses depois, após o resultado de reprovação extrema por parte dos alunos. Assim como em uma faculdade comum, a taxa de alunos assistindo as aulas por crédito cresceu, mas a taxa de reprovação foi muito mais alta.

O que os criadores dos MOOCs nos prometem como uma revolução na educação através da digitalização de aulas. Pode ser que haja uma revolução como produto, mas novamente a tecnologia parece não ser o foco principal se queremos revolucionar a educação. Parece ser importante repensar o que e como queremos educar, e não o modelo da tecnologia que usaremos.

Nos MOOCs, o que mudou na didática dos professores, ou na taxa de aprendizado dos alunos? Se não há mudança no curso, a inovação é meramente tecnologica, e não de educação.

Paulo Blikstein, professor de Stanford e estudioso da educação ironiza tal descoberta:

“So videotaping lectures and putting them online DID NOT revolutionize the world of education?”

Em tradução livre

“Então gravar aulas e colocá-las online NÃO revolucionou o mundo da educação?”

Pesquisas em edtech: será que elas validam a ferramenta?

“Pesquisas mostram que estudar no verão é fundamental. Faça nossos cursos e melhore suas habilidades na matemática.”

Pesquisas mostram que nossos cursos melhoram na matemática? Ops. Para caber em um tweet, a mensagem curta acaba deixando um espaço para uma compreensão errada sobre o que as pesquisas mostram. Estudar no verão pode ser fundamental (para que?) mas se os cursos da empresa acima vão mesmo melhorar suas habilidades na matemática, este é um outro assunto.

“Quem usa nosso produto no colégio dobra o aprendizado de matemática em 1 ano.”.

Mas e quem não usa o produto no colégio? Será que ele também dobra o aprendizado em matemática em 1 ano… acredite, no caso a pesquisa mostrava que sim, que a tecnologia e a aula eram equivalentes. Mas a frase acima é muito melhor para tentar vender um produto de tecnologia em educação.

O pessoal do Edsurge dá três exemplos de textos que podem ser enganosos em relação aos resultados.

Educadores devem tomar cuidado com o que lêem sobre tecnologia em educação ai por fora, ou até mesmo com os gráficos que encontra para te motivar a comprar alguma tecnologia nova de educação. Além disso eles vão além citando o que as pesquisas realmente falam contra como as empresas que tentam vender soluções tecnológicas abordam tais resultados.

Empresas devem tomar cuidado com os textos que escrevem em cima de suas pesquisas, para sem querer não acabem enganando o seu público alvo, os educadores e alunos.