DISPONÍVEL: http://revistapesquisa.fapesp.br/2016/02/19/aprendizado-tecnico-na-frente/?cat=humanidades
ACESSO: 29/02/2016 as 15:09h
Um trabalho que analisou o desempenho entre 2008 e 2010 de 484.410
alunos no Exame Nacional de Desempenho dos Estudantes (Enade), o popular
Provão, encontrou um discreto ganho de conhecimentos gerais e um
significativo aumento de conhecimento específico entre universitários
que estavam se formando em 19 cursos das áreas de Ciência, Tecnologia,
Engenharia e Matemática (Stem, na sigla em inglês), Humanidades e
Ciências Biológicas. Em todas as carreiras analisadas, a condição
socioeconômica e o tipo de instituição frequentada, se pública ou
privada, não tiveram impacto relevante na nota média dos estudantes, de
acordo com o estudo, publicado no periódico científico Higher Education
em 23 de novembro do ano passado. “A boa notícia é que, em relação ao
desempenho dos calouros no Enade, a maior parte dos formandos parece ter
adquirido algum conhecimento, sobretudo o de caráter mais específico,
diretamente ligado à carreira escolhida”, diz Jacques Wainer, professor
do Instituto de Computação da Universidade Estadual de Campinas
(IC-Unicamp), autor do estudo. “Mas isso não quer dizer que todos os
cursos sejam bons ou que as notas dos alunos foram boas.”
Wainer fez o trabalho em parceria com Tatiana Melguizo, da Escola de
Educação Rossier da Universidade da Califórnia do Sul (USC), em Los
Angeles, especialista em economia da educação superior. Eles usaram
dados públicos, disponibilizados na página eletrônica do Enade, para
confrontar a performance dos veteranos que estavam prestes a se formar
com a dos calouros do mesmo curso, cujo desempenho no exame funciona
como baliza de comparação para se aferir quanto os formandos aprenderam
na faculdade. A comparação foi feita por meio do cálculo de um índice,
denominado Cohen D, comumente empregado em trabalhos desse tipo. O Cohen
D indica a diferença padronizada entre a nota média do grupo dos
formandos e a do conjunto dos calouros dividida pelo desvio-padrão
associado a essas respectivas notas.
O desvio-padrão é uma medida de dispersão estatística e indica qual é
o grau de variação existente em relação a uma média ou a um valor
esperado. Seu conceito se assemelha à ideia de margem de erro, sempre
evocada ao se noticiarem os resultados de pesquisas eleitorais. Se
baixo, o desvio-padrão sinaliza que as notas estão próximo da média.
Quando elevado, sugere que os escores dos estudantes se distribuem por
uma série de valores, alguns perto da média e outros distantes. Quanto
maior a diferença padronizada calculada pelo Cohen D no trabalho de
Wainer e Melguizo, melhor o desempenho dos veteranos frente aos
ingressantes no curso. Um Cohen D equivalente a 2 significa que 98% dos
veteranos tiveram uma nota superior à média dos calouros. Se o índice
cair para 1 ou 0,5, cerca de 84% ou 69% dos formandos atingiram,
respectivamente, essa condição.
Por esse critério, o estudo chegou a números bastante modestos no que
diz respeito aos conhecimentos gerais adquiridos pelos formandos ao
longo dos cursos. Nesse quesito, o maior ganho foi de 0,3 entre os
concluintes dos cursos de farmácia e o menor, de 0,03, praticamente
zero, entre os estudantes do último ano de medicina. Na parte destinada a
medir o conhecimento específico de cada carreira, o maior ganho ocorreu
entre os formandos de medicina (Cohen D de 2) e o menor entre os
universitários dos cursos de comunicação social (0,39). Os cinco cursos
que obtiveram maior ganho de conhecimento específico foram da área
biológica. Depois de medicina, vieram os programas de odontologia
(1,55), terapia ocupacional (1,34), nutrição (1,12) e enfermagem (0,85).
“Foi animador encontrar ganhos relativamente grandes nas provas de
temas específicos em relação às de conhecimentos gerais”, afirma
Melguizo (ver quadro na página 85 com os ganhos de conhecimento específico calculados para cada curso).
Academicamente à deriva
Um estudo feito pelos sociólogos Richard Arum e Josipa Roksa, respectivamente, da Universidade de Nova York e da Universidade da Virgínia, redundou no livro Academically adrift: Limited learning on college campuses (Academicamente à deriva: Aprendizado limitado nos campi universitários, numa tradução livre), lançado no final de 2010. Na obra, a dupla de pesquisadores norte-americanos concluiu que 45% dos 2.300 estudantes de 24 universidades que tinham feito um teste padronizado não apresentaram melhora significativa em uma série de habilidades, como escrever, ter pensamento crítico e desenvolver raciocínios complexos, após terem frequentado um curso superior por dois anos. “Acho que os resultados desse trabalho são problemáticos e não é apropriado compará-lo com o nosso estudo”, opina Melguizo. “Arum e Roksa tentaram medir os ganhos de conhecimentos gerais, não os específicos, entre os alunos.”
Um estudo feito pelos sociólogos Richard Arum e Josipa Roksa, respectivamente, da Universidade de Nova York e da Universidade da Virgínia, redundou no livro Academically adrift: Limited learning on college campuses (Academicamente à deriva: Aprendizado limitado nos campi universitários, numa tradução livre), lançado no final de 2010. Na obra, a dupla de pesquisadores norte-americanos concluiu que 45% dos 2.300 estudantes de 24 universidades que tinham feito um teste padronizado não apresentaram melhora significativa em uma série de habilidades, como escrever, ter pensamento crítico e desenvolver raciocínios complexos, após terem frequentado um curso superior por dois anos. “Acho que os resultados desse trabalho são problemáticos e não é apropriado compará-lo com o nosso estudo”, opina Melguizo. “Arum e Roksa tentaram medir os ganhos de conhecimentos gerais, não os específicos, entre os alunos.”
Criado pelo Ministério da Educação (Mec) em 2004 como parte do
Sistema Nacional de Avaliação da Educação Superior (Sinaes), o Enade
aplica o mesmo exame para os alunos ingressantes e os formandos dos
cursos. Os universitários têm quatro horas para responder duas questões
dissertativas e oito de múltipla escolha sobre conhecimentos gerais,
iguais para todos os estudantes independentemente da carreira, e três
questões dissertativas e 27 de múltipla escolha de formação específica
(cada curso tem um teste individualizado). O peso do componente geral
sobre a nota final é de 25% e o do específico, 75%. Cada curso ou
programa é avaliado pelo Enade a cada três anos. Em 2008, fizeram o
Provão os alunos da área de Stem. No ano seguinte, foi a vez dos de
humanas e, em 2010, os da área biológica. O estudo de Wainer e Melguizo
não abrange todos os cursos avaliados nesses três anos. Eles
selecionaram 19 carreiras: engenharia, física, química, matemática,
ciência da computação, arquitetura, economia, direito, contabilidade,
administração, comunicação, turismo, nutrição, enfermagem, medicina,
terapia ocupacional, farmácia, odontologia e educação física. A dupla
trabalhou com dados de estudantes de 10.041 cursos de universidades
públicas e privadas.
Para minimizar distorções inerentes às amostras de calouros e
veteranos que fizeram o Enade, o estudo adotou alguns métodos
estatísticos e procedimentos corretivos. Foram excluídos da análise, por
exemplo, os alunos que entregaram em branco as provas, em uma clara
demonstração de boicote ao exame, uma forma de protesto que costuma
ocorrer entre os universitários de alguns programas de universidades
públicas. Embora o Enade seja compulsório para os formandos, há pouco ou
quase nenhum prejuízo prático para os estudantes que não fazem o exame
ou comparecem ao local da prova, mas a entregam em branco.
Os autores do trabalho também lançaram mão de um expediente para
corrigir para baixo a nota média dos estudantes do último ano dos
cursos. “Há uma tendência de os alunos mais fracos ou com algum tipo de
problema abandonarem os cursos pela metade”, diz Wainer. “Assim, os que
se formam são os melhores alunos de um grupo inicial que era mais
heterogêneo. Essa situação tende a inflar as notas do grupo dos
formandos.” Já entre os calouros há uma diversidade maior, uma mistura
de estudantes bons, medianos e ruins, o que tem impacto em seu
desempenho médio. Outros fatores fazem com que os resultados do Enade
sejam levados em conta com certa cautela, como admitem Wainer e
Melguizo. Provas fáceis sobre o conteúdo específico de cada programa
tendem a produzir médias semelhantes entre os grupos de calouros e de
formandos. Nivelam as notas pelo alto e tornam mais difícil aferir se
houve ganho ou não de conhecimento entre os universitários no fim do
curso.
Promover pensamento crítico
Especialista em avaliação educacional e políticas educacionais, Robert Verhine, da Universidade Federal da Bahia (Ufba), afirma que o trabalho de Wainer e Melguizo é interessante, ainda mais no contexto em que os estudos com dados do Enade são escassos. “Mas os resultados são óbvios, esperados. É normal que o ganho de conhecimento específico seja maior do que o de conhecimento geral”, afirma Verhine, ex-presidente da Comissão Nacional de Avaliação da Educação Superior (Conaes). “Em geral, as pessoas fazem uma faculdade para ganhar conhecimentos específicos.”
Especialista em avaliação educacional e políticas educacionais, Robert Verhine, da Universidade Federal da Bahia (Ufba), afirma que o trabalho de Wainer e Melguizo é interessante, ainda mais no contexto em que os estudos com dados do Enade são escassos. “Mas os resultados são óbvios, esperados. É normal que o ganho de conhecimento específico seja maior do que o de conhecimento geral”, afirma Verhine, ex-presidente da Comissão Nacional de Avaliação da Educação Superior (Conaes). “Em geral, as pessoas fazem uma faculdade para ganhar conhecimentos específicos.”
Para Renato Pedrosa, coordenador do Laboratório de Estudos de
Educação Superior (Lees) da Unicamp, o avanço registrado no estudo
também era esperado. “O problema é saber exatamente o que significam
esses números de ganho de conhecimento relativo, algo impossível de
estabelecer, uma vez que o Mec nunca desenvolveu a relação entre notas
ou conceitos e níveis de conhecimento ou de habilidades desenvolvidas”,
comenta Pedrosa, que tem estudado ao lado do físico Marcelo Knobel,
também da Unicamp, o desempenho dos cursos de engenharia e medicina no
Provão. “Sem isso, a avaliação resulta apenas numa ordenação dos cursos,
sem critérios e cortes de proficiência ou de qualidade, o que limita o
uso dos resultados para avaliação dos cursos.”
Ao registrar o desempenho dos universitários de um curso, o Enade
atribui um conceito relativo, não absoluto, a esse programa. Sua escala
estabelece um ranking dos cursos com cinco níveis: os melhores recebem o
conceito 5; os segundos melhores, ganham 4; e assim por diante até a
atribuição do menor conceito, 1. Assim, a despeito de exibir conceito 5,
de estar no topo da escala, um curso pode ser o melhor em relação a
todos os demais, mas pode não ser bom. Se os alunos da maioria dos
programas foram muito mal no exame, a porcentagem de acertos no Provão
necessária para garantir o conceito 5 para um curso pode ser
razoavelmente baixa, da ordem de 50%.
Segundo Knobel, os resultados do estudo de Wainer e Melguizo parecem
consistentes e devem servir de estímulo para que novas pesquisas sejam
feitas com dados do Enade e também do Exame Nacional do Ensino Médio
(Enem). Ele, no entanto, faz um alerta sobre o perfil do ensino superior
no Brasil. “As universidades brasileiras ainda estão muito preocupadas
em fornecer conteúdo técnico e específico em seus cursos, mas pouco em
estimular habilidades que são fundamentais no século XXI.” Para ele,
seria importante que as instituições de ensino também se dedicassem a
promover habilidades mais gerais, como o pensamento crítico e o trabalho
em equipe. “Essas questões são valorizadas nas universidades americanas
e são uma tendência mundial”, diz Knobel.
Artigo científico
MELGUIZO, T. e WAINER, J. Toward a set of measures of student learning outcomes in higher education: evidence from Brazil. Higher Education. 23 nov. 2015.
MELGUIZO, T. e WAINER, J. Toward a set of measures of student learning outcomes in higher education: evidence from Brazil. Higher Education. 23 nov. 2015.