27 de dezembro de 2011
Autor: Alexandre Lourenço
Há um antigo ditado que diz que, para quem tem um martelo na mão, todo problema se parece com um prego.
Esse ditado se aplica perfeitamente a sistemas avaliativos. E um lugar onde o termo avaliação é muito familiar é a escola. Alunos são avaliados e classificados entre aprovados ou reprovados segundo critérios de quem monta a avaliação. Hoje não só alunos são avaliados, mas as escolas onde eles estudam também. A despeito de muitos pedagogos-demagogos terem ojeriza a sistemas de avaliação, eles são necessários. Eu não gostaria que um filho meu fosse operado por um médico com conhecimentos rudimentares de anatomia ou que tremesse ao segurar um bisturi. Para ser médico, não basta querer. É preciso muito estudo, empenho, aptidão, destreza, equilíbrio emocional, conhecimento aprofundado, raciocínio apurado. Aliás, assim como ocorre com qualquer profissão: engenheiros, advogados, veterinários, farmacêuticos, nutricionistas etc.. Não há mágica para se adquirir todas essas características. E não há mágica para se adivinhar quem as possui. Por isso, no mundo real, existem provas que cobram conhecimentos, raciocínio e habilidades. Se elas são bem construídas, é outra história. Mas o fato de não serem perfeitas não significa que devam ser banidas. Tampouco o fato de nada ser perfeito nesta vida não serve de desculpa para a incompetência ou a má fé. Por isso, sistemas de avaliação devem ser instrumentos elaborados com extremo cuidado e transparência para que não se tornem fonte de injustiças e distorções.
Quando avaliamos, temos a tendência de classificar as coisas para que certa ordem nos ajude a atuar neste mundo. Em uma realidade muito complexa e abarrotada de dados e informações, as pessoas geralmente tem uma atração por listas classificatórias. Essas listas ajudam a organizar um conjunto confuso ou extenso de dados que não conseguimos ou não temos tempo para analisar. E essa organização nos permite tomar decisões importantes, embora seu abuso possa levar a problemas (1, 2).
Vivemos uma época de sistemas colossais de avaliação e classificação, como o ENEM e o ENADE. Esses sistemas acabam pautando, de forma profunda e monolítica, os limites de conhecimento dos alunos brasileiros. Todo mundo vai ter de ficar com cabeça de prego. É claro que quando o MEC classifica as escolas e universidades, está provendo um mecanismo de julgamento automático para a maioria das pessoas, que tendem a confiar nos critérios do MEC, já que ele supostamente dispõe dos dados, tempo e gente qualificada para melhor julgar cada instituição de ensino dentre as milhares que estão em solo brasileiro. Mas os últimos resultados mostram que confiar cegamente nos critérios do MEC pode não ser uma boa escolha (3).
Há dois anos, algumas instituições de ensino superior (IES) tiveram erroneamente um conceito ruim no ENADE; tempos depois, foram reavaliadas de forma positiva e tiveram sua classificação alterada, mudando-se substancialmente seu Índice Geral de Cursos (IGC). Ao que parece, houve um erro da compilação dos dados pelo MEC. Um erro que levou MESES para ser desfeito. Felizmente o erro foi assumido e corrigido – antes tarde do que nunca. Mas como a primeira impressão é a que fica — como bem lembrou Rodrigo Capelato, do SEMESP (4) — o prejuízo para o nome dessas escolas foi líquido e certo. Uma avaliação ruim afasta potenciais alunos ao carimbar negativamente o nome da escola. Retratações posteriores não tem o mesmo alcance que as manchetes iniciais. E a instituição corre o risco de entrar em processo de desidratação, em um tipo de “efeito Tostines”: menos alunos, problemas financeiros, piora de avaliação, menos alunos ainda etc..
Recentemente Carlos Eduardo Bindi, diretor do grupo Etapa, questionou, num artigo na Folha de São Paulo, os critérios para a classificação das escolas pelo ENEM (5). Segundo ele, o peso excessivo dado a um só item da prova (redação), em detrimento de várias outras disciplinas, estaria levando a uma distorção. Ao que parece, ele não está sozinho, pois outros educadores manifestaram pontos de vista semelhantes (6). Porém, o peso desproporcional pode se tornar problema miúdo diante de falhas graves como a doutrinação acintosa a que os alunos são submetidos pela partidarização do governo federal (7, 8). Esse tipo de manipulação ideológica daninha tem se irradiado da esfera federal para outras esferas (9, 10).
Não bastassem provas de caráter oficial que desqualificam a oposição e atacam a imprensa, temos problemas com a burocracia que o Estado Brasileiro estabelece para o funcionamento dessas provas.
Oscar Hipólito, ex-diretor do Instituto de Física da USP alerta para alguns problemas atuais do ENADE (11), destacando o complicado sistema de cálculo que, na opinião dele, prejudica a credibilidade do sistema e cujo sintoma é a enorme quantidade de recursos contra o IGC. É muito interessante que ele saliente que a complexidade do processo é um entrave para que ele possa fazer justiça, já que as próprias instituições estariam com dificuldade de calcular os seus índices. Isso lembra muito o que vivemos com legislação tributária. Em algum artigo publicado na Folha, o tributarista Ives Gandra Martins desafiou quem lhe apresentasse um tributarista que dominasse perfeitamente todos os meandros da legislação tributária. Alta complexidade e um oceano de minúcias, detalhes e um sem número de exceções criam um clima de desconfiança, já que isso passa a funcionar como um “conhecimento mágico” que apenas poucos conseguem entender vagamente (talvez ninguém chegue a dominar).
Todas essas questões já são farto material para reflexão e questionamento, mas parece que o MEC, não contente com essas polêmicas, resolveu criar uma maior: vazamentos vexatórios das questões (12, 13). O mínimo que se exige em um exame de alcance nacional e que norteia o destino de milhões de alunos é a confiabilidade. Embora falhas não sejam privilégio nosso (14), o MEC parece encarar com naturalidade esses vazamentos, como se não fosse com ele ou tudo não passasse de amenidades.
Mas se nem o sigilo fiscal de adversários políticos é respeitado e acaba vazando para a conveniência do partido político aninhado no Estado (15,16, 17), querer respeito para o restante soa como ingenuidade.
Um quadro como esse só muda se os eleitores resolverem dar nota baixa na forma de voto aos responsáveis por esse triste estado de coisas.
________________________________________________
1. Gois A. Ênfase em testes empobrece a qualidade da educação. Folha de São Paulo. 17 de outubro de 2011; seção A:12.
Disponível em: http://www1.folha.uol.com.br/fsp/saber/sb1710201104.htm
2. Iwasso S. Nota mais alta não é educação melhor. O Estado de São Paulo, 2 de agosto de 2010; seção A:16.
Disponível:http://www.estadao.com.br/noticias/impresso,nota-mais-alta-nao-e-educacao-melhor,589143,0.htm
3. Quem CRIA a avaliação usa critérios pessoais nos quais acredita. Exemplos não faltam de distorções grosseiras. Em 2009, a revista Veja veiculou uma matéria muito interessante sobre o IDH da ONU que colocava Cuba muito a frente do Brasil no quesito desenvolvimento humano. Difícil de acreditar que uma ditadura famosa pelas execuções de dissidentes e pela doutrinação marxista de suas crianças possa estar melhor que o Brasil. O problema é que o público geral lê o ranking mas não tem como avaliá-lo em profundidade, aceitando esse dado estapafúrdio como verdade.
Sverberi B. Uma régua não muito precisa. Revista Veja, 14 de outubro de 2009; p. 96-97.
Disponível em: http://veja.abril.com.br/acervodigital/home.aspx
4. Takahashi F. Universidades reprovadas pelo MEC se tornam ‘adequadas’. Folha de São Paulo. 13 de março de 2010; seção C:3.
Disponível em: http://www1.folha.uol.com.br/folha/educacao/ult305u706246.shtml
5. Bindi CE. Critérios do ENEM prejudicam São Paulo. Folha de São Paulo. 18 de setembro de 2011; seção A:3.
Disponível em: http://www1.folha.uol.com.br/fsp/opiniao/fz1809201107.htm
6. Folha Online. Educadores discordam do peso da redação na prova do ENEM
Disponível em: http://www1.folha.uol.com.br/saber/977331-educadores-discordam-do-peso-da-redacao-na-prova-do-enem.shtml
7. Meier B. A prova virou panfleto. Revista Veja, 18 de novembro de 2009; p. 82.
Disponível em: http://veja.abril.com.br/acervodigital/home.aspx
8. Bandeira L. & Vizeu R. Livros aprovados pelo MEC criticam FHC e elogiam Lula. Folha de São Paulo. 01 de maior de 2011; seção A:4
Disponível em: http://www1.folha.uol.com.br/poder/909546-livros-aprovados-pelo-mec-criticam-fhc-e-elogiam-lula.shtml
9. Azevedo, R. Mistificação e boçalidade: prova de vestibular obriga alunos a responder que super-heróis escondem supremacia dos brancos. Blog [citado em 06/11/2011]
10. Portela M. Charge de Lula leva Minas a fechar sistema de provas. O Estado de São Paulo. 9 de abril de 2011; seção A:8
11. Takahashi F. Mudança não pode ser feita no meio do jogo. Folha de São Paulo. 13 de março de 2010; seção C:3.
Disponível em: http://www1.folha.uol.com.br/fsp/cotidian/ff1303201002.htm
12. Folha Online Entenda o caso sobre o desvio das provas do ENEM e o cancelamento do exame.
Disponível em: http://www1.folha.uol.com.br/folha/educacao/ult305u633615.shtml
13. UOL Notícias Por causa de vazamento, justiça anula 13 questões do ENEM 2011.
Disponível em: http://noticias.uol.com.br/educacao/2011/10/31/justica-anula-13-questoes-do-enem-2011.jhtm
14. Anderson J. Fraude em NY expôs falhas do exame. O Estado de São Paulo, 30 de outubro de 2011; seção A:27.
Disponível em: http://m.estadao.com.br/noticias/impresso,fraude-em-ny-expos-falhas-do-exame,792333.htm
15. Folha Online Gabinete de Palocci violou sigilo de caseiro, diz Caixa.
Disponível em: http://www1.folha.uol.com.br/poder/920483-gabinete-de-palocci-violou-sigilo-de-caseiro-diz-caixa.shtml
16. Jornal da Tarde Online Filha de Serra tem sigilo quebrado.
Disponível em: http://blogs.estadao.com.br/jt-politica/filha-de-serra-tem-sigilo-quebrado/
17. Catanhêde E. Quebra de sigilo é um ato de banditismo.
Disponível em: http://www1.folha.uol.com.br/multimidia/podcasts/793322-eliane-cantanhede-quebra-de-sigilo-fiscal-e-um-ato-de-banditismo.shtml
Os artigos assinados não traduzem a opinião do Instituto Millenium. Sua publicação obedece ao propósito de estimular o debate sobre os valores defendidos pelo Instituto e de refletir as diversas tendências do pensamento contemporâneo.
