Qualidade de ensino, avaliações dos professores e exames nacionais

Recorrentemente fala-se da avaliação dos professores e da falta de qualidade no nosso ensino pré-universitário, com os arautos do costume (Nuno Crato, etc.). Mas soluções concretas para resolver os problemas detectados não são normalmente apresentadas, ou são apresentadas de forma genérica, sem qualquer aproximação operacional. Pois bem, aqui vai uma solução; na minha opinião, bem simples, eficaz e fácil de por em prática (se bem que longa de enunciar). Estou curioso de obter opiniões críticas sobre a mesma!

Enunciemos primeiro os problemas que queremos resolver:

1. Para uma avaliação correcta da dos professores é fundamental que os seus alunos sejam avaliados num plano de igualdade com os demais, o que só é possível com exames nacionais;
2. Os exames deveriam ser similares entre anos consecutivos, para se averiguar evoluções negativas ou negativas dos alunos entre anos consecutivos de avaliação;
3. Deveria ser possível aos alunos escolherem datas diferentes de realização do exame sem que isso lhes trouxesse qualquer benefício ou prejuízo;
4. Os exames deveriam ser realizados por todos os alunos em todos os anos lectivos para garantir uma progressão com conhecimentos comprovados a nível nacional;
5. A operacionalização dos exames nacionais envolvendo todos os alunos deveria ser fácil;
6. Os alunos deveriam ter algum conhecimento da estrutura e tipo dos exames (o chamado exame modelo); e
7. Os exames deveriam ser isentos de gralhas.
   

Se resolvermos estes problemas todos, podemos garantir que os alunos são avaliados à escala nacional de um forma igual, independentemente da escola e data de exame, que não existe uma sobrecarga logística de preparação e distribuição dos exames e que os mesmos não geram insatisfação porque correspondem ao esperado, não possuem gralhas e não variam de forma significativa entre datas. Será que é possível?

Pois bem, a solução proposta é a seguinte. Imaginemos uma disciplina, Matemática, por exemplo. Mas aplica-se a qualquer outra passível de avaliação por exame:

1. Por cada ano lectivo divide-se as matérias leccionadas em partes (por exemplo, lógica, derivadas, sistemas de equações, etc.).
2. Para cada parte elaboram-se e distribuem-se centenas (ou milhares) de problemas, graduados em 3 níveis (fácil, médio, difícil).
3. Publicam-se os problemas, a sua graduação, o tempo médio de resolução por um docente e a parte a que dizem respeito.
4. Os alunos acedem aos problemas para praticar e averiguar os seus conhecimentos; a publicação de soluções é possível mas não deveria fazer parte da infra-estrutura base para evitar problemas com gralhas.
5. Os enunciados de exame são gerados automaticamente a partir dos problemas publicados. O exame deverá ter um conjunto de perguntas por parte leccionada que seja proporcional ao peso dessa parte no total do ano lectivo. O exame deverá também ter percentagens fixas de perguntas fáceis, médias e difíceis (por exemplo, 30%, 50%, 20%), independentemente da parte a que pertencem.
6. Os enunciados gerados automaticamente são avaliados em termos do seu tempo total de realização. Caso seja excessivo, as perguntas são sucessivamente substituídas por outras similares (mesma parte e grau de dificuldade) mas com menor tempo de correcção. Caso seja reduzido, usa-se o procedimento oposto.
7. Para cada exame podem ser gerados enunciados diferentes, de modo a minimizar problemas com cópias durante as provas.
8. Após a realização do exame, escolhe-se aleatoriamente um docente por cada pergunta para o mesmo elaborar a grelha de correcção.
9. Distribui-se aleatoriamente as provas dos alunos por todos os professores. A aleatoriedade não precisa de ser à escala nacional, basta regional, o que é importante é garantir um anonimato efectivo na correcção.
10. Para as revisões de provas escolhem-se uma vez mais docentes aleatoriamente.
    

Vejamos, então, se resolvemos os problemas enunciados. Os alunos são avaliados de igual forma, independentemente da data escolhida para o exame e do enunciado de exame concreto que lhes é apresentado, porque os exames são gerados aleatoriamente mas com graus de exigência similares. Os exames, de ano para ano, mantêm o seu grau de exigência, a menos que mudem as partes leccionadas em cada ano lectivo ou o seu peso relativo. Os alunos podem gerar exames modelo; basta para tanto seguir os mesmos critérios usados para gerar os exames reais. Finalmente, os exames são fáceis de gerar e não têm gralhas, a menos que as mesmas existam nos problemas publicados, o que pode ser evitado através de uma validação antes da publicação e pela validação pública.

Falta, para concluir, garantir que existe um conjunto grande de problemas diferentes publicados e que os mesmos estão bem aferidos em termos de correcção, grau de dificuldade e tempo de resolução. Para tal, bastaria que cada professor tivesse um incentivo à publicação de problemas diferentes e que os seus colegas, escolhidos aleatoriamente, indicassem gralhas, o grau de dificuldade e o tempo de resolução. O incentivo à publicação de problemas poderia ser monetário (por exemplo, cada professor poderia receber uma determinada quantia pela publicação, ou pela escolha num determinado exame). O incentivo à diferença na publicação de problemas é mais complexo, mas poderia ser resolvido através de um mecanismo de arbitragem, onde, em caso de igualdade, ganharia o que tivesse feito a publicação mais cedo.

Desta forma, contribuía-se de forma efectiva para uma avaliação confiável dos alunos em todos os anos lectivos, ponto de partida para uma avaliação da qualidade do sistema (professores, escolas, etc.). A solução pode ainda ser melhorada de forma a avaliar a qualidade dos professores em termos de correcção de provas. Por exemplo, podem ser omitidas as grelhas de correcção para detectar professores com critérios de correcção demasiado ou pouco exigentes, o que permitiria alertá-los para essa facto.

Finalmente, uma curiosidade interessante: os professores poderiam usar as suas provas passadas para produzir os problemas públicos e poderiam usar os problemas públicos para gerar as suas próprias provas locais futuras.