O tema abaixo merece discussão aprofundada. Cabe “medir” o desempenho docente?
Por meio de e.mail, do dia 23/06/2015, recebemos de Paula Iliadis autorização da revista para publicar esta reportagem
REVISTA PESQUISA FAPESP
“O melhor de cada um
Departamento do Instituto de Química da USP desenvolve método para medir o desempenho de seus docentes
FABRÍCIO MARQUES/ pesquisa FAPESP
- 232 | JUNHO 2015
Mais de 70 docentes de um dos departamentos do Instituto de Química da Universidade de São Paulo (IQ-USP) foram submetidos recentemente a um processo de avaliação baseado em critérios como a produção científica, a capacidade individual de captar recursos para pesquisa, as orientações de alunos, supervisões de pós-doutorados e participações em bancas, além de atividades didáticas, administrativas, de cultura e de extensão em que se engajaram nos últimos cinco anos. O resultado da iniciativa é uma espécie de ranking (ver tabela), no qual os professores, todos eles vinculados ao Departamento de Química Fundamental do instituto, são identificados apenas por códigos. Seus nomes não são divulgados para o público externo – embora, dentro da instituição, a posição de todos seja mais ou menos conhecida. Nos últimos 10 anos, a avaliação foi realizada quatro vezes. Na mais recente, que tem dados de 2009 a 2014, os nove últimos docentes da lista, aqueles que tiveram as piores pontuações, foram convidados a participar de reuniões com o chefe do departamento, o professor Mauro Bertotti. Eles obtiveram um escore geral em torno de 2 pontos. A média do instituto foi de pouco mais de 6 pontos e o primeiro da lista ultrapassou os 15 pontos (ver tabela). “Reiteramos que não se tratava de punir ninguém e que o intuito da reunião era saber de que forma o departamento poderia ajudá-los a melhorar o desempenho”, conta Bertotti, que dividiu a tarefa em duas reuniões, uma com quatro professores e outra com os cinco restantes.
Embora alguns dos docentes tenham feito ressalvas aos critérios da avaliação, a maioria buscou justificar seus indicadores ruins. Segundo Bertotti, um professor argumentou que estava difícil recrutar alunos para trabalhar em seu laboratório porque sua área é pouco atraente para os jovens pesquisadores.
“Nos prontificamos a ajudá-lo a arregimentar estudantes e sugerimos que se unisse a outros grupos para não trabalhar sozinho”, comenta o chefe do departamento. Já os mais antigos na carreira se queixaram da dificuldade de competir com os mais jovens, vistos como agressivos na busca por produtividade científica e recursos para pesquisa. “A queixa é que a regra do jogo mudou e os mais jovens levam vantagem porque dominam melhor esse novo ambiente”, afirma Bertotti, lembrando que, para alguns poucos professores da geração mais antiga do Departamento de Química Fundamental, a tarefa de publicar artigos em revistas de prestígio frequentemente era vista como menos prioritária do que garantir uma formação de excelência para os alunos.
A experiência, por enquanto, gerou poucos efeitos concretos. Um exemplo: um dos professores com avaliação desfavorável, que admitira ter parado de fazer pesquisa, aceitou abrir mão do espaço de seu laboratório quando surgiu uma discussão sobre a realocação de instalações de pesquisa no Instituto de Química. Mas seria parcial medir o alcance da avaliação apenas pelos resultados palpáveis, já que, desde o início, se estabeleceu que ninguém seria premiado ou punido. A iniciativa tem relevância porque sua metodologia foi construída e negociada nos últimos 10 anos pelos próprios docentes, num esforço, ainda incomum na universidade brasileira, para melhorar o desempenho do grupo. “É um instrumento de autorregulação, no qual os docentes se posicionam em relação a seus pares”, diz Bertotti. “Trata-se de criar parâmetros de avaliação da atividade docente, com pesos amplamente discutidos e definidos pela comunidade e que sejam compatíveis com a missão institucional, com o objetivo de sistematizar informações, produzir diagnósticos e valorizar recursos humanos e financeiros. A sociedade sustenta a universidade pública e cabe a ela demonstrar que os investimentos estão sendo geridos de modo responsável”, destaca.
Para Guilherme Andrade Marson, professor do IQ-USP e um dos membros da Comissão de Avaliação do Desempenho Docente, o debate dos critérios obrigou os membros do departamento a refletirem sobre a natureza de seu trabalho e o que consideram um padrão de excelência. “A existência do processo de avaliação é um grande ganho. O instrumento mostra o que cada docente faz de melhor e foi pensado para melhorar a qualidade do que fazemos, não para promover uma caça às bruxas”, pondera. O esforço foi coletivo, mas esteve longe de ser consensual. “A discussão no conselho do departamento sobre os critérios teve de ser definida pelo voto”, lembra Bertotti, referindo-se à falta de entendimento sobre o uso de indicadores como o fator de impacto de publicações e a avaliação dos cursos feita pelos alunos. “O importante é ter prevalecido a ideia de que a avaliação é importante”. Outro efeito a considerar é o impacto causado no ânimo dos pesquisadores mais jovens. “É um estímulo trabalhar num departamento que valoriza o mérito”, diz Pedro Cury Camargo, 33 anos, professor do IQ-USP desde 2011.
A construção do processo de avaliação remonta ao início dos anos 2000, quando Henrique Eisi Toma era chefe do Departamento de Química Fundamental e divulgava na internet o número de publicações indexadas de cada docente e outras informações. “Havia um desconforto em relação ao desempenho do departamento medido pela contagem de publicações da forma divulgada nos anuários da USP, indicando performance superior da média dos docentes de outra unidade congênere”, recorda-se o professor Ivano Gebhardt Rolf Gutz, que era vice-chefe do departamento nesse período. “Era uma época em que a Plataforma Lattes estava começando e havia dificuldade em reunir informações sobre a produção e demais atividades de cada um.” Tentou-se integrar a coleta de dados da secretaria de pós-graduação, aproveitada nos relatórios para a Capes, com a da biblioteca do Conjunto das Químicas e a do departamento, e se criou até um endereço de e-mail para o qual os pesquisadores deveriam enviar informações, mas a estratégia não deu certo. “Observávamos uma heterogeneidade no departamento, com alguns professores se dedicando mais ao ensino do que à pesquisa”, recorda-se Gutz.
Primeira versão Em 2004, Ivano Gutz assumiu a chefia do Departamento de Química Fundamental e decidiu implantar o que seria a primeira versão do processo de avaliação com um conjunto abrangente de indicadores, já contemplando as atuais categorias de desempenho (ver quadro). A ideia era atribuir pontos a todo tipo de atividade feita pelos docentes e arbitrar um modo de compilar os números, de modo que os professores fossem reconhecidos mesmo se não tivessem grande performance em pesquisa. Quem ministrasse boas aulas, participasse ativamente de comissões e orientasse alunos de graduação e pós-graduação ou se destacasse por suas atividades de extensão também seria valorizado. “Na época, combinamos que os dados não seriam usados para medidas drásticas. Houve muitos questionamentos sobre a ponderação dos indicadores, mas ninguém se opôs a que as informações fossem reunidas”, lembra Gutz.
Os pontos mais controversos foram suavizados. Em vez de usar o fator de impacto de revistas científicas como peso para avaliar publicações de cada docente, adotou-se a raiz quadrada do fator de impacto. O objetivo era evitar abrir um fosso entre o escore dos que conseguiram publicar em periódicos de alto impacto e o dos que divulgaram seus trabalhos em revistas de menor prestígio. Para publicações em revistas de ensino ou educação, que costumam ser menos citadas, recorria-se à classificação do periódico no sistema Qualis da Capes em substituição ao índice de impacto. O resultado da conta também tinha de ser dividido pela raiz quadrada do número de autores do artigo que pertencem ao departamento, cabendo a cada um deles um quinhão equivalente.
As planilhas levavam em conta indicadores do triênio anterior (hoje as informações contemplam cinco anos de trabalho de cada docente). A pontuação relativa à carga horária de atividades didáticas recebia um bônus quando o curso era bem avaliado pelos alunos, as aulas eram ministradas no período noturno ou as turmas eram grandes. Quanto mais recursos o docente captasse em projetos de pesquisa, mais pontos acumulava. Da mesma forma, atividades administrativas que implicam encargos e responsabilidades maiores, como direção e chefia de departamento, rendiam mais pontos do que a participação em comissões que não geram trabalho extra. Quem cuidava da montagem das planilhas com as pontuações era o próprio Ivano Gutz, auxiliado por uma secretária e, nos corredores do IQ-USP, a metodologia era chamada, em tom de brincadeira, de índice G, referência ao conhecido índice-H, que mede quantidade e impacto da produção científica. “Mas o índice G é melhor, por ser abrangente e levar em conta o desempenho recente do pesquisador”, brinca Gutz. “O índice-H é cumulativo e dá vantagem a quem tem mais tempo de carreira.” A divulgação dos resultados em 2006 e 2007 envolveu algum desconforto, mas foi aceita pela maioria. “Havia a resistência clássica, vinda daqueles que se julgavam ameaçados pelos resultados. Como mostramos que não se buscava punir ninguém, ela foi diminuindo”, ressalta o professor. A resistência se explicava: em 1988, vazou no jornal Folha de S.Paulo uma lista, produzida para uso interno pela reitoria da USP, com nomes de pesquisadores que não haviam publicado nenhum trabalho científico de 1985 a 1986. A chamada “lista dos improdutivos” gerou trauma e controvérsia duradouros.
Critérios refinados Após a saída de Ivano Gutz da chefia em 2008, o departamento fez uma pausa no processo, que havia gerado duas avaliações. “Os chefes que vieram em seguida delegaram a coleta de dados a secretárias. Como elas tinham outras atribuições, o trabalho acabou adormecendo”, diz Mauro Bertotti, que retomou a avaliação quando chegou à chefia do departamento, em 2012. Muitos critérios foram refinados, num processo que ainda não foi concluído. No caso dos artigos científicos, o peso agora é determinado diretamente pelo fator de impacto da revista, e não mais pela raiz quadrada do fator de impacto. “Defendemos que a publicação de ar-ti-gos deva ter um peso forte, proporcional
à qualidade da revista”, sustenta Bertotti. Na categoria captação de recursos, além de haver um peso maior para valores mais altos, coordenadores de projeto ganham um bônus na pontuação em relação aos demais membros. Em cada categoria, a pontuação é contabilizada em separado e normalizada pela mediana do departamento, com os pesos atribuídos a cada atividade, a fim de evitar que o desempenho elevado de um docente num quesito ofusque a performance dos demais.
Um dos cuidados tomados foi o de profissionalizar a coleta de dados. Uma estagiária foi contratada para cuidar dessa tarefa, o que inclui procurar cada docente e estimulá-lo a declarar todo tipo de atividade que se encaixe na avaliação. Ela também é responsável por divulgar um boletim mensal com as atividades dos docentes, incluindo desde participações em bancas até as reportagens publicadas na imprensa em que eles foram entrevistados. “A intenção é valorizar tudo o que o docente fizer”, enfatiza Bertotti.
Nas discussões sobre a reforma dos estatutos da USP há a proposta de permitir que os departamentos retirem do regime de dedicação exclusiva professores com desempenho mais fraco, levando-os para o regime de turno parcial. Avaliações como a promovida pelo Departamento de Química Fundamental poderiam servir de referência objetiva para esse tipo de decisão. “Não sabemos se essa mudança no estatuto vai prosperar”, diz Gutz.
Os idealizadores do processo de avaliação preocupam-se com o fato de que os critérios adotados às vezes não combinam com as diretrizes para promoção na carreira dentro da USP. “Podemos sustentar que um docente deva ser reconhecido por dar aulas muito boas ou participar de atividades de extensão, mas isso não será suficiente para levá-lo ao topo da carreira”, pondera a professora Silvia Serrano, que dirige a comissão de avaliação. Gutz observa que a iniciativa poderia ser um instrumento para regular se um pesquisador pode ou não prestar consultoria a empresas, por exemplo. “Alguns anos atrás, a Associação Brasileira da Indústria Química, interessada no bem-sucedido modelo de inovação da Coreia do Sul, trouxe como conferencista um professor e dirigente de centro de pesquisa, que também veio fazer uma palestra no Instituto de Química e nos contou como isso funcionava no seu país. Lá, docentes bem avaliados têm liberdade de prestar consultoria para empresas. Já quem não consegue dar conta de suas atividades acadêmicas é alertado e estimulado por uns dois anos. Se prosseguir sendo mal avaliado, pode ser desligado.” Para o professor, o processo de avaliação mostra que é possível, mas não indispensável, ter destaque em todas as atividades em que o docente se envolve. “Temos professores que conseguem fazer um trabalho de excelência em várias áreas. É justo que sirvam de inspiração para os demais”, afirma Gutz”.
