por José Luís Bizelli*
Se Kronecker tem razão e Deus criou os números, certamente o Diabo criou a estatística e com ela índices. O que quero dizer é que embora índices nos digam muitas coisas, nem sempre nos dizem o que lhes estamos perguntando. O Fator de Impacto pode ter auxiliado a compra das revistas mais usadas quando administradores de uma biblioteca, com parcos recursos financeiros, tiveram que escolher quais coleções de periódicos comprar. Transformar, porém, Fator de Impacto em medidor universal da produção científica é perguntar-lhe algo que ele não pode responder.
Talvez o pecado original que desencadeou a expulsão dos índices do paraíso da confiabilidade tenha sido o fato da humanidade tentar - ou ter a tentação de - representar qualidade através de números estratificáveis. Aperfeiçoamos o controle sobre números, somos capazes de entrecruzá-los de formas impensáveis ou inumeráveis imergindo em um fabuloso Big Data cada vez mais completo e complexo de informações. No entanto, qualquer índice de citação poderia revelar a qualidade de um artigo perdido no mundo dos dados? Não, provavelmente apenas a leitura atenta por pares, dentro de uma comunidade científica específica, poderia fazê-lo.
Não existe vacina ao fato de que o conhecimento está sujeito a saberes e rigores particulares a cada comunidade científica. Sobreviveriam nossas Teses de Doutorado à avaliação forjada dentro do Big Data, pautada em parâmetros globais de cientificidade? Bastaria aceite de revista com Fator de Impacto alto para que ela fosse considerada aprovada, sem a anuência explícita de uma comunidade universitária?
É claro que a ideia de especificidade de ciências não resiste à questão administrativa que estava presente no bureau dos administradores da biblioteca: qual a métrica para atender à distribuição de recursos - nem sempre tão parcos - solicitados por projetos científicos de diferentes comunidades?; ou mesmo, como justificar investimentos realizados - públicos ou privados - sem medir, a posteriori, seus impactos, facilitando procedimentos de accountability, sem os quais poderíamos ser interpretados como socialmente irresponsáveis, corporativistas, regionalistas, provincianos?
Para agravar o debate, hoje, tudo está na rede: a Ciência, as ciências, as métricas científicas, os patrocinadores, as empresas que consomem ciência, as empresas que vivem das métricas científicas, os veículos que difundem os conhecimentos, os cientistas e os cidadãos da aldeia global. Ou seja, hoje, permite-se a ilusão de uma visibilidade global. Ilusão porque os parâmetros com os quais vemos não são globais; não são passíveis de definição colaborativa; não estão disponíveis à reelaboração dos cientistas; estão sujeitos ao mercado a partir de preços fixados. Estamos diante de uma película em preto e branco que pode ser vista em cores segundo padrões estabelecidos por uma companhia de tintas. Diga-se de passagem, a tinta é produzida por abnegados coloristas que retiram seus insumos da natureza - física ou social - e desenvolvem seus produtos não recebendo nada por seu trabalho, a não ser o fato de ter suas tintas reconhecidas na película.
Medidores, avaliação e periódicos
Se esse é o mundo mensurável da ciência, como nos comportamos? Afinal, diga como você me mede que eu te digo como me comporto. Ou seja, se o padrão requerido para uma revista estar bem situada nos índices de produção científica for conter dez artigos por número, dos quais dois escritos em cirílico, dois em mandarim e o restante em qualquer língua desde que não seja inglês, que editor não sairia a buscar artigos em cirílico e em mandarim, vetando trabalhos escritos em inglês?
Todos queremos, honestamente, ter o trabalho produzido por nossas revistas bem avaliado e reconhecido pelo mundo acadêmico, porque revistas científicas - brasileiras ou não - têm peso importante na avaliação da produção de pesquisadores, principalmente daqueles que estão vinculados ao Sistema Nacional de Pós-Graduação. Todos queremos ter um lugar de destaque no Qualis, que por princípio deveria chamar-se Quantis, já que mede cada vez mais procedimentos estatísticos, situação frente a índices dentro de um universo percentual pré-definido, e menos conteúdos.
Ao entrarmos no mundo das avaliações concretas das revistas científicas a partir dos parâmetros que utilizamos na Educação, portanto, é preciso reconhecer que há avanços significativos no documento que a ANPED encaminha à coordenação de nossa área: buscar romper o circuito da competitividade; pensar a avaliação como instrumento formativo e processual; fortalecer os processos avaliativos e as equipes de avaliadores; equilibrar melhor os itens de avaliação; dar visibilidade ao processo de avaliação dando publicidade às fichas de avaliação; dar rigor e agilidade à elaboração do Qualis Periódicos e Livros; garantir a avaliação de início de período, salvo situação extrema; criar uma base de resumos e citações públicas com todos os periódicos brasileiros que permitisse gerar métricas de impacto das publicações; valorizar o trabalho de equipes editoriais e de pareceristas; definir os rumos da internacionalização, discutindo as tendências que se estabelecem no eixo Sul-Sul.
Para continuarmos avançando enquanto editores de periódicos de Educação, parece-me que seja necessário dar ênfase nos dois últimos pontos e questionar fortemente a questão das travas estatísticas dos extratos de avaliação, como forma de substituir a competição pela cooperação.
E o futuro
Tendo chegado do Primeiro Congresso Ibero-Americano de Revistas Científicas, que aconteceu na Cidade do México, de 02 a 04 de maio, na UNAM, poderia dizer que duas diretivas estão no horizonte. Uma de curtíssimo prazo vai ao encontro da produção de um índice mais próximo da Iberoamérica e que deve ser anunciada até o final de 2018. A outra, mais complicada, deve constituir-se como opção para nosso futuro de médio prazo - cinco anos - e propõe que os autores assumam as rédeas da divulgação inicial de seus textos. Em um grande mercado preprint, o papel das revistas científicas seria apenas avaliar e chancelar a publicação. Ou seja, não nos faltam desafios para pensar o futuro.
José Luís Bizelli
Coordenador Nacional do FEPAE
Editor da Revista Ibero-Americana de Estudos em Educação
Professor da UNESP