{"word_count": 7772, "character_count": 51872}
Este é o segundo texto que publicamos no blog, resultante das apresentações e intervenções feitas nos Seminários &#38; Colóquios do Observatório. O prof. Rafael Benthien apresentou uma versão do texto abaixo no II Colóquio do Observatório, que será publicado ano que vem no livro A História (In)Disciplinada: Teoria, Ensino e Difusão do Conhecimento Histórico, organizado por Fernando Nicolazzi, Arthur Ávila e Rodrigo Turin. Agradecemos a autorização dos editores para a publicação aqui no blog do Observatório!Boa leitura e deixem seus comentários!...QUALIS PERIÓDICOS NA ÁREA DE HISTÓRIA: Alguns apontamentos sobre os pressupostos, os resultados e os possíveis efeitos de uma avaliação institucional (2013-2016)1. Rafael Faraco Benthien (PPGHIS/DEHIS-UFPR)Apublicação em periódicos é, nos modernos sistema de ensino e pesquisa, condição indispensável para a viabilização de uma carreira científica. Por seu caráter serial,  tal suporte tende aintensificar e a normatizar a circulação de ideias e de pessoas, contribuindo decisivamente para o reconhecimento, tanto positivo quanto negativo, dos pesquisadores. Ocorre apenas que os periódicos não existem de forma isolada. Eles se definem, antes, em relação atudo o que se faz no âmbito da ciência, podendo, inclusive, por efeitos de concorrência ou de legislação, ser pressionados  modificar seu conteúdo, seu formato, sua periodicidade e sua ancoragem institucional. Dada essa complexidade, os autores que neles publicam raramente conseguem vislumbrar a totalidade dos veículos xistentes. Reféns dos limites de suas próprias capacidades produtivas, bem como de suas posições e do sentido de suas apostas– quer estas se definam em termos de objeto, de preferências teórico-metodológicas e mesmo de padrões de sociabilidade –,eles estão fadados a restringir sua participação a uma parcela dosperiódicos, em geral bastante reduzida.O último Qualis Periódicos, avaliação relativa ao quadriênio 2013-2016, oferece, nesse sentido, uma oportunidade singular: trata-se de um instrumento privilegiado para que os produtores de conhecimento consigam ampliar a compreensão que têm do universomais amplo em que se inserem. Tendo sido elaborado a partir da produção de todos os pesquisadores atrelados aos programas de pós-graduação nacionais, tal como esta foi cadastrada na plataforma Sucupira do Governo Federal, seus resultados encontram-se materializados em uma série de listas, divididas por áreas, contendo os periódicos frequentados durante o intervalo. Essas listas não indicam, importa destacar, a intensidade com que se investiu em cada revista. Tudo se passa como se o observador estivesse diante de um mapa contendo todos os caminhos, sem conseguir distinguir, no entanto, entre a pequena trilha explorada por um andarilho solitário e as grandes avenidas nas quais os pesquisadores de uma área realizam suas tradicionais procissões. Eis aí, por certo, uma limitação, mas que está longe de inviabilizar o uso desse recurso como objeto de estudo.Há, com efeito, outros motivos, talvez até mais instigantes, para que isso seja feito. Produzidos por comissões de área, cada qual composta de pares vinculados aos programas de pós-graduação nacionais, esses mapas deixam transparecer as formas classificatórias que, de forma mais ou menos consciente, orientam a percepção e aordenação de suas paisagens. Sacramenta-se neles, afinal, uma hierarquia que separa, e ao mesmo tempo conecta, o cume de uma altamontanha e os baixios pantanosos, ou, dito de outro modo, os periódicos ditos “reconhecidos” e aqueles “frágeis”. E há mais: uma vez que essa paisagem incide sobre as notas dos programas,envolvendo, além de prestígio, contrapartidas materiais, tais como bolsas e outras modalidades de recursos, a avaliação tende a afetar a forma como os pesquisadores veem a si mesmos e ao mundo que compartilham. Vale dizer: longe de produzir uma mera descrição da paisagem, o Qualis Periódicos é um dos fatores que mais contribui para estabelecê-la, introduzindo signos de distinção e, assim, induzindo comportamentos.Tendo isso em mente, e trabalhando apenas com os dados da Área de História, busco aqui discutir os critérios de avaliação dos periódicos, sua aplicação, e, por fim, seus possíveis efeitos. Para tanto, criei uma tabela paralela àquela disponibilizada pelaCAPES, buscando verificar: 1) a região ou, para periódicos estrangeiros, o país em que é editado; 2) seu vínculo institucional (se ligado a instituições de ensino superior ou não, se único ou múltiplo); 3) sua formatação (se publica apenas artigos, artigos e resenhas, ou então formas mais complexas), 4) sua periodicidade (anual, semestral, quadrimestral etc.), e, por fim, 5) o ano de sua fundação. Para controlar melhor a análise, exclui osperiódicos atrelados ao estrato mais baixo da avaliação, denominado “C”, cujos formatos e ancoragens institucionais tendem a priori a destoar muito dos demais. Vejamos agora como a introdução dessas variáveis permite delinear os padrões dominantes na Área....  Panorama geral dos periódicos com qualis em HistóriaDo ponto de vista da localização da instituição que edita os periódicos, pensando em primeiro lugar naqueles produzidos nacionalmente, é notável o predomínio das regiões sudeste e sul, algo verificável tanto se considerarmos o conjunto dos estratos (gráfico 1), quanto apenas os três estratos mais elevados (gráfico2). Essa distribuição ecoa a própria distribuição dos 71 programas, em termos de quantidade e “qualidade”, tal como o Documento de Área permite entrever2. Do ponto de vista dos periódicos internacionais, é significativa a presença tanto dos grandes centros de pesquisa mundiais (Estados Unidos, Reino Unido e França), quanto daqueles provenientes do mundo ibero-americano (gráficos 3 e 4). Muitas dessas revistas estrangeiras lidam com temáticas relacionadas ao Brasil ou à América Latina, o que indicia um dos principais nichos ocupados por pesquisadores brasileiros fora do país: exportamos “especialistas em questões domésticas”, ao passo que importamos as teorias e os métodos, bem como seus expoentes. Esse ponto mereceria um desenvolvimento maior, que foge, contudo, ao escopo do presente estudo.Gráfico 1 – Localização da instituição que edita o periódico: revistas nacionais de todos os estratos (n=949).&#160;Gráfico 2 - Localização da instituição que edita o periódico: revistas nacionais de estratos elevados, A1, A2 e B1 (n=120).&#160;Gráfico 3 - Origem da instituição que edita o periódico: revistas internacionais de todos os estratos (n=476).&#160;Gráfico 4 - Origem da instituição que edita o periódico: revistas ibero-americanas (n=237).&#160;A segunda variável isolada, o vínculo institucional, é crucial para que se possa entender a organização da pesquisa brasileira. Tal como se pode ver no gráfico 5, a esmagadora maioria das revistas brasileiras é produzida por alguma instância ligada ao ensino superior – que, no nosso caso, assume uma fatura puramente universitária. Todo programa de pós-graduação abriga ao menos uma revista. E há mais: muitas das publicações são veículos oficiais de grupos de pesquisa cadastrados no CNPq, ou então pertencem a departamentos e cursos de graduação, ou mesmo a editora suniversitárias, a faculdades e a pró-reitorias. O curioso, nesse caso, e isso foi algo que apareceu à medida que o trabalho avançou, é a usual sobreposição desses espaços. Os periódicos, sobretudo quando são instrumentos de grupos de pesquisa, aparecem normalmente sediados em uma ou mais instâncias universitárias (em geral, programas de pós-graduação). Além disso, e esse é um dado que não quantifiquei, a maioria dos periódicos com qualis em História é atrelada institucionalmente a outras áreas, o que indici a forte interdisciplinaridade.Noto ainda que um número não negligenciável de revistas avaliadas é produzido por entidades governamentais não universitárias – tais como o Instituto Brasileiro de Geografia e Estatística (IBGE), ministérios, setores do exército, entre outros –, bem como por associações científicas nacionais, tais como a AssociaçãoNacional de História (ANPUH),a Associação Nacional de Pós-Graduação e Pesquisa em Ciências Sociais (ANPOCS), a Associação Brasileira de Antropologia (ABA), ou mesmo a Sociedade Brasileira de Ciências do Solo e o ColégioBrasileiro de Radiologia e Diagnóstico por Imagem3. Os exemplos poderiam ser multiplicados, totalizando 128 casos. Esse dado destaca a existência de instâncias externas ao sistema de ensino, as quais, embora frequentadas e/ou dirigidas por universitários, produzem ou fomentam pesquisas a partir de agendas que podem ser, ao menos em parte, autônomas.Gráfico 5 – Natureza do vínculo institucional das revistas editadas no Brasil (n=949).&#160;É possível destacar ainda exemplos de ancoragem mista, envolvendo ao mesmo tempo instâncias universitárias e associações externas. Destaco três casos de estratos diferentes: o da História: Questões&#38;Debates (qualis B2), vinculada ao Programa de Pós-Graduação em História da UFPR e à Associação Paranaense de História (APAH), o da História da Historiografia (qualis A1), atrelada aos Programas de Pós-Graduação em História da UFOP e da UniRio, bem como à Sociedade Brasileira de História da Historiografia, e, por fim, o a da revista Ciência e Maçonaria (qualis B4), atrelada a um núcleo de extensão da Unb e à loja maçônica Flor de Lótus. Como o gráfico acima permite ver, a sobreposição desses dois tipos de instâncias é, contudo, bastante rara, totalizando dezesseis ocorrências.Excepcionais são também os casos de revistas que se apresentam como “discentes”, ou seja, administradas e/ou frequentadas por estudantes de graduação e de pós-graduação. Os quarenta e dois casos constatados foram isolados em uma categoria à parte, embora não se possa analisar essas revistas sem considerar os vínculos que mantêm com as instituições que acolhem seus administradores/autores. Em verdade, dado o ciclo relativamente curto da vida estudantil, o elo com determinadas instituições torna-se uma condição crucial para a criação e a continuidade dessa modalidade de periódicos. Elas só foram mantidas como uma categoria especial porque, como se verá na sequência, a avaliação institucional o faz.A impressão que se tem é que o quadro característico do Brasil atual é o seguinte: a pesquisa tende a se organizar predominantemente a partir dos programas de pós-graduação e dos grupos de pesquisa cadastrados no CNPq. Em outros países cujas revistas são frequentadas por pesquisadores brasileiros, no entanto, os centros de pesquisa são mais autônomos em relação aos programas de pós-graduação universitários. Não foi possível, aliás, um cotejamento entre as estruturas nacionais e internacionais. Em muitos casos, sequer existe a figura institucional do “programa de pós-graduação” como unidade autônoma. Some-se a isso, nos grandes centros internacionais, o investimento maciço de editoras públicas e privadas, que são proprietárias de muitas revistas. Esse ponto é importante, pois a Comissão de Área, ao não diferenciar os sistemas de ensino e pesquisa que editam as revistas, optou por aplicar um mesmo critério omnibus. Indicarei ao longo deste trabalho algumas consequências dessa indistinção.Quantoà forma das revistas, sua periodicidade e seu ano de criação, serei breve. Embora esperasse uma homogeneização maior das revistas, isso só é verificável nos extratos superiores, que tendem a privilegiar artigos e, quando muito, em uma posição secundária, resenhas. Já quanto à periodicidade, nota-se uma aceleração do intervalo de publicação. Muitas revistas que nasceram semestrais, sobretudo nos estratos mais elevados, adotaram ao longo do último quadriênio uma periodicidade menor, quadrimestral ou trimestral. A semestral continua, ainda assim, globalmente dominante4. Há também, e cada vez mais, a adoção do padrão ahead of print, o qual consiste em já disponibilizar os artigos de números futuros tão logo estes encontrem-se aprovados. Observo, por fim, que a absoluta maioria das revistas nacionais frequentadas por historiadores ainda não atingiu a maioridade (gráficos 6 e 7), e que as mais novas são quase que exclusivamente eletrônicas. Ainda sobre a idade das revistas, é interessante também contrastar um gráfico comportando todas as publicações e outro, apresentando apenas aquelas relativas aos estratos superiores. Tal exame sugere a existência de um possível efeito inercial, capaz de tornar as revistas mais antigas, sobretudo aquelas que datam do intervalo de fixação e de primeira expansão do atual formato da pós-graduação brasileira (anos 1970-1990), proporcionalmente mais bem avaliadas que suas correlatas mais novas.Gráfico 6 – Fundação das revistas, por intervalos, considerados todos os estratos atuais (n=949).&#160;Gráfico 7- Fundação das revistas, por intervalos, considerados apenas os estratos elevados atuais, A1, A2 e B1 (n=120).Feito esse panorama, passo à análise das formas classificatórias mobilizadas pela Comissão de Área, ou seja, seus critérios.&#160;... As formas classificatórias implicadas em um processo de avaliação.Um processo de avaliação é um processo de qualificação. Ele atribui a objetos de natureza similar – no caso, periódicos – gradações da mesma qualidade, a qual pode ser materializada aqui a partir da ideia de “excelência”, e que reclama um complemento negativo (o “frágil”, o “precário”). Nos termos da avaliação, encontramo-nos diante de uma estrutura hierárquica, cujo ápice é representado pelo estrato “A”, com duas subdivisões (1 e 2), o corpo está atrelado ao estrato “B”, com cinco subdivisões (1 a 5), e a base é composta por um estrato sem subdivisões, “C”.Para o quadrienal em questão, a Comissão de Área, valendo-se da relativa autonomia que a Capes lhe concedeu, fixou três tipos de critérios a serem aplicados, os quais denomino: 1) “formais”; 2)“morfológico-quantitativos”; e 3) “qualitativos”. Os primeiros, que o documento “Considerações sobre o Qualis Periódico” identifica em seu item I e toma por obrigatórios, dão conta de definir o que é um periódico científico (CAPES, 2016). Segundo ele, no mínimo, uma revista deve dispor de: a) ISSN; b) editor responsável; c) conselho editorial; d) conselho consultivo; e) linha editorial; f) normas de submissão; g) sistema de avaliação por pares; h) publicação de pelo menos quatorze artigos/ano; i) afiliação institucional dos autores; j) afiliação institucionaldos membros dos conselhos; k) resumo dos artigos ao menos em português e inglês; l) palavras-chave ao menos em português e inglês; m) data de recebimento e aceitação de cada artigo; n) publicação de pelo menos metade dos números planejados para o ano anterior ao da avaliação; e o) periodicidade regular.Aparentemente, não há mistério aqui, embora o processo se torne bem nebuloso quando se vê a aplicação desses critérios. De todo modo,estranha-se no item “h” o número quatorze, que define o mínimo de artigos que uma revista deve publicar a cada ano. De onde vem esse número mágico? É igualmente curioso que não se faça a distinção entre periódicos nacionais e internacionais em relação aos itens “k” e “l”. Afinal, se todo periódico, para ser avaliado, tivesse obrigatoriamente de publicar resumos e palavras-chave emportuguês, apenas as revistas lusófonas seriam consideradas, o que não ocorre.Deixo de lado, por ora, os critérios puramente formais e suas idiossincrasias. O coração da avaliação está, de fato, em outro lugar. Para se chegar a ele é preciso se ater ao item II do documento da Área, denominado “critérios formais ou quantitativos”, mas que prefiro rotular de “morfológico-quantitativo”. Suas noções-base são duas: a caraterização do periódico como “discente” – o que supõe uma contrapartida não-explicitada, a revista do “professor/pesquisador” – e a ideia de “vínculo institucional”. O quadro 1 relaciona essas categorias com os estratos que devem ser atribuídos às revistas.EstratoTipoVínculo institucional ou condições morfológico-institucionaisA1 Publicar ao menos 80% dos artigos de autores vinculados a cinco instituições diferentes daquela que edita a revista.A2 Publicar ao menos 75% dos artigos de autores vinculados a cinco instituições diferentes daquela que edita a revista.B1 Publicar ao menos 60% dos artigos de autores vinculados a quatro instituições diferentes daquela que edita a revista.B2 Publicar ao menos 40% dos artigos de autores vinculados a quatro instituições diferentes daquela que edita a revista.B3 DiscentePublicar ao menos 30% dos artigos de autores vinculados a três instituições diferentes daquela que edita a revista.B4DiscentePublicar ao menos 30% dos artigos de autores vinculados a duas instituições diferentes daquela que edita a revista.B5DiscenteCumprir as exigências puramente formais.Quadro 1 - Os critérios "morfológico-quantitativos"Observando o quadro, constata-se que os estratos mais baixos estão atrelados aos periódicos “discentes”. O documento da Área não apresenta, contudo, nenhuma definição clara acerca do que caracterizaria esse tipo de publicação. Como destaquei anteriormente (gráfico 5), são raros os periódicos que se auto intitulam “discentes”. Se, por outro lado, todo graduando, mestrando ou doutorando fosse assim considerado, nenhuma revista a partir de B2 poderia publicar seus trabalhos, o que não se constata na prática. Na verdade, a maioriadas revistas compreendidas entre os estrados B3-B5 são revistas ou de programas notas 3 e 4, ou de grupos de pesquisa inscritos no CNPq, além, por certo, de revistas de outras áreas.A mesma falta de clareza pode ser afirmada acerca do “vínculo com a instituição que edita a revista”. E aqui a questão é ainda mais delicada. O documento da Área não esclarece em momento algum o sentido dessa expressão. O que significa, por exemplo, vínculo institucional em relação à Revista Brasileira de História? Em se tratando do mais prestigiado veículo, avaliado no mais elevado estrato, da maior associação profissional do país, a pergunta é capciosa. Afinal, ser sócio da ANPUH acarreta vínculo?Esse não parece ser o entendimento da Comissão de Área. Tudo sugere que “vínculo institucional” signifique, na prática, laço com um programa de pós-graduação. Não se pode esquecer que o Qualis Periódicos é, afinal, parte de um processo maior, um sistema de ranqueamento dos próprios programas. Em função disso, é compreensível que a Comissão de Área crie critérios visando coibir a endogenia, ou seja, iniciativas das instâncias avaliadas no sentido de inflacionar suas próprias notas. A pergunta que se impõe, no entanto, é a seguinte: acaso a única endogenia possível é aquela entre os membros de um mesmo programa? Já indiquei como as revistas nacionais podem sobrepor várias instâncias: grupos de pesquisa, associações, programas de pós-graduação, departamentos etc. Além disso, as revistas internacionais sequer se pensam a partir dos mesmos critérios institucionais.Esse ponto é mais importante do que parece à primeira vista. No fundo, e é preciso dizê-lo desde já com todas as letras, essa definição subentendida da expressão “vínculo com a instituiçãoque edita o periódico” acaba produzindo uma confusão entre a avaliação da qualidade da revista e a capacidade que seus editores e/ou os diferentes grupos que nela publicam têm de mobilizar pessoas provenientes de vários programas de pós-graduação. Por conseguinte, a avaliação toma redes interinstitucionais de pesquisadores, as únicas capazes de cumprir os requisitos morfológico-institucionais descritos no quadro acima, como sinônimo de qualidade5. O único critério que foge a isso são os “indicadores bibliométricos”. E, ainda assim, o documento da Área é vago a esse respeito, afirmando que eles serão considerados de “maneira suplementar” e apenas para periódicos de estratos mais elevados. Opta-se ainda por terceirizar a fonte desses indicadores, tomando-os de duas bases indexadoras, o Scopusea Webof Science. Esse ponto é cheio de consequências, sobre as quais voltarei mais tarde.O terceiro e último conjunto de critérios é aquele que o documento da Área denomina “qualitativos”. Não me estenderei sobre esse ponto, até porque a maioria dos itens está ou sujeita a uma considerável margem de interpretação, ou dá ensejo a raciocínios tautológicos. O que significa, por exemplo, publicar informações “esclarecedoras” sobre os autores, como aconselha seu item “a”? Questão similar se impõe em relação ao item “b”, que sugere uma “linha editorial e escopo definidos com precisão e densidade intelectual”? Qual o sentido disso quando a maior parte das revistas nacionais com qualis A1 são revistas “generalistas” de programas de pós-graduação ou de associações profissionais, as quais não se comprometem a priori com nenhuma temática específica? E o que significa a sugestão expressa no item “f”, para que se publique artigos de pesquisadores “qualificados”? Acaso existe uma lista prévia desses pesquisadores6? De todo modo, destaco o conselho de seu item “m”, para que as revistas ingressem em “bases relevantes de indexação”, tais como Scopus, Web of Science, Scielo, Latindex, entre outras. Mas quem são essas bases relevantes e que tipos de contrapartidas elas exigem7? Noto, por fim, que as avaliações das demais áreas são levadas em conta, mas filtradas pelas exigências da área e buscando “evitar maiores discrepâncias”. Novamente, nada de muito claro.Antes de passar ao exame da aplicação desses critérios, gostaria de indicar a existência de um numerus clausus em relação aos diferentes estratos da avaliação, que define a estrutura mais ou menos piramidal do resultado da classificação. Essa é uma exigência da CAPES a todas as áreas: apenas 50% dos periódicos de uma área podem ser qualificados nos estratos superiores (A1, A2 e B1), ao passo que apenas 25% podem encontrar-se situados nos estratos A, sendo que o número de periódicos A1 tem de ser necessariamente menor que aqueles qualificados como A2 (Barata, 2016). Na área de História, uma vez que são privilegiados critérios morfológico-quantitativos, a chance de que todos os critérios sejam cumpridos depende das notas estabelecidas na avaliação anterior e, igualmente, da atuação dos editores e dos organizadores dos dossiês no sentido de mobilizar as redes de que dispõem, quando as dispõem. Em termos absolutos, de acordo com o levantamento produzido ao longo desta pesquisa, dos 1.425 periódicos avaliados entre os estratos A e B, 281 (ou seja, 19,72%) encontram-se nos três estratos superiores, sendo 45 em A1 (3,16%), 77 em A2 (5,40%) e 159 em B1 (11,16%).Feitas essas considerações, passo à análise da forma com que esses critérios foram aplicados.... O topo, a base e o meioComeço pelo topo da pirâmide, o estrato A1, aquele que supostamente exprime a mais alta qualidade da área. Em se tratando dos periódicos brasileiros, quando não estão atrelados a renomadas associações nacionais (a ANPUH, a ANPOCS, a ABA etc.), todos mantêm vínculos com os programas de pós-graduação da área, ou de áreas correlatas, com nota equivalente ou superior a 5. Encontram-se aí revistas generalistas como a Varia Historia, a Topoi,a Sociologias, a Vibrant, a Estudos Históricos e a Revista de História(USP), ou revistas temáticas, como a História da Historiografia e a Estudos Feministas,para mencionar apenas algumas. Estas são as revistas que melhor se adequam às exigências das bases de indexação e que conseguem, de fato, reunir uma população diversificada em termos de vínculos institucionais com programas de pós-graduação.O cenário torna-se mais confuso quando se abordam as revistas internacionais de excelência. Em alguma medida, elas parecem revelar algo do valor dos objetos estudados no Brasil e da inserção dos pesquisadores locais em outros sistemas de ensino e pesquisa. É interessante, nesse sentido, ver no mesmo estrato superior a Hispanic American Historical Review, a Revista de Indias e a History and Theory, ou seja, revistas ligadas ao estudo especializado do mundo ibero-americano – tema que remete à constituição da historiografia nacional – e uma publicação ligada à teoria e à filosofia da história de renome internacional. É difícil entender, contudo, como os avaliadores leram os “vínculos institucionais” dos autores dos periódicos, uma vez que muitos deles são oriundos de sistemas que não se pensam a partir da ideia de programas de pós-graduação8.O mesmo pode ser dito de casos mais surpreendentes, em função de seus temas pouco tradicionais na historiografia brasileira, como o do Journal of Analytical Atomic Spectometry (JAAS) , publicado pela Roya lSociety of Chimestrye especializado no tema que lhe dá nome, ou o do também britânico Lancet,que é uma revista mensal generalista de medicina, publicada pela Elsevier. Também nesses casos foi difícil reconstituir os “vínculos” institucionais: há grande diversidade, mas ela raramente se expressa em termos de “programas de pós-graduação”.É possível evocar argumentos suplementares para justificar a nota elevada dessas publicações, tais como os índices bibliométricos e o peso da avaliação das demais áreas. O problema é que nem sempre isso ocorre. Veja-se o caso do já mencionado Journal of Analytical Atomic Spectometry. Vinculado à base de indexação Webof Science e detentor de um fator de impacto elevado (acima de 3.0 para o quadriênio avaliado), ele curiosamente apresenta o melhor qualis nas áreas de História, Interdisciplinar, de Medicina Veterinária e de Recursos Pesqueiros, superando a nota que lhe foi dada nas engenharias e na química. O mesmo tratamento não foi reservado,contudo, à revista Acta Histochemica, especializada na química celular e molecular. Compartilhando com o JAAS uma diversidade institucional altíssima – embora, repito, não-mensurável em termos de programas de pós-graduação –, estando ainda atrelada a bases de indexação internacionais e tendo um fator de impacto elevado (acima de 1.5 para o quadriênio avaliado), esta revista editada pela Elsevier recebeu o qualis B3 em História, o menor em comparação às demais áreas do conhecimento. Já o periódico Spectrochimica Acta. Part A, Molecular and Biomolecular Spectroscopy, também publicado pela Elsevier, atrelado a “bases de indexação relevantes”, com alto fator de impacto e altamente internacionalizada, recebeu nota B1, intermediária em relação à Antropologia, que lhe concedeu B3, bem como à Turismo e à Engenharias III, para as quais a revista foi considerada A2.O cerne da questão é a coerência e a razoabilidade dos critérios de avaliação. Ouvi, nas ocasiões em que apresentei versões previas deste estudo, o seguinte contra-argumento: exemplos como os apresentados acima não são estatisticamente relevantes, pois poucos historiadores frequentam, de fato, esses espaços. Mesmo que isso seja verdade, os critérios elencados, como não tenho cessado de repetir, generalizam uma situação institucional brasileira para outros sistemas. Revistas A1 em história como Plantand Soil, Natural Hazards, MarinePolicye Science of the Total Environment respondem tão bem aos critérios de avaliação quanto o Bulletin of the British Ornithologists’ Club e a Microbial Ecology (editada pela Springler), o primeiro avaliado como B4 e o segundo como B39. Eles respondem a todos os critérios formais (com exceção dos resumos e palavras-chave em português), bem como apresentam uma população extremamente diversificada em termos de vínculos com universidades e centros de estudos. Antes de propor uma visão de conjunto sobre o problema, convido o leitor a visitar revistas lotadas nos demais estratos.A base da pirâmide também amplia a percepção da área, mas o faz justamente ao dar a ver os limites do que a comissão de área julga admissível em termos de produção qualificada. Navegando nessa região de fronteira, supostamente relegada aos periódicos “discentes” e “frágeis”, chega-se a terras bastant edistintas. Sob as mesmas etiquetas B4-B5 se encontram, por exemplo, a Revista Estradas, a Educando em Mogie a Revue Européenne des Sciences Sociales.A primeira publicação é, em verdade, um anuário dos técnicos universitários atrelados ao Departamento de Estradas e Rodagens do Rio Grande do Sul. Disponibilizado na internet, ele mescla artigos científicos e de divulgação, sem resumos e palavras-chave, sobre temas diversos, tais como a ampliação da rede viária, técnicas de conservação e reparo de asfalto, bem como sobre memória institucional. Para o quadriênio avaliado, sua diversidade institucional não é desprezível, envolvendo pesquisadores das universidades federais e privadas do Rio Grande do Sul, além de, por certo, técnicos do DNIT e pesquisadores de empresas privadas. É espantoso, nesse sentido, que lhe seja atribuída a nota B5, que corresponde a um periódico discente que cumpre apenas os critérios formais. Tanto mais espantoso porque, justamente, alguns dos requisitos formais mínimos – abstracts, palavras-chave etc. – não são respeitados.Outro exemplo na mesma direção é o de Educando em Mogi. Trata-se de uma revista anual editada pela Secretaria Municipal de Educação de Mogi das Cruzes. Também ela não cumpre com os requisitos formais obrigatórios, publicando menos de 14 artigos por ano, sem resumos, abstracts e palavras-chave. Seus artigos versam sobre a educação, com ênfase em práticas locais. A população da revista apresenta algum grau de diversidade institucional, reunindo professores da rede pública local, bem como docentes provenientes das universidades privadas e públicas do Estado de São Paulo. Tal publicação recebeu também a nota B5, que é, repito, o estrato mais baixo dos periódicos“discentes” que apenas cumprem os requisitos formais. Ou bem ela deveria ser “C” em função dos itens obrigatórios, ou bem poderia ter um qualis maior, B3 ou B4, pois publica pesquisadores com alguma diversidade em termos de vínculos com programas de pós-graduação.Entre as publicações estrangeiras, como já foi indicado para os estratos superiores, discrepâncias também ocorrem. A Revue Européenne des Sciences Socialesé uma revista semestral, existente desde os anos 1960 e publicada pela editora suíça Droz, com textos em francês e inglês. Atrelada a algumas das principais bases de indexação europeias, ela que cumpre todos os requisitos formais – com exceção, bem entendido, dos resumos e das palavras chave em português –, além de apresentar uma grande diversidade institucional (embora, novamente,difícil de ser mensurada, pois não é expressa em termos de vínculos com programas de pós-graduação). Para a Comissão daÁrea, contudo, ela foi situada no estrato B4.Depois do cume e da base, partamos agora para o corpo da pirâmide, os estratos compreendidos entre B1 e B3, onde se encontra a grande parte dos periódicos analisados. A impressão que se tem é que eles comportam um pouco de tudo em termos de vínculos institucionais, temas e periodicidade. São raros, porém, os casos em que se vê o mesmo relaxamento dos critérios formais supostamente obrigatórios visível para os estratos inferiores. Cito, a esse respeito, Mosaico Italiano, que é um suplemento mensal de cultura da revista Comunità Italiana, editada pela Instituto Italiano de Cultura do Rio de Janeiro. Integralmente disponível na internet e redigida apenas em italiano, essa publicação não fornece resumos, informações sobre os autores, bem como dados sobre a aceitação dos artigos. Seus textos possuem, no entanto, um formato perfeitamente acadêmico, com notas de rodapé completas, e interessante conteúdo voltado à cultura italiana (literatura, teatro, cinema etc.). Mosaico Italiano, que possui um qualis B3, ainda inova ao ser a única revista avaliada a oferecer ao leitor quadrinhos e palavras-cruzadas.Como já mencionei, grande parte das revistas nacionais detentoras de notas intermediárias (B2-B3) está relacionada a grupos de pesquisa cadastrados no CNPq, ou então a laboratórios integrados a programas bem-conceituados, servindo de meio de expansão e de consolidação de suas redes. Além disso, várias encontram-se atrelada a programas menores, os quais não conseguem dispor de redes tão extensas. Por fim, deve-se ainda considerar aqui o número expressivo revistas de outras áreas.É também nesse meio da pirâmide que está a maior parte das publicações com duplo qualis. Esses casos são aqueles em que há um ISSN para o periódico impresso e outro para o eletrônico, sendo normalmente este o formato mais valorizado. Foram encontradas ao todo oito ocorrências do referido fenômeno10. Embora o número seja pouco expressivo, trata-se, ainda assim, de um contrassenso. Como é possível que a mesma revista, animada pela mesma população, atrelada aos mesmos indexadores, e, sobretudo, como mesmo conteúdo, receba duas notas distintas?... Os meios e os fins: refletindo sobre a avaliaçãoUma primeira impressão que se tem do Qualis Periódicos na Área de História é a relativa falta de coerência na aplicação de seus critérios. Isso se deve, ao menos em parte, à própria ambiguidadede seu texto, evidenciada no início do presente estudo. Mas tal ambiguidade não explica tudo. Faz-se igualmente sentir um hiato entre a razão fechada que move a avaliação e a complexidade das realidades analisadas, a tal ponto que esta é constantemente atropelada por aquela.O indicativo mais evidente disso é a indistinção entre periódicos nacionais e internacionais, ignorando as similitudes e diferenças entre os sistemas de ensino e pesquisa dos diversos países. Inviabiliza-se assim a leitura das revistas estrangeiras, que têm suas notas ora aumentadas, ora diminuídas, sem que se possa explicar tais variações a partir dos critérios elencados.O mesmo problema se faz sentir, embora de modo diferente, em relação aos periódicos nacionais. Existem, como procurei evidenciar nas páginas anteriores, problemas na aplicação desses critérios. Mas esse não é o nó da questão. Mesmo quando aplicados “coerentemente”, dentro dos limites da ambiguidade do documento de área, os critérios revelam não exatamente a qualidade das revistas, mas a diversidade dos vínculos institucionais – ou seja, a extensão das redes que aí se fazem presentes.No caso dos periódicos nacionais generalistas, é notável que os mais bem avaliados pertençam ou a associações profissionais, onde essas redes estão bem instaladas, ou a programas detentores de notas iguais ou superiores a 5. Um elemento a ser considerado é que esses programas raramente atuam como blocos monolíticos, dentro dos quais todos colaboram intensamente uns com os outros em uma direção precisa e de forma coordenada. Todos os programas são atravessados por tensões maiores ou menores entre os grupos e os indivíduos que os constituem. Ocorre apenas que os egressos desses programas, nos quais a probabilidade de haver grupos já estabelecidos é maior, continuam levando para suas instituições de destino os vínculos, intelectuais e afetivos, que aí contraíram. Deve-se considerar, portanto, um efeito de encruzilhada, o que torna certos programas mais propensos a servir de base para a constituição de redes, ou a ser atravessados de forma mais intensa por elas. Soma-se a isso um efeito inercial: as revistas com notas mais altas tendem a atrair um público mais amplo e de vínculos institucionais maisdiversificados.Quanto às revistas temáticas brasileiras, sua boa avaliação depende de dois fatores interligados. Em primeiro lugar, do valor publicamente reconhecido do tema ao qual se dedicam, algo capaz de atrair jovens e de garantir uma ancoragem institucional mais ou menos segura (em particular, cadeiras universitárias específicas como forma de reserva de mercado). Além disso, sua performance está atrelada à capacidade de os especialistas trabalharem em uníssono, sob um mesmo guarda-chuva institucional (uma associação, um grupo de pesquisa, uma revista etc.).Em seu conjunto, porém, as revistas nacionais tendem a ser esvaziadas de liberdade editorial e de personalidade. Os editores, cada vez mais pressionados por critérios formais e morfológico-quantitativos, sejam eles estabelecidos pela área, ou por indexadores externos, atuam como gestores burocráticos e relações públicas. Isso não quer dizer, bem entendido, que não exista trabalho intelectual na edição de uma revista: a avaliação cega por pares, mesmo comportando uma série de arbitrariedades, cumpre essa função. O fundamental, porém, é que os editores não são mais livres para encampar algo que julguem bom e inovador. Na realidade, eles precisam adequar os volumes sob suas responsabilidades, a despeito do fluxo contínuo de artigos e da qualidade que julgam encontrar nos mesmos, às exigências definidas pela Comissão de Área. Na prática, em termos de forma e de periodicidade, as revistas tendem a se tornar cada vez mais indistintas. Os mesmos critérios obrigam ainda os editores, caso queiram manter ou melhorar a nota da revista, a valorizar as redes extensas em detrimento da qualidade dos textos recebidos.Constatar que a avaliação reafirma o status quo de redes e, por conseguinte, das revistas e dos programas já consolidados, não significa dizer que estes não produziram ou possam produzir trabalhos de qualidade. Uma rede extensa de pesquisadores e um programa consolidado podem produzir pesquisas de qualidade. Mas isso não significa que eles necessariamente o façam. Por vezes, uma rede extensa e uma instituição consagrada atuam como fatores extremamente poderosos de inércia. A principal falha do Qualis Periódicos é, a meu ver, induzir a uma confusão entre essas duas instâncias: qualidade e “vínculo institucional”.Carlos Fico, o coordenador da Área de História responsável pela última avalição quadrienal, em um texto publicado em seu blog pessoal, defende que os critérios atuais foram concebidos não só em função das características objetivas da área, mas também, o que não deixa de ser algo paradoxal, contra a crença na objetividade (Fico, 2017). O grande adversário, argumenta, seria o produtivismo, em particular aquele induzido pelo uso acrítico do fator de impacto. Faço duas ressalvas a esse ajuizamento.Aprimeira delas é que o fator de impacto jamais foi utilizado pela CAPES, desde 1997, no âmbito das humanidades (Barata, 2016). Como,então, poderia ter ele exercido esse papel de vilão? O que ocorre é justamente o contrário: é o Qualis Periódicos atual que fomenta oprodutivismo, e ele o faz, como tentei demonstrar, elegendo critérios ambíguos e frouxos, bem como colocando no centro do processo de qualificação uma variável morfológico-institucional. Diante do cenário que a avaliação cria, os pesquisadores atrelados aos programas de pós-graduação, competindo uns com os outros por prestígio e recursos, tendem a mobilizar suas redes de modo a ocupar os espaços das revistas já estabelecidas e, encorajados pelas facilidades da internet, a criar as suas próprias. Quanto mais revistas existirem acessíveis a cada rede, e menor for o interstício de sua publicação, maiores as chances de agregar novos pesquisadores e de demostrar a força e a coesão desses grupos que têm seus epicentros em programas bem estabelecidos. Quanto mais artigos forem publicados, mais produtos poderão ser calibrados por variáveis “qualitativas” para gerar um índice “objetivo” do valor da produção de um programa – penso aqui na escala que vai de 111,61 a 821,20 pontos, e que aparece no item quatro das Fichas deAvaliação que cada Programa recebeu por ocasião da última avaliação quadrienal. O produtivismo trabalha aqui em prol da manutenção do status quo das redes e, por conseguinte, dos programas que lhes servem de abrigo.Isso não significa, bem entendido, que o fator de impacto possa ou devanecessariamente ser adotado como uma alternativa. Sua vantagem aparente é transferir o grosso do peso da avaliação para a própria comunidade científica. Afinal, um texto é importante não apenas porque existe, mas em função dos usos que dele são feitos. Ou seja, um texto é relevante apenas se é lido e discutido. Ainda assim, em sua forma mais simples, atrelada à quantidade de citações e ao exame de revistas, o fator de impacto tende a produzir efeitos muito similares, no sentido de impulsionar instituições ou redes de pesquisadores a inflacionar as referências a seus próprios trabalhos11.Antes mesmo de firmar posição sobre modalidades avaliativas, seria interessante rediscutir o que se avalia e a finalidade da avaliação. Por exemplo, quais são as consequências de se tomar um “programa de pós-graduação” ou uma “revista” como algo passível de ser avaliado publicamente através do estabelecimento de rankings? Acaso isso serve à comunidade científica, que tem alguns de seus próprios membros requisitados para fazer esse serviço classificatório para o Estado, atuando ainda em consonância com outros atores (os indexadores públicos e privados, nacionais e internacionais)? Acaso os portadores desses saberes já não sabem, como parte de sua familiarização com o universo do qual fazem parte, quais são os bons e os promissores pesquisadores nas áreas que lhes dizem respeito?No fundo, como Yves Gingras indicou recentemente, ao sujeitarem-se às práticas avaliativas promovidas por instituições não-científicas, inclusive colaborando com elas, os pesquisadores dão provas de uma gradual perda de autonomia e de autocrítica (2014a e b). Eles aceitam tacitamente que a ciência não justifica mais a si mesma, como um bem teoricamente à disposição de todos e como um dos componentes centrais da noção de cidadania. Se, há pouco mais de cem anos atrás, pesquisadores como Durkheim (1995: 268-325) e Weber(1999), cada qual à sua maneira, afirmavam que a ciência era peça indispensável à formação do sujeito do conhecimento, fortalecendo práticas reflexivas que colocam em questão as evidências de nosso cotidiano, hoje nós tratamos a ciência como uma commodity qualquer, o que dá ensejo, inclusive, a metas produtivas cada vez mais ousadas (em termos quantitativos e “qualitativos”). Isso se tornou a tal ponto uma doxa dominante, uma evidência, que utilizar os instrumentos da ciência para analisar o processo avaliativo surge como uma heresia, ou como uma posição anarquista (como escutei, não sem certa satisfação por ter provocado esse tipo de reação, durante as apresentações dos resultados parciais desta pesquisa).Mais perigoso que questionar a avaliação é, contudo, não o fazer. Valdei Lopes de Araújo, em artigo recente (2016), chamou a atenção para outras armadilhas que se escondem no bojo do mesmo processo: a avaliação, em sua “autonomia”, não só coloca os pesquisadores uns contra os outros, como lê a Universidade a partir de um ângulo que privilegia apenas a ideia de pesquisa (em detrimento do ensino e da extensão). Como fazer frente aos ataques à noção de cidadania e às narrativas históricas equivocadas e ideologicamente marcadas que fazem, hoje, sucesso junto ao grande público se estamos, cada vez mais, fechados em nossa própria bolha e, como se isso não bastasse, lutando uns contra os outros para sustentar modelos avaliativos punitivos e estigmatizantes. Nunca fomos tantos historiadores, com pesquisas de ponta em inúmeros ramos da disciplina. E, ainda assim, nunca estivemos tão isolados. O primeiro passo para reagirmos talvez passe pelo reconhecimento de que temos trabalhado arduamente por esse isolamento.... BibliografiaARAÚJO, Valdei Lopes de. 2016. O regime de autonomia avaliativo no sistema nacional de pós-graduação e o futuro das relações entre historiografia, ensino e experiência da história. Anos 90, v. 23, n. 44, pp. 85-110.BARATA, Rita. 2016. Dez coisas que você deveria saber sobre o Qualis. RBPG, v. 13, n. 30, pp.13-40.CAPES.2012. Comunicado no. 002/2012 – Área de História. Disponível em:http://www.capes.gov.br/images/stories/download/avaliacao/Qualis_-_Historia.pdf.Acesso em 01/09/2018._____.2016. Considerações sobre Qualis Periódicos. Disponível em:http://www.capes.gov.br/images/documentos/Qualis_periodicos_2016/Consideracoes_Qualis_Periodicos_Area_40__2016_08_08_HIST%C3%93RIA.pdf.Acesso em 01/09/2018.DURKHEIM,Émile. 1995. A Evolução Pedagógica. Porto Alegre: Artes Médicas (Tradução de Bruno Charles Magne).EDWARDS, Marc A.; ROY, Siddhartha. 2017. Academic Research in the 21st Century : maintaining scientific integrity in a climate of perverse incentives and hypercompetition. Environmental Enginnering Science, vol. 34, n. 1, pp. 51-61.FICO, Carlos. 2017. Quatro propostas para a pós-graduação em História.(disponível em:&#60;http://www.brasilrecente.com/2017/10/quatro-propostas-para-pos-graduacao-em.html&#62; .Acesso em 01/09/2018.GINGRAS, Yves. 2014a. Les dérives de l’évalutation de la recherche.Paris: Raisons d’Agir._____. 2014b. Évaluer sans classer. In: CASSIN, Barbara (org.). Derrière les grilles. Sortons du tout-évaluation. Paris,Fayard, pp. 291-312.WEBER, M. 1999. Ciência e Política: duas vocações. SãoPaulo: Cultrix.... Notas1 A versão original do presente texto foi elaborada para atender a um convite do II Colóquio Observatório da História (2017), fórum de debates organizado pelo Programa de Pós-Graduação em História da UNIFESP. Nele, discutimos, entre outros temas, os processos de avaliação de periódicos. Pude ainda, em 2018, apresentar etapas posteriores da mesma reflexão em duas outras circunstâncias, a saber, na mesa-redonda intitulada “Condições Atuais das Publicações em Humanidades”, ocorrida na USP, e nos quadros do “Terceiro Encontro a História Indisciplinada”, na UFRGS. Em todas essas ocasiões, recebi críticas e sugestões muito importantes. Cabe, portanto, um agradecimento a meus interlocutores. Aproveito ainda para expressar toda minha gratidão aos membros da equipe de avaliação dos periódicos que gentilmente sanaram minhas dúvidas sobre os procedimentos empregados, em particular Rodrigo Turin e Andrea Doré. Andrea e duas outras colegas do Programa de Pós-Graduação em História da UFPR, Ana Paula Vosne Martins e Marcella Guimarães, ainda se dispuseram a comentar o primeiro esboço deste texto. Dito isso, as informações e as teses aqui apresentadas são de minha inteira responsabilidade.2 Os dados das tabelas disponibilizadas pela CAPES apontam, uma vez finda a última avaliação quadrienal, para a existência de 62 programas acadêmicos e 9 mestrados profissionais na Área. Remeto aos arquivos disponibilizados em &#60;http://www.capes.gov.br/sala-de-imprensa/noticias/8691-capes-divulga-resultado-final-da-avaliacao-quadrienal-2017&#62; (acesso em 09 de setembro de 2018). Levando em conta os programas acadêmicos contemplados com as três maiores notas (7, 6 e 5), apenas dois entre vinte e dois não estão situados nas regiões sul e sudeste, sendo um no Norte (UFPA) e outro no Centro-Oeste (UFG), ambos com nota 5. O Rio de Janeiro concentra, sozinho, oito programas dentro desses três estratos. A distribuição é um pouco mais equilibrada quando se passa à nota 4. Dois vinte e dois programas assim classificados, sete estão no Nordeste, seis no Sul, cinco no Sudeste, três no Centro-Oeste e apenas um no Norte. Por fim, entre os programas exclusivamente de mestrado, com nota 3, há uma clara concentração no Nordeste. Dos quinze casos, sete estão lá. Os outros programas estão espalhados no Sudeste e no Sul, com três programas em cada região, bem como no Centro-Oeste, com dois programas. Apenas um programa nordestino foi classificado com nota 2 e dois programas da região sudeste receberam a nota 3/2 (o que significa, na prática, a perda do programa de doutorado).3 A ANPUH, incluindo suas regionais, edita várias revistas, sendo a Revista Brasileira de História (qualis A1) a mais conhecida delas; a ANPOCS mantém a Revista Brasileira de Ciências Sociais (qualis A1); a ABA edita a Vibrant (qualis A1); a Sociedade Brasileira de Ciências do Solo sustenta a Revista Brasileira de Ciências do Solo (qualis B2); e, por fim, o Colégio Brasileiro de Radiologia e Diagnóstico por Imagem publica a revista RB. Radiologia Brasileira (qualis B3).4 Considerando-se apenas as revistas nacionais de todos os estrados (n = 949), focalizando no último ano da avaliação, a disposição é a seguinte: 4,53% anuais, 61,33% semestrais, 21,60% quadrimestrais, 8,53% trimestrais, 4% outras. Selecionando, no mesmo universo de revistas, apenas os estrados A1-B1 (n=120), a disposição altera-se da seguinte maneira: 0,83% anuais, 31,67% semestrais, 36,67% quadrimestrais, 26,67% trimestrais, 4,17% outras. Ou seja, no último quadriênio esse movimento de aceleração da produção acentuou-se nos estratos superiores.5 Essas redes não se manifestam apenas no “presente” avaliado, como expressão de um esforço consciente de um grupo. Ela também se faz sentir na dimensão cumulativa das avaliações passadas. Foi apenas em 2012, como indica o comunicado n. 002/2012 da Área de História, que o critério morfológico-quantitativo passou a ser utilizado de forma explícita (CAPES, 2012, 3-5). Uma vez definidos esses critérios, as revistas que previamente já dispunham de qualis elevado puderam se beneficiar de um efeito inercial. Ou seja, ter um qualis elevado facilita singularmente o trabalho de seus editores no sentido de manter a diversidade de vínculos institucionais dos autores, uma vez que a revista é mais visada para publicação. Isso significa que uma revista nova, sem dispor dessa vantagem anterior, depende basicamente da constituição de uma rede organizada e extensa, capaz de garantir diversidade institucional ao longo de todo um período de avaliação. Não é de se estranhar a quantidade reduzida de revistas que lograram chegar aos estratos superiores tendo sido criadas nos últimos dezoito anos (gráficos 6 e 7).6 Poder-se-ia evocar, nesse ponto, a lista de bolsistas produtividade do CNPq. Ainda assim, Carlos Fico, então coordenador da área, sugere em um texto publicado em seu Blog pessoal que um programa reunindo esses pesquisadores não atingiria, em termos quantitativos e qualitativos, os estratos mais elevados (Fico, 2017).7 Ora, para ingressar nesses espaços, as revistas têm de se normatizar, aceitando as exigências dos indexadores, os quais, em resposta, ampliam a acessibilidade de seus textos (podendo, em alguns casos, comercializar o material). Ao aceitar que essa terceirização dos critérios de avaliação é desejável, a Comissão não discute os efeitos que isso tem na forma e no conteúdo da produção científica. No fundo, trata-se de uma prática análoga aos procedimentos de certificação e de avaliação de risco em vigor no mundo corporativo.8 Tomo como exemplo a Historia de Indias, que é uma revista do Consejo Superior de Investigaciones Científicas, braço de um ministério espanhol. No ano de 2016 (vol. 76), ela publicou vinte e cinco artigos de vinte e sete pesquisadores instalados em onze países. O único caso em que se faz menção a programas de pós-graduação é justamente o de uma autora brasileira que publica no número 266 da revista. Há outro artigo de um brasileiro no número 268, mas ele atua em uma universidade que não possui programa de pós-graduação em história. Em todos os outros casos, a alusão remete diretamente a outro tipo de instituição, tais como um centro de pesquisas do Colégio de México, o Conicet argentino, o Ministério de Asuntos Exteriores espanhol, a Academia de Ciências Russa, entre outros. Não se tratam, contudo, no sentido estrito do termo, de programas de pós-graduação. Há ainda casos de autores com dupla vinculação. O documento de área não esclarece como se deve ler esses dados.9 Microbial Ecology é considerada A1 em seis áreas distintas. O BOC-Bulletin já tem sua melhor em Ciências Ambientais (B1).10 É o caso da Civitas: revista de Ciências sociais, da Horizonte: revista de estudos de teologia e ciências da religião, da Leitura: teoria e prática, da Momento: diálogos em educação, da Navegações, da Revista Brasileira de História da Mídia; da Terra Brasilis; e da Textos e Debates.11 Existe uma ampla literatura a esse respeito, abarcando várias áreas do conhecimento. Um balanço recente, com várias referências importantes, pode ser encontrado em Edwards e Roy, 2017.