Destaques
Facebook
Robert-Evan-VerhineRobert Verhine
Pró-Reitor de Ensino de Pós-Graduação da Universidade Federal da Bahia
Ex-Presidente da Comissão Nacional de Avaliação da Educação Superior – CONAES
***

Estamos comemorando os 10 anos do SINAES. Como se sabe, o Sistema Nacional de Avaliação da Educação Superior foi instituído pela Lei 10.861, de 14 de abril de 2004, tendo como finalidades a melhoria da qualidade da educação superior, a orientação da expansão da sua oferta, o aumento permanente da sua eficácia institucional, acadêmica e social, e, ainda, a promoção do aprofundamento dos compromissos e responsabilidades das instituições de educação superior. Baseado em um relatório bem fundamentado, produzido por uma comissão composta de especialistas renomados na área, o SINAES aproveitou aspectos de uma experiência nacional já construída, mas, ao mesmo tempo, foi muito além das iniciativas que o antecederam, tais como o PAIUB e o ENC (Provão), pois prometeu articular avaliação educativa, de natureza formativa, com os processos de regulação (supervisão e fiscalização) exercidos pelo Estado, de forma a respeitar uma série de princípios largamente aceitos, tais como o respeito à identidade e à diversidade institucional, dentre muitos. Embora três componentes distintos fossem focalizados (a avaliação institucional, a avaliação de cursos e a avaliação do desempenho estudantil), o elemento central seria a autoavaliação da instituição, visando promover, através de processos participativos, uma análise global e integrada das dimensões, estruturas, finalidades, atividades, relações e responsabilidades sociais das instituições de educação superior e de seus cursos de graduação.

Apesar da concepção elegante e teoricamente embasada do SINAES, sua implementação a partir de 2004 se tornou um processo árduo. A avaliação do desempenho estudantil foi implantada imediatamente, pois já existiam procedimentos e infraestrutura para a aplicação de exames em larga escala, decorrentes do período (1995 a 2003) em que se aplicava o Provão. Também a autoavaliação institucional se iniciou rapidamente, uma vez que, segundo informações fornecidas pelo MEC, a grande maioria das IES no país instituiu sua Comissão Própria de Avaliação – CPA no ano de 2004 e encaminhou seu relatório de autoavaliação ao MEC até o final de 2006. A etapa externa da avaliação, por outro lado, tanto de instituições quanto de cursos, demorou a se concretizar. Avaliadores em grande quantidade precisavam ser capacitados, instrumentos de avaliação tiveram que ser formulados, pré-testados e reformulados, e uma estrutura de logística teve que ser montada de modo a contemplar visitas in loco para todas as instituições e todos os cursos de nível superior que se integram ao sistema federal de educação. Enquanto isso, as instituições não recebiam o retorno esperado referente a seus relatórios de autoavaliação, prejudicando a sustentação dos processos avaliativos internos efetivamente instituídos. Neste contexto, o exame estudantil, por ser aplicado anualmente, voltou a assumir a centralidade que marcava a época do Provão e que os que conceberam o SINAES pretendiam apagar.

SEMINÁRIO 10 Anos do SINAES: Avanços e Desafios da Avaliação da Educação Superior

SEMINÁRIO 10 Anos do SINAES: Avanços e Desafios da Avaliação da Educação Superior

A implementação do SINAES avançou no decorrer do tempo e foi adotada uma série de ajustes referentes à concepção inicial do SINAES e à interpretação de sua lei de instituição, buscando a viabilização dos componentes do SINAES na sua íntegra (VERHINE, 2010). Entre tais ajustes foram a introdução do o Indicador de Diferença entre os Desempenhos Observados e Esperados – IDD (para captar o valor agregado de um curso a partir de seu desempenho no ENADE), do Conceito Preliminar de Curso – CPC (para identificar cursos em situação problemática, necessitando uma visita de avaliação por uma comissão externa) e do Índice Geral de Cursos – IGC (para estabelecer um referencial para as avaliações institucionais realizadas pelas comissões externas). Além disso, o ENADE para ingressantes foi substituído pelo ENEM, novos instrumentos (flexíveis, mas padronizados) foram desenvolvidos para a avaliação externa de cursos e de instituições e os avaliadores capacitados passaram ser sistematicamente avaliados.

Estes avanços e diversos outros serão discutidos pelos participantes da Mesa 1 desta sessão. Existe, atualmente, amplo consenso de que todos os três componentes do SINAES têm sido, de fato, implantados. Por outro lado, todos concordam que melhorias devem ser buscadas sistematicamente, de forma constante e articulada. Ao concluir seu mandato como Presidente da CONAES, no final de dezembro de 2013, o autor do presente texto produziu uma lista de prioridades a serem enfrentadas pelo SINAES no decorrer do ano de 2014. Nas páginas que se seguem, são brevemente discutidas algumas das prioridades consideradas centrais.

Autoavaliação Institucional

Entre as melhorias necessárias, a mais urgente trata do aperfeiçoamento dos processos de autoavaliação desenvolvidos nas instituições de educação superior. Em muitas instituições, a autoavaliação funciona muito bem, realizada através de processos participativos, baseados em diversas estratégias, técnicas e instrumentos, gerando relatórios analíticos que apontam potencialidades e fragilidades institucionais e que revelam políticas e ações de correção e consolidação. Fica evidente, no entanto, que tais sucessos não existem em uma parte significativa das IES no país. Dados levantados pelo INEP demonstram que aproximadamente 60% das instituições brasileiras são inadimplentes a respeito do encaminhamento ao MEC do relatório de sua CPA. Outro estudo que revela que a autoavaliação institucional sofre problemas é uma pesquisa encomendada pelo INEP na qual foram analisados 172 relatórios elaborados por CPAs. Os responsáveis pela investigação concluíram que (1) o envolvimento da comunidade acadêmica no processo de autoavaliação aparece de forma pouco explicita, (2) há pouca consistência entre os resultados da autoavaliação e o contexto da IES, (3) a maioria dos relatórios analisados não apresenta a devida análise e interpretação e (4) apenas 13,4% dos relatórios da amostra são completos e de boa qualidade (BRASIL, 2011, p. 83).

Estas tendências nada positivas são preocupantes diante da importância da autoavaliação para o funcionamento e o sucesso do Sistema Nacional de Avaliação da Educação Superior. A autoavaliação constitui o elemento formativo do SINAES, gerando uma dinâmica interna em prol da melhoria da instituição, promovendo processos de autoconhecimento, criando uma cultura avaliativa, permitindo uma prestação de contas à comunidade na qual a IES se insere e fornecendo subsídios para a tomada de decisões relacionadas com a gestão da instituição e sua vida acadêmica (BRASIL, 2004, p. 97). Além disso, no contexto do SINAES, a autoavaliação serve para desencadear os processos externos de avaliação. O relatório da CPA orienta e contextualiza o trabalho desenvolvido pelas comissões de visita. É por isso que, de acordo com os atuais procedimentos do SINAES, a avaliação externa da instituição não pode ser realizada sem o recebimento pelo MEC do relatório da CPA encaminhado eletronicamente através do sistema e-MEC.

Assim, não a há dúvida que algo tem que ser feito, urgentemente, para fortalecer os processos de autoavaliação institucional desenvolvidos no âmbito do SINAES. Em muitas instituições, ainda faltam à CPA os incentivos, apoios e estruturas que são necessários para seu bom funcionamento. É necessário que a escolha dos membros da CPA seja feito de maneira a assegurar a participação de membros que sejam comprometidos, experientes e competentes em relação às atividades de avaliação. É também necessário que a CPA possua a devida autonomia e que receba o apoio de um corpo técnico altamente qualificado. Recomenda-se que CPA seja articulada com uma estrutura especifica de avaliação (uma pró-reitoria, superintendência ou diretoria). Ela deve estabelecer as diretrizes, metas e procedimentos da autoavaliação (como a CONAES faz em nível nacional) ao tempo em que a operacionalização do processo é assumida por professores e técnicos especializados, implementando as determinações da CPA como o INEP faz em relação às decisões da CONAES. É também recomendável a implementação de processos de autoavaliação no nível de cada curso, pois é através do curso que a maior parte das atividades fins da instituição (formação e produção acadêmica) é desenvolvida. Sugere-se a criação de sub-CPAs, para cursos e/ou para áreas de conhecimento, que promovam estudos e seminários em ambientes específicos e que produzam relatórios que alimentem o relatório da CPA referente á instituição como um todo.

A CONAES, por sua vez, deve trabalhar com o INEP para institucionalizar o ciclo de seminários e publicação de experiências iniciado em 2013. Precisa produzir novas orientações, pedagogicamente construídas e definir, de forma clara e definitiva, a diferença entre relatório parcial e relatório integral e a periodicidade da entrega formal. Além disso, a CONAES deve exigir que os relatórios sejam acompanhados por um plano de ação para sanar os problemas e fragilidades identificados. Outra medida possível seria a formação, em âmbito nacional, de comissões de especialistas que possam ler uma amostra de relatórios anualmente (talvez um quinto deles, perfazendo um ciclo de cinco anos) para fornecer feedback às CPAs sobre a qualidade de seus produtos. Tal feedback deve complementar o gerado pelo novo instrumento para a avaliação externa da instituição, lançado no início de 2014. Com base neste instrumento, a autoavaliação, pela primeira vez, se torna alvo da avaliação externa, o que deve incentivar esforços para aperfeiçoar processos autoavaliativos nas instituições que, até agora, têm sido relapsas neste sentido. Nesta mesma linha, a CONAES e o INEP devem assegurar que todas as informações avaliativas disponibilizadas às IES, através, por exemplo, dos relatórios de visita e do ENADE e dos dados contidos no Censo de Educação Superior, sejam precisas, completas e didaticamente apresentadas.

Globalidade do SINAES

O Sistema Nacional de Avaliação da Educação Superior não é, de fato, totalmente nacional, pois não envolve diretamente as IES estaduais. De acordo com o pacto federativo, tais instituições são avaliadas e reguladas pelos Conselhos Estaduais de Educação, podendo participar do SINAES através da celebração de convênios formulados no espirito de cooperação. No momento, todas as instituições estaduais participam do ENADE, mas nenhum estado participa do SINAES integralmente, se submetendo às avaliações externas organizadas pelo INEP. A participação integral dos estados deve ser entusiasticamente incentivada, pois fortaleceria o SINAES, assegurando o alcance de padrões de qualidade mínima em todas as IES brasileiras. Para realizar a referida globalidade, é necessário atualizar o sistema e-MEC para que a participação dos sistemas estaduais seja contemplada e convencer os conselhos estaduais do valor de abrir mão de sua prerrogativa no sentido de escolher os membros das comissões de visita. Também é importante que tais conselhos entendam que a participação no SINAES não significa o abandono de suas responsabilidades regulatórias. O SINAES é um sistema de avaliação, não de regulação, e os dados por ele gerados servem para subsidiar a tomada de decisões de naturezas diversas, inclusive as relacionadas com processos de regulação, praticados tanto pela União quanto pelos estados.

Qualidade dos Indicadores

A qualidade dos indicadores do SINAES (CPC, IGC, IDD e outros) deve ser aperfeiçoada, buscando informações mais confiáveis, procurando novas fontes, acrescentando variáveis adicionais, experimentando o uso de diferentes configurações de pesos, adotando técnicas de estatística e de análise mais sofisticadas e submetendo cada indicador a processos rigorosos de validação. No caso do CPC, por exemplo, outras formas para captar o projeto pedagógico e a infraestrutura do curso precisam ser investigadas, critérios de qualidade para cada ingrediente devem ser preestabelecidos (evitando o uso da curva normal), e visitas têm que ser realizadas com cursos de todos os níveis na escala (e não apenas os com nota 1 ou 2) para estabelecer comparabilidade entre o CPC e os conceitos atribuídos pelas comissões externas. Nas avaliações, outras dimensões, tais como “internacionalização” e “trajetória do egresso” podem ser consideradas e dados oriundos de outros setores do governo (IBGE, IPEA, Ministério do Trabalho, etc.) devem ser aproveitados. As possibilidades são imensas, mas é necessário que todos os atores do SINAES tenham a convicção de que o sistema é dinâmico, inacabado e que vive um processo de construção continuo e constante.

Qualidade dos Avaliadores

Um dos maiores desafios que o SINAES enfrenta trata da qualidade dos avaliadores que compõem as comissões de visita, especialmente considerando o impacto regulatório dos conceitos atribuídos pelas referidas comissões. O INEP tem aperfeiçoado seus processos de capacitar avaliadores, utilizando procedimentos presenciais e também a distancia, tanto para treinamentos iniciais quanto para processos de requalificação e aprendizagem continua. Também instalou a avaliação dos avaliadores externos por parte das CPA e outros atores institucionais, fornecendo feedback valioso aos membros das comissões e ao INEP e permitindo a identificação de avaliadores potencialmente problemáticos, que precisam receber capacitações especiais ou serem retirado da base nacional. Recomenda-se que, no futuro, o INEP desenvolva pelo menos duas bases, uma composta de avaliadores experientes e que tenham recebido avaliações positivas por parte das instituições visitadas e outra consistindo de avaliadores novos, com participação ainda limitada nas avaliações do SINAES. Dessa forma, cada comissão de visita poderia ser montada de forma que conte com a participação de membros de cada uma das bases, tendo alguém experiente como coordenador e pela menos uma pessoa que, através da experiência prática, vai aperfeiçoando suas competências avaliativas. Assim, os experientes são valorizados enquanto o número de avaliadores devidamente qualificados cresce.

O Uso dos Resultados

A ampla literatura sobre avaliação mostra que um dos problemas maiores a serem enfrentados refere-se ao uso dos resultados obtidos. O SINAES não é uma exceção. Muitas vezes os relatórios produzidos nem são lidos pelos atores em foco. Outras vezes a leitura acontece, mas as informações ou não são aproveitadas ou são utilizadas de forma indevida, gerando, por exemplo, punições em vez ações positivas. O bom uso dos resultados de avaliações depende de uma cultura de avaliação, de incentivos, de orientações, de informações pedagogicamente apresentadas e, por que não dizer, de cobranças formais. Por exemplo, conforme mencionado acima, os relatórios de autoavaliação devem ser acompanhados por planos de ação que busquem solucionar as fragilidades apontadas. Também, os relatórios sobre os resultados do ENADE, recebidos por cada curso participante, devem indicar claramente a relação entre o desempenho e as competências, habilidades e conhecimentos que compõem a matriz de referência. Além disso, o website do SINAES precisa ser atualizado e ampliado, fornecendo experiências, informações e análises que ajudem o usuário do SINAES a melhor aproveitar os resultados gerados.

Relação Avaliação x Regulação

No contexto do SINAES, a articulação entre os processos de avaliação e de regulação é imprescindível, pois as informações produzidas pelas atividades avaliativas alimentam e fundamentam as decisões no âmbito da regulação, decisões essas que tratam da autorização, do reconhecimento e da renovação de reconhecimento de cursos superiores, bem como do credenciamento e do recredenciamento de instituições de educação superior. Deve ser compreendido, no entanto, que os dois processos são distintos, exigindo procedimentos, competências e posturas diferenciados. A regulação se baseia em determinações oficiais, por parte do governo, que buscam assegurar a oferta de bens e serviços de qualidade aos membros da sociedade. A avaliação, por sua vez, objetiva o fornecimento de informações confiáveis para a tomada de decisões, fundamentando decisões de regulação e também uma grande variedade de outras decisões, por parte de diferentes atores, em diferentes níveis, em muitos casos distantes das decisões tomadas no âmbito governamental. Assim, um processo não deve ser confundido com o outro, Fica evidente que medidas são necessárias para assegurar que os interesses e as pressões associadas com a regulação não prejudicam a integridade do SINAES.

Uma análise das possíveis complementaridades e tensões entre avaliação e regulação fica especialmente pertinente considerando o teor do Projeto de Lei 4.372/2012, criando o Instituto Nacional de Supervisão e Avaliação de Educação Superior – INSAES, que foi inicialmente encaminhado pelo Poder Executivo à Câmara de Deputados do Congresso Federal Brasileiro em 31 de agosto de 2012. O projeto, que se encontra atualmente em processo de tramitação, estabelece, no seu Art. 3º, que a avaliação da educação superior e os consequentes processos de regulação e supervisão sejam realizados no âmbito da mesma instância. A esperança de que o Instituto vai estreitar a relação entre avaliação e regulação, no sentido de agilizar decisões de natureza regulatória que, em alguns casos, são prejudicadas pela lentidão do fluxo entre as entidades atualmente envolvidas na avaliação/regulação. A proposta do PL é defensável, mas somente na medida em que os problemas associadas com a integração dos dois processos distintos sejam reconhecidos e solucionados. A literatura internacional revela a importância da divisão entre os dois temas (Dill e Beerkens, 2013). Tal divisão é imprescindível para dar ênfase ao fato de que a regulação é apenas uma entre as diversas consequências das ações avaliativas. Ações de avaliação são desenvolvidas para orientar decisões variadas, não apenas as das autoridades públicas referentes à regulação e ao estabelecimento de políticas públicas, mas também as tomadas por alunos e suas famílias ao fazerem escolhas entre opções de estudo e por lideranças acadêmicas que busquem melhorias nos níveis do curso e da instituição. Assim, na opinião deste autor, é imprescindível que, no interior do INSAES, os processos de avaliação estejam desenvolvidos de forma autônoma, independente dos de supervisão e de regulação. Para garantir a independência e a autonomia acima sugerida, uma serie de medidas concretas deveriam ser implementadas. As recomendações sumarizadas abaixo foram recentemente aprovadas pela plenária da CONAES e encaminhadas às instancias pertinentes (BRASIL, 2013). São elas:

  • Uma das Diretorias do INSAES deve tratar, especificamente, da avaliação de educação superior. Idealmente, sua estrutura de seguir o modelo estabelecido pela Diretoria de Avaliação da Educação Superior – DAES, do INEP, no qual são contempladas diretorias específicas para lidar com os diferentes componentes do SINAES.
  • O Conselho Superior do INSAES deve ser composto por um número razoável de membros com experiência aprofundada no campo da avaliação da educação superior. Neste sentido, é importante que, ao escolher os membros, sejam ouvidas as associações e sociedades acadêmicas que representam os avaliadores renomados do Brasil.
  • Além disso, é recomendável que o Presidente da CONAES tenha um assento permanente no referido Conselho, para fortalecer a articulação entre o INSAES e as outras instâncias que compõem o Sistema Nacional de Avaliação da Educação Superior.
  • É importante que o papel do Conselho Superior, como órgão de orientação das atividades do INSAES, seja distinto do da CONAES, como órgão responsável pela coordenação e supervisão da CONAES.
  • Ao definir o quadro técnico do novo Instituto, deve-se reconhecer que os conhecimentos, habilidades e competências do especialista em avaliação diferem dos do especialista em supervisão. Assim, os cargos desses dois tipos de especialista devem ser distintos, cada um com seu próprio perfil e termo de referencia.
  • Finalmente, é importante considerar a autonomia acadêmica e a responsabilidade social da agência como um todo. A credibilidade dos processos de regulação e avaliação é essencial para sua legitimidade, flexibilidade e eficiência. Assim, a “independência” de agências responsáveis para tais atividades, em relação a instituições de educação superior, a governos e a entidades de influencia política, é amplamente defendida em toda parte do mundo (BRENNAN; SHAH, 2000). Atualmente, tais agências são avaliadas externamente, de forma pública, por entidades internacionais criadas por tal fim e por órgãos nacionais de auditória que se especializam na fiscalização de regimes e instituições de regulação. O Projeto de Lei 4372/2012 não trata da independência e da fiscalização externa do INSAES. Mas tais mecanismos devem ser construídos no processo de sua implementação, buscando assegurar para o INSAES a credibilidade e a legitimidade necessárias para o seu bom funcionamento.

Considerações Finais

Os que conceituaram o SINAES ressaltaram a autoavaliação institucional, focalizada em dimensões “globais”, mas extremamente amplas, e complementada por visitas externas, cuja finalidade principal era feedback e orientação, fornecidas através de um “olhar subjetivo” e o desenvolvimento de processos de “diálogo construtivo”. Esta visão é muito boa e deve ser valorizada, na medida do possível. Porém, não é uma perspectiva que funcione para fins de regulação estatal, especialmente em relação a um sistema do tamanho daquele de educação superior brasileira. Em primeiro lugar, a regulação estatal exige que todas as instituições e todos os cursos sejam sistematicamente avaliados. Em segundo, precisa se basear em procedimentos que buscam maximizar a “objetividade” das informações e dos julgamentos efetuados, pois somente assim é que seria possível comparar a qualidade das instituições e dos cursos que compõem o sistema e fornecer dados através dos quais instituições e cursos possam, eles mesmas, verificar os resultados, compreender as razões pelo conceito recebido e, se julgar necessário, apresentar um recurso adequadamente fundamentado.

Vale ainda ressaltar dois pontos importantes. Em primeiro lugar, a legislação do SINAES complicou a avaliação ao cobrar a classificação de instituições e cursos em uma escala de cinco níveis. Dois níveis (satisfatório / não satisfatório) seriam suficientes. O ranqueamento de instituições e de cursos é sempre problemático e, na opinião deste autor, não deve ser algo chancelado pelo Estado. Em segundo lugar, a avaliação para fins de regulamentação não deve significar o não desenvolvimento de avaliações de natureza educativa. Tais avaliações são mais bem realizadas ao nível da instituição ou do curso, através de processos de autoavaliações. Idealmente, a autoavaliação deve fazer parte do cotidiano da instituição e do curso e ser desenvolvida no espírito de participação e de compromisso social eloquentemente articulado na formulação original do SINAES.

REFERÊNCIAS

BRENNAN, J. and SHAH, T. Managing Quality in Higher Education: An International Perspective on Institutional Assessment and Change. Buckingham: OECD, SRHE and Open University Press, 2000.

BRASIL. Ministério de Educação; Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. SINAES. Da concepção à regulamentação. 2ª ed., ampliada. Brasília: INEP/MEC, 2004.

­­­­________. Ministério de Educação; Instituto Nacional de Estudos e Pesquisas Educacionais Anísio Teixeira. Sistema Nacional de Avaliação da Educação Superior: Análise dos Relatórios de Autoavaliação das Instituições de Educação Superior. V. 3. Brasília: INEP/MEC, 2011.

DILL, David; BEERKENS, Maarja, Designing the framework for assuring academic standards: lessons learned about professional market and government regulation of academic quality. Higher Education,v. 65, n. 3, p. 341-357, 2013.

VERHINE, R.E. O novo alfabeto do SINAES: reflexões sobre o IDD, CPC e IGC. In: A. Dalben; J. Diniz; L. Leal; L. Santos. Convergências e tensões no campo da formação e do trabalho docente. Belo Horizonte: Autêntica, p. 632-650, 2010.

Avaliar

Deixe uma resposta

Números do Ensino Superior

Quer contribuir para o blog da ABMES?

Envie seu artigo para o e-mail comunicacao@abmes.org.br com nome completo, cargo e foto e aguarde nosso contato!

Categorias
Autores
Arquivos