Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 177
Contexto escolar e indicadores educacionais: condições
desiguais para a efetivação de uma política de avaliação
educacionalI
Maria Teresa Gonzaga AlvesII
José Francisco SoaresII
Resumo
A introdução do Índice de Desenvolvimento da Educação Básica
(Ideb) pelo governo federal representou uma mudança significativa
na forma como a educação passou a ser acompanhada no Brasil. O
Ideb é o indicador de qualidade desenvolvido para avaliar a educação oferecida no país e em cada unidade da federação, município
e escola pública. Ele serve também para acompanhar a melhoria
da qualidade educacional segundo metas preestabelecidas. Seu uso
para essas finalidades tem suscitado debates sobre o tipo de política de responsabilização que o indicador engendra. Argumenta-se,
neste artigo, que o Ideb coloca foco em resultados finalísticos, sem
considerar as condições que propiciam a obtenção de tais resultados. O trabalho analisa a relação entre o indicador e o contexto
escolar, considerando para tal o perfil de seus alunos e as características do estabelecimento de ensino. A análise empírica utiliza
dados da Prova Brasil, do Censo Escolar e do próprio Ideb, por meio
de modelos de regressão linear múltipla. Os resultados mostram que
as escolas que atendem a alunos de menor nível socioeconômico,
como esperado, têm piores resultados, mesmo com o controle de
outras características. Para essas escolas, é muito mais difícil elevar
o valor do indicador. Além disso, as condições de infraestrutura e
de complexidade da instituição também guardam relação com o
Ideb. Por fim, os resultados indicam que são necessárias políticas
de superação dessas limitações e que tais condições não podem ser
ignoradas na análise do Ideb.
Palavras-chave
Avaliação educacional – Contexto escolar – Ensino fundamental.
I- Os autores agradecem ao Conselho Nacional
de Desenvolvimento Científico e Tecnológico
(CNPq) o auxílio concedido à pesquisa, o qual
possibilitou este artigo.
II- Universidade Federal de Minas Gerais,
Belo Horizonte, MG, Brasil.
Contatos: mtga@ufmg.br;
francisco-soares@ufmg.br
178 Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013.
School context and educational indicators: unequal
conditions for the implementation of an education assessment
policyI
Maria Teresa Gonzaga AlvesII
José Francisco SoaresII
Abstract
The introduction by the federal government of the Basic Education
Development Index (Ideb in the Portuguese acronym for Índice de
Desenvolvimento da Educação Básica) represented a significant
change in the way in which education is followed in Brazil. Ideb
is the quality indicator developed to evaluate the education offered
in this country and by each unit of the Federation, municipality,
and public school. It also allows following the improvement in the
quality of education according to preestablished goals. Its use for
these purposes has been fuelling debates about the kind of policy of
accountability that the indicator creates. It is argued in this article
that Ideb puts focus on end results, without taking into account
the conditions that have contributed to obtaining such results. The
work analyzes the relations between this indicator and the school
context, considering the profile of the pupils and the characteristics
of the teaching institution. The empirical study makes use of data
from the Prova Brasil, from the School Census and from Ideb itself
through models of multiple linear regression. The results show that
the schools that cater for pupils of a less privileged socioeconomic
background exhibit, as expected, poorer results even when controlled
for other features. These schools find it much more difficult to elevate
the value of the indicator. Besides, infrastructure conditions and the
complexity of the institutions are also correlated with Ideb. Lastly,
the results indicate that there is a need for policies to overcome
these limitations and that these conditions cannot be ignored in the
analysis of the Ideb.
Keywords
Educational assessment – School context – Fundamental education.
I- The authors acknowledge the support of
the Brazilian National Council of Scientific and
Technological Development (CNPq), which made
this article possible.
II- Universidade Federal de Minas Gerais, Belo
Horizonte, MG, Brasil.
Contatos: mtga@ufmg.br;
francisco-soares@ufmg.br
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 179
Este trabalho analisa a relação entre
o contexto escolar – descrito pelo perfil dos
alunos e pelas características da escola – e a
qualidade educacional aferida pelo Índice de
Desenvolvimento da Educação Básica (Ideb).
Esse indicador foi introduzido na política educacional pelo Plano de Metas Compromisso Todos
pela Educação (BRASIL, 2007). Ele é calculado,
a cada dois anos, pelo Instituto Nacional de
Estudos e Pesquisas Educacionais Anísio Teixeira
(Inep) do Ministério da Educação (MEC), combinando dados de rendimento escolar – obtidos
pelo Censo Escolar – com dados do desempenho
dos alunos nas avaliações externas nacionais.
Por meio do Ideb, o governo sinaliza para toda
a sociedade que um sistema de ensino, para ter
qualidade, deve garantir o aprendizado de seus
alunos com uma trajetória educacional regular,
sem reprovações (FERNANDES, 2007).
A introdução do Ideb se deu a partir da
hipótese de que professores, diretores e gestores
educacionais reagiriam a cobranças de resultados por parte da sociedade, melhorando a eficácia de seus processos internos e, consequentemente, a qualidade do ensino (FERNANDES;
GREMAUD, 2009). Contudo, tal hipótese não
leva em conta o fato de que os resultados escolares são fortemente associados à origem
social e cultural dos alunos matriculados nas
escolas (COLEMAN et al., 1966; BOURDIEU;
PASSERON, 2008). Estudos educacionais mostram, também, que a melhoria no nível de desempenho dos alunos pode ser obtida ao custo
do aumento da desigualdade entre grupos de
alunos dentro das mesmas escolas (BRYK; LEE,
1989; FRANCO et al., 2007). Ou seja, práticas
que melhoram a qualidade educacional média
de um estabelecimento de ensino podem ter
como efeito perverso o aumento da desigualdade entre alunos discriminados por raça/cor,
gênero e outras variáveis sociodemográficas
(SOARES; ALVES, 2003).
O presente trabalho aborda a complexa
relação entre o valor do Ideb da escola e suas
características contextuais definidas pelo perfil de seus alunos e pelas condições da oferta
escolar. Para tanto, faz uso dos dados da Prova
Brasil, do Censo Escolar e do Ideb referentes
às escolas públicas de ensino fundamental de
todo o Brasil que possuem essas informações
divulgadas pelo Inep. O texto está estruturado em quatro partes, além desta introdução.
Inicialmente, será feita uma breve revisão sobre estudos anteriores a respeito das avaliações
educacionais que culminaram com a introdução do Ideb, e sobre a presença desse indicador
na pesquisa educacional recente. Na abordagem
analítica, será exposto o modelo conceitual e
sua operacionalização empírica. Em seguida,
serão apresentados os resultados, os quais serão
sumarizados e discutidos na última seção.
Estudos anteriores
As avaliações educacionais externas
em larga escala são uma realidade no país
desde a década de 1990, com a implantação
do Sistema de Avaliação da Educação Básica
(Saeb) pelo Inep.1
A consolidação do Saeb em
nível nacional possibilitou que os sistemas de
ensino pudessem ser avaliados e comparados
quanto ao aprendizado de seus alunos, e não
apenas quanto à capacidade de atendimento por meio da expansão da rede de ensino
(OLIVEIRA; ARAÚJO, 2005). Assim, os resultados do Sistema, divulgados bianualmente até a
edição de 2005, propiciaram a produção de um
rico diagnóstico sobre a qualidade da educação
ofertada pelas escolas brasileiras segundo grandes unidades amostrais: regiões, Estados, redes
de ensino, dependências administrativas e localizações urbanas ou rurais. Eles subsidiaram
também o desenvolvimento de pesquisas – até
então raras no país – sobre o efeito das escolas e os fatores associados à eficácia do ensino
(ALVES; FRANCO, 2008). Entretanto, apesar do
grande esforço para a disseminação desses resultados por parte do Inep e do MEC, não havia
muita repercussão do Saeb nos municípios e nas
1- Não é nosso objetivo fazer uma revisão da literatura sobre os sistemas de
avaliação, tema amplamente coberto pela literatura especializada. Citam-se,
por exemplo, Bonamino e Franco (1999) e Bonamino e Sousa (2012).
180 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
escolas que forneciam as informações primárias
por meio de seus alunos, porque eles não eram
representados como unidades isoladas na avaliação nacional (COTTA, 2001).
Tal cenário mudou com a reestruturação
do Saeb a partir de 2005, quando o Sistema
passou a ser composto por duas avaliações
externas: a Avaliação Nacional da Educação
Básica (Aneb), que manteve basicamente as
mesmas características da avaliação amostral
realizada até 2003; e a Avaliação Nacional do
Rendimento Escolar (Anresc), conhecida como
Prova Brasil, que avalia as escolas públicas
de forma quase censitária. Essa última passou
a contemplar nominalmente os resultados dos
estabelecimentos de ensino e dos municípios.
Antes, apenas os Estados e alguns poucos municípios que já haviam desenvolvidos seus sistemas próprios de avaliação – como em São
Paulo, no Rio de Janeiro, em Minas Gerais, no
Ceará e em mais alguns outros – conheciam o
desempenho médio dos alunos matriculados
nas escolas de suas respectivas redes de ensino.
Em 2007, introduziu-se outra novidade
importante no uso das avaliações externas nacionais. Os resultados do Saeb e da Prova Brasil,
em conjunto com uma medida de rendimento
fornecida pelo Censo Escolar, foram sintetizados no Ideb. Esse novo indicador – calculado
para os anos iniciais do ensino fundamental, os
anos finais do ensino fundamental e o ensino
médio – foi criado para medir de forma objetiva
a qualidade da educação básica, conforme os
termos do Decreto no
6.094, que o introduziu:
Art. 3º - A qualidade da educação básica será
aferida, objetivamente, com base no Ideb,
calculado e divulgado periodicamente pelo
Inep, a partir dos dados sobre rendimento
escolar, combinados com o desempenho
dos alunos, constantes do censo escolar
e do Sistema de Avaliação da Educação
Básica - Saeb, composto pela Avaliação
Nacional da Educação Básica - Aneb e a
Avaliação Nacional do Rendimento Escolar
(Prova Brasil).
Parágrafo único. O Ideb será o indicador
objetivo para a verificação do cumprimento
de metas fixadas no termo de adesão
ao Compromisso. (BRASIL, 2007, grifos
nossos)
Para Reynaldo Fernandes (2007, p. 8),
Presidente do Inep na gestão que introduziu o
Ideb, o indicador
possui a vantagem de ser de fácil
compreensão, simples de calcular, aplicável
às escolas e explícito em relação à “taxa de
troca” entre probabilidade de aprovação e
proficiência dos estudantes.
Em um único número, expresso na escala de zero a 10, ele traduz a qualidade da educação e permite comparar as unidades avaliadas –
escolas, redes e sistemas estaduais e municipais
de ensino –, bem como acompanhar a evolução
do indicador ao longo do tempo. De acordo
com o governo federal, o Ideb assume o papel
de indutor de políticas para melhoria da educação, por meio de termo de adesão voluntária
dos municípios e Estados ao Plano de Metas
Compromisso Todos pela Educação. As metas
desse plano visam a que Estados, municípios e
escolas contribuam, em conjunto, para que o
Brasil atinja um patamar educacional equivalente ao dos países desenvolvidos até 2022, ano
do bicentenário da Independência. Em termos
numéricos, isso significa obter, nos anos iniciais
do ensino fundamental, um Ideb igual a 6,0 na
média nacional, tendo como referência o valor
inicial obtido em 2005, que foi de 3,8.
Desde 2007, quando o Ideb passou a ser
calculado, já foram divulgadas quatro edições,
referentes aos anos de 2005, 2007, 2009 e 2011.
De acordo com os valores das metas do Ideb
publicados pelo Inep, o país avançou em todos os níveis de ensino. Nos anos iniciais do
ensino fundamental, o Ideb, que era de 3,6 em
2005, ultrapassou as metas criadas para os anos
seguintes (obteve valores de 4,2, 4,6 e 5,0, em
2007, 2009 e 2011, respectivamente). Nos anos
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 181
finais do ensino fundamental, sua evolução foi
menor, mas também ultrapassou as metas (valores de 3,5, 3,8, 4,0 e 4,1, respectivamente). Já
no ensino médio, o indicador também evoluiu
na média, mas de forma bem menos expressiva
do que nos níveis anteriores (3,4, 3,5, 3,6 e 3,7,
respectivamente). Embora aparentemente esses
valores possam ser considerados muito baixos,
vale frisar que os pequenos incrementos obtidos
no período representam grandes avanços, devido
às peculiaridades envolvidas no cálculo do Ideb.2
A aparente simplicidade do Ideb – isto é,
a escala de zero a 10 similar à de um boletim
escolar e as metas criadas para cada unidade
avaliada – facilitou sua rápida aceitação, especialmente na imprensa, entre os formuladores
de políticas públicas e gestores educacionais.
Inegavelmente, o Ideb tornou-se muito influente no debate educacional, haja vista a inclusão
do indicador na proposta do Plano Nacional da
Educação (PNE) para o atual decênio (BRASIL,
2010). No longo processo de negociação do PNE
que se arrastou até 2012, a inclusão das metas
do Ideb no texto praticamente não foi questionada comparativamente ao intenso debate que
se deu em torno do financiamento da educação.
O Ideb também conquistou legitimidade
junto a uma parte do público acadêmico, ao
mesmo tempo em que recebeu fortes críticas
de pesquisadores. Em geral, seus apoiadores
são da área da economia e os críticos são de
origem mais educacional, refletindo uma tensão
entre valores muito distintos (ALMEIDA, 2008;
SETUBAL, 2010; SOUSA; OLIVEIRA, 2010). Por
um lado, o Ideb é visto como uma modalidade de
accountability (ou responsabilização) apropriada
ao sistema educacional descentralizado vigente
no país. Nessa perspectiva, o indicador e suas
metas proporcionariam incentivos para que as
escolas e os gestores se esforcem para melhorar
simultaneamente o desempenho e o rendimento
dos alunos, elevando, assim, a qualidade
educacional (FERNANDES; GREMAUD, 2009).
De outro lado, na literatura educacional,
critica-se o Ideb como uma medida de qualidade
da educação e questionam-se suas consequências
para as escolas. Freitas (2007), por exemplo,
considera o indicador como uma política de
responsabilização unilateral que exclui as escolas
ao mesmo tempo em que as estigmatiza. Para o
autor, o Ideb não é referência de qualidade da
educação, entre várias razões, porque ele não
reflete a relação custo aluno/qualidade e também
não é sensível às desigualdades sociais. De forma
análoga, Sousa e Oliveira (2010) alertam para o
uso do Ideb como uma simplificação a padrões
educacionais desejáveis de problemas educativos
mais complexos.
A despeito disso, reconhece-se que a
ausência de consequências mais duras para as
escolas associadas às metas do Ideb torna o
indicador um tipo de responsabilização branda (BONAMINO; SOUSA, 2012). A divulgação
de resultados por Estados, municípios e escolas, e as metas criadas para cada um deles não
envolvem prêmios ou sanções, como ocorre
em alguns Estados e municípios que possuem
sistemas próprios de avaliação – por exemplo, Ceará, Pernambuco e São Paulo (BROOKE;
CUNHA, 2011; FERRAZ, 2009).
Além das discussões sobre aspectos político-ideológicos associados ao Ideb, há uma crescente produção de estudos que analisam os resultados obtidos por municípios ou escolas, bem
como a evolução do Ideb entre edições, considerando contextos territoriais, diferenças sociais e
econômicas (ERNICA; BATISTA, 2011; GOUVEIA;
SOUZA; TAVARES, 2009; MACHADO-SOARES
et al., 2011; PADILHA et al., 2012).3
O Ideb obtido pelos municípios foi analisado pela organização não governamental
Todos Pela Educação (2010), e os resultados desqualificam os rankings de municípios segundo
o Ideb, os quais, entretanto, continuam sendo
sistematicamente produzidos e divulgados pela
2- Devido à metodologia do cálculo do Ideb, seus valores típicos raramente
ultrapassam os limites abaixo de 3 ou acima de 6, conforme explicado por
Soares (2011).
3- O Ideb aparece em inúmeros trabalhos nos encontros da área, tais como:
Associação Nacional de Pós-Graduação e Pesquisa em Educação (Anped),
Associação Nacional de Política e Administração da Educação (ANPAE) e
Associação Brasileira de Avaliação Educacional (ABAVE).
182 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
mídia. O estudo mostra que alguns municípios
podem atingir valores de Ideb acima da média
nacional, mas com resultados bons apenas para
parte dos alunos matriculados nas melhores
escolas. Ou seja, as disparidades entre escolas
dentro do mesmo município e da mesma rede
de ensino não podem ser negligenciadas.
Também com foco nos municípios,
Padilha et al. (2012) encontram as piores médias do Ideb principalmente nas metrópoles e
nas cidades do litoral do Nordeste, o que se
explicaria pelos efeitos negativos da segregação urbana no acirramento das desigualdades
educacionais. Entretanto, os autores observam algumas exceções, sobretudo no Estado
do Ceará. Também ali, Vidal e Vieira (2011)
constatam que o Ideb é incondicionalmente
aceito pelos gestores municipais, que o têm
como norteador das políticas municipais de
educação. O Ceará possui uma das mais longas
experiências de adoção de política de responsabilização educacional no país, o que explicaria esse comprometimento entre os gestores
do Estado (BROOKE; CUNHA, 2011).
Estudos sobre o próprio Ideb – sua composição interna e os fatores que impactam sobre
seu cálculo – são ainda escassos. Esse tipo de
análise é importante porque o Ideb, assim como
qualquer outro indicador de natureza composta, exprime modelos que devem ter fundamentação teórica e correspondência com a realidade
empírica. Entretanto, todos os indicadores desse tipo encerram certa dose de arbitrariedade
e precisam de tempo e experimentação para
que se possa avaliar sua consistência. Segundo
Soares (2011), o cálculo do Ideb envolve escolhas que implicam consequências importantes na interpretação de seus valores. Assim, o
equilíbrio ótimo entre desempenho e aprovação
para elevar a média do Ideb pode ter como efeito perverso o aumento da desigualdade entre
escolas e, principalmente, dentro das escolas,
por meio da segregação de alunos com desempenho mais fraco.
O conjunto desses estudos deixa subjacente certa tensão entre resultados e metas propostos
pelo Ideb e as condições efetivas para a realização dessa política educacional, bem como os
problemas do próprio indicador. O economista
Amartya Sen (2009) oferece pistas para tratar
desse dilema com a distinção entre resultados
finalísticos e resultados globais (culmination
and comprehensive outcomes). O Ideb se associa à ideia de resultados finalísticos, mas não
fazem parte de sua justificativa os processos
por meio dos quais os resultados foram obtidos.
Resultados globais compreenderiam também
os processos, os meios. Análises de resultados
de políticas apenas por indicadores finalísticos
nem sempre se traduzem em efeitos socialmente
justos. Em educação, isso reflete a ausência de
equidade na análise das políticas no setor. Um
sistema educacional é considerado equitativo
se a distribuição do desempenho dos grupos de
alunos definidos por suas características sociais,
de gênero ou raciais, por exemplo, é equivalente à distribuição total dos alunos (SOARES,
2006). A busca pela equidade se traduz em políticas e práticas educacionais que minimizem,
nas escolas, as desigualdades econômicas e sociais existentes entre os alunos (DUBET, 2004).
Impõe-se, portanto, a necessidade de
distinguir entre a descrição que o Ideb apresenta sobre a qualidade da educação e a explicação
dos fatores que impactam no resultado sintetizado pelo indicador, principalmente no nível da
escola. A intenção deste trabalho é contribuir
nessa direção.
Abordagem analítica
Como exposto, o objetivo aqui é analisar
o Ideb da escola considerando simultaneamente
as condições contextuais, ou seja, o perfil dos
alunos e as características dos estabelecimentos de ensino. Para estudar essa questão, seja
teórica ou empiricamente, é preciso explicitar
um modelo conceitual que apresente as várias
inter-relações entre os fatores explicativos no
resultado final, isto é, o valor do Ideb. Partiuse de um estudo anterior (SOARES, 2007) em
que se propôs um modelo conceitual para o
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 183
desempenho do aluno, adaptando-o para a unidade escolar à qual se refere o Ideb.
No modelo anterior, assume-se que o desempenho está relacionado às características de
cada aluno, as quais interagem com as estruturas em que ele está inserido: a família, a escola
e a sociedade. O teste empírico do modelo depende de abordagem multidisciplinar que agregue conhecimentos da psicologia, da educação,
da sociologia, da economia e inclusive da ciência política, em muitos momentos subsidiados
pela coleta e pela análise de dados por meio de
técnicas estatísticas apropriadas.
Na adaptação do modelo ao problema
desta pesquisa, consideraram-se as dimensões
escolares que pudessem ser aferidas empiricamente com os dados disponíveis. Assim, a medida do Ideb de cada escola pública provém do
banco de dados disponibilizado pelo Inep. Os fatores associados aos alunos que potencialmente
influenciam o resultado do Ideb são provenientes de avaliações em larga escala cujos detalhes
serão descritos a seguir. Foram considerados os
fatores que influem no contexto escolar, configurando o que a literatura educacional denomina como efeito dos pares (WILLMS; SOMERS,
2001). São eles: o nível socioeconômico médio
de cada escola e a proporção de alunos discriminados por raça/cor e também por gênero.
Dentre os fatores dos alunos, não se levou em conta o atraso escolar médio dos matriculados, isto é, a diferença entre a média de
idade em relação ao que seria esperado para a
série. Normalmente, o atraso escolar deve ser
considerado nos estudos sobre desempenho
escolar devido ao seu efeito deletério nos resultados; entretanto, tal atraso já está composto no cálculo do Ideb, no termo referente ao
rendimento médio da escola calculado a partir
de suas respectivas taxas de aprovação. Assim,
seria incorreto considerá-lo também como um
fator explicativo.
Para a caracterização das escolas, foram
construídos fatores associados aos construtos
teóricos, a partir das informações do Censo
Escolar. São eles: infraestrutura, tamanho e
complexidade da escola. Optou-se por desenvolver tais fatores em vez de se utilizar os itens
específicos para evitar interpretações de que
características isoladas das escolas podem ser
reificadas para a melhoria da educação. Os detalhes desses fatores serão descritos a seguir.
Optou-se também por não incluir fatores
associados aos professores, embora eles façam
parte do modelo conceitual adaptado para este
trabalho. Ocorre que, no Censo Escolar, as informações sobre professores se referem à função
docente, uma concepção mais abstrata que não
se vincula a apenas uma escola ou uma turma
de alunos. A Prova Brasil possui informações
mais detalhadas sobre os professores (formação,
experiência e condições de trabalho), coletadas
por meio de questionário. Contudo, há dificuldades para o uso desses dados de forma agregada por escola. Na base de dados, há muitos
questionários não respondidos, e a ausência de
informações reduz os casos válidos nos modelos estatísticos de análise. Além disso, o uso de
informações individuais sobre os professores no
nível da escola pode gerar problemas de agregação em grau diferente do que ocorre quando
se faz o mesmo com as informações dos alunos.
Enquanto estes últimos contam em número de
pelo menos uma dezena por escola para se produzir a média de um fator de interesse, no caso
dos professores, as informações quase sempre
se referem a apenas um ou dois indivíduos.
Explicação dos fatores
- Nível socioeconômico da escola
O contexto socioeconômico das escolas é o fator mais importante para análise de
resultados educacionais. Espera-se, portanto, que uma escola que atende a alunos com
maior poder aquisitivo e com mais recursos
culturais atinja valores mais altos do Ideb. Tal
fator foi obtido em um estudo externo a este,
cuja finalidade específica foi produzir uma
medida de nível socioeconômico médio para
todas as escolas brasileiras (ALVES; SOARES,
184 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
2012). Para isso, foram utilizados dados de
várias pesquisas educacionais realizadas pelo
Inep na educação básica junto a escolas públicas e privadas. Itens dos questionários respondidos pelos alunos nessas avaliações que
guardam relação com o construto teórico – a
escolaridade e a posição ocupacional dos pais
do aluno e a renda familiar (evidenciada pela
posse de bens, uso de serviços e rendimento
de fontes diversas) – foram agregados em uma
única medida do nível socioeconômico do aluno. O processo de agregação foi feito com o
uso de uma técnica estatística multivariada
denominada Teoria da Resposta ao Item (TRI),
cujos detalhes estão descritos em um artigo
dedicado ao assunto (ALVES; SOARES, 2009).
Em seguida, o nível socioeconômico estimado
foi agregado pela média do nível socioeconômico dos alunos de cada escola.
- Proporção de alunos discriminados por raça/cor e
por gênero
Estudos com dados das avaliações em
larga escala mostram que alunos que se declaram brancos têm desempenho superior em
comparação aos alunos que se declaram pardos,
pretos, amarelos ou indígenas. As diferenças
entre alunos discriminados por cor/raça persistem inclusive dentro das mesmas escolas e
com o controle das diferenças socioeconômicas
entre alunos e escolas (SOARES; ALVES, 2003).
Por isso, considerou-se relevante avaliar se a
presença de mais alunos brancos na escola está
associada ao valor do Ideb.
A proporção de alunos discriminados
por gênero na escola é considerada relevante porque, nos testes aplicados nas avaliações
educacionais, os alunos, em geral, têm desempenho melhor em matemática, e as alunas se
saem bem melhor em leitura. No Ideb, não há
distinção entre esses conteúdos cognitivos,
que são sintetizados em uma única medida
de desempenho padronizada. Contudo, o processo de padronização das proficiências para
o cálculo do Ideb não considera as diferenças
interpretativas que existem nas escalas originais de matemática e leitura, o que torna o
indicador dominado pela proficiência em matemática. Como explica Soares (2011, p. 7), “o
indicador de aprendizado do Ideb assume que
os alunos brasileiros sabem mais Matemática
do que Leitura”. Assim, considerou-se relevante avaliar se a presença de mais alunos do que
alunas na mesma instituição tem associação
com o valor do Ideb da escola.
Os dois indicadores – percentual de
brancos e de alunos – foram obtidos pela proporção, por escola, dessas categorias nas respectivas variáveis do questionário respondido
pelos alunos na Prova Brasil.
- Infraestrutura da escola
No Brasil, infraestrutura física, equipamentos e conservação do prédio escolar importam. Evidências nesse sentido foram observadas em vários estudos que analisaram dados
das avaliações em larga escala conforme uma
revisão elaborada por Alves e Franco (2008).
Neste trabalho, a medida da infraestrutura da
escola foi obtida com base nos dados do Censo
Escolar, agregando indicadores de existência
de: local próprio de funcionamento da escola, água tratada, energia elétrica, saneamento
básico (coleta de lixo, de esgoto e presença de
banheiro na escola), outros espaços e recursos
escolares (biblioteca, laboratório, cantina, computadores e outros equipamentos eletrônicos).
A técnica para a agregação desses itens em um
único índice – assim como os seguintes referentes às escolas – é a mesma utilizada para
estimar o nível socioeconômico médio.
- Tamanho e complexidade da escola
O tamanho da escola – medido pelo número de alunos – também importa. Alunos que
estudam em escolas grandes tendem a ter desempenho pior do que alunos de escolas menores ou de tamanho moderado (LEE, 2008).
O tamanho da escola foi estimado com base
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 185
nas informações do Censo Escolar referentes à
quantidade de salas, funcionários, número de
turmas e matrículas nas escolas.
Escolas que congregam alunos de diferentes níveis e modalidades de ensino são mais
complexas porque necessitam de mais espaço
físico, mobiliário e equipamentos adaptados aos
alunos de diferentes faixas etárias e necessidades específicas, bem como um número maior
de profissionais e apoios variados. A medida
da complexidade foi obtida agregando-se os
indicadores das modalidades de ensino oferecidas na escola – ensino regular, da creche ao
ensino médio, e educação especial nos mesmos
níveis – e o número de alunos portadores de necessidades especiais. Com isso, assume-se que
a escola é mais complexa se atende a alunos
de diferentes etapas e modalidades de ensino, e
também se faz mais inclusão.
Esses dois últimos fatores foram inicialmente tratados como índices separados, mas, após
os testes iniciais, eles foram agregados em uma
única dimensão devido à correlação entre eles.
Análises estatísticas
O trabalho utiliza os dados referentes
ao Ideb 2009 de todas as escolas públicas.4
O
banco de dados divulgado pelo Inep possui informações sobre todas as escolas públicas que
participaram da Prova Brasil e que alcançaram
o número mínimo exigido de alunos participantes dessa avaliação (no mínimo, 10 alunos
ou 50% dos alunos matriculados na série em
escolas menores).
Inicialmente, fez-se uma análise descritiva dos dados para observação das tendências
do Ideb e suas relações com os fatores contextuais, que será apresentada em forma de gráficos. Em seguida, foram ajustados modelos
de regressão linear múltipla para cada um dos
segmentos escolares. O modelo de regressão linear ajustado tem a seguinte expressão:
4- O Ideb 2011 foi divulgado quando este texto estava em fase de revisão
e, portanto, não haveria tempo para incorporar os dados mais recentes nos
modelos analíticos. Além disso, os demais microdados utilizados – da Prova
Brasil e do Censo Escolar do mesmo ano – não foram publicados pelo Inep.
Ideb2009i
= βo + β1
(MNSE)i
+ β2
(%brancos)i + β3
(%alunos)i
+ β4
(infraestrutura)i
+ β5
(complexidade)i
+ ri
O quadro 1 contém a explicação detalhada das covariáveis incluídas no modelo.
Quadro 1 – Variáveis utilizadas nos modelos de análise
Variáveis Tipo Descrição
Variável resposta
Ideb 2009 Contínua
Índice de Desenvolvimento da Educação da Escola em 2009. Produto
da média das proficiências padronizadas em matemática e leitura obtidas na Prova Brasil pelo indicador de
rendimento (o valor médio das taxas
de aprovação da escola) atingido no
Censo Escolar. A escala tem valores
de zero a 10.
Variáveis explicativas
MNSE
(Média do nível
socioeconômico
da escola)
Contínua
Medida estimada via Teoria da
Resposta ao Item (TRI) a partir de
informações dos questionários respondidos pelos alunos em avaliações
educacionais do Inep. A escala original foi convertida para valores de
zero a 10. O MNSE refere-se à média
calculada a partir do NSE dos alunos
de cada escola.
% de alunos
brancos Contínua
Proporção de alunos que se declaram brancos, obtida no questionário
da Prova Brasil.
% de alunos do
sexo masculino Contínua
Proporção de alunos do sexo masculino, obtida no questionário da Prova
Brasil.
Infraestrutura da
escola Contínua
Medida obtida via TRI a partir de informações do Censo Escolar. A escala original foi convertida para valores
de zero a 10.
Complexidade da
escola Contínua
Medida obtida via TRI a partir de
informações do Censo Escolar. A
escala final é o produto das escalas
parciais de complexidade e de tamanho, convertidas para valores de
zero a 10.
186 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
A escolha desta abordagem analítica
se justifica porque a questão de pesquisa consiste em verificar se há, nas escolas, associação entre uma variável resposta – isto é, o
Ideb 2009 – e um conjunto de variáveis explicativas referentes às características do alunado (MNSEi
, %brancosi
, %alunosi
) e das escolas
(infraestruturai
e complexidadei
). Sabe-se, entretanto, que a associação entre uma variável
resposta e qualquer covariável depende de
quais outras variáveis estão incluídas no modelo. Por exemplo, a associação entre o Ideb
2009 e o MNSEi depende das outras variáveis
incluídas no modelo de regressão e, portanto, utilizadas para o cálculo da associação.
Sendo assim, a resposta à questão de pesquisa
implica escolher adequadamente as covariáveis do modelo de regressão.
Outro aspecto importante a se destacar é
que não faria sentido incluir, no ajuste do modelo, o Ideb do ciclo anterior como covariável,
uma vez que os valores do Ideb 2009 e do Ideb
2007 são altamente associados. As escolas não
mudam tanto em dois anos. A presença do Ideb
anterior no modelo de regressão impediria que
as covariáveis consideradas mostrassem sua
correlação com o Ideb 2009, pois esta estaria
completamente subsumida na correlação entre
os dois indicadores (Ideb 2009 e Ideb 2007). Se,
entretanto, a questão desta pesquisa fosse descrever ou mesmo prever o comportamento do
Ideb de uma escola, a estratégia de análise seria
outra. Nesse caso, usar o Ideb do ciclo anterior –
uma variável já conhecida e altamente associada ao Ideb do ciclo seguinte – é muito melhor
do que usar simplesmente MNSEi
, %brancosi
,
%alunosi
, infraestruturai
e complexidadei
, que
são variáveis apenas indiretamente associadas
à variável resposta. Ou seja, diferentes questões
exigem diferentes modelos.
Resultados
A tabela 1 sintetiza as estatísticas descritivas das variáveis incluídas nos modelos de regressão. Nota-se a discrepância entre os valores
do Ideb do primeiro e do segundo segmento do
ensino fundamental, o que sugere problemas
muito distintos nas duas etapas escolares.
Tabela 1 – Estatísticas descritivas das variáveis
Séries iniciais do ensino fundamental
N Mínimo Máximo Média Desviopadrão
Ideb 2009 (*) 43.400 0,20 9,00 4,35 1,10
MNSE 43.392 1,05 7,77 4,66 0,79
% de alunos do
gênero masculino 43.349 0,00 100,00 51,36 8,98
% de alunos
brancos 43.349 0,00 100,00 34,45 17,63
Infraestrutura da
escola 43.184 0,00 10,00 6,62 1,48
Complexidade 43.184 0,00 10,00 4,05 1,54
Número de escolas
no modelo 33.042 - - - -
Séries finais do ensino fundamental
N Mínimo Máximo Média Desviopadrão
Ideb 2009 (*) 31.781 0,70 8,00 3,68 0,85
MNSE 31.636 0,91 8,20 4,67 0,90
% de alunos do
gênero masculino 31.760 0,00 100,00 45,72 9,74
% de alunos
brancos 31.760 0,00 100,00 33,27 20,10
Infraestrutura da
escola 31.685 0,00 10,00 7,24 1,32
Complexidade 31.685 0,24 10,00 5,42 1,51
Número de escolas
no modelo 24.734 - - - -
(*) Os valores do Ideb desta tabela não coincidem com os valores nacionais
divulgados no site do Inep porque as médias do país incluem o Ideb médio
do conjunto das escolas particulares calculado com os dados do Saeb.
Fonte: Elaboração própria a partir de dados da Prova Brasil, do Censo
Escolar e do Ideb (Inep/MEC).
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 187
Os gráficos de caixas de número 1 a 10
descrevem as medidas de tendência central e
de variabilidade do Ideb segundo os fatores
considerados. A linha pontilhada representa
a média do Ideb de todas as escolas.5
Alguns
destaques podem ser feitos em relação ao
conjunto dos gráficos.
Primeiro, observa-se em todos eles a
grande dispersão dos valores médios do Ideb.
Por exemplo, no gráfico 1, que compara os subconjuntos de escolas discriminadas pelos quartis da média do nível socioeconômico (MNSE),
nota-se uma relação positiva, ou seja, escolas
nos quartis de MNSE mais baixos tendem a
apresentar valores igualmente mais baixos do
Ideb e, ao contrário, escolas nos quartis mais
altos têm valores mais altos do Ideb. Mas há
uma grande variabilidade na distribuição.
Destacam-se os muitos casos extremos (simbolizados pelos pequenos círculos), o que significa que há escolas com MNSE mais baixos,
mas com valores do Ideb em nível muito alto,
e também o contrário. Além disso, registram-se
5- As caixas e as linhas mostram a tendência central (mediana,
assinalada pela linha que divide a caixa) e a variabilidade (a distância
de uma ponta à outra). Além disso, indicam os casos cujos valores
Gráfico 1 – Média do Ideb 2009 (séries iniciais) por quartil
do MNSE
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Grupo Percentil (NSE2)
Gráfico 2 – Média do Ideb 2009 (séries finais) por quartil do
MNSE
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
as ocorrências de escolas com valores de Ideb
muito extremos (simbolizados pelos asteriscos)
para o subgrupo de MNSE em que se encontram. Esses casos totalmente atípicos merecem
estudos adicionais.
Uma segunda observação diz respeito
aos valores de Ideb tendencialmente muito mais
baixos nos anos finais do ensino fundamental
em todos os subgrupos. A elevação da média
desse nível de ensino parece estar associada
principalmente aos poucos casos extremos, enquanto a maioria das escolas têm valores do
Ideb que podem ser considerados muito baixos.
Por último, notam-se fatores que não
mostram relações muito claras com o Ideb nas
análises univariadas descritas nos gráficos. Em
alguns gráficos, observa-se maior contraste
entre o subgrupo inferior em comparação com
o subgrupo superior, mas mesmo essa observação varia entre os níveis de ensino. Na sequência, serão descritos os resultados dos modelos
de análise para se verificarem as relações observadas de forma simultânea.
extrapolam a distribuição de forma extrema (assinalados com círculos)
ou muito extrema (asteriscos).
Grupo Percentil (NSE2)
188 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições... Índice de Desenvolvimento da Educação (P x N) - 2009
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
10,00
8,00
6,00
4,00
2,00
Índice de Desenvolvimento da Educação (P x N) - 2009
0,00
Gráfico 3 – Média do Ideb 2009 (séries iniciais) por quartil de
proporção de alunos brancos
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
Grupo Percentil (brancos)
Gráfico 4 – Média do Ideb 2009 (séries finais) por quartil de
proporção de alunos brancos
10,00
8,00
6,00
4,00
2,00
0,00
1 2 3 4
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
Grupo Percentil (brancos)
Gráfico 5 – Média do Ideb 2009 (séries iniciais) por quartil de
alunos do gênero masculino
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Grupo Percentil (meninos)
Gráfico 6 – Média do Ideb 2009 (séries finais) por quartil de
alunos do gênero masculino
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
1 2 3 4
Grupo Percentil (meninos)
Gráfico 7 – Média do Ideb 2009 (séries iniciais) por quartil de
infraestrutura da escola
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
10,00
8,00
6,00
4,00
2,00
Índice de Desenvolvimento da Educação (P x N) - 2009
0,00
1 2 3 4
Grupo Percentil (infraestrutura)
Gráfico 8 – Média do Ideb 2009 (séries finais) por quartil de
infraestrutura da escola
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
1 2 3 4
Grupo Percentil (infraestrutura)
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 189
A tabela 2 apresenta os resultados do
ajuste dos modelos de regressão linear múltipla para séries iniciais e séries finais do ensino
fundamental. Destacam-se algumas tendências.
Os valores dos coeficientes (β) e dos coeficientes
padronizados (Beta) são em geral baixos, embora todos sejam significativos. Na escala do Ideb,
devido à sua concepção metodológica, um incremento de poucos décimos no indicador pode
significar uma mudança substantiva em seu patamar (Cf. SOARES, 2011). Portanto, valores tão
pequenos não devem ser negligenciados.
Grupo Percentil (Complexidade x tamanho)
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Gráfico 9 – Média do Ideb 2009 (séries iniciais) por quartil de
complexidade x tamanho da escola
Grupo Percentil (Complexidade x tamanho)
Fonte: Elaboração própria a partir de dados do Inep (Censo Escolar).
10,00
8,00
6,00
4,00
2,00
0,00
Índice de Desenvolvimento da Educação (P x N) - 2009
1 2 3 4
Gráfico 10 – Média do Ideb 2009 (séries finais) por quartil de
complexidade x tamanho da escola
Tabela 2 – Modelo de regressão linear múltipla para o Ideb 2009 (séries iniciais e séries finais do ensino fundamental)
Variáveis
Ideb 2009
5º ano
Ideb 2009
9º ano
Β Beta Sig. Β Beta Sig.
(Constante) 0,19 0,00 1,44 0,00
MNSE 0,70 0,50 0,00 0,34 0,36 0,00
% de alunos do gênero masculino -0,01 -0,04 0,00 0,01 0,06 0,00
% de alunos brancos 0,01 0,08 0,00 0,01 0,24 0,00
Infraestrutura 0,17 0,22 0,00 0,03 0,04 0,00
Complexidade -0,03 -0,05 0,00 -0,03 -0,05 0,00
R2 0,47 0,31
Fonte: Elaboração própria a partir de dados da Prova Brasil, do Censo Escolar e do Ideb (Inep/MEC).
Os resultados evidenciam que o Ideb da
escola é fortemente associado ao nível socioeconômico médio de seus alunos, mesmo com
o controle dos fatores considerados em relação à escola. Outros fatores do aluno também
têm impacto significativo no Ideb, porém em
magnitude bem menor. A maior proporção de
alunos brancos faz diferença, mas, nesse caso,
a associação é maior nas séries finais. Tal resultado indica que a seletividade no segundo
segmento do ensino fundamental – devido aos
problemas de reprovação e abandono precoce
da escola – afeta mais os alunos não brancos.
A maior proporção de alunos nas séries iniciais
do ensino fundamental em comparação com as
alunas tem impacto negativo, mas, nas séries
finais, a associação opera em sentido contrário.
Em ambos os casos, os valores dos coeficientes,
embora significativos, são mínimos.
Entre os fatores das escolas, destaca-se
o impacto positivo da infraestrutura, principalmente nas séries iniciais. Para facilitar o
190 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
entendimento desse resultado, vamos imaginar
dois estabelecimentos de ensino hipotéticos
chamados de A e B. Os dois estabelecimentos
atendem aos anos iniciais do ensino fundamental, possuem características semelhantes
quanto ao nível socioeconômico dos alunos
(por exemplo, na média da escala, cujo valor é
4,7) e os outros fatores associados aos alunos
apresentam valores constantes e neutros. A escola A possui uma infraestrutura ideal (valor
igual a 10). Com isso, ela poderia atingir um
Ideb de 5,4, valor acima da média nacional em
2009. A escola B, com infraestrutura bem pior
(por exemplo, com valor igual a 1), teria um
Ideb de 3,5. Vale ressaltar que na escala do
Ideb a diferença entre essas duas escolas hipotéticas é enorme.
Se o exercício fosse aplicado a dois estabelecimentos de ensino dos anos finais do
ensino fundamental, a diferença não seria tão
grande. Essa análise sugere que uma mesma infraestrutura que parece adequada para os anos
iniciais do ensino fundamental pode não ser suficiente para os anos finais.
O fator complexidade da escola tem um
efeito negativo e equivalente nos dois níveis de
ensino. Esse resultado pode refletir o desempenho das escolas menores localizadas em pequenos municípios do interior do país e que têm valores do Ideb acima da média nacional (PADILHA
et al., 2012). Aplicando o valor do coeficiente ao
exemplo hipotético descrito, a escola A, se fosse mais complexa – isto é, um estabelecimento
grande, com muitos alunos, funcionários e com
atendimento a vários níveis e tipos de alunos –,
teria o Ideb reduzido para 5,1, enquanto a escola
B teria seu Ideb reduzido para 3,2. A evidência
é que, no ensino fundamental, é melhor estudar
em estabelecimentos menores e/ou com atendimento menos diversificado.
Discussão
Este trabalho analisou o Ideb da escola
considerando, simultaneamente, alguns fatores que potencialmente impactam seu valor. O
estudo foi motivado pelo reconhecimento de
que o uso intensivo e disseminado do indicador não autoriza sua redução a apenas um
ranking entre escolas e sistemas de ensino. O
Ideb, inegavelmente, conquistou legitimidade
na atual conjuntura, haja vista sua incorporação no texto do Plano Nacional da Educação
(PNE) para o presente decênio. Isso desafia a
pesquisa educacional a ampliar sua influência no debate público que gira em torno desse
tema com base em argumentos fundamentados. Entretanto, o uso unidimensional do Ideb,
ou seja, a divulgação de seu valor bruto sem
a consideração das condições contextuais das
escolas, é o que prevalece no uso público do
indicador. Nesse sentido, o trabalho corrobora
o esforço de outros estudos empíricos no sentido de desvelar as condições para se atingir a
qualidade educacional aferida pelo Ideb e por
outros indicadores do mesmo tipo.
Procurou-se demonstrar, a partir dos dados empíricos, que as escolas devem ser vistas
pelo aprendizado de seus alunos – a expressão da
efetivação de sua função social –, mas também
pelas condições contextuais para obtenção desses resultados. Um sistema educacional só pode
ser dito de qualidade se suas desigualdades são
também consideradas na análise de seu desempenho. Os resultados descritos na seção anterior
evidenciaram que a síntese da qualidade da escola
em um único número não contempla as condições
desiguais entre os estabelecimentos de ensino.
Entre os fatores analisados neste trabalho,
o maior impacto no Ideb, como esperado e compatível com a literatura da área educacional, é
a composição do grupo de alunos matriculados
no estabelecimento de ensino. Para escolas que
congregam mais alunos com condições socioeconômicas desfavoráveis, é muito mais difícil
atingir as metas associadas ao Ideb.6
Entretanto,
esse fator só mudará na medida em que políticas
sociais tenham sucesso.
6- O impacto do nível socioeconômico prevalece mesmo quando se
considera, em modelos preditivos, o Ideb do ciclo anterior. Tal resultado
não está exposto neste trabalho, mas foi constatado em modelos preditivos
testados no escopo do programa de pesquisa que resultou neste artigo.
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 191
Quanto aos demais fatores do aluno
(gênero masculino e cor/raça branca), os impactos relativos no Ideb são muito pequenos,
embora significativos. A indicação é de que há
maior seletividade racial ao longo do ensino
fundamental e de que, no segundo segmento, a
maior proporção de alunos em relação às alunas está associada ao Ideb médio mais elevado.
Contudo, nesse caso, é preciso investigar se a
forma como o Ideb é calculado – com a superestimação da proficiência em matemática, área
em que os meninos se saem melhor no Saeb
(SOARES, 2011) – pode ter relação com esse resultado. Há necessidade, portanto, de estudos
adicionais sobre os fatores raça/cor e gênero,
sobretudo em modelos com dados agregados.
As condições de infraestrutura e de complexidade da escola – medidas com os dados
do Censo Escolar – também guardam relação
significativa com o Ideb. Para terem seu direito educacional atendido, os alunos que trazem
menos de casa precisam de escolas com melhor
infraestrutura e mais focadas em suas necessidades de aprendizado. Nas séries iniciais do
ensino fundamental, o efeito da infraestrutura
da escola no Ideb é bem maior do que nas séries
finais. Uma possível explicação é que quanto
mais se avança no sistema escolar e na idade
dos alunos, mais as escolas precisam oferecer.
A mesma infraestrutura que atende razoavelmente aos anos iniciais da escolarização parece não ter efeito equivalente no segmento seguinte, que envolve mais disciplinas escolares,
mais professores especialistas e uma geração
bem mais exigente e diversificada. Essa hipótese, entretanto, deveria ser também verificada a
partir de outras pesquisas. O impacto da complexidade da escola ainda é pouco estudado,
mas os resultados indicam que as escolas mais
complexas – ou seja, os estabelecimentos maiores e que atendem a mais níveis e modalidades
de ensino – implicam complicações adicionais
para as escolas atingirem um Ideb mais alto.
Uma reflexão sólida para a superação
das limitações das escolas é o indicador Custo
Aluno/Qualidade Inicial (CAQi), que aponta a
necessidade de que todos os estabelecimentos
de ensino tenham patamares de recursos compatíveis com as necessidades de aprendizado de
seus alunos (CARREIRA; PINTO, 2007). Embora
não tenha sido possível incluir na análise empírica a questão dos docentes – por limitação dos
dados utilizados no trabalho –, teoricamente
fica claro que isso também é necessário.
Os resultados deste estudo, do ponto de
vista metodológico, sugerem a necessidade da
busca de um consenso em duas temáticas. Em
primeiro lugar, diante da grande variação de
resultados dos alunos dentro de cada escola, o
uso da média da Prova Brasil e da taxa de aprovação nos segmentos escolares para o cálculo
do Ideb tem como consequência o desaparecimento da variação dos indicadores originais
entre os alunos. Na literatura educacional, há
muitos estudos que mostram a possibilidade de
viés quando se utiliza a escola como unidade de
análise. Para lidar com essa situação foram desenvolvidos os modelos hierárquicos nos quais
o aluno é a unidade de análise, mantendo-se
a escola como unidade de intervenção e possibilitando-se, assim, o estudo do efeito escola. Idealmente, esses modelos deveriam sempre
ser utilizados para estudos educacionais. Para
o problema em tela, tomar-se-iam duas condições do aluno como resposta: seu rendimento,
ou seja, sua situação de aprovação, abandono ou reprovação (dado obtido com o Censo
Escolar), e seu desempenho, medido pelas proficiências na Prova Brasil. Dessa forma, seria
possível uma análise mais fina da qualidade
educacional quanto ao rendimento e ao desempenho dos alunos em vez de uma síntese na
média da escola, que pode ser inflada pela melhora apenas de um desses dois elementos. Mas,
para isso, seria necessário que a Prova Brasil e
o Censo Escolar fossem compatíveis no nível do
aluno, e não apenas no nível da escola, o que
ainda não é possível.
Em segundo lugar, este estudo convida
à organização de investigações com desenho
metodológico misto, nos quais escolas com valores extremos de rendimento e desempenho
192 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
– identificados pelos resíduos positivos ou
negativos dos modelos de regressão – seriam
investigadas a partir de metodologias qualitativas. Isso já foi feito em algumas ocasiões em alguns Estados do Brasil (ABRUCIO, 2010; VIDAL;
VIEIRA, 2011) e merece continuidade.
Fica claro, portanto, que as políticas públicas para a educação brasileira exigem o estudo
dos dados existentes de forma muito mais ampla
do que apenas sua síntese em um indicador como
o Ideb, assim como a aproximação de metodologias provenientes de epistemologias distintas.
Referências
ABRUCIO, Fernando Luiz. Gestão escolar e qualidade da educação: um estudo sobre dez escolas paulistas. Estudos & Pesquisas
Educacionais, São Paulo, v. 1, p. 241-274, 2010.
ALMEIDA, Ana Maria F. O assalto à educação pelos economistas. Tempo Social, São Paulo, v. 20, p. 163-178, 2008.
ALVES, Maria Teresa Gonzaga; FRANCO, Creso. A pesquisa em eficácia escolar no Brasil: evidências sobre o efeito das escolas e
fatores associados à eficácia escolar. In: BROOKE, Nigel; SOARES, José Francisco (Eds.). Pesquisa em eficácia escolar: origem
e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 482-500.
ALVES, Maria Teresa Gonzaga; SOARES, José Francisco. Medidas de nível socioeconômico em pesquisas sociais: uma aplicação
aos dados de uma pesquisa educacional. Opinião Pública, Campinas, v. 15, n. 1, p. 1-30. 2009.
______. Medida de nível socioeconômico de alunos e escolas com as informações das avaliações educacionais em
larga escala. Trabalho aceito para apresentação no 36º Encontro Anual da Associação Nacional de Pós-Graduação e Pesquisa em
Ciências Sociais, Águas de Lindoia, 21 a 25 de outubro de 2012.
BONAMINO, Alícia; FRANCO, Creso. Avaliação e política educacional: o processo de institucionalização do SAEB. Cadernos de
Pesquisa, São Paulo, n. 108, p. 101-132, 1999.
BONAMINO, Alicia; SOUSA, Sandra Zákia. Três gerações de avaliação da educação básica no Brasil: interfaces com o currículo da/
na escola. Educação e Pesquisa, São Paulo, v. 38, n. 2, p. 373-388, 2012.
BOURDIEU, Pierre; PASSERON, Jean-Claude. A reprodução: elementos para uma teoria do sistema de ensino. Petrópolis: Vozes, 2008.
BRASIL. Decreto no
6.064, de 24 de abril de 2007. Dispõe sobre a implementação do Plano de Metas Compromisso Todos pela
Educação, pela União Federal, em regime de colaboração com Municípios, Distrito Federal e Estados, e a participação das famílias
e da comunidade, mediante programas e ações de assistência técnica e financeira, visando a mobilização social pela melhoria da
qualidade da educação básica. Diário Oficial da União, Brasília, 24 abr. 2007.
______. Projeto de Lei do Plano Nacional de Educação (PNE) para vigorar de 2011 a 2020. Texto enviado pelo Governo
Federal ao Congresso. Brasília: Ministério da Educação, 15 dez. 2010.
BROOKE, Nigel; CUNHA, Maria Amália. A avaliação externa como instrumento da gestão educacional nos estados. Estudos
& Pesquisas Educacionais, São Paulo, v. 2, p. 17-79, 2011. Disponível em: <http://www.fvc.org.br/estudos-e-pesquisas/
livro-2-2011.shtml>. Acesso em 20 dez. 2012.
BRYK, Antony S.; LEE, Valerie. A multilevel model of social distribution of high school. In: DARLING-HAMMOND, Linda (Ed.). Review
of research in education. Washington: American Education Research Association, 1989. p. 171-267.
CARREIRA, Denise; PINTO, José Marcelino Resende. Custo aluno-qualidade inicial: rumo à educação pública de qualidade no
Brasil. São Paulo: Global, 2007.
Educ. Pesqui., São Paulo, v. 39, n. 1, p. 177-194, jan./mar. 2013. 193
COLEMAN, James et al. Equality of educational opportunity. Washington: U.S. Department of Health, Education, and Welfare, 1966.
COTTA, Tereza Cristina. Avaliação educacional e políticas públicas: a experiência do Sistema Nacional de Avaliação da Educação
Básica (Saeb). Revista do Serviço Público, Brasília, v. 52, n. 4, p. 89-111, 2001.
DUBET, François. O que é uma escola justa? Cadernos de Pesquisa, São Paulo, v. 34, p. 539-555, 2004.
ÉRNICA, Maurício; BATISTA, Antônio Augusto Gomes. Educação em territórios de alta vulnerabilidade social na metrópole:
um caso na periferia de São Paulo. São Paulo: CENPEC, nov. 2011. (Informe de Pesquisa, n. 3)
FERNANDES, Reynaldo. Índice de Desenvolvimento da Educação Básica (Ideb). Brasília: Inep, 2007.
FERNANDES, Reynaldo; GREMAUD, Amaury Patrick. Qualidade da educação: avaliação, indicadores e metas. In: VELOSO, Fernando
et al. (Orgs.). Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. p. 213-238.
FERRAZ, Cláudio. Sistemas educacionais baseados em desempenho, metas de qualidade e a remuneração de professores. In:
VELOSO, Fernando et al. (Orgs.). Educação básica no Brasil: construindo o país do futuro. Rio de Janeiro: Elsevier, 2009. p. 239-257.
FRANCO, Creso et al. Qualidade e equidade em educação: reconsiderando o significado de “fatores intra-escolares”. Ensaio:
Avaliação e Políticas Públicas em Educação, Rio de Janeiro, v. 15, n. 55, p. 277-298, 2007.
FREITAS, Luiz Carlos de. Eliminação adiada: o ocaso das classes populares no interior da escola e a ocultação da (má) qualidade
do ensino. Educação e Sociedade, Campinas, v. 28, n. 100, p. 965-987, 2007.
GOUVEIA, Andréa Barbosa; SOUZA, Ângelo Ricardo de; TAVARES, Taís Moura. O Ideb e as políticas educacionais na região
metropolitana de Curitiba. Estudos em Avaliação Educacional, Rio de Janeiro, v. 20, n. 42, p. 45-58, 2009.
LEE, Valerie. Utilização e modelos hierárquicos lineares para estudar contextos sociais. In: BROOKE, Nigel; SOARES, José Francisco
(Ed.). Pesquisa em eficácia escolar: origem e trajetórias. Belo Horizonte: Editora UFMG, 2008. p. 273-298.
MACHADO-SOARES, Tufi et al. A gestão escolar e o IDEB da escola. Pesquisa e Debate em Educação, Juiz de Fora, v. 1, n. 1,
p. 45-68, 2011.
OLIVEIRA, Romualdo Portela de; ARAÚJO, Gilda Cardoso de. Qualidade do ensino: uma nova dimensão da luta pelo direito à
educação. Revista Brasileira de Educação, Rio de Janeiro, n. 28, p. 5-23, 2005.
PADILHA, Frederica et al. As regularidades e exceções no desempenho do Ideb dos municípios. Estudos em Avaliação
Educacional, São Paulo, v. 23, n. 51, p. 58-81, 2012.
SEN, Amartya. The idea of justice. Cambridge: Harvard University Press, 2009.
SETUBAL, Maria Alice. Equidade e desempenho escolar: é possível alcançar uma educação de qualidade para todos? Revista
Brasileira de Estudos Pedagógicos, Brasília, v. 91, n. 228, p. 345-366, 2010.
SOARES, José Francisco. Measuring cognitive achievement gaps and inequalities. International Journal of Educational
Research, v. 45, p. 176-187, 2006.
______. Melhoria do desempenho cognitivo dos alunos do ensino fundamental. Cadernos de Pesquisa, São Paulo, v. 37, n. 130,
p. 135-160, 2007.
______. Análise dos pressupostos educacionais e estatísticos do Índice de Desenvolvimento da Educação Básica (IDEB). In:
ENCONTRO DE PESQUISA EM EDUCAÇÃO DA REGIÃO SUDESTE, 10., 2011, Rio de Janeiro. Anais... Rio de Janeiro: ANPED, 2011.
SOARES, José Francisco; ALVES, Maria Teresa Gonzaga. Desigualdades raciais no sistema brasileiro de educação básica.
Educação e Pesquisa, São Paulo, v. 29, n. 1, p. 147-165, 2003.
SOUSA, Sandra Zákia; OLIVEIRA, Romualdo Portela de. Sistemas Estaduais de Avaliação: Uso dos Resultados, Implicações e
Tendências. Cadernos de Pesquisa, São Paulo, v. 40, n. 141, p. 793-822, 2010.
194 Maria Teresa Gonzaga ALVES; José Francisco SOARES. Contexto escolar e indicadores educacionais: condições...
TODOS PELA EDUCAÇÃO. Resultados do Ideb com foco na equidade e na qualidade das redes públicas do país:
nota técnica dos dados e análises complementares. Disponível em: <http://www.todospelaeducacao.org.br//arquivos/
biblioteca/2010_08_13_documento_tecnico_equidade.pdf>. Acesso em: 5 jun. 2012.
VIDAL, Eloisa Maia; VIEIRA, Sofia Lerche. Gestão educacional e resultados no Ideb: um estudo de caso em dez municípios
cearenses. Estudos em Avaliação Educacional, São Paulo, v. 22, p. 419-434, 2011.
WILLMS, Jon Douglas; SOMERS, Marie-A. Family, classroom, and school effects on children’s educational outcomes in Latin
America. School Effectiveness and School Improvement, v. 12, n. 4, p. 409-445, 2001.
Recebido em: 22.06.2012
Aprovado em: 18.09.2012
Maria Teresa Gonzaga Alves é professora adjunta do Departamento de Ciências Aplicadas à Educação da Faculdade de
Educação da Universidade Federal de Minas Gerais e pesquisadora do Grupo de Avaliação e Medidas Educacionais (GAME/
FAE-UFMG).
José Francisco Soares é professor titular aposentado da Faculdade de Educação da Universidade Federal de Minas Gerais
e pesquisador do Grupo de Avaliação e Medidas Educacionais (GAME/FAE-UFMG).