Ah, a Matemática!…

Eterna recordista do insucesso escolar, mal-amada por muitos alunos, mas também apreciada por bastantes, que se deixam seduzir pela disciplina, o ensino da Matemática vai ser estudado em profundidade. A prioridade do grupo de trabalho, já nomeado para o efeito, será o insucesso na disciplina.

Matemáticos, professores de ensino básico e secundário, especialistas em educação. No total, dez professores integram o grupo de trabalho, formalmente constituído esta sexta-feira através de um despacho publicado em Diário da República, que vai estudar o “fenómeno do insucesso” a Matemática no ensino básico e secundário e fazer recomendações para melhorar o ensino, aprendizagem e avaliação desta disciplina.

Anunciado em Março, o grupo é coordenado pelo matemático Jaime Carvalho e Silva, professor na Faculdade de Ciências e Tecnologia da Universidade de Coimbra.

O despacho define que parte do trabalho será de análise à evolução dos resultados a Matemática nas duas últimas décadas: o histórico de taxas de sucesso, das taxas de recuperação, dos programas da disciplina, da eficácia de medidas de apoio e das metodologias de ensino, entre outros parâmetros. Importa perceber se foram, afinal, eficazes e eficientes os diferentes planos e medidas dirigidas à melhoria das aprendizagens e à promoção do sucesso escolar adaptados nos últimos anos.

[…] Além do coordenador, integra o grupo de trabalho – não remunerado – Luís Gabriel, da Direcção-Geral da Educação, e os professores universitários Ana Paula Canavarro, do departamento de Pedagogia e Educação da Universidade de Évora, Carlos Albuquerque, do departamento de Matemática da Faculdade de Ciências da Universidade de Lisboa, e Maria Leonor dos Santos, do Instituto de Educação da Universidade de Lisboa. Mais os professores de Matemática de 3.º ciclo e secundário Helder Martins, da Escola Secundária António Damásio (Lisboa), João Almiro, da Secundária de Tondela, e Paulo Correia, da Secundária de Alcácer do Sal. Ainda Célia Mestre, professora de ensino básico na escola de Vale Flores (Feijó), e Olga Seabra, docente de Matemática e Ciências da Natureza do 2.º ciclo na Escola Básica do Sobrado (Valongo).

Sem me querer antecipar ao trabalho desta equipa, diria que a falta de uma linha de rumo coerente a nortear o ensino da Matemática contribuiu fortemente para as dificuldades de aprendizagem na disciplina e os fracos resultados médios obtidos pelos alunos, sobretudo ao nível da avaliação externa.

A solução não podem ser programas extensos e desajustados da idade dos alunos, como defendeu Nuno Crato, acreditando que o aumento da exigência conduziria, por si só, a um maior esforço de alunos e professores e, consequentemente, melhores resultados. Mas também não pode passar pelo facilitismo irresponsável da “matemática divertida” ou das teorias estupidificantes que tentam amarrar o estudo da disciplina a realidades e problemas concretos, descurando a abstracção.

Registo com agrado a integração na equipa de verdadeiros professores, e não apenas dos habituais burocratas e investigadores, tantas vezes ignorantes do que é a realidade concreta do quotidiano das salas de aula. Espero que este grupo de trabalho possa estudar com independência e rigor os problemas do ensino da Matemática, indo além do discurso formatado e repetitivo dos relatórios da DGEEC ou da OCDE. E que as conclusões do estudo não estejam, como é tão habitual entre nós, definidas à partida…

Anúncios

Matemática: condenados ao insucesso?

Do comunicado do governo sobre as provas finais do 9º ano, cujos resultados foram divulgados na sexta-feira, alguns números referentes à primeira fase de exames:

• 1 255 escolas, em Portugal e no estrangeiro, realizaram as provas;
• 189 266 provas realizadas;
• 4 171 professores classificadores;
• Mais de 10 000 docentes envolvidos na vigilância das salas e no secretariado de exames;
• Média na disciplina de Português, 66% (desvio padrão de 16), subindo em relação à média do ano anterior (58%);
• Média na disciplina de Matemática, 47% (desvio padrão de 27), descendo relativamente à média de 2017 (53%);
• 87% dos alunos obtiveram classificação igual ou superior a 50% a Português;
• 52% dos alunos obtiveram classificação inferior a 50% a Matemática.

Não é preciso cogitar muito para perceber que continuamos a ter um problema sério em relação à disciplina de Matemática. Quando mais de metade dos alunos do 9º ano não consegue alcançar um resultado satisfatório na prova nacional que os avalia à disciplina, várias coisas podem estar a suceder.

A explicação mais fácil é supor que os alunos simplesmente não estudam, não se esforçam, não querem saber. A suposição é, no entanto, demasiado simplista e redutora. Embora a disciplina de Matemática tenha dos níveis de insucesso mais elevados do 3º ciclo, eles não atingem, na avaliação interna, valores que sejam comparáveis ao panorama desolador que se constata nas provas finais.

Por outro lado, os testes internacionais assinalam uma clara melhoria das competências matemáticas dos alunos portugueses – o último PISA mostrava-os alinhados com a média da OCDE, e acima de países como a Finlândia – pelo que não podemos deixar de perguntar porque é que esses progressos não são visíveis nos exames nacionais. E isto reforça as dúvidas de que a avaliação externa esteja a ser feita da forma mais correcta e ponderada.

No tempo de Nuno Crato, o aumento da carga horária da disciplina terá contribuído para alguma melhoria dos resultados, que no entanto se reflectiu negativamente noutras áreas disciplinares. Somos já dos países onde a Matemática dispõe de mais horas de leccionação, pelo que aumentar ainda mais a carga horária da disciplina não parece ser solução. Mas poderá existir a necessidade, sobretudo nas escolas com piores resultados, de alterar práticas pedagógicas e de alocar maiores recursos – coadjuvâncias, apoios, desdobramentos – aos alunos que precisam de um acompanhamento mais individualizado. E fazê-lo o mais cedo possível, pois conhece-se bem o efeito cumulativo e multiplicador do insucesso em disciplinas como a Matemática.

Há ainda outras questões que devem ser colocadas. Com tantas mexidas ao longo dos anos, os programas são ajustados ao nível etário dos alunos, estão organizados de forma lógica e coerente, são exequíveis na sua leccionação? E as provas finais, no 9º ano, são bem estruturadas? A extensão é adequada ao tempo de execução? Têm correspondência com o que os alunos aprenderam e com a forma como o fizeram?

Que fique claro: não sou apologista de facilitismos nos exames para construir a imagem de um sucesso falso e inconsistente. Não quero provas mais fáceis para “provar”, dessa forma, que os alunos, afinal de contas, até sabem umas coisas. Mas penso que, se a nível de escola não nos conformamos com uma taxa de insucesso, nem que seja apenas numa turma, superior a 50%, muito menos pode um país inteiro dar-se ao luxo de assistir impávido e sereno, ano após ano, a esta hecatombe de fracos resultados, nada fazendo para os melhorar.

O insucesso nos exames de Matemática não tem de ser uma fatalidade e merece um debate nacional, não circunscrito aos especialistas do costume e às habituais picardias entre a APM e a SPM.

Haverá vontade de discutir publicamente os verdadeiros problemas da Educação portuguesa, ou a intenção do ME é passar o resto da legislatura com a converseta oca, inútil e palavrosa em torno de flexibilidades, perfis e outras tretas?…

IAVE: o reino da estupidez

A situação já ocorreu várias vezes no passado e sempre se resolveu sem dramas: havendo alunos inscritos para exame que estudaram a mesma disciplina com programas diferentes, a solução lógica é, obviamente, fazer dois exames distintos: um baseado no antigo programa, outro no novo.

Mas o IAVE e o ministério insistiram em seguir pelo caminho mais complicado: um único exame, a realizar por todos os alunos e que supostamente seria compatível com os dois programas. Deu asneira…

Segundo o PÚBLICO apurou, os professores que estão a corrigir os exames de Matemática A receberam nesta quinta-feira um “esclarecimento” do Iave relativo à classificação dos três itens, todos eles de escolha múltipla, em que eram feitas perguntas em alternativa: uma dirigida aos alunos que estudaram pelo programa que esteve em vigor até 2015; outra para os estudantes que já seguiram o novo programa.

Em qualquer bloco é dada a informação sobre a que programa respeita cada item, com a seguinte formulação: “Os dois itens que se apresentam a seguir são itens em alternativa (…). Responda apenas a um dos dois itens. Na sua folha de respostas identifique claramente o item seleccionado.”

Ora, no esclarecimento enviado nesta quinta-feira aos professores, a que o PÚBLICO teve acesso, o Iave dá instruções opostas ao que estava expresso na prova e também nas informações que publicou antes da realização do exame. Estipula agora o Iave que se o aluno, ao contrário do que era pedido no exame, tiver acabado por responder aos dois itens e uma das respostas estiver correcta, “esta deve ser considerada” para efeitos de cotação.

Indica também que se o aluno “não identificar o item pelo qual optou, isto é, se o examinando se limitar a escrever, por exemplo 1. [em vez de 1.1 ou 1.2], a resposta do examinando deve ser considerada”.

Professores ouvidos pelo PÚBLICO, e que pediram o anonimato, frisam que com esta alteração dos critérios de correcção, o Iave está a colocar em “desvantagem os alunos que cumpriram as instruções e apenas responderam a uma das opções”, porque se tiverem errado na sua escolha única não lhes é atribuída cotação. Nas redes sociais também já existem comentários indignados por parte de pais de estudantes que estão nesta última situação.

Com a sua inépcia, o IAVE complicou a vida aos examinandos de Matemática A, criando um problema que era perfeitamente escusado. E a forma desajeitada como o quer tentar resolver, impondo critérios de classificação que contrariam as instruções dadas na prova e beneficiam os incumpridores, apenas irá aumentar o sentimento de prepotência e de injustiça entre os alunos que, tendo cumprido escrupulosamente as regras estabelecidas sairão, inevitavelmente, prejudicados.

O IAVE não é, ao contrário do que a sigla possa sugerir, uma entidade sobrenatural. É constituído por seres homens e mulheres que, sendo humanos, estão sujeitos a errar. Mas por isso mesmo há que ter a humildade de ouvir os outros, de reflectir antes de decidir e de ponderar todas as consequências das decisões que se tomam, em vez de impor teimosamente o que se decidiu de forma precipitada ou mal informada.

Lamentavelmente, entre os dirigentes do ME e das suas adjacências, não só erram com cada vez mais frequência como se nota uma incapacidade crescente de reconhecer os erros, de reparar os danos que causam a terceiros e, acima de tudo, de aprender a evitá-los.

Tudo seria menos mau se a incompetência prejudicasse apenas os incompetentes; a realidade é que brincam irresponsavelmente com as expectativas de milhares de jovens, cujo futuro académico depende dos resultados dos exames.

As críticas ao exame de Matemática A

O exame de Matemática A, que ontem decorreu, suscitou alguma polémica, que em parte já se adivinhava, uma vez que a mesma prova iria avaliar alunos que frequentaram a disciplina sob a vigência de dois programas distintos e com diferentes níveis de exigência.

Nestas situações, a solução mais sensata é fazer duas provas diferentes, como aliás tem sido tradição entre nós. Mas, desta vez, não só o ME e o IAVE insistiram no exame único, como se recusaram a apresentar uma prova-modelo que pudesse orientar a preparação dos estudantes para um exame que já se sabia que iria ser diferente do dos anos anteriores.

SPM e APM discordam habitualmente em muitas matérias relacionadas com o ensino da Matemática, que abordam de perspectivas diferentes. Quando ambas criticam, ainda que por razões distintas, a prova ontem realizada, esse será provavelmente um sinal seguro de que algo andará mal na forma como foi concebida, este ano, a avaliação externa da disciplina.

Pela minha parte, não questiono a utilidade dos exames enquanto instrumento de regulação e certificação das aprendizagens dos alunos do ensino secundário. Mas noto que as constantes mudanças nos programas e nas orientações para a sua leccionação, bem como as sucessivas alterações na estrutura e grau de dificuldade das provas, acabam por criar injustiças entre os alunos e por impossibilitar os estudos comparativos e evolutivos. Uma avaliação externa com estas características acaba por nos dizer mais sobre as idiossincrasias dos avaliadores do que sobre o real nível de aprendizagens dos avaliados.

Os alunos do 12.º ano que realizaram nesta segunda-feira o exame de Matemática A foram “prejudicados” pelo tipo de prova que lhes foi proposta, alertam a Sociedade Portuguesa de Matemática (SPM) e a Associação de Professores de Matemática (APM) que, contudo, apresentam motivos distintos para sustentar esta conclusão em comum.

“Ficou reunida a receita para o desastre”, diz o presidente da SPM, Jorge Buescu. E isto aconteceu porque o Instituto de Avaliação Educativa (Iave), que elabora os exames, “mudou completamente a estrutura do exame sem que antes tenha elaborado uma prova-tipo, o que sempre recusou, ou promovido a realização e testes intermédios”, explicita Buescu.

Por outro lado, acrescenta, a mesma prova contém “quatro ou cinco perguntas em alternativa que têm na base o novo programa da disciplina e o antigo, o que torna as coisas ainda mais confusas”, adiantou. Já quanto ao conteúdo, a SPM considera que “não era particularmente complicado”.

No seu parecer escrito, entretanto divulgado, a SPM dá um exemplo: “No item 10, os alunos do antigo programa poderiam responder a qualquer uma das alternativas apresentadas, ao passo que o novo programa apenas contempla uma delas.” Por tudo isto, diz, criou-se “uma situação de incerteza e potencial injustiça em relação ao acesso ao ensino superior”.

“Globalmente um aluno mediano vai ter dificuldade em ter um resultado de exame que seja compatível com a sua nota interna [a que é dada pela escola]”, afirma o dirigente da APM Paulo Correia, explicando que tal se deve ao facto de a prova ter “vários itens que apresentam um grau de dificuldade elevado, quando o que seria natural é que não existisse mais do que um ou dois com estas características”.

Quanto à coexistência dos dois programas numa mesma prova, o dirigente da APM refere que correspondeu à “informação divulgada anteriormente pelo Iave”, sendo o exame “adequado” para os dois grupos de alunos.

Nesta segunda-feira estavam inscritos mais de 62 mil alunos para as provas do dia: Matemática A, a mais concorrida, com quase 48 mil inscritos: Matemática B (2700 inscritos) e Matemática Aplicada às Ciências Sociais (cerca de 12 mil).

SPM arrasa a nova organização curricular

“Inquietante”, “facilista” e “obscurantista”. Para a Sociedade Portuguesa de Matemática (SPM) são estes os três adjetivos que melhor se aplicam às alterações feitas aos currículos do ensino básico e secundário já aprovadas na generalidade pelo Governo e que estiveram até esta segunda-feira em consulta pública. Numa análise muito crítica ao documento, a direção da SPM considera que o documento é “muito preocupante”, não só por “pôr em causa os progressos conquistados nas duas últimas décadas”, mas também por representar um “retrocesso a atitudes características daquilo que de pior teve o ensino em Portugal no século XX”.

As novas orientações e matrizes curriculares devem entrar em vigor já no próximo ano letivo nos anos iniciais de ciclo (1º, 5º, 7º e 10º). Estão previstas novas disciplinas, como Cidadania e Desenvolvimento e Complemento à Educação Artística, e um reforço das do tempo dedicado às expressões artísticas e educação física. É dada a todas as escolas a possibilidade de gerirem 25% da carga horária, usando outros métodos de ensino que não a clássica aula de 45 minutos dedicada a uma disciplina, tal como tem sido experimentado por um conjunto de 235 escolas que participaram num projeto piloto. E os documentos de referência passam a ser o Perfil do Aluno e as Aprendizagens Essenciais, aprovadas já durante este Governo e que vieram substituir as metas curriculares do ex-ministro Nuno Crato.

As visões diametralmente opostas sobre o ensino da Matemática que têm as duas associações profissionais do sector, a SPM e a Associação de Professores de Matemática (APM), mostram que construir consensos em Educação é, em certas circunstâncias, missão quase impossível.

Nuno Crato, ele próprio um antigo presidente da SPM, privilegiou esta sociedade científica na elaboração dos programas e metas curriculares da disciplina ainda em vigor. Apostou-se no aumento da exigência e da extensão dos programas, que se tentou compensar com o reforço do número de horas da disciplina. Mas, ainda assim, a maioria dos professores da disciplina discorda das soluções encontradas, nem sempre exequíveis na prática, nem ajustadas ao nível etário dos alunos a que se destinam. E algum sucesso recente nas avaliações internacionais conseguiu-se à custa de um excessivo peso da Matemática nos currículos, em detrimento de outras disciplinas.

Já o actual governo seguiu orientação distinta, aconselhando-se com a APM para a introdução de mudanças nos documentos curriculares da disciplina de Matemática, uma posição que tem sido denunciada pela SPM. Contudo, no parecer ontem apresentado, as críticas desta instituição, apesar de contundentes, são na sua maior parte bem fundamentadas, sendo difícil não lhe reconhecer pelo menos uma parte da razão.

Para a SPM, as “aprendizagens essenciais” não são documentos suficientemente estruturados para servirem de alternativa aos programas em vigor. Pelo contrário, levam a que estes sejam aplicados de uma forma confusa e desarticulada, com reflexos negativos no processo de ensino e aprendizagem. O projecto do ME “desinveste no conhecimento, reduzindo-o a um mínimo insuficiente para levar os alunos a patamares de autonomia na ação e no desenvolvimento do raciocínio”. E o foco constante na aplicação prática dos conhecimentos compromete a aquisição das teorias e o desenvolvimento do pensamento abstracto, fundamental na Matemática.

A SPM não está sozinha nalgumas das críticas que faz à nova organização curricular que o ME pretende generalizar já no próximo ano lectivo, nomeadamente quando afirma que os processos de aprendizagem que se pretende priorizar, como a multidisciplinaridade ou o trabalho de projecto, limitam efectivamente a autonomia dos professores, impedindo-os de seleccionar, com inteira liberdade, as estratégias mais eficazes e adaptadas aos alunos concretos que têm à sua frente.

Creio que reside aqui um dos maiores riscos trazidos pelas ideologias educativas ditas do século XXI: sob o pretexto de que temos de trabalhar todos em conjunto, derrubar paredes das salas de aula e desconstruir os grupos-turma, acabaremos a transformar o professor, de profissional autónomo e reflexivo que ainda consegue ser, num executante acéfalo das estratégias e actividades decididas superiormente. Será a consagração daquilo que já se vai ensaiando nalguns lugares e a que não hesito em considerar uma verdadeira ditadura do projecto.

Finalmente, a SPM manifesta também apreensão pela provável retirada de tempo à disciplina de Matemática, que pelas contas desta organização, poderá chegar a um corte de 20%.

Sem ser obviamente dona de toda a verdade, a SPM apresenta pontos de vista pertinentes e críticas que deveriam ser tidas em conta se o ME pretende realmente, como asseguram os defensores das actuais políticas, dialogar com toda a gente e produzir reformas verdadeiramente consensuais. Apesar de todo o histórico de posições divergentes, será que ministério, APM e SPM conseguem falar uns com os outros e, a bem dos interesses dos alunos, buscar um entendimento de que todos beneficiem?

Novos programas de Matemática em 2019?

A forma como o actual ministério lida com a questão dos programas de Matemática desafia qualquer tentativa de explicação lógica e racional.

Há, desde que o actual governo entrou em funções, um amplo consenso entre os professores da disciplina, os dirigentes da APM e os decisores e consultores ministeriais que têm opinado sobre a matéria: os programas em vigor são demasiado extensos, estão em certos casos desajustados da faixa etária a que se destinam, complicam o trabalho de professores e alunos, aumentam o insucesso e promovem mesmo, nalguns alunos, aversão à disciplina.

De fora deste consenso tem permanecido a SPN, principal parceira de Nuno Crato na elaboração dos programas e, coerentemente, defensora dos mesmos. Uma posição que se pode entender e respeitar, mas não aceitar como razão para manter, indefinidamente, o que comprovadamente funciona mal.

Ora o ministério, que tem andado a alimentar a ideia de que são necessários ajustamentos nos programas das disciplinas, em regra na forma de definição das chamadas aprendizagens essenciais, tem em relação à Matemática dado sinais de que, aqui, será necessário ir um pouco mais longe. E criou um grupo de trabalho para tratar do assunto…

O professor da Universidade de Coimbra, Jaime Carvalho e Silva, coordenador do grupo de trabalho que, por solicitação do Ministério da Educação (ME), irá analisar os programas de Matemática do ensino básico e secundário, não tem dúvidas que das recomendações que vierem a ser produzidas “sairá inevitavelmente a alteração dos actuais programas e metas curriculares”, que foram aprovados durante o mandato de Nuno Crato.

“Olhando para o terreno, é claro hoje que os actuais programas do básico e secundário são impossíveis de cumprir e todos os professores fazem prodígios para conseguirem apresentar aos alunos algo de coerente”, defende este docente.

Contudo, iniciando agora as suas funções é evidente, como os próprios admitem, que será impossível ter novos programas prontos para vigorar em 2018/19. Pelo que só em Setembro de 2019, se tudo correr bem, os novos programas de Matemática poderão dar um ar da sua graça. Sendo este, no entanto, um ano de eleições, outros factores poderão pesar na decisão de os implementar. Desde logo: fará sentido um governo colocar em vigor novos programas no final do seu mandato? Ou melhor: se sabiam desde o início o que estava mal, porque precisam de quatro anos para apresentar algo melhor?

Olhando para toda esta embrulhada de indefinições e adiamentos que tem sido a gestão pedagógica do ME, a sensação que fica é de que na verdade, seja por inépcia, seja por falta de coragem política, não há vontade de introduzir mudanças estruturantes que melhorem a Educação portuguesa. Parece interessar mais manter os programas desajustados, os currículos desequilibrados e uma certa entropia e confusão no sistema. Pois tudo isto acaba por servir de justificação para flexibilidades, integrações, transversalidades e autonomias curriculares que se alimentam do caos instalado. E que sustentam as diversas capelinhas instaladas no aparelho burocrático do ME e nas instituições que se têm assumido como parceiras das actuais políticas educativas.

Exame de Matemática A: não haverá prova-modelo

O exame nacional de Matemática A está envolto em polémica. Chegaram agora ao 12º ano os alunos que estrearam, no 10º, o novo programa imposto por Nuno Crato e que sempre mereceu contestação da Associação de Professores de Matemática e da maioria dos professores da disciplina.

E foi um dirigente desta organização que ontem criticou publicamente que, perante um novo programa que ninguém sabe como será aplicado em contexto de exame, não seja elaborada, para orientação de alunos e professores, uma prova-modelo.

O presidente do Instituto de Avaliação Educativa (Iave), o organismo responsável pela elaboração dos exames nacionais, pôs de lado, nesta segunda-feira, a hipótese de vir a ser elaborada uma prova modelo do exame de Matemática A do 12.º ano, que em 2018, pela primeira vez, terá na base o novo programa da disciplina.

Hélder de Sousa, que interveio no debate promovido pela Fundação Francisco Manuel dos Santos sob o tema Exames: Como e Para Quê, respondia assim a esta afirmação do professor da Universidade de Coimbra, Jaime Carvalho e Silva: é “um escândalo que o novo exame de Matemática A se realize sem que antes haja uma prova modelo”. “Os alunos e professores estão a viver uma situação de grande instabilidade porque ninguém sabe o que vai sair no exame”, justificou.

O presidente do Iave referiu que a elaboração de “provas modelo foi abandonada há muitos anos em Portugal”, embora os alunos possam treinar com base nos exames realizados em anos anteriores. “Se o programa for leccionado como deve ser não vai haver problemas. O Iave não vai introduzir surpresas na prova, que terá de funcionar como um denominador comum do antigo [porque há alunos que chumbaram no ano lectivo passado e vão ter de realizar de novo o exame] e do novo programa”, garantiu.

A complicar tudo, as notórias dificuldades de aplicação de um programa que se tem mostrado desajustado e em muitos casos inexequível pela sua extensão: ao contrário dos examocratas de gabinete, os professores no terreno percebem que não será possível cumprir tudo o que é exigido, pelo que o “denominador comum” de que fala Hélder de Sousa deveria ser divulgado, para se perceber o que é prioritário no trabalho com os alunos. É essa, aliás, a regra seguida na generalidade dos países que têm exames nacionais: uma definição clara do que poderá sair nas provas.

No debate houve ainda tempo para falar das provas de aferição, que vieram substituir alguns exames do ensino básico enquanto instrumentos de avaliação externa. E também aqui o bom senso falou pela voz do dirigente da APM, que duvidou do acerto da reacção pavloviana do ME: perante os 80% de alunos que revelaram dificuldades nas provas, anunciou de imediato mais formação para professores. Com resultados tão desalinhados em relação ao que é obtido nas restantes avaliações, não seria mais sensato, em vez da habitual manifestação de desconfiança no trabalho dos professores, questionarem se as provas foram bem elaboradas?