Prova Brasil : uma análise da complexidade cognitiva de itens de Matemática por meio da Taxonomia SOLO.
| dc.contributor.advisor | Matos, Daniel Abud Seabra | pt_BR |
| dc.contributor.author | Mol, Solange Maria | |
| dc.contributor.referee | Matos, Daniel Abud Seabra | pt_BR |
| dc.contributor.referee | Hamdan, Juliana Cesário | pt_BR |
| dc.contributor.referee | Soares, José Francisco | pt_BR |
| dc.date.accessioned | 2019-06-28T13:06:26Z | |
| dc.date.available | 2019-06-28T13:06:26Z | |
| dc.date.issued | 2019 | |
| dc.description.abstract | O objetivo geral desta pesquisa foi analisar os itens de Matemática do 5º e do 9º anos do Ensino Fundamental da Prova Brasil pertencentes à Plataforma Devolutivas Pedagógicas, por meio dos níveis de complexidade cognitiva da Taxonomia SOLO. Os objetivos específicos foram: realizar uma revisão da literatura sobre o uso da Taxonomia SOLO na avaliação educacional no Brasil; classificar e analisar os itens a partir da dificuldade (nível de proficiência e índice de dificuldade) e da discriminação (índice de discriminação); relacionar e diferenciar a dificuldade e a complexidade cognitiva dos itens; elaborar uma escala de proficiência a partir dos dados da Plataforma Devolutivas Pedagógicas, usando os itens associados às suas respectivas sentenças descritoras para criar níveis de proficiência com uma interpretação pedagógica clara. Utilizamos como referencial teórico a Taxonomia SOLO, uma taxonomia cognitiva composta por cinco níveis que crescem em complexidade: 1) préestrutural; 2) uni-estrutural; 3) multi-estrutural; 4) relacional; e 5) abstrato estendido. A aprendizagem superficial é composta pelos níveis uni-estrutural e multi-estrutural. Já a aprendizagem profunda é composta pelos níveis relacional e abstrato estendido. O nível préestrutural não indica construção de aprendizagem. Analisamos um total de 123 itens que estavam disponíveis na Plataforma Devolutivas Pedagógicas do INEP, sendo 57 referentes ao 5º ano e 67 ao 9º ano. Usamos métodos qualitativos (análise de conteúdo para classificação dos itens nos níveis de complexidade cognitiva da SOLO) e quantitativos (concordância entre juízes, por meio dos coeficientes Kappa de Cohen e Alfa de Krippendorff, para comparar as classificações de duas pesquisadoras independentes). Dentre os principais resultados, destacamos: a) a Taxonomia SOLO é pouco conhecida no Brasil: encontramos 14 trabalhos, sendo que a maioria usa a SOLO para analisar respostas a tarefas de alunos; b) entre os itens do 5º ano, o nível predominante foi o uni-estrutural (77,2%), enquanto, no 9º ano, foi mais recorrente o nível multi-estrutural (62,1%). Apenas o 9º ano teve itens classificados no nível relacional (6,1%). Nenhum item foi classificado no nível abstrato estendido. Esses resultados mostram a expressiva proporção de itens que exigem aprendizagem superficial; c) analisamos os resultados em relação a três variáveis: 1) faixa de dificuldade do item; 2) nível de proficiência; 3) faixa de discriminação do item. O tipo de aprendizagem superficial prevaleceu em todas as variáveis. Isso significa que esse tipo foi dominante, inclusive, na faixa de dificuldade alta, nos níveis de proficiência considerados adequado e avançado e na faixa alta de discriminação do item. A partir dessas constatações, ficou clara a diferença entre os conceitos de complexidade cognitiva e dificuldade do item, que não podem ser tomados como sinônimos; d) fizemos uma transposição das escalas do SAEB de Matemática do Ensino Fundamental (5º e 9º) para uma escala usando os quatro níveis de desempenho apresentados por Soares (2009): abaixo do básico, básico, adequado e avançado. Essa escala é composta por exemplos reais de itens associados às suas respectivas sentenças descritoras, fornecendo um material útil e com uma interpretação pedagógica mais clara para os docentes na sala de aula. Por fim, para ampliar a possibilidade de considerações mais consistentes sobre o nível de complexidade cognitiva dos itens dos testes da Prova Brasil, pesquisas complementares são necessárias. Sugerimos o uso da Taxonomia SOLO para analisar a complexidade cognitiva de outras avaliações externas e também para outras finalidades na área educacional. | pt_BR |
| dc.description.abstracten | The overall aim of this research was to analyze the Math items of the 5o and 9o grade of basic education in Prova Brasil which belongs to the Platform Devolutivas Pedagógicas by the means of cognitive complexity levels of SOLO Taxonomy. The specific goals were: performing a literature review of the usage of SOLO Taxonomy at educational evaluation in Brazil; classifying and analyzing the items based on the difficulty (proficiency level and difficulty index) and discrimination (discrimination index); approximating and differentiating the difficulty and the cognitive complexity of the items; elaborating a scale of proficiency from the data of the Platform Devolutivas Pedagógicas, using the items associated to their respective descriptive sentences to set the proficiency levels with a clear pedagogical interpretation. The framework for this study was built from SOLO Taxonomy, a cognitive taxonomy composed of five proficiency levels which increase in complexity: 1) prestructural; 2) unistructural; 3) multistructural; 4) relational; and 5) extended abstract. The surface learning is composed by the unistructural and multistructural levels. The deep learning is composed by the relational and extended abstract levels. The prestructural level does not indicate learning construction. We analyzed a total amount of 123 items, which were available on the Plataform Devolutivas Pedagógicas of INEP, considering that 57 referred to the 5o grade and 67 to the 9o grade. Both qualitative (content analyzes for the classification of the items according to the levels of cognitive complexity of SOLO) and quantitative methods (inter-rates agreement, using Cohen’s Kappa coefficients and Krippendorff’s Alpha, to compare the rankings of two independent researchers) were used. Among the main results, we highlight: a) SOLO Taxonomy is little known in Brazil: we found 14 studies, of which the majority use SOLO to analyze the answers to students’ tasks; b) within the items of 5o grade the predominant level was the unistructural (77,2%), while in the 9o grade the most recurrent was the multistructural (62,1%). Only the 9o grade had items classified as relacional (6,1%). None of the items were classified as extended abstract. These results show a considerable proportion of items which required surface learning; c) we analyzed the outcomes regarding three variants: 1) range of difficulty of the item; 2) proficiency level; 3) range of discrimination of the item. The surface type of learning prevailed in all variants. This means that this type was dominant, as well as in the highest difficulty range, in the levels of proficiency considered adequate and advanced and the high range of discrimination of the item. From these conclusions, it was made noticeable the difference between the concepts of cognitive complexity and item difficulty, which cannot be taken as synonyms; d) we made a transposition from the scales of SAEB for Mathematics of basic education (5o and 9o) to a scale using the four levels of outcomes presented by Soares (2009): below basic, basic, adequate and advanced. This scale comprises of real examples of items associated to their respective descriptive sentences, providing a useful material and with a clearer pedagogical interpretation to the docents in the classrooms. Finally, to expand the possible more consistent considerations about the level of cognitive complexity of the items in Prova Brasil, complementary researches are required. We suggest the use of SOLO Taxonomy to analyze the cognitive complexity of other external evaluations and also to other purposes in the educational area. | pt_BR |
| dc.identifier.citation | MOL, Solange Maria. Prova Brasil: uma análise da complexidade cognitiva de itens de Matemática por meio da Taxonomia SOLO. 2019. 127 f. Dissertação (Mestrado em Educação) - Instituto de Ciências Humanas e Sociais, Universidade Federal de Ouro Preto, Mariana, 2019. | pt_BR |
| dc.identifier.uri | http://www.repositorio.ufop.br/handle/123456789/11597 | |
| dc.language.iso | pt_BR | pt_BR |
| dc.rights | aberto | pt_BR |
| dc.rights.license | Autorização concedida ao Repositório Institucional da UFOP pelo(a) autor(a) em 26/06/2019 com as seguintes condições: disponível sob Licença Creative Commons 4.0 que permite copiar, distribuir e transmitir o trabalho desde que sejam citados o autor e o licenciante. Não permite o uso para fins comerciais nem a adaptação. | pt_BR |
| dc.subject | Taxonomia SOLO | pt_BR |
| dc.subject | Sistema Nacional de Avaliação da Educação Básica | pt_BR |
| dc.subject | Complexidade cognitiva | pt_BR |
| dc.subject | Avaliação educacional | pt_BR |
| dc.subject | Matemática - exames | pt_BR |
| dc.title | Prova Brasil : uma análise da complexidade cognitiva de itens de Matemática por meio da Taxonomia SOLO. | pt_BR |
| dc.type | Dissertacao | pt_BR |