Export this record: EndNote BibTex

Please use this identifier to cite or link to this item: https://tede2.pucrs.br/tede2/handle/tede/9132
Document type: Dissertação
Title: Adaptação transcultural e busca de evidências de validade da escala de clima escolar Delaware School Survey – Teacher/Staff (DSS-T/S) para o idioma português brasileiro
Author: Strey, Artur Marques 
Advisor: Lisboa, Carolina Saraiva de Macedo
Abstract (native): O instrumento Delaware School Survey - Teacher/Staff (DSS-T/S) foi construído e validado para avaliar o clima escolar percebido por professores e funcionários das escolas do estado de Delaware, dos Estados Unidos. Esta versão foi elaborada juntamente com mais dois instrumentos, um para avaliar o clima escolar a partir da perspectiva dos pais e responsáveis (Delaware Home Survey) e outro da perspectiva dos estudantes (Delaware Student Survey). Entende-se por clima escolar a percepção de alunos, familiares, docentes e demais membros de uma instituição educacional sobre a qualidade e o caráter da vida escolar, incluindo normas, valores e expectativas. O desenvolvimento de três instrumentos diferentes parte da importância da triangulação de informantes e no pressuposto de que medidas que avaliem apenas um ou dois dos três maiores grupos que compõem a comunidade escolar (alunos, pais e equipe escolar) são menos favoráveis para se obter um panorama completo do processo e qualificar o clima escolar. A coleta de dados junto a múltiplos respondentes possibilita a triangulação de dados e informações. O DSS-T/S constitui-se de duas escalas: A Delaware School Climate Scale - Teachers and Staff (DSCS-T/S) e a Positive, Punitive, and Social Emotional Learning Techniques Scale−Teacher/Staff (DTS-T/S). Este instrumento tem como objetivo levantar informações para a avaliação de necessidades, desenvolvimento de programas, avaliação de programas, particularmente programas de prevenção de bullying e outros problemas comportamentais e promover competências sociais e emocionais. Objetivo: O objetivo deste estudo foi traduzir, adaptar e investigar evidências de validade para o português brasileiro do DSS-T/S. Método: A amostra desse estudo contou com 180 respondentes, sendo 67,7% do gênero feminino e 32,3% do gênero masculino. Constituíram a amostra do estudo professores, gestores, orientadores educacionais, supervisores escolares e outros funcionários escolares, de escolas privadas ou públicas, além de oito escolas de ensino técnico. Primeiramente, foram realizadas duas traduções independentes do instrumento original para o português, por tradutores cuja língua nativa é o português e fluentes em inglês, residentes no Brasil e com experiência prévia na tradução de instrumentos psicológicos. Uma síntese das duas traduções foi realizada por um terceiro tradutor independente, também fluente em inglês, tendo língua nativa o português e com experiência prévia em na tradução de instrumentos psicológicos. Após essa etapa, realizou-se uma primeira avaliação piloto dos itens das escalas com dezessete professores de uma escola particular de Porto Alegre, onde foi solicitado que fizessem comentários nos itens que julgassem que necessitavam de modificações. Depois de novos ajustes, as escalas foram enviadas para um comitê de três experts na área de Psicologia Escolar e foi solicitada a opinião dos mesmos quanto a clareza da linguagem, relevância teórica e pertinência prática dos itens. Com o retorno dessas avaliações, um ajuste semântico final foi realizado pela equipe de tradutores baseado nas respostas do comitê de experts. Em seguida, foi elaborada a tradução reversa da versão em português novamente para o inglês, por um quarto tradutor independente, fluente em português e com amplo domínio da língua inglesa. A tradução reversa foi enviada para o autor original, para assegurar a equivalência do conteúdo. Após avaliação e aprovação do projeto pelo Comitê de Ética, os instrumentos foram coletados online através do site Qualtrics, a partir de uma amostra de conveniência e bola de neve. Também foi realizada uma coleta presencial em escolas públicas e particulares de Porto Alegre, além de uma coleta online em oito escolas de ensino técnico. Para dar conta dos objetivos desse estudo, técnicas de estatística descritiva foram utilizadas. Foram calculados os alfas de Cronbach a fim de verificar a consistência interna do instrumento geral e das subescalas. Correlações entre as partes do instrumento foram igualmente calculadas. Foram realizadas a análise fatorial exploratória e confirmatória do DSS-T/S. Atendendo às Diretrizes e Normas Regulamentadoras envolvendo a pesquisa com seres humanos previstas na Resolução n° 510 do Conselho Nacional de Saúde (2016), na Resolução nº 466, de 12 de dezembro de 2012 e na Resolução n° 016/2000 do Conselho Federal de Psicologia (2000), esta pesquisa resguarda os cuidados éticos necessários, tendo sido aprovada pelo Comitê de Ética da Pontifícia Universidade Católica do Rio Grande do Sul (PUCRS) sob o número CAAE: 10949419.9.0000.5336. Resultados: As escalas apresentaram boa consistência interna, com Alfa de Cronbach de 0,93 para o DSCS-T/S e de 0,75 para o DTS-T/S. A medida de Kaiser-Meyer-Olkin verificou a adequação amostral para a análise (KMO = 0,912 para o DSCS-T/S e KMO = 0,819 para o DTST/S). O teste de esfericidade de Bartlett (qui-quadrado aproximado: 4973,67; nível de significância de 0,000 [DSCS-T/S] e qui-quadrado aproximado: 1307,736; nível de significância de 0,000 [DTS-T/S]), indicou que as correlações entre os itens são suficientes para a realização da análise. Uma Análise de Componentes Principais (ACP) foi conduzida nos 39 itens do DSCS-T/S e nos 16 itens do DTS-T/S com rotação ortogonal (varimax), com análise inicial mostrando oito componentes para o DSCS-T/S e três componentes para o DTS-T/S que obedeceram ao critério de Kaiser de eigenvalue maior que 1,0 e explicaram 69,938% da variância no DSCS-T/S e 59,725% da variância no DTS-T/S. A Análise Fatorial Confirmatória foi utilizada para testar os modelos sugeridos na ACP, com oito componentes no DSCS-T/S e o modelo de três componentes do DTS-T/S, e fixando-se os modelos propostos nas versões americanas, de nove fatores para o DSCE-T/S e três fatores para o DTS-T/S. Comparando os modelos, os resultados mostraram o modelo das dimensões propostas pelos autores originais apresentou melhores valores (DSCS – TLI: 0.849; CFI: 0.866; RMSEA: 0.072; DTS – TLI: 0.813; CFI: 0.842; RMSEA: 0.104) do que o modelo proposto pela ACP (DSCS – TLI: 0.818; CFI: 0.834; RMSEA: 0.08; DTS – TLI: 0.841; CFI: 0.866; RMSEA: 0.096). Discussão: Os resultados obtidos no estudo mostraram que consistência interna adequada das escalas, corroborando com os achados do estudo dos autores originais (Bear et al., 2016). A partir dos resultados das Análises Fatoriais Confirmatórias, foi possível identificar que o modelo fatorial da estrutura empírica baseada na disciplina autoritativa (Baumrind, 1996) e do quadro teórico de Stockard e Mayberry (1992) é mais adequado do que o modelo levantado pela ACP. O modelo fatorial baseado neste quadro teórico foi igualmente adotado na versão de estudantes do Delaware School Survey para uso no Brasil (Bear, Holst, Lisboa, Yang & Chen, 2016). Com isso, torna-se possível a triangulação de dados das três escalas, permitindo uma análise mais global e qualificada do clima escolar. Com a avaliação mais precisa, ações interventivas podem ser implementadas de forma mais estratégica, visando um maior impacto. As escalas ainda podem ser utilizadas para a reavaliação destas intervenções, buscando a melhora continua das mesmas. Considerações Finais: O processo de tradução, adaptação e validação da Delaware School Survey - Teacher/Staff (DSS-T/S) apresentou evidências de validade de conteúdo, boa consistência interna e estrutura fatorial, mostrando-se adequada para uso na população brasileira. O instrumento contribui para a avaliação do clima escolar por diferentes grupos: professores e funcionários de escolas. As limitações deste estudo incluem o tamanho da amostra e a limitação da região de abrangência da coleta de dados. Estudos futuros podem incluir análises de rede e replicação das análises de validação, afim de que a consistência do instrumento possa ser reforçada, bem como estudos que incluam as três escalas de avaliação do clima escolar. Os dados que podem ser obtidos através do uso da escala podem fornecer a gestores, pesquisadores e formuladores de políticas públicas subsídios para identificar pontos de intervenção relevantes a fim de fornecer suporte a esses grupos, além de facilitar a inclusão destes profissionais no processo de mudança do contexto escolar (La Salle, Neves, Freeman, & Sugai, 2019).
Abstract (english): The Delaware School Survey - Teacher / Staff Instrument (DSS-T/S) was designed and validated to assess the school climate perceived by teachers and staff of the Delaware State’s schools. It was developed along with two other instruments, one for assessing school climate from the perspective of parents and guardians (Delaware Home Survey) and the other from students' perspective (Delaware Student Survey). School climate is the perception of students, family members, teachers and other members of an educational institution about the quality and character of school life, including norms, values and expectations. The development of three different instruments is supported by the importance of crossing different perceptions and also derives from the understanding that measures that evaluate only one or two of the three largest groups that make up the school community (students, parents, and school staff) are less favorable for a complete overview of the process and for qualifying the school climate. Collecting data from multiple respondents enables data and information triangulation. The DSS-T/S consists of two scales: Delaware School Climate Scale - Teachers and Staff (DSCS-T/S) and Positive, Punitive, and Social Emotional Learning Techniques Scale − Teacher/Staff (DTS-T/S). This instrument aims to gather information for needs assessment, program development, program evaluation (particularly bullying prevention programs) and other behavioral problems and to promote social and emotional skills. Objective: The aim of this study was to translate, adapt culturally and investigate evidence of validity of the DSS-T/S in Brazilian Portuguese. Method: The study had a sample of 180 respondents, with 67,7% of women and 32,3% of men. The sample included teachers, managers, educational counselors, school supervisors, and other school staff from private or public schools, as well as eight technical schools. Primarily, the original instrument was translated into Portuguese by two translators whose native language is Portuguese and fluent in English, resident in Brazil and with previous experience in psychological instrument translation. A synthesis of the two translations was performed by a third independent translator, also fluent in English, having Portuguese as his native language and with previous experience in psychological instruments translation. After this, a pilot evaluation of the scale items was carried out with seventeen teachers from a private school in Porto Alegre. Teachers were asked to comment on items they thought needed modification. After further adjustments, the scales were sent to a committee of three experts in the field of School Psychology for language clarity, theoretical relevance and practical relevance of the items. Through the analysis of the assessments, a final semantic adjustment was made by the translation team based on the expert committee's responses. Then, the reverse translation of the Portuguese version into English was prepared by a fourth independent translator, fluent in Portuguese and with a broad mastery of the English language. Reverse translation was submitted to the original author to ensure content equivalence. After evaluation and approval of the project by the Ethics Committee, the instruments were collected online through the Qualtrics website, from a convenience and snowball sample. A non-online data collection was also held at public and private schools in Porto Alegre, as well as an online data collection on eight technical education schools. To account for the objectives of this study, descriptive statistics techniques were used. Cronbach's alphas were calculated to verify the internal consistency of the general instrument and subscales. Correlations between the parts of the instrument were also calculated. Exploratory and confirmatory factor analysis of the DSST/S were performed. In compliance with the Guidelines and Regulatory Standards involving research with human beings provided for in Resolution No. 510 of the National Health Council (2016), Resolution No. 466 of December 12, 2012 and Resolution No. 016/2000 of the Federal Council of Psychology (2000), this research protects the necessary ethical care. This research was approved by the Ethics Committee of the Pontifical Catholic University of Rio Grande do Sul (PUCRS) under the number CAAE: 10949419.9.0000.5336. Results: The scales showed good internal consistency, with Cronbach's alpha of 0.93 for DSCS-T/S and 0.75 for DTS-T/S. The Kaiser-Meyer-Olkin measure verified the sample adequacy for the analysis (KMO = 0.912 for DSCS-T / S and KMO = 0.819 for DTS-T / S). Bartlett's sphericity test (approximate chi-square: 4973.67; significance level of 0.000 [DSCS-T / S] and approximate chi-square: 1307.736; significance level of 0.000 [DTS-T / S]), indicated that the correlations between the items are enough to carry out the analysis. A Principal Component Analysis (PCA) was conducted on the 39 items of the DSCS-T / S and the 16 items of the DTS-T / S with orthogonal rotation (varimax), with initial analysis showing eight components for the DSCS-T / S and three components for DTS-T / S that followed the Kaiser criterion of eigenvalue greater than 1.0 and explained 69.938% of the variance in the DSCS-T / S and 59.725% of the variance in the DTS-T / S. Confirmatory Factor Analysis was used to test the models suggested in the PCA, with eight components in the DSCS-T / S and the threecomponent model of the DTS-T / S, and fixing the models proposed in the American versions, of nine factors for DSCE-T / S and three factors for DTS-T / S. Comparing the models, the results showed the model proposed by the original authors presented better values (DSCS - TLI: 0.849; CFI: 0.866; RMSEA: 0.072; DTS - TLI: 0.813; CFI: 0.842; RMSEA: 0.104) than the PCA model (DSCS - TLI: 0.818; CFI: 0.834; RMSEA: 0.08; DTS - TLI: 0.841; CFI: 0.866; RMSEA: 0.096). Discussion: The results showed that the scales had adequate internal consistency, corroborating the original authors findings (Bear et al., 2016). From the results of the Confirmatory Factor Analyzes, it was possible to identify that the factorial model of the empirical structure based on the authoritative discipline (Baumrind, 1996) and the theoretical framework of Stockard and Mayberry (1992) is more adequate than the model raised by the PCA. The factorial model based on this theoretical framework was also adopted in the student version of the Delaware School Survey for use in Brazil (Bear, Holst, Lisboa, Yang & Chen, 2016). With this, it is possible to triangulate data from the three scales, allowing a more global and qualified analysis of the school climate. With the most accurate assessment, interventional actions can be implemented in a more strategic way, aiming at greater impact. The scales can still be used to reassess these interventions, seeking continuous improvement. Conclusion: The translation, adaptation and validation process of the Delaware School Survey - Teacher/Staff (DSS-T / S) presented content validity evidence, good internal consistency and good factorial structure, proving to be suitable for use in the Brazilian population. The instrument contributes to the assessment of the school climate by different groups: teachers and school staff. The limitations of this study include the sample size and the limitation of the region covered by the data collection. Future studies may include network analysis and replication of validation analyzes, so that the consistency of the instrument can be reinforced, as well as studies may include the three scales for assessing the school climate. The data that can be obtained through the use of the scale can provide subsidies to managers, researchers and public policy makers to identify relevant intervention points in order to provide support to these groups, in addition to facilitating the inclusion of these professionals in the process of changing the school context (La Salle, Neves, Freeman, & Sugai, 2019).
Keywords: Clima escolar
Psicometria
Instrumentos
DSS-T/S
School climate
Psychometry
Intruments
DSS-T/S
CNPQ Knowledge Areas: CIENCIAS HUMANAS::PSICOLOGIA
Language: por
Country: Brasil
Publisher: Pontifícia Universidade Católica do Rio Grande do Sul
Institution Acronym: PUCRS
Department: Escola de Ciências da Saúde
Program: Programa de Pós-Graduação em Psicologia
Access type: Acesso Aberto
Fulltext access restriction: Trabalho será publicado como artigo ou livro
Time to release fulltext: 60 meses
Date to release fulltext: 01/07/2025
URI: http://tede2.pucrs.br/tede2/handle/tede/9132
Issue Date: 9-Mar-2020
Appears in Collections:Programa de Pós-Graduação em Psicologia

Files in This Item:
File Description SizeFormat 
DIS_ARTUR_MARQUES_STREY_CONFIDENCIAL.pdfDIS_ARTUR_MARQUES_STREY_CONFIDENCIAL283.76 kBAdobe PDFThumbnail

Download/Open Preview


Items in DSpace are protected by copyright, with all rights reserved, unless otherwise indicated.