Comitê Local de Avaliação e Acompanhamento Universidade Federal do Paraná

Avaliação dos Tutores

Ensaio Piloto - 2016/2

Questões avaliadas

As questões avaliadas na enquete estão transcritas na tabela abaixo. Uma palavra-chave no contexto de cada questão foi definida para representar a questão nos rótulos dos gráficos e tabelas.

Tabela 1: Texto completo das questões e palavras chave do seu contexto.

Palavra-chave	Questão completa
Reuniões	Qual a frequência da tutora ou do tutor nas reuniões do grupo?
Eventos	Qual a frequência da tutora ou do tutor nos eventos/atividades do PET?
Incentiva	A tutora ou o tutor incentiva a participação em eventos nacionais e regionais do PET?
Prazos	A tutora ou o tutor cumpre com seus afazeres dentro dos prazos?
Orientação	Quão disponível é a tutora ou o tutor para fazer orientação individualizada sobre aspectos acadêmicos e pessoais as alunas e os alunos?
Verba	A aplicação da verba de custeio é discutida com o grupo?
Tarefas	A tutora ou o tutor participa e não apenas delega tarefas?
Normativas	A tutora ou o tutor compartilha as normativas do programa com as alunas e os alunos, bem com atualizações referentes ao programa?
Ideologias	A tutora ou o tutor respeita ideologias que diferem das suas, desde que não firam princípios contidos na declaração de direitos humanos bem como na constituição da República Federativa do Brasil?
Receptivo	A tutora ou o tutor é receptivo a sugestões das e dos petianos para projetos de ensino, pesquisa e extensão do grupo?
Planejamento	A tutora ou o tutor planeja as atividades do grupo juntamente com os petianos?
Supervisiona	A tutora ou o tutor supervisiona e orienta as ações dos integrantes do grupo?
Discussões	A tutora ou o tutor promove discussões sobre condutas éticas que auxiliem na formação do petianos?
Consequências	A tutora ou o tutor aplica adequadamente as consequências previstas para o descumprimento das obrigações do termo de compromisso e tarefas designadas por deliberações coletivas do grupo?
Favorece	A tutora ou o tutor, de alguma forma, favorece alguma ou algum petiano em detrimento de outros?
Proatividade	A tutora ou o tutor se mostra proativo para buscar, junto a instâncias superiores e colegas de trabalho, soluções para suprir demandas materiais e administrativas do grupo?

Todas as questões foram de múltipla escolha com 7 níveis, sendo os dois primeiros considerados como pontos de fuga e os demais pontos em uma escala ordinal. A tabela a seguir apresenta os 7 pontos e sua respectiva abreviação para duas letras que será usada nos gráficos e tabelas.

Tabela 2: Abreviação dos pontos da escala.

Abreviação	Ponto
NA	Não se aplica
NS	Não sei
NN	Nunca
RR	Raramente
AV	Às vezes
FQ	Frequentemente
SP	Sempre

A enquete foi respondida por alunos de 21 Grupos PET. A tabela abaixo contém os nomes dos Grupos PET e as abreviações dos nomes que serão usadas nos gráficos e tabelas.

Tabela 3: Abreviação dos nomes dos Grupos PET.

Abreviação	Nome completo
CComp	Ciência da Computação
CEcon	Ciências Econômicas
CSoc	Ciências Sociais
CCampo	Comunidades do Campo
Dir	Direito
EdFís	Educação Física
EnCiv	Engenharia Civil
EnElét	Engenharia Elétrica
EnFlor	Engenharia Florestal
EnIM	Engenharia Industrial Madeireira
EnQuí	Engenharia Química
Est	Estatística
Farm	Farmácia
Filos	Filosofia
Geol	Geologia
Hist	História
LitSoc	Litoral Social
Mat	Matemática
Odon	Odontologia
Psic	Psicologia
Quí	Química

Distribuição cronológica das respostas no período

O histograma a seguir exibe a distribuição do número de respostas dentro do período disponível para preenchimento do questionário online. No eixo das abscissas está o instante que o respondente preencheu o questionário (traços verticais na margem) e no eixo das ordenadas está o número de respostas recebidas em cada dia. O dia com maior número de respostas foi 21/11.

Tabela 4: Distribuição das respostas dentrodo período de preenchimento do questionário.

Total de respondentes por grupo

No gráfico abaixo, as barras representam o número de respostas recebidas para cada grupo PET. Os grupos são ordenados em ordem decrescente de acordo com o número de respostas recebidas. Um total de 209 respostas foram recebidas de 21.

Figura 1: Gráfico de Pareto para o número total de respondentes por Grupo PET.

Variabilidade nas repostas

A variabilidade nas respostas medem o quanto as respostas dos alunos de um mesmo Grupo PET variaram entre si (variância entre respondentes) e quanto as respostas médias de cada Grupo PET variaram entre si (variância entre Grupos PET).

A medida que a variância entre respondentes é menor, tem-se que a opinião é a mesma, mas a medida que a variância entre respondentes cresce, significa que a opinião dos respondestes diverge. A divergência de opinião pode ser 1) de causa natural, 2) devido a formulação da questão que permite variadas interpretações ou 3) devido à falta de referências para escolha dos níveis, ou seja, definições mais precisas do que representa “às vezes” e “frequentemente”, por exemplo.

A medida que a variância entre Grupos PET diminui, significa que os Grupos são similares, em média, sobre o quesito avaliado. A medida que a variância aumenta, significa que existe bastante variabilidade entre os Grupos. Essa variância pode ser aumentada se os alunos de cada Grupo tem referências diferentes sobre os pontos da escala, por exemplo, dois Tutores podem ter a mesma disponibilidade para orientação dos alunos mas os alunos de um grupo descrevem isso com “sempre” e os de outro grupo descrevem com “frequentemente” pelo simples fato de não haver uma precisa referência.

O conhecimento de ambas as variâncias é importante para o aperfeiçoamento do instrumento. Deve-se eliminar fontes de incerteza sobre a interpretação da questão e da escala que façam, desnecessariamente, aumentar a variabilidade. Da mesma forma, deve-se padronizar as referências sobre os pontos da escala para que não retrate diferenças irrelevantes entre os grupos.

Figura 2: Variância entre respondentes e entre Grupos PET para cada questão.

Salvo das orientações acima feitas, pelo gráfico, conclui-se que a maior variabilidade entre grupos PET é com relação à opinião sobre a participação do Tutor no eventos do PET. A maior variabilidade entre a opnião dos petianos é com relação a condução de discussões sobre condutas éticas, seguido da instrução sobre normativas do programa PET.

Questões com mais pontos de fuga

O gráfico abaixo exibe o número de respondentes (com percentuais) que assinalaram nos pontos de fuga em cada questão: “Não sei” e “Não se aplica”. Questões que tiveram muita ocorrência de pontos de fuga podem ser reformuladas para que se tornem mais claras ou podem ser removidas do questionário se verificado que estão fora de contexto o sem necessidade.

Figura 3: Número de respostas em pontos de fuga.

Conforme o gráfico, as questões que se destacaram quanto a ocorrência de pontos de fuga são sobre a aplicação das consequências previstas para o descuprimento das obrigações e sobre o favorescimento de petianos em detrimento de outros.

Correlações entre questões

A correlação entre questões é útil para verificar o quanto cada dimensão avaliada se relaciona com as demais. Quando duas questões não apresentam correlação, significa que estão tratando de dimensões independentes, ou seja, respostas positivas para uma questão não estão associadas com respostas positivas, nem negativas, de outra questão. Como exemplo, considere as duas primeiras questões sobre a frequência do tutor das reuniões do Grupo e nos eventos do PET. Se a frequência nas reuniões implicasse alta (baixa) frequência nos eventos, diríamos que as duas questões tratam de uma mesma dimensão: a de frequência somente, sem necessidade de fazer distinção. Quando não existe correlação significa que frequência em reuniões não tem relação com frequência em eventos, ou seja, que essas características estão em dimensões separadas.

A proatividade foi a característica que apresentou as maiores correlações, estando correlacionada em acima de 70% com a participação em eventos, com a participação nas tarefas e com a supervisão e orientação.

Figura 4: Mapa de calor das correlações entre as questões. Valores anotados nas celas no canto superior são as correlações (%) estimadas entre as questões tendo as respostas representadas em escala numérica.

Agrupamento hierárquico

O agrupamento hierárquico é baseado na distância (conjunto de diferenças) do conjunto de respostas entre dois Grupos PET. Grupos PET com respostas parecidas possuem um distância pequena entre si. Sendo assim, grupos semelhantes podem ser trabalhados da mesma maneira e podem emprestar conhecimento de grupos diferentes.

No gráfico abaixo, tem-se os grupos mais similares entre si são Matemática e Engenharia Civil. Logo acima, tem-se que ambos são similares com Direito. Se passarmos uma linha horizontal na altura do valor 5, teremos a formação de 3 conjuntos de Grupos. No primeiro estaria História, no segundo Ciências Sociais, Odontologia e Química, restando os demais para o terceiro conjunto. Se for feito um corte na altura 2, mais conjuntos apareceriam, sendo muitos deles compostos por apenas um Grupo PET.

Figura 5: Agrupamento hierárquico dos Grupos PET baseado na distância Euclidiana do vetor de médias.

O agrupamento hierárquico entre questões também fornece informação relevante pois aponta quais são as questões com mais proximidade com base no vetores de respostas dos grupos PET. No dendograma abaixo identifica-se uma primeira divisão entre dois grupos de questões que poderiam ser rotuladas como aspectos “humano” - pois reúne proatividade, orientação, participação - e “gestor” - que inclui o emprego da verba, cumprimento de prazos, por exemplo.

Figura 6: Agrupamento hierárquico das questões baseado na distância Euclidiana do vetor de médias.

Comentários sobre o instrumento de avaliação

O gráfico de setores abaixo classifica os comentários segundo a tonalidade da opinião com base no léxico de sentimentos OpLexicon 3.0. Verifica-se a maior parte dos comentários são positivos com relação ao instrumento.

Figura 7: Classificação das opiniões quanto a polaridade (positiva, neutra ou negativa) baseada em análise de sentimento utilizando o dicionário OpLexicon 3.0.

Na tabela abaixo são exibidos os comentários sobre avaliação do instrumento. Os texto estão em ordem crescente de conteúdo e foram transcritos na integra, sem correções gramaticais ou de qualquer natureza. A cor das cédulas indica a tonalidade da opnião conforme o léxico de sentimentos OpLexicon 3.0.

Tabela 5: Comentários avaliando o questionário.

Num.	Comentário
1	Espero que sejam tomadas atitudes a partir disso.
2	A pergunta 2 ficou ambígua: Atividades do Grupo ou do Programa como um todo?
3	Muito bom, porém em algumas questões falta mais clareza e objetividade. Questão 14
4	O questionário está bem elaborado. Mesmo assim, sugiro a adição de uma pergunta: “O tutor incentiva a participação em eventos PET da UFPR, como o InterPET, e que os petianos interajam com os outros grupos?”.
5	O instrumento é bom. Não entendi a seguinte pergunta: A tutora ou o tutor aplica adequadamente as consequências previstas para o descumprimento das obrigações do termo de compromisso e tarefas designadas por deliberações coletivas do grupo? * Isso seria utilizado para obrigar o tutor a punir seus alunos em casos de, por exemplo, IRA menos do que o estipulado? Particularmente sou contra isso. Bem como toda a assembleia de 600 pessoas do SulPET. E a do ENAPET.
6	O instrumento é um pouco limitado ainda… Talvez algumas perguntas devessem ser mais específicas, explorando mais as competências do tutor junto aos grupos. Apesar disso já está sendo um ótimo instrumento de avaliação. Parabéns!
7	Bastante interessante. Um espaço bem completo para apresentar a opinião dos petianos e petianas.
8	8.8
9	10/10
10	Otimo
11	Otimo
12	Objetivo
13	Acredito que é bem completo
14	8/10 Contém erros de sintaxe.
15	Instrumentos assim são de grande importância
16	Dependerá como os dados serão utilizados, mas gostei da iniciativa
17	Ótima iniciativa, mas as formulações de algumas questões estão bastante confusas.
18	Não gostei desse instrumento, pois as perguntas já induz a resposta. Até poderia ter essa avaliação, mas teria que ter algum complemento. Na questão de sigilo,não me sinto a vontade nessa plataforma, pois tendo que colocar o GRR, já imaginei que não fosse tão sigilo essa plataforma.
19	Achei um ótimo método de avaliação, já que não é o tipo de coisa que costuma ser discutido em reuniões.
20	Vejo a avaliação como imprescindível, dar voz aos petianos é tão importante quanto ouvir os tutores. É através do fortalecimento deste método que solidificaremos uma base forte para os grupos PET da UFPR. Apenas uma observação: talvez a questão 15 em meio a tantas outras questões “mais positivas” engane os que não fizerem uma leitura mais aguçada.
21	Particularmente não gostei da ferramenta, pois é tendenciosa e não engloba os verdadeiros problemas de cada grupo. Creio que será difícil fazer uma ferramenta que atenda as necessidades de todos os PETs mas, isso poderia ser resolvido com maiores questões discursivas do que com alternativas.
22	Muito bom, porém senti dificuldade em responder algumas perguntas com uma das opções dadas.
23	Bom instrumento por ser amplo mas também ter clareza. Questão 14, “adequadamente” não seria necessário estabelecer um padrão? Pra não estender demais cada juízo de valor individual.
24	O formulário é um bom método de avaliação, principalmente por ser anônimo, o que impediria perseguições por parte dos tutores em relação aos alunos. Espero que realmente dê resultados.
25	Prático e funcional. Pode ser muito simplista, mas garante que mais pessoas realizem a avaliação.
26	ótimo, mas poderia conter a frequência do tutor na sala do PET
27	Este instrumento deveria ser institucionalizado, servindo como avaliação dos tutores
28	Esta avaliação cumpre com seu objetivo, abrangendo diversos aspectos qualitativos e quantitativos a respeito da tutoria dos grupos PET.
29	Adorei esse instrumento, ele aborda uma gestão participativa e aprecia demandas antes não vistas no PET. A presença do CLAA é de suma importância para o PET, para que permaneça forte e com objetivos claros frente a muitas mudanças que estão a ocorrer nesse cenário político e econômico. Parabéns pela proposta e que sempre estejam entusiasmados para lutar pela permanência do programa que proporciona muitos conhecimentos tanto para os petianos como tutores.
30	As perguntas poderiam vir acompanhadas de uma breve descrição, pois algumas soam ambíguas. O documento poderia conter uma breve explicação sobre os benefícios e consequências de preencher esta avaliação.
31	Achei muito bom
32	Creio que deveria haver mais níveis de avaliação, pois em alguns casos o mais adequado seria algo entre frequentemente e as vezes. Algo como “Na maior parte das vezes”
33	Aparentemente é um bom instrumento, que engloba diversas questões pertinentes acerca dos tutores.
34	Talvez faltem perguntas para avaliar relacionamento individual entre petiano/tutor
35	Perfeita iniciativa para que possa se iniciar um ciclo de avaliação para melhoria dos programas e de nossos tutores. Questionário específico e de fácil entendimento.
36	Excelente, abarca as questões mais presentes no cotidiano.
37	Espero que sejam tomadas ações mas respeitado o sigilo
38	O questionário está ótimo, pois abrange, de maneira clara, o papel que o tutor deve desempenhar.
39	Ótimo, principalmente em manter “as portas abertas” a novas alterações
40	Acho essa avaliação interessante, creio que será muito bom.
41	Bom
42	Bom
43	Bom
44	Bom
45	Bom!
46	Bom.
47	Bom.
48	Bom.
49	Muito bom
50	Muito bom
51	Muito bom
52	Muito bom
53	Muito bom
54	Muito bom
55	Muito bom.
56	Muito bom!
57	Bom, contempla todos os aspectos relevantes.
58	De modo geral, foi suficientemente abrangente.
59	Avaliação superficial, porém estamos evoluindo.
60	As vezes as respostas não são coerentes com as perguntas
61	Excelente, foi capaz de abranger a maior parte dos âmbitos de avaliação objetiva do tutor de forma sucinta e clara
62	Bom, fico contente que exista
63	Ainda dá para melhorar mas de imediato ele é bom.
64	Boas questões colocadas.
65	Acho um bom método de avaliação, rápido e eficiente.
66	Acho que avalia de maneira clara e concisa aspectos fundamentais para que haja uma boa tutoria.
67	Eficiente e objetivo.
68	Ótimo
69	ótimo
70	Ótimo
71	Ótimo
72	Ótimo.
73	Extremamente útil e importante.
74	Muito útil.
75	Útil e democrático
76	Bacana
77	Efetivo

Vale ressaltar que o tonalizador dos comentários não é capaz de compreender o uso da negação ou ironia e não atribui valor para grafias erradas das palavras (otimo \(\neq\) ótimo). A tonalização é basicamente o resultado da soma aritmética do valor que cada palavra tem isolada de contexto.

---

PET Estatística UFPR

www.pet.est.ufpr.br pet.estatistica.ufpr@gmail.com (41) 3361-3261

R. Cel. Francisco Heráclito dos Santos, 210 Jardim das Américas, Curitiba - PR, 81531-970 Campus III - Centro Politécnico, Bloco PC - Sala 09