Actualité

[Article] FlexiEVAL

Afin d’améliorer l’accompagnement réalisé auprès des équipes pédagogiques, la DSIN a lancé une enquête sur l’évolution des usages du numérique pour les évaluations avant et depuis le début de la crise sanitaire.

Cette enquête a été diffusée auprès des équipes pédagogiques de toutes les composantes de l’Université de Montpellier, du 1er décembre 2020 au 1er février 2021 et a permis de recueillir 225 réponses.

Provenant de toutes les composantes de l’Université, les enseignants-chercheurs (73%), enseignants (21%), vacataires, doctorants, ATER et autres profils (6%), forts pour la grande majorité de plus de 10 ans d’expérience (80%) dans l’enseignement supérieur, nous ont partagé leurs pratiques et avis sur la question de l’évaluation avec le numérique dans leurs enseignements à destination de tous les niveaux d’études (du BAC+1 au BAC+5, ainsi que les DU).


Figure 1 : Profil des répondants

Nous observons une équirépartition entre les usagers (47,8%) et les non-usagers (52,2%) du numérique pour l’évaluation avant la crise sanitaire. Par contre, on peut voir que cette dernière a largement incité les équipes pédagogiques à faire appel au numérique pour l’évaluation dans un contexte de confinement, puis de distanciel.

Plus précisément, nous notons une évolution des pratiques à la fois pour les évaluations sommatives et formatives[1] : la part des répondants n’utilisant que la modalité d’évaluation formative s’est réduite, passant de 28% à 7% (-21%), mais ceci au profit des évaluations sommatives (+9%), voire des deux (+12%).

Figure 3 : Evolution utilisation évaluations formatives et sommatives (en pourcentage de réponses)


[1] L’évaluation formative a pour fonction de favoriser la progression des apprentissages et de renseigner l’étudiant et l’enseignant sur les acquis ou les éléments à améliorer. L’évaluation sommative ou certificative a pour fonction l’attestation ou la reconnaissance des apprentissages. (Lussier, S. & Bélanger, D.-C. (2009). Petit tour d’horizon sur l’évaluation formative. Service de développement pédagogique, Collège de Maisonneuve.)

Les équipes pédagogiques utilisaient déjà des activités proposées par la plateforme Moodle, telles que le test, le devoir, l’évaluation par les pairs, Wooclap et BBB (classe virtuelle/webconférence). Ces usages ont cependant doublé depuis le début de la crise sanitaire, voire explosé dans le cas de BBB (x8).

Il est cependant intéressant de noter que les équipes pédagogiques utilisaient également d’autres outils non listés (107 réponses), mais que cette part a considérablement baissé après le début de la crise, au profit des activités proposées par la DSIN.

Figure 4 : Utilisation d’activités proposées par la plateforme Moodle (en nombre de réponses)

Nous observons une augmentation des épreuves organisées via Moodle : la part des répondants n’ayant organisé qu’une seule épreuve avant la crise s’est réduite, passant de 25,2% à 12,1%. Les résultats de l’enquête montrent une augmentation du nombre entre 1 et 5 épreuves (passant de 40,5% à 49%, soit +8,5%) et entre 5 et 10 épreuves (de 10,8% à 21,2%, soit +10,4%). Cependant, la part de plus de 10 épreuves subit une légère baisse (passant de 23,4% à 17.7%). 

Concernant la correction des évaluations rendues, cette tendance à la massification se confirme : la correction pour les cohortes entre 50 et 100 étudiants connaît une augmentation de +11,6%, celle pour les cohortes entre 100 et 500 étudiants s’accroît de 22,1% à 31.1% (+9%) et pour les cohortes supérieures à 500 étudiants, le taux s’élève à 7,4% à 8,7% (+1,3%).

 

Les difficultés techniques peuvent intervenir à trois étapes différentes : lors de la mise en place, pendant le déroulement de l’épreuve ou pendant la correction.

Notre enquête montre, que les difficultés exprimées concernent en particulier la première étape : la mise en place des évaluations avec presque 37%.

Pendant la mise en place des évaluations

Le choix des activités :

  • Certaines activités avancées de Moodle sont complexes et chronophages à mettre en place (ex : l’évaluation par les pairs, le tirage aléatoire des tests, le paramétrage des questions calculées avec mise en place des jokers de variables)
  • Le manque d’activités avancées et adaptées aux disciplines, par exemple celles prenant en compte des langages comme python ou des corrections semi-automatiques, faisant appel à de l’intelligence artificielle. L’organisation et la logistique des évaluations : répartition des étudiants par groupes et dates, préparation des étudiants aux activités en ligne

L’ergonomie de la plateforme Moodle et les paramétrages de ses activités :

  • La prise en main de la plateforme est complexe et chronophage
  • Les paramétrages sont trop nombreux, à tous les niveaux et parfois redondants
  • La possibilité de tester facilement la visibilité et la faisabilité d’une activité “en tant qu’étudiant” qui nécessite de se connecter avec un autre compte
  • L’affichage ou non des informations selon les paramétrages

Les paramétrages et options de relectures des tests de Moodle : très nombreuses pour répondre aux différentes situations et modalités d’évaluations, ces possibilités s’avèrent finalement très sensibles et complexes à mettre en œuvre en fonction des objectifs visés (dates d’ouverture et de fermeture, durée, nombre de tentatives, affichages des réponses ou des points à la fin des épreuves, mise en place de tiers-temps…)

Pendant les évaluations

28,4% des répondants ont rencontré des difficultés pendant les évaluations :

  • La qualité du débit internet : qui a pu engendrer des pertes de connexions et un impact sur la qualité du son et de l’image, ou des transferts des fichiers plus long durant le temps imparti aux épreuves.
  • Les performances de la plateforme face au grand nombre de connexions simultanées en période d’examens
  • Les étudiants rencontraient des difficultés pour se connecter à Moodle (ex : compte informatique non validé), pour créer des fichiers (ex : scan, enregistrement au bon format) et réduire leur taille pour les mettre en ligne (ex : prise de photos en haute qualité), travaux non remis à temps
  • Les problèmes d’affichages selon les systèmes d’exploitation, navigateurs et terminaux
  • Les questionnements pour limiter les tentatives d’échanges entre étudiants et la triche, vérification de l’identité des étudiants…
  • Les modifications des questions et des paramétrages d’une épreuve commencée

Lors de la correction des évaluations

 20,1% ont rencontré des difficultés lors de la correction des évaluations :

  • Les limites pour annoter les copies en ligne : pas facile sans stylet et seulement réservées aux fichiers aux formats PDF, l’impression des copies pour ceux qui ne peuvent corriger en ligne
  • La fatigue visuelle liée au travail à l’écran
  • Les corrections de devoirs, des questions de composition et les retours aux étudiants peuvent être très chronophages
  • Des étudiants n’ont pas validé leur envoi de devoirs ou tentative à un test, ce qui engendre des échanges mails et des corrections manuelles
  • La diffusion des notes aux étudiants et l’intégration des notes extraites de Moodle vers les outils de gestions de notes de l’Université (informations des étudiants et des cohortes…)

Au-delà des questions techniques, les évaluations avec le numérique engendrent d’autres difficultés. Notre enquête montre clairement que la triche est une thématique récurrente. Ainsi, près de la moitié (48%) des répondants a été confrontée à des cas de triche. Aussi, 68% sont intéressés par la possibilité de surveiller les évaluations à distance. 

Figure 8 : La triche et les possibilités d’évaluations « surveillées » à distance

 

Cette question nous a permis de mettre en lumière les leviers en faveur du numérique pour les évaluations avant le début de la crise sanitaire. Ainsi, dans le classement des raisons pour lesquelles les équipes pédagogiques utilisaient le numérique avant la crise sanitaire, nous retrouvons :

  1. “Cela me facilitait l’évaluation de plus grands groupes d’étudiants” (51 réponses)
  2. “Cela me donnait la possibilité de proposer des évaluations en dehors du temps de cours” (48 réponses)
  3. “Cela me permettait de faire des évaluations plus souvent” (44 réponses)
  4. “Cela me faisait gagner du temps” (36 réponses)

Après le début de la crise, bien qu’une grande majorité utilise le numérique par obligation 152 réponses (68%), il est intéressant de noter que 144 personnes (64%) continueraient d’utiliser le numérique pour les évaluations.

L’importance du rôle des apprenants nous a amené à poser une question concernant la possibilité de co-construire une banque de questions avec les étudiants. 49% des répondants se sont montrés favorables à une perspective d’impliquer les étudiants.

L’objectif de notre enquête est de mieux comprendre les besoins des enseignants afin de répondre au mieux à leurs attentes. Ainsi, la dernière question de notre questionnaire concerne les attentes en termes d’accompagnement. La proposition d’accompagnement peut concerner trois aspects différents : aspect humain, aspect technique et aspect pédagogique.

Accompagnement humain

  • Des offres de formations ponctuelles en complément de l’offre annuelle qui nécessite une planification sur le long terme
  • De l’accompagnement à la mise en place d’activités
  • Des retours d’expériences avec d’autres enseignants
  • Une mutualisation des ressources et des évaluations
  • Une hotline en cas d’urgence lors des évaluations

Accompagnement technique

  • Une vision plus claire des outils à disposition des équipes pédagogiques
  • Développer des outils plus intuitifs, adaptés aux différentes situations d’évaluation (QCM, e-portfolios…)
  • Proposer des outils de surveillance à distance
  • Proposer des infrastructures dédiées aux examens
  • Proposer des activités avec des corrections semi-automatiques
  • Proposer des outils plus ludiques
  • Proposer des scénarios, exemples et outils clés en main
  • Gérer les notes extraites de Moodle
  • Disposer de moyens pour gérer la triche

Accompagnement pédagogique

  • Des tutoriels sous différents formats, allant de la procédure écrite, pas à pas, à des capsules vidéo
  • Des webinaires sur des sujets avancés

L’analyse des résultats de l’enquête a permis d’identifier les pratiques de l’Université en termes d’évaluation à distance avant la crise et depuis le début de la crise. A partir de ces derniers, des axes d’améliorations ont été dégagés et ont permis de mettre en place un plan d’action :

  1. Sur l’offre d’accompagnement, avec de nouveaux sujets de formations et de webinaires, ainsi que de nouveaux formats de rencontres : retours d’expériences, ateliers pratiques et rendez-vous avec un ingénieur pédagogique

Sur le développement des outils d’évaluations avec le numérique, l’équipe continue de travailler au déploiement d’outils

  1. intuitifs (Wooclap-Wooflash), spécifiques à certaines disciplines (Code Runner) ou besoins (QCM Papier).
  2. Sur l’ergonomie de Moodle, un travail est en cours pour améliorer la navigation, en particulier de l’espace d’Aide.

L’équipe du bureau Accompagnement à la pédagogie numérique vous remercie pour votre participation à cette enquête !

Si vous avez des questions sur cette enquête, n’hésitez pas à nous écrire à : dsin-sun-pedagogie@umontpellier.fr