Xavier Bailly est porteur pour l’IPAG du projet ARI-stote, Assistance aux étudiants de M2 CSE pour la préparation aux épreuves dédiées à « l’administration et les enjeux numériques » et aux « grands problèmes politiques, économiques et sociaux contemporains » dans les concours de la fonction publique de l’Etat.
Il a été sélectionné pour bénéficier d’un accompagnement dans le cadre de l’appel à projets PédagoN’UM 2024. Le travail préparatoire a commencé au printemps, pour permettre une phase de test au cours de l’année universitaire 2024-2025.
Pouvez-vous présenter rapidement le contexte du projet ?
Je suis premier conseiller à la Chambre régionale des comptes d’Occitanie, doté d’une expérience en projet numérique et science des données pour la Cour des Comptes. J’enseigne à l’IPAG (Institut de Préparation à l’Administration générale) en tant que Maître de conférences associé, auprès d’étudiants de Licence 3, Master 1 et Master 2 en prépa concours, sur la culture numérique et sur la culture générale.
L’IPAG, institut préparant aux carrières administratives de la fonction publique, est la plus petite composante de l’Université de Montpellier.
Deux tiers des étudiants sont des boursiers (c’est le double de la moyenne UM) et la plupart viennent de diplômes en droit ou en sciences humaines et sociales : ils ont souvent peu de pratique et de connaissances sur le numérique, ainsi qu’un bagage moins étoffé en culture générale. En conséquence, je cherchais depuis quelque temps des outils à proposer aux apprenants de M2 pour améliorer conjointement ces deux volets.
Alors qu’une première piste avec la plateforme PIX était écartée pour des questions d’organisation, la mise à disposition au grand public de ChatGPT en novembre 2022 et son évolution rapide ont suscité mon intérêt et celui des étudiants. Ayant entrevu un potentiel, j’ai saisi l’opportunité de creuser le sujet dans le cadre expérimental proposé par l’appel à projets PédagoN’UM 2024.
Pourquoi avoir répondu à l'AAP PédagoN'UM ?
Pour moi, développer un projet dans le cadre de l’appel à projets PédagoN’UM présente plusieurs avantages :
- Pouvoir financer une partie du temps de travail consacré au projet, ainsi que le coût d’acquisition de licence
- Recevoir de la part du SUN une aide à la formalisation du projet, à la réalisation de capsules vidéo dans des conditions professionnelles, à l’étude d’un RAG* et de pré-prompts* (comprendre comment cela fonctionne, ce que cela apporte, évaluer la fréquence des hallucinations*…).
- Avoir accès à des ressources, à des formations et à des retours d’expériences, sur l’usage de l’IAg dans un cadre académique et en accompagnement des étudiants.
- Proposer en retour une mutualisation des ressources (les vidéos produites, même si les exemples choisis sont orientés par le programme des concours préparés à l’IPAG, sont utilisables dans d’autres contextes) et une capitalisation de l’expérience acquise.
Peut-on mobiliser une IAg comme moteur de réflexion, de compréhension et d'évaluation, mais aussi d'engagement de l'étudiant dans son apprentissage ?
C’est la question qui sous-tend mon projet depuis son démarrage.
Conscient de l’évolution extrêmement rapide de ces technologies, je souhaite toutefois trouver un fonctionnement souple, pour éviter de surinvestir un outil qui serait devenu obsolète six mois plus tard.
Cette expérimentation doit se déployer essentiellement en deux temps et dans deux directions.
Au début de l’année, intégrer une formation aux IAg et au prompting* dans le cours sur la culture numérique. J’ai tourné pendant l’été, avec l’appui du bureau de production audiovisuelle du SUN, deux vidéos pédagogiques qui présentent dans les grandes lignes le fonctionnement d’une IAg et l’usage que l’on peut en faire pour préparer les concours.
Au second semestre, engager les étudiants à s’appuyer sur l’IAg (en dehors des cours) pour monter rapidement en compétence sur les sujets de l’épreuve de culture générale. Grâce à la première phase d’initiation, ils pourront utiliser ChatGPT, pour l’instant dans sa version généraliste et gratuite, pour explorer des sujets variés. Une interface et des contenus personnalisés sont en cours d’élaboration (prototype non diffusé actuellement).
En parallèle, une troisième piste envisagée est de mettre à disposition des étudiants des GPT personnalisés*, notamment pour s’entraîner aux épreuves écrites de culture numérique et de culture générale (QCM), puis à l’épreuve orale de culture générale (entretien). Dans le cadre exceptionnel du financement de ce projet (AAP PédagoN’UM organisé par le CNUMF), une licence individuelle ChatGPT Plus a été souscrite à visée d’expérimentation pour avoir accès aux dernières fonctionnalités, dont les agents conversationnels* et les RAG*, afin d’en tester le potentiel et de réfléchir à la conception de cet outil de simulation. En effet, il faut un certain temps pour apprendre à dialoguer, à affiner les consignes, à évaluer la qualité des réponses, à cerner les besoins.
En prépa concours, l’entraînement classique est organisé par groupe de 3 ou 4 étudiants. Certains ne sont pas à l’aise avec ce fonctionnement, parfois à l’origine de tensions, de crainte du jugement ou d’esprit de compétition, tandis que l’avantage de l’IAg est de toujours donner un feedback constructif et perçu comme “neutre”.
Le principe serait celui d’une simulation écrite qui mime les épreuves, et dans laquelle l’outil GPT endosse le rôle d’examinateur. Cela impliquerait la création d’un agent conversationnel* “sur-mesure”, entraîné sur un contenu spécialisé fourni par l’enseignant ainsi que sur les attendus des épreuves.
Pour ce faire, avec l’aide d’une ingénieure pédagogique du SUN, j’ai entamé une première série de tests qui consistent à soumettre à l’intelligence artificielle un corpus de sources d’entraînement (300 pages PDF et des ressources web complémentaires), afin de voir si elle parvient à reformuler et restituer correctement ces informations lorsqu’on la questionne. Je commence actuellement aussi à paramétrer des consignes et actions précises, pour faire jouer à l’IAg son rôle fictif dans l’échange avec l’étudiant interrogé, et à tester les interactions.
En savoir plus
Si vous êtes intéressé(e) par la méthode et les résultats de ces tests, ou par les autres volets du projet, n’hésitez pas à vous inscrire au Focus “IAg à l’UM” du 10 octobre prochain : consacré à plusieurs projets PédagoNUM 2024-25 autour de l’usage des IAg pour produire des ressources pédagogiques, Xavier Bailly sera un des intervenants qui partageront leurs explorations actuelles.
*Lexique
Prompt
Requête ou question visant à obtenir des réponses pertinentes et contextuelles de la part d’une IAg.
(Voir : https://www.promptingguide.ai/fr/introduction/basics)
Pré-prompt
Consigne ou ensemble de consignes fournies à une IAg, entre crochets, avant la requête principale, pour orienter et encadrer sa réponse. Cela permet de définir le contexte ou de donner des directives spécifiques sur la manière dont l’IA doit traiter la requête principale, par exemple le rôle endossé, le style littéraire attendu, le niveau de complexité, la structure de la réponse. Le pré-prompt peut éventuellement annuler et remplacer les consignes reçues par l’IA durant son entraînement et actives par défaut.
(Voir : https://www.sebcar.net/2023/04/chat-gpt-pre-prompt/)
RAG (Retrieval-Augmented Generation)
Traditionnellement, les IAg génèrent du contenu en s’appuyant uniquement sur les informations apprises durant leur phase d’entraînement. Le RAG, en revanche, permet au modèle de « consulter » une base de données ou un corpus de documents externes en temps réel pour enrichir sa génération de texte. Cette capacité de recherche améliore significativement la précision, la pertinence et la richesse du contenu généré
(Voir : https://datascientest.com/retrieval-augmented-generation-tout-savoir)
GPT (Generative Pre-trained Transformer) personnalisé
Utilisation spécialisée et personnalisée du modèle GPT original, adapté pour répondre à des besoins ou des tâches spécifiques dans divers domaines ou applications. Le modèle travaille sur des ensembles de données particuliers ou suit des consignes particulières, définis par une entreprise, une organisation ou des développeurs individuels.
Agent conversationnel
Système informatique qui permet aux utilisateurs de communiquer avec lui via une interface de conversation naturelle, comme une conversation humaine. Il est conçu pour comprendre les demandes de l’utilisateur et y répondre de manière appropriée en utilisant des techniques de traitement du langage naturel. Les agents conversationnels peuvent être utilisés dans des applications telles que les assistants virtuels, les chatbots, et les systèmes de dialogue automatisés. Ils peuvent échanger avec les utilisateurs à l’écrit mais également à l’oral, s’ils sont munis d’interfaces de reconnaissance vocale et de synthèse vocale.
(Voir : https://www.actuia.com/decouvrir/quest-ce-quun-agent-conversationnel/)
Hallucination
Fausse information, mauvaise réponse, donnée par une IAg, malheureusement souvent formulée de manière très convaincante. Ce phénomène vient principalement d’un corpus délimité dans lequel ne se trouve pas l’information recherchée, et également du fait que les modèles d’IA générative utilisent des probabilités pour générer du texte, sans pour autant en comprendre le sens.
(Voir : https://guides.library.ualberta.ca/iag/evaluation)
