La DSIN, en collaboration avec CHARM-EU et Polytech, lance une série de tests et de sondages sur la possibilité d’utiliser l’intelligence artificielle pour traduire en temps réel les séminaires, cours et leçons.
Est-il possible de comprendre un enseignant ou chercheur d’un autre pays, de partager des compétences et des connaissances, alors que chacun s’exprime dans sa propre langue maternelle ?
L’utilisation de l’IA pourrait révolutionner l’accès aux informations et faciliter les échanges internationaux !
Un premier test en direct de traduction automatique simultanée assistée par IA
Le 25 septembre 2024, à Montpellier, s’est tenue la conférence Integrated Approaches to Fight Colorectal Cancer, qui inaugurait le module CHARM-EU intitulé “Tackling Health Challenges in Internationally Linked Research HUBs”.
Si les spécialistes sont souvent habitués aux communications en langue étrangère, ce jour-là, la conférence rassemblait non seulement des soignants et des chercheurs (certains francophones, d’autres anglophones), mais aussi des associations de patients, des étudiants de plusieurs universités européennes, et du grand public. Cet auditoire avait besoin d’une traduction (du français vers l’anglais ou le néerlandais, et de l’anglais vers le français ou le néerlandais) disponible de manière simple et immédiate. Difficulté supplémentaire : une partie de l’auditoire se trouvait dans la salle, et une autre partie suivait la conférence à distance. Lever les obstacles linguistiques représentait à la fois un enjeu important et un défi technique !
Pour relever ce défi, l’équipe DSIN/CHARM a cherché un outil pouvant effectuer une traduction simultanée automatique en plusieurs langues et a exploré les pistes incluant de l’intelligence artificielle. Il est apparu rapidement que certains outils très connus, prévus pour sous-titrer les échanges en contexte de visioconférence, ne répondaient pas totalement aux besoins, notamment parce qu’ils impliquaient de changer manuellement la langue à traduire. Cela compliquait le fonctionnement de la conférence et ne permettait pas d’avoir de la fluidité dans les échanges multilingues. Finalement, un outil nommé EventCat a été retenu pour se prêter au test grandeur nature.
En amont de l’événement, EventCat a été ajouté à la visioconférence via Microsoft Teams, comme un simple invité parmi d’autres. Il a été paramétré pour jongler entre les trois langues : français, anglais, néerlandais. Le jour J, le contenu généré était visible :
- dans une fenêtre à côté de la visioconférence, pour les participants en ligne,
- sur leur smartphone personnel (via un QR code à flasher) pour les personnes présentes dans la salle.
Chaque participant pouvait choisir sa langue préférée.
EventCat a proposé deux types de contenus en parallèle :
- une traduction quasi-immédiate au fil des paroles (sous la forme de sous-titres d’une ligne)
- une transcription de l’ensemble des échanges (qui se composait progressivement en compilant et retravaillant les sous-titres, avec un délai d’environ 10 secondes).
Les deux fichiers de sous-titrage et de transcription étaient disponibles en téléchargement pendant une semaine après l’événement. Cela constitue un avantage par rapport à des traducteurs humains qui n’auraient fourni la traduction qu’en version orale.
Cette expérimentation en direct s’est globalement bien déroulée et a donné satisfaction par rapport aux contraintes multiples dont il fallait tenir compte. Des limites et inconvénients ont tout de même été repérés : notamment, l’IA a parfois mal reconnu certains termes scientifiques et acronymes spécifiques. L’équipe va continuer à explorer d’autres pistes, notamment avec des outils d’IA qui pourraient être installés localement, tels que Whisper.
C'est dans l'air
Cette expérimentation rapproche les travaux de l’équipe de CHARM-EU et ceux du projet CatIA, porté par Vincent Berry (Polytech) dans le cadre de l’appel à projets PédagoN’UM 2024. Celui-ci s’intéresse également à la traduction automatique pour aider les étudiants étrangers, ainsi que les étudiants en situation de handicap, à suivre plus facilement les cours. L’idée est de tester des outils IA existants, en version généraliste, mais aussi d’envisager la création d’un outil personnalisé, entraîné sur le vocabulaire d’une discipline scientifique ou technique précise. Depuis le printemps dernier, les deux équipes ont donc commencé à mettre en commun leurs explorations et réflexions autour des IA pour la traduction.
Selon un sondage réalisé par Polytech, les étudiants de l’école montrent un fort intérêt pour l’idée de surmonter les barrières linguistiques grâce à l’IA !
