Talks

1 Apr 2025 Paper at TBLT Conference 2025
University of Groningen, Groningen
AI vs Human Task-based Tutoring: Engagement, perceptions and written fluency
with Anaïs Tack
22 Mar 2025 Keynote at Prix de l'ABPF
Université libre de Bruxelles, Etterbeek
Intelligence artificielle en (classe de) français : au-delà du blabla
4 Feb 2025 Keynote at Journée du français / Dag van Frans
Eeckhout Academy, KU Leuven Kulak, Kortrijk
Intelligence artificielle et langues : au-delà du blabla / Intelligence artificielle et activités intelligentes pour la classe de français ?
with Michel Boiron
7 Nov 2024 Keynote at International Conference “Shifting Boundaries: AI and Human Interactions” (SHAI)
Universitá di Napoli L’Orientale, Naples
Looking back, looking forward: From dialogue-based CALL to LLM chatbots for language learning
29 Oct 2024 Keynote at Journée d'étude "Innovations pédagogiques dans l’enseignement du français dans un contexte plurilingue et interculturel"
Hanoi University (HANU), Hanoi
Chomsky vs ChatGPT : Ce que révèlent les grands modèles de langage (LLM) sur l'apprentissage des langues
25 Oct 2024 Paper at NLP4CALL 2024
Université Rennes 2, Rennes
Generating Contexts for ESP Vocabulary Exercises with LLMs
with Iglika Nikolova-Stoupak, Amandine Dumont, Françoise Stas, Patrick Watrin & Thomas François
18 Oct 2024 Keynote at Training Day “Transformer la Formation avec l'IA”
FPS Policy and Support (BOSA), Brussels
IA, attention et mémoire : place et potentiel en formation
18 Sep 2024 Keynote at 15e Congrès national des professeurs de français en Equateur
Universidad Central del Ecuador, Quito
Enseigner le FLE à l'ère de ChatGPT : usages et mésusage des IA génératives

L’émergence des intelligences artificielles (IA) génératives et des grands modèles de langue ouvre de très nombreuses questions, opportunités et inquiétudes en éducation, en didactique des langues et ailleurs. Cette intervention tentera de clarifier ce qui change du point de vue technologique, ce que cela implique du point de vue pédagogique, et ce que les apprenants et enseignants de FLE peuvent en faire. Nous explorerons les usages de l’IA en termes de planification, d’interaction, de génération ou adaptation de matériaux et d’évaluation, tout en proposant un rapport critique et éthique à l’IA.

13 Sep 2024 Keynote at Rentrée académique de l’École de Traduction et Interprétation
UCLouvain Saint-Louis, Bruxelles
Intelligence artificielle : la solution pour l’apprentissage des langues ?
6 Sep 2024 Paper at 4e Congrès européen de la FIPF
Universitatea Politehnica din București, Bucharest
Pratiquer le français avec une IA conversationnelle : entre liberté et correction, quelle interactivité importe ?

CONTEXTE. Les outils d’intelligence artificielle (IA) offrent de plus en plus d’opportunités d’apprendre et de pratiquer les langues étrangères de manière autonome. Le fait de pouvoir interagir librement, sur n’importe quel thème, est souvent présenté comme un levier majeur de motivation et un atout d’une IA conversationnelle (p. ex. ChatGPT, Alexa…). Mais quelle interactivité importe le plus pour la perception et l’efficacité de ses systèmes pour l’apprentissage du FLE ?

MÉTHODOLOGIE. Nous avons mené une étude expérimentale auprès de 215 adolescents néerlandophones apprenant le français, qui ont interagi avec deux versions d’un jeu sérieux conçu autour de conversations guidées avec des personnages parlants basés sur l’IA : LanguageHero (Linguineo). Les deux versions différaient en termes d’interactivité, l’une étant entièrement libre, tandis que l’autre reproduisait une tâche de complétion de dialogue. Nous avons mesuré les perceptions des apprenants, leur engagement et les effets d’apprentissage en termes de vocabulaire et de développement de la fluidité orale.

RÉSULTATS. Contrairement à nos attentes, le système de dialogue libre n’a pas été perçu comme significativement différent par rapport à la tâche de complétion du dialogue. Cependant, il y avait des différences significatives dans la perception d’une version pilote du système dépourvue de mécanismes d’étayage productif et de feedback correctif. Parallèlement, l’interactivité du système de dialogue a augmenté l’engagement comportemental et la production par le biais d’essais et d’erreurs encouragés par le feedback correctif du système. L’apprentissage du vocabulaire montre néanmoins des effets relativement similaires entre les deux conditions.

DISCUSSION. Au-delà de certaines limites propres à la conception de l’étude, nous émettons l’hypothèse que l’interactivité comprise comme la possibilité d’influencer librement le dialogue, comme elle est souvent conçue dans le contexte des jeux vidéos, n’est pas aussi importante du point de vue motivationnel qu’on pourrait le supposer. Par contre, l’interactivité telle que conçue dans les théories cognitives sur l’apprentissage des langues, conçue comme espace de négociation sur la forme et le sens fait d’étayage et de feedback correctif, semble essentielle pour la motivation d’une activité d’apprentissage perçue comme telle, pour l’engagement des apprenants dans l’activité et, in fine, pour les développements langagiers qui en découlent.

14 Aug 2024 Keynote at Stage international d’été en didactique du FLE
Université catholique de Louvain, Louvain-la-Neuve
Enseigner le FLE à l’ère de ChatGPT : usages et mésusage des IA génératives

L’émergence des intelligences artificielles (IA) génératives et des grands modèles de langue ouvre de très nombreuses questions, opportunités et inquiétudes en éducation, en didactique des langues et ailleurs. Cette intervention tentera de clarifier ce qui change du point de vue technologique, ce que cela implique du point de vue pédagogique, et ce que les apprenants et enseignants de FLE peuvent en faire. Nous explorerons les usages de l’IA en termes de planification, d’interaction, de génération ou adaptation de matériaux et d’évaluation, tout en proposant un rapport critique et éthique à l’IA.

3 Jul 2024 Paper at EuroSLA 2024
Université Paul Valéry Montpellier 3, Montpellier
Observing very-short-term speaking fluency development in computer-delivered interviews
14 Jun 2024 Paper at Colloque Agi-lang
Université Grenoble Alpes, Grenoble
Which interactivity matters with a chatbot? Agency vs feedback on perception, engagement & learning
19 Apr 2024 Presentation at Colloque international [Retour] du Sujet et du Sens en Didactique des langues
Université de Liège, Liège
Apprendre les langues à l’ère de ChatGPT : quels rôles pour l’apprenant, l’enseignant et l’IA ?

Les avancées récentes des intelligences artificielles (IA) génératives ont donné lieu à de nombreuses discussions sur leur rôle en éducation (Romero et al, 2023), menaçant même pour certains le rôle de l’enseignant. Si l’utilisation d’IA en apprentissage des langues n’est pas neuve (Heift & Schulze, 2015), l’accessibilité des systèmes conversationnels basés sur de grands modèles linguistiques (LLM) met à portée de main des utilisateurs nombre d’usages auparavant seulement hypothétiques. La question des rôles à assigner à l’apprenant, à l’enseignant et aux outils-systèmes comme l’IA se pose dès lors, renouvelée, dans ce nouveau cadre technologique.

Cette communication interroge d’une part la littérature scientifique récente sur les systèmes conversationnels pour l’apprentissage des langues. D’autre part, nous explorons les pratiques effectives d’apprenants de français langue étrangère au départ d’enquêtes et d’entretiens.

Face à la large diversité des usages possibles pour l’apprenant — du générateur de texte au correcteur, en passant par l’interlocuteur, le générateur d’exercices, le fournisseur d’explications — et ceux possibles pour l’enseignant — évaluateur, générateur, adaptateur —, les usages réellement adoptés par les apprenants sont plus circonscrits. Ils contredisent une vision où la technologie joue le premier rôle et démontrent au contraire la centralité de la relation enseignant-apprenant.

27 Mar 2024 Workshop at AI in Language Education (Altissia Chair)
UCLouvain Saint-Louis, Brussels
The Use of Chatbots to Enhance Students' Speaking Ability
26 Mar 2024 Presentation at Workshop « Les stades d’acquisition d’une langue étrangère »
UCLouvain, Louvain-la-Neuve
Input, output et mots en contexte : comment la production contribue également à l'acquisition lexicale
20 Mar 2024 Presentation at Learning Bytes Festival 2024
BUDA Kortrijk, Kortrijk
Language Learning with Conversational AI
with Anaïs Tack

This breakout session provides a brief overview of scientific research into the use of conversational AI (such as ChatGPT) in language education. The session will consist of two parts. In the first part, you will learn about the different applications of conversational AI for language learners and teachers. Moreover, you will gain insight into the effectiveness of conversational AI for language learning. In the second part, we take a closer look at how technologies such as chatbots and generative language models work and how they are developed and evaluated.

6 Feb 2024 Seminar at Séminaire du Cripedis
UCLouvain, Louvain-la-Neuve
L'IA dans les écrits universitaires : par la porte ou par la fenêtre ?
20 Oct 2023 Paper at TSLL 2023
Iowa State University, Aimes, IA
Which interactivity matters in TSLL? Agency, engagement and negotiation in conversational AI

BACKGROUND. Interactivity has been defined in various ways: in instructed SLA, as distinguishing dialogic tasks from monologic ones (Ellis et al., 1994); in game design, as involving agency and user control. We propose a bidimensional model of interactivity in conversational AI, structured around user control and bi-directional adaptivity. This study addresses the question of how these different dimensions of interactivity are operationalized in conversational AI for language learning, i.e., when learners interact with a chatbot to practice an L2 (Bibauw et al., 2019; 2022), and how much they influence the learning experience.

METHODS. We conducted an experimental study with 215 teenage learners of French, who interacted with two versions of a serious game designed around guided conversations with AI-based talking characters. The two versions differed in interactivity, one being entirely free while the other replicated a dialogue completion task. We measured learners’ perceptions, engagement, and learning effects on vocabulary knowledge.

RESULTS. Contrary to our expectations, the free dialogue system was not perceived as significantly different compared to the dialogue completion task. However, there were significant differences in the perception of a pilot version of the system devoid of scaffolding and feedback mechanisms. On the other hand, the interactivity of the dialogue system increased behavioral engagement and production through trials-and-errors incentivized by the system feedback. Vocabulary learning shows similar effects for both conditions in receptive (d = 1.16) and productive knowledge (d = 0.59).

DISCUSSION. Beyond certain limitations proper to the study design, we hypothesize that interactivity, understood as a set of game-like motivational characteristics such as agency, might have less impact on perceptions and effectiveness than expected. Our results refocus our understanding of the benefits of interactivity towards differences in engagement, feedback, and scaffolding, and concretely realized in conversational AI through negotiation of form and meaning.

5 Oct 2023 Presentation at ChatGPT, help! Studiedag voor leerkrachten en taalprofessionals
KU Leuven Kulak, Kortrijk
Chatbots in het onderwijs: wat is (niet) mogelijk?
with Anaïs Tack

Deze sessie biedt een beknopt overzicht van het wetenschappelijk onderzoek naar het gebruik van chatbots en generatieve taalmodellen (zoals ChatGPT) in het (taal)onderwijs.

De sessie verloopt als volgt:

  • Je krijgt een korte, technische introductie in dialoogsystemen.
  • Je leert over het gebruik van dialoogsystemen in het taalonderwijs. Je verkrijgt meer inzicht in de verschillende types systemen en hun effectiviteit voor spreek- en schrijfoefeningen. Dit deel wordt in het Engels gepresenteerd.
  • Verder leer je meer over generatieve taalmodellen en hun gebruik voor educatieve toepassingen. De sessie zal zich in het bijzonder toespitsen op de evaluatie van schrijftaken en het gebruik van artificieel gegenereerde teksten.
20 Mar 2023 Paper at AAAL 2023
Portland Marriott Downtown Waterfront, Portland, OR
Frequency of occurrence in output helps predict incidental vocabulary learning
with Thomas François, Piet Desmet

The number of times a word appears in the input, i.e., the frequency of occurrence, is a well-known factor influencing incidental vocabulary acquisition (Webb, 2020). However, paradoxically, the frequency of occurrence has only a medium predicting power in vocabulary learning, around r = .34 (Uchihara et al., 2019). Our study proposes to look at how productive uses of the target words help understand and predict incidental vocabulary acquisition, complementing the vision of frequency of occurrence in input by looking at output too in a productive task.

We conducted a large-scale experimental study on the effectiveness of dialogue-based CALL (here, a game allowing players to discuss with computer-controlled conversational agents) for vocabulary learning. In a pretest-posttest experiment, 215 Dutch-speaking teenage learners of French were tested on their receptive and productive knowledge of target words encountered in the dialogue-based CALL interactions.

Results showed significant improvement in vocabulary knowledge for participants in the experimental condition in both the meaning-recognition (d = 1.16) and form-recall tests (d = 0.59). The frequency of occurrence in input (actual encounters for each participant) was the best predictor for receptive vocabulary learning (r = .27 ***), but the frequency of use in output (actual instances in output for each participant) was the best predictor for productive vocabulary learning (r = .28 ***). Integrating all results in mixed-effects models, we were able to determine that not only does the frequency of occurrence in output predicts more strongly the posttest scores than input encounters, it also complements it and raises the model predictive power (R² = .66). We propose a model of incidental vocabulary learning in dialogue-based CALL connecting all variables and conclude on the importance of productive practice in lexical acquisition.

20 Oct 2022 Keynote at V Congreso Internacional de Educación y Sociedad (CSIU7)
PUCE Sede Ambato, Ambato
Aportes y límites de las tecnologías educativas: unas lecciones de la pandemia
11 Oct 2022 Workshop at "I was never taught how to do this"
KU Leuven
27 Sep 2022 Keynote at 14e Congrès des Professeurs de Français d'Équateur
PUCE & IPAC, Quito & Guayaquil
Intelligence artificielle et FLE: outils pour enseignants et apprenants
23 Sep 2022 Webinar at Conversatorio del Club de Investigadores
Zoom/YouTube Live, Quito
4 Jun 2022 Paper at CALICO Annual Conference 2022
Renaissance Hotel, Seattle, WA
Can we detect short term fluency development after 2 hours of chat with a dialogue system?

Dialogue systems, such as chatbots and dialogue-based games, provide an opportunity for safe, meaningful conversational practice to foreign language learners. We evaluated how much the speaking fluency of A1-A2 teenage learners of French (N = 164) was impacted by a very short-term synchronous written practice with a dialogue-based CALL game. Pre-post comparisons of various semi-automatized fluency measures confirm that such precise metrics can detect short-term L2 fluency development. The detected effects are promising, even if the limited time on task, the shortcomings of the instructional design, and the limited transfer of learning from writing to speaking do not allow the effect to significantly outperform the test-retest training effect.

18 Aug 2021 Presentation at AILA 2021
University of Gröningen, Gröningen
Automatizing L2 fluency measurement: validity and developmental sensitivity of temporal fluency metrics variations
with Louis Escouflaire, Thomas François, Piet Desmet

Automatizing testing and computation of multiple variations (pruning, normalization…) of L2 utterance fluency metrics, we collected pre/post oral interview responses from N=215 learners of French, and compared each metric’s variation with external proficiency estimates, to determine which operationalizations best predict proficiency and detect very-short-term developmental changes in L2 fluency.

18 May 2021 Keynote at Welcome Session — Master's in English Teaching
Pontificia Universidad Católica del Ecuador, Ambato
28 Apr 2021 Keynote at 2º Congreso Internacional de Educación “Yo educo”
YouTube/Facebook Live, Cuenca
7 Apr 2021 Webinar at Carrera de Pedagogía Técnica de la Mecatrónica
Universidad Central del Ecuador, Quito
La tecnología aplicada a la educación

¿Por qué utilizar tecnología en la educación? ¿La tecnología mejora significativamente el aprendizaje? ¿Qué ofrece como posibilidades con más potencial pedagógico? ¿Qué conservar de la educación virtual?

14 Dec 2020 Webinar at Club de Investigadores
Zoom/YouTube Live
Medir efectos en educación: introducción a los métodos cuantitativos

En ciencias sociales, particularmente en educación, una parte importante de la investigación cuantitativa busca medir la efectividad de ciertas intervenciones. Este seminario busca introducir los enfoques cuantitativos, particularmente el enfoque experimental, con sus oportunidades y sus limitaciones.

Presentaré ejemplos de diseños correlacionales y experimentales en el marco del aprendizaje de idiomas, identificando instrumentos de recolección de datos y técnicas dominantes de análisis estadístico, a través de software libre cómo R y Jamovi. Mencionaré la tendencia a ir más allá de las pruebas de significancia estadística (hipótesis nula, p-value) hacía los tamaños de efecto. Este tipo de estudio también presenta una oportunidad importante de sintésis de los resultados científicos a través del proceso de meta-análisis.

26 Nov 2019 Paper at III Conferencia Internacional de Investigación Educativa ASEFIE 2019
Universidad de Cuenca, Cuenca
21 Nov 2019 Seminar at Séminaire du CENTAL
UCLouvain, Louvain-la-Neuve
Systèmes de dialogue pour l'apprentissage des langues : typologie des systèmes et mesure des effets

Les systèmes de dialogue pour l’apprentissage des langues regroupent différentes applications permettant à un apprenant de langue étrangère de converser, oralement ou par écrit, avec un interlocuteur automatisé (chatbot, robot, interface vocale, personnage non-joueur, etc.). À partir d’une synthèse systématique de la littérature scientifique sur ces systèmes, je présenterai un tour d’horizon des différentes expériences de développement, débouchant sur une typologie des systèmes de dialogue pour l’apprentissage des langues. Je mettrai l’accent sur les approches technologiques utilisées, avec leurs implications et apports respectifs.

Dans un deuxième temps, je montrerai comment l’efficacité de ces différents systèmes a été évaluée empiriquement. Dans des études antérieures d’abord, à travers une méta-analyse des effets sur l’apprentissage des langues. Dans une étude expérimentale ensuite, avec un jeu dialogique pour l’apprentissage du français, dont nous avons mesuré les effets en termes de développement du vocabulaire et de la fluence, dans un processus semi-automatisé de passation et d’analyse d’entretiens oraux. Je discuterai des leçons de cette étude et des pistes les plus prometteuses qu’elle ouvre pour la recherche et les applications d’apprentissage des langues.

29 Aug 2019 Paper at EUROCALL Conference 2019
Louvain-la-Neuve, Belgium
1 Jul 2019 Paper at Vocab@Leuven Conference
KU Leuven, Leuven
10 Jan 2019 Seminar at ITEC Research Seminar
KU Leuven Kulak, Kortrijk
Effects of dialogue-based CALL practice on foreign language learning

Chatbots and conversational agents have recently seen major developments in many domains, including education. In foreign language learning, dialogue-based computer-assisted language learning (CALL) applications allow a learner to practice a foreign language by having a conversation with a computer, be it orally or in writing. I will first present the results of our multilevel meta-analysis on the effectiveness of dialogue-based CALL for second language acquisition, including how exploratory moderator analyses give directions for the design of future conversational applications.

Subsequently, I will present the methodology and preliminary results from a randomised controlled study on the effects of LanguageHero, a dialogue-based CALL game developed by the Leuven-based startup Linguineo. The study measured the effects of three sessions of practice with the game on fluency and vocabulary development in 11 class groups of elementary learners of French across 4 Flemish schools (N = 215 participants). More specifically, we measured how practice with the chatbot affected spoken fluency in a computer-delivered interview, and how the in-game written fluency could be related to it. We also compared two distinct versions of the game (dialogue system dynamic interaction vs. dialogue completion activity) to establish whether the level of interactivity and spontaneity of the writing activity affected the learning outcomes.

30 Nov 2018 Seminar at Werkgroep over Taal
Vrije Universiteit Brussel, Brussels
13 Sep 2018 Keynote at 12e Congrès national des professeurs de français d'Équateur
PUCE, Quito
Enseignement-apprentissage des langues assisté par ordinateur : état de la recherche et des applications
23 Jul 2018 Poster at LEAD Summer School in L2 Acquisition
Universität Tübingen, Tübingen
Dialogue-based CALL: a multilevel meta-analysis

Dialogue-based CALL systems allow a learner to practice meaningfully an L2 with an automated agent, through an oral (spoken dialogue systems) or written interface (chatbots) (Bibauw, François, & Desmet, 2015). In order to obtain a better comprehension of their effects on L2 proficiency development, we conducted a multilevel meta-analysis on all the experimental studies measuring an impact of such systems on language learning outcomes (40 publications). Effect sizes for each variable and group under observation were systematically computed ($k = 96$). By combining all studies into a multilevel linear model, we observed a significant medium effect of dialogue-based CALL on general L2 proficiency development ($d = .61$). By integrating moderator variables into our statistical model, we are able to provide insights on the relative effectiveness of certain technological and instructional characteristics (spoken vs. written, task-oriented vs. open-ended, form-focused vs. meaning-focused) on different learning outcomes (writing vs. speaking vs. comprehension skills, complexity, accuracy and fluency measures…) and different samples of populations (L2 proficiency, age, context…), as well as to model the effect of treatment duration (number of sessions and time on task) and spacing on these outcomes, to better inform future system and research design.”

5 Jul 2018 Paper at XIXth International CALL Research Conference
KU Leuven Campus Bruges, Bruges
Insights from a multilevel meta-analysis on the effectiveness of dialogue-based CALL
with Wim Van den Noortgate, Thomas François, Piet Desmet
18 May 2018 Poster at PLIN Linguistic Day 2018
UCLouvain, Louvain-la-Neuve
“Hey Siri, can I learn English by talking to you?” A meta-analysis of dialogue-based CALL
10 Oct 2017 Keynote at Audaxis Autumn Talk
Rossel, Brussels
Génération automatique de texte : état de la recherche et des applications
with Cédrick Fairon
18 May 2017 Paper at CALICO Conference 2017
Flagstaff, AZ, USA
The effectiveness of dialogue-based CALL on L2 proficiency development: a meta-analysis
with Wim Van den Noortgate, Thomas François, Piet Desmet

Dialogue-based computer-assisted language learning (CALL) systems allow a learner to practice meaningfully a foreign language (L2) with an automated agent, whether orally or through text chat. With the aim of establishing the impact of such systems on L2 proficiency development, we conducted a meta-analysis of empirical research on dialogue-based CALL. Twenty-nine effect sizes from effectiveness studies on various systems were included into a multilevel model, with moderator variables allowing for fine-grained analysis. Our findings establish a significant effect ($d = .64$) of dialogue-based CALL on general proficiency development. The comparisons of system characteristics, testing conditions and language learning outcome measurements allow to draw conclusions and recommendations for future system and research design on the topic.

11 May 2016 Paper at CALICO Conference 2016
Michigan State University, East Lansing
Instructional design and natural language processing in dialogue-based CALL
with Thomas François, Piet Desmet

Dialogue-based computer-assisted language learning (CALL) encompasses applications that allow a learner to practice a foreign language by carrying a conversation with a computer through unconstrained input. Such systems, whether speech or text-based, present various challenges to the CALL developer, both with the instructional design (degree of openness of the interaction, types of prompt, etc.) and the technological design (rules-driven vs. data-driven system, complexity level of the natural language processing, etc.). We propose a general task design framework for dialogue-based CALL, and align it with recommendations for natural language processing (NLP) techniques to tackle such challenge.

27 Aug 2015 Paper at EuroCALL Conference 2015
Università di Padova, Padova
Dialogue-based CALL: an overview of existing research
with Thomas François, Piet Desmet

Dialogue-based CALL covers applications and systems allowing a learner to practice the target language in a meaning-focused conversational activity with an automated agent. We first present a common definition for dialogue-based CALL, based on three features: dialogue as the activity unit, computer as the interlocutor and negotiation of outcome through open learner production. We conducted a systematic literature review on the main scientific databases resulting, after filtering, in 138 relevant papers, which were analyzed and coded. Results show a scattered research field, with four different disciplinary approaches. We conclude with observations regarding the remaining challenges and opportunities for ICALL research.

28 May 2015 Paper at CALICO Conference 2015
University of Colorado, Boulder
Conversational agents for language learning: state of the art and avenues for research on task-based agents
with Thomas François, Piet Desmet

Conversational agents are seen as a way to offer an anxiety-free L2 practice environment for learners, in the hope that it would produce similar proficiency improvements as those obtained in a chat with a human interlocutor. Various approaches have been used to develop conversational agents: pattern matching (from a knowledge base obtained either manually, from a corpus or with crowdsourcing), AI planners and script-based frameworks. However current agents still present important shortcomings for applications in language learning and very few researchers have ever evaluated their impact on L2 development. Following Petersen’s (2010) successful experiment, we will present a design for a task-based agent that would provide semantically and pragmatically consistent answers inside a specific goal-oriented conversation with a learner.