Talks
1 Apr 2025 | Paper at TBLT Conference 2025 University of Groningen, Groningen AI vs Human Task-based Tutoring: Engagement, perceptions and written fluency with Anaïs Tack |
---|---|
22 Mar 2025 | Keynote at Prix de l'ABPF Université libre de Bruxelles, Etterbeek Intelligence artificielle en (classe de) français : au-delà du blabla |
4 Feb 2025 | Keynote at Journée du français / Dag van Frans Eeckhout Academy, KU Leuven Kulak, Kortrijk Intelligence artificielle et langues : au-delà du blabla / Intelligence artificielle et activités intelligentes pour la classe de français ? with Michel Boiron |
7 Nov 2024 | Keynote at International Conference “Shifting Boundaries: AI and Human Interactions” (SHAI) Universitá di Napoli L’Orientale, Naples Looking back, looking forward: From dialogue-based CALL to LLM chatbots for language learning |
29 Oct 2024 | Keynote at Journée d'étude "Innovations pédagogiques dans l’enseignement du français dans un contexte plurilingue et interculturel" Hanoi University (HANU), Hanoi Chomsky vs ChatGPT : Ce que révèlent les grands modèles de langage (LLM) sur l'apprentissage des langues |
25 Oct 2024 | Paper at NLP4CALL 2024 Université Rennes 2, Rennes Generating Contexts for ESP Vocabulary Exercises with LLMs with Iglika Nikolova-Stoupak, Amandine Dumont, Françoise Stas, Patrick Watrin & Thomas François |
18 Oct 2024 | Keynote at Training Day “Transformer la Formation avec l'IA” FPS Policy and Support (BOSA), Brussels IA, attention et mémoire : place et potentiel en formation |
18 Sep 2024 | Keynote at 15e Congrès national des professeurs de français en Equateur Universidad Central del Ecuador, Quito Enseigner le FLE à l'ère de ChatGPT : usages et mésusage des IA génératives L’émergence des intelligences artificielles (IA) génératives et des grands modèles de langue ouvre de très nombreuses questions, opportunités et inquiétudes en éducation, en didactique des langues et ailleurs. Cette intervention tentera de clarifier ce qui change du point de vue technologique, ce que cela implique du point de vue pédagogique, et ce que les apprenants et enseignants de FLE peuvent en faire. Nous explorerons les usages de l’IA en termes de planification, d’interaction, de génération ou adaptation de matériaux et d’évaluation, tout en proposant un rapport critique et éthique à l’IA. |
13 Sep 2024 | Keynote at Rentrée académique de l’École de Traduction et Interprétation UCLouvain Saint-Louis, Bruxelles Intelligence artificielle : la solution pour l’apprentissage des langues ? |
6 Sep 2024 | Paper at 4e Congrès européen de la FIPF Universitatea Politehnica din București, Bucharest Pratiquer le français avec une IA conversationnelle : entre liberté et correction, quelle interactivité importe ? CONTEXTE. Les outils d’intelligence artificielle (IA) offrent de plus en plus d’opportunités d’apprendre et de pratiquer les langues étrangères de manière autonome. Le fait de pouvoir interagir librement, sur n’importe quel thème, est souvent présenté comme un levier majeur de motivation et un atout d’une IA conversationnelle (p. ex. ChatGPT, Alexa…). Mais quelle interactivité importe le plus pour la perception et l’efficacité de ses systèmes pour l’apprentissage du FLE ? MÉTHODOLOGIE. Nous avons mené une étude expérimentale auprès de 215 adolescents néerlandophones apprenant le français, qui ont interagi avec deux versions d’un jeu sérieux conçu autour de conversations guidées avec des personnages parlants basés sur l’IA : LanguageHero (Linguineo). Les deux versions différaient en termes d’interactivité, l’une étant entièrement libre, tandis que l’autre reproduisait une tâche de complétion de dialogue. Nous avons mesuré les perceptions des apprenants, leur engagement et les effets d’apprentissage en termes de vocabulaire et de développement de la fluidité orale. RÉSULTATS. Contrairement à nos attentes, le système de dialogue libre n’a pas été perçu comme significativement différent par rapport à la tâche de complétion du dialogue. Cependant, il y avait des différences significatives dans la perception d’une version pilote du système dépourvue de mécanismes d’étayage productif et de feedback correctif. Parallèlement, l’interactivité du système de dialogue a augmenté l’engagement comportemental et la production par le biais d’essais et d’erreurs encouragés par le feedback correctif du système. L’apprentissage du vocabulaire montre néanmoins des effets relativement similaires entre les deux conditions. DISCUSSION. Au-delà de certaines limites propres à la conception de l’étude, nous émettons l’hypothèse que l’interactivité comprise comme la possibilité d’influencer librement le dialogue, comme elle est souvent conçue dans le contexte des jeux vidéos, n’est pas aussi importante du point de vue motivationnel qu’on pourrait le supposer. Par contre, l’interactivité telle que conçue dans les théories cognitives sur l’apprentissage des langues, conçue comme espace de négociation sur la forme et le sens fait d’étayage et de feedback correctif, semble essentielle pour la motivation d’une activité d’apprentissage perçue comme telle, pour l’engagement des apprenants dans l’activité et, in fine, pour les développements langagiers qui en découlent. |
14 Aug 2024 | Keynote at Stage international d’été en didactique du FLE Université catholique de Louvain, Louvain-la-Neuve Enseigner le FLE à l’ère de ChatGPT : usages et mésusage des IA génératives L’émergence des intelligences artificielles (IA) génératives et des grands modèles de langue ouvre de très nombreuses questions, opportunités et inquiétudes en éducation, en didactique des langues et ailleurs. Cette intervention tentera de clarifier ce qui change du point de vue technologique, ce que cela implique du point de vue pédagogique, et ce que les apprenants et enseignants de FLE peuvent en faire. Nous explorerons les usages de l’IA en termes de planification, d’interaction, de génération ou adaptation de matériaux et d’évaluation, tout en proposant un rapport critique et éthique à l’IA. |
3 Jul 2024 | Paper at EuroSLA 2024 Université Paul Valéry Montpellier 3, Montpellier Observing very-short-term speaking fluency development in computer-delivered interviews |
14 Jun 2024 | Paper at Colloque Agi-lang Université Grenoble Alpes, Grenoble Which interactivity matters with a chatbot? Agency vs feedback on perception, engagement & learning |
19 Apr 2024 | Presentation at Colloque international [Retour] du Sujet et du Sens en Didactique des langues Université de Liège, Liège Apprendre les langues à l’ère de ChatGPT : quels rôles pour l’apprenant, l’enseignant et l’IA ? Les avancées récentes des intelligences artificielles (IA) génératives ont donné lieu à de nombreuses discussions sur leur rôle en éducation (Romero et al, 2023), menaçant même pour certains le rôle de l’enseignant. Si l’utilisation d’IA en apprentissage des langues n’est pas neuve (Heift & Schulze, 2015), l’accessibilité des systèmes conversationnels basés sur de grands modèles linguistiques (LLM) met à portée de main des utilisateurs nombre d’usages auparavant seulement hypothétiques. La question des rôles à assigner à l’apprenant, à l’enseignant et aux outils-systèmes comme l’IA se pose dès lors, renouvelée, dans ce nouveau cadre technologique. Cette communication interroge d’une part la littérature scientifique récente sur les systèmes conversationnels pour l’apprentissage des langues. D’autre part, nous explorons les pratiques effectives d’apprenants de français langue étrangère au départ d’enquêtes et d’entretiens. Face à la large diversité des usages possibles pour l’apprenant — du générateur de texte au correcteur, en passant par l’interlocuteur, le générateur d’exercices, le fournisseur d’explications — et ceux possibles pour l’enseignant — évaluateur, générateur, adaptateur —, les usages réellement adoptés par les apprenants sont plus circonscrits. Ils contredisent une vision où la technologie joue le premier rôle et démontrent au contraire la centralité de la relation enseignant-apprenant. |
27 Mar 2024 | Workshop at AI in Language Education (Altissia Chair) UCLouvain Saint-Louis, Brussels The Use of Chatbots to Enhance Students' Speaking Ability |
26 Mar 2024 | Presentation at Workshop « Les stades d’acquisition d’une langue étrangère » UCLouvain, Louvain-la-Neuve Input, output et mots en contexte : comment la production contribue également à l'acquisition lexicale |
20 Mar 2024 | Presentation at Learning Bytes Festival 2024 BUDA Kortrijk, Kortrijk Language Learning with Conversational AI with Anaïs Tack This breakout session provides a brief overview of scientific research into the use of conversational AI (such as ChatGPT) in language education. The session will consist of two parts. In the first part, you will learn about the different applications of conversational AI for language learners and teachers. Moreover, you will gain insight into the effectiveness of conversational AI for language learning. In the second part, we take a closer look at how technologies such as chatbots and generative language models work and how they are developed and evaluated. |
6 Feb 2024 | Seminar at Séminaire du Cripedis UCLouvain, Louvain-la-Neuve L'IA dans les écrits universitaires : par la porte ou par la fenêtre ? |
20 Oct 2023 | Paper at TSLL 2023 Iowa State University, Aimes, IA Which interactivity matters in TSLL? Agency, engagement and negotiation in conversational AI BACKGROUND. Interactivity has been defined in various ways: in instructed SLA, as distinguishing dialogic tasks from monologic ones (Ellis et al., 1994); in game design, as involving agency and user control. We propose a bidimensional model of interactivity in conversational AI, structured around user control and bi-directional adaptivity. This study addresses the question of how these different dimensions of interactivity are operationalized in conversational AI for language learning, i.e., when learners interact with a chatbot to practice an L2 (Bibauw et al., 2019; 2022), and how much they influence the learning experience. METHODS. We conducted an experimental study with 215 teenage learners of French, who interacted with two versions of a serious game designed around guided conversations with AI-based talking characters. The two versions differed in interactivity, one being entirely free while the other replicated a dialogue completion task. We measured learners’ perceptions, engagement, and learning effects on vocabulary knowledge. RESULTS. Contrary to our expectations, the free dialogue system was not perceived as significantly different compared to the dialogue completion task. However, there were significant differences in the perception of a pilot version of the system devoid of scaffolding and feedback mechanisms. On the other hand, the interactivity of the dialogue system increased behavioral engagement and production through trials-and-errors incentivized by the system feedback. Vocabulary learning shows similar effects for both conditions in receptive (d = 1.16) and productive knowledge (d = 0.59). DISCUSSION. Beyond certain limitations proper to the study design, we hypothesize that interactivity, understood as a set of game-like motivational characteristics such as agency, might have less impact on perceptions and effectiveness than expected. Our results refocus our understanding of the benefits of interactivity towards differences in engagement, feedback, and scaffolding, and concretely realized in conversational AI through negotiation of form and meaning. |
5 Oct 2023 | Presentation at ChatGPT, help! Studiedag voor leerkrachten en taalprofessionals KU Leuven Kulak, Kortrijk Chatbots in het onderwijs: wat is (niet) mogelijk? with Anaïs Tack Deze sessie biedt een beknopt overzicht van het wetenschappelijk onderzoek naar het gebruik van chatbots en generatieve taalmodellen (zoals ChatGPT) in het (taal)onderwijs. De sessie verloopt als volgt:
|
20 Mar 2023 | Paper at AAAL 2023 Portland Marriott Downtown Waterfront, Portland, OR Frequency of occurrence in output helps predict incidental vocabulary learning with Thomas François, Piet Desmet The number of times a word appears in the input, i.e., the frequency of occurrence, is a well-known factor influencing incidental vocabulary acquisition (Webb, 2020). However, paradoxically, the frequency of occurrence has only a medium predicting power in vocabulary learning, around r = .34 (Uchihara et al., 2019). Our study proposes to look at how productive uses of the target words help understand and predict incidental vocabulary acquisition, complementing the vision of frequency of occurrence in input by looking at output too in a productive task. We conducted a large-scale experimental study on the effectiveness of dialogue-based CALL (here, a game allowing players to discuss with computer-controlled conversational agents) for vocabulary learning. In a pretest-posttest experiment, 215 Dutch-speaking teenage learners of French were tested on their receptive and productive knowledge of target words encountered in the dialogue-based CALL interactions. Results showed significant improvement in vocabulary knowledge for participants in the experimental condition in both the meaning-recognition (d = 1.16) and form-recall tests (d = 0.59). The frequency of occurrence in input (actual encounters for each participant) was the best predictor for receptive vocabulary learning (r = .27 ***), but the frequency of use in output (actual instances in output for each participant) was the best predictor for productive vocabulary learning (r = .28 ***). Integrating all results in mixed-effects models, we were able to determine that not only does the frequency of occurrence in output predicts more strongly the posttest scores than input encounters, it also complements it and raises the model predictive power (R² = .66). We propose a model of incidental vocabulary learning in dialogue-based CALL connecting all variables and conclude on the importance of productive practice in lexical acquisition. |
20 Oct 2022 | Keynote at V Congreso Internacional de Educación y Sociedad (CSIU7) PUCE Sede Ambato, Ambato Aportes y límites de las tecnologías educativas: unas lecciones de la pandemia |
11 Oct 2022 | Workshop at "I was never taught how to do this" KU Leuven |
27 Sep 2022 | Keynote at 14e Congrès des Professeurs de Français d'Équateur PUCE & IPAC, Quito & Guayaquil Intelligence artificielle et FLE: outils pour enseignants et apprenants |
23 Sep 2022 | Webinar at Conversatorio del Club de Investigadores Zoom/YouTube Live, Quito |
4 Jun 2022 | Paper at CALICO Annual Conference 2022 Renaissance Hotel, Seattle, WA Can we detect short term fluency development after 2 hours of chat with a dialogue system? Dialogue systems, such as chatbots and dialogue-based games, provide an opportunity for safe, meaningful conversational practice to foreign language learners. We evaluated how much the speaking fluency of A1-A2 teenage learners of French (N = 164) was impacted by a very short-term synchronous written practice with a dialogue-based CALL game. Pre-post comparisons of various semi-automatized fluency measures confirm that such precise metrics can detect short-term L2 fluency development. The detected effects are promising, even if the limited time on task, the shortcomings of the instructional design, and the limited transfer of learning from writing to speaking do not allow the effect to significantly outperform the test-retest training effect. |
18 Aug 2021 | Presentation at AILA 2021 University of Gröningen, Gröningen Automatizing L2 fluency measurement: validity and developmental sensitivity of temporal fluency metrics variations with Louis Escouflaire, Thomas François, Piet Desmet Automatizing testing and computation of multiple variations (pruning, normalization…) of L2 utterance fluency metrics, we collected pre/post oral interview responses from N=215 learners of French, and compared each metric’s variation with external proficiency estimates, to determine which operationalizations best predict proficiency and detect very-short-term developmental changes in L2 fluency. |
18 May 2021 | Keynote at Welcome Session — Master's in English Teaching Pontificia Universidad Católica del Ecuador, Ambato |
28 Apr 2021 | Keynote at 2º Congreso Internacional de Educación “Yo educo” YouTube/Facebook Live, Cuenca |
7 Apr 2021 | Webinar at Carrera de Pedagogía Técnica de la Mecatrónica Universidad Central del Ecuador, Quito |
14 Dec 2020 | Webinar at Club de Investigadores Zoom/YouTube Live Medir efectos en educación: introducción a los métodos cuantitativos En ciencias sociales, particularmente en educación, una parte importante de la investigación cuantitativa busca medir la efectividad de ciertas intervenciones. Este seminario busca introducir los enfoques cuantitativos, particularmente el enfoque experimental, con sus oportunidades y sus limitaciones. Presentaré ejemplos de diseños correlacionales y experimentales en el marco del aprendizaje de idiomas, identificando instrumentos de recolección de datos y técnicas dominantes de análisis estadístico, a través de software libre cómo R y Jamovi. Mencionaré la tendencia a ir más allá de las pruebas de significancia estadística (hipótesis nula, p-value) hacía los tamaños de efecto. Este tipo de estudio también presenta una oportunidad importante de sintésis de los resultados científicos a través del proceso de meta-análisis. |
26 Nov 2019 | Paper at III Conferencia Internacional de Investigación Educativa ASEFIE 2019 Universidad de Cuenca, Cuenca Desarrollo de la fluidez oral en lengua extranjera: experimento de medición semiautomática de los efectos de aprendizaje with Louis Escouflaire, Thomas François, Piet Desmet |
21 Nov 2019 | Seminar at Séminaire du CENTAL UCLouvain, Louvain-la-Neuve Systèmes de dialogue pour l'apprentissage des langues : typologie des systèmes et mesure des effets Les systèmes de dialogue pour l’apprentissage des langues regroupent différentes applications permettant à un apprenant de langue étrangère de converser, oralement ou par écrit, avec un interlocuteur automatisé (chatbot, robot, interface vocale, personnage non-joueur, etc.). À partir d’une synthèse systématique de la littérature scientifique sur ces systèmes, je présenterai un tour d’horizon des différentes expériences de développement, débouchant sur une typologie des systèmes de dialogue pour l’apprentissage des langues. Je mettrai l’accent sur les approches technologiques utilisées, avec leurs implications et apports respectifs. Dans un deuxième temps, je montrerai comment l’efficacité de ces différents systèmes a été évaluée empiriquement. Dans des études antérieures d’abord, à travers une méta-analyse des effets sur l’apprentissage des langues. Dans une étude expérimentale ensuite, avec un jeu dialogique pour l’apprentissage du français, dont nous avons mesuré les effets en termes de développement du vocabulaire et de la fluence, dans un processus semi-automatisé de passation et d’analyse d’entretiens oraux. Je discuterai des leçons de cette étude et des pistes les plus prometteuses qu’elle ouvre pour la recherche et les applications d’apprentissage des langues. |
29 Aug 2019 | Paper at EUROCALL Conference 2019 Louvain-la-Neuve, Belgium Interactivity in dialogue-based CALL practice: effects on learners perceptions and production with Thomas François, Piet Desmet |
1 Jul 2019 | Paper at Vocab@Leuven Conference KU Leuven, Leuven Effects of interactivity of written practice on incidental vocabulary with Thomas François, Piet Desmet |
10 Jan 2019 | Seminar at ITEC Research Seminar KU Leuven Kulak, Kortrijk Effects of dialogue-based CALL practice on foreign language learning Chatbots and conversational agents have recently seen major developments in many domains, including education. In foreign language learning, dialogue-based computer-assisted language learning (CALL) applications allow a learner to practice a foreign language by having a conversation with a computer, be it orally or in writing. I will first present the results of our multilevel meta-analysis on the effectiveness of dialogue-based CALL for second language acquisition, including how exploratory moderator analyses give directions for the design of future conversational applications. Subsequently, I will present the methodology and preliminary results from a randomised controlled study on the effects of LanguageHero, a dialogue-based CALL game developed by the Leuven-based startup Linguineo. The study measured the effects of three sessions of practice with the game on fluency and vocabulary development in 11 class groups of elementary learners of French across 4 Flemish schools (N = 215 participants). More specifically, we measured how practice with the chatbot affected spoken fluency in a computer-delivered interview, and how the in-game written fluency could be related to it. We also compared two distinct versions of the game (dialogue system dynamic interaction vs. dialogue completion activity) to establish whether the level of interactivity and spontaneity of the writing activity affected the learning outcomes. |
30 Nov 2018 | Seminar at Werkgroep over Taal Vrije Universiteit Brussel, Brussels |
13 Sep 2018 | Keynote at 12e Congrès national des professeurs de français d'Équateur PUCE, Quito Enseignement-apprentissage des langues assisté par ordinateur : état de la recherche et des applications |
23 Jul 2018 | Poster at LEAD Summer School in L2 Acquisition Universität Tübingen, Tübingen Dialogue-based CALL: a multilevel meta-analysis Dialogue-based CALL systems allow a learner to practice meaningfully an L2 with an automated agent, through an oral (spoken dialogue systems) or written interface (chatbots) (Bibauw, François, & Desmet, 2015). In order to obtain a better comprehension of their effects on L2 proficiency development, we conducted a multilevel meta-analysis on all the experimental studies measuring an impact of such systems on language learning outcomes (40 publications). Effect sizes for each variable and group under observation were systematically computed ($k = 96$). By combining all studies into a multilevel linear model, we observed a significant medium effect of dialogue-based CALL on general L2 proficiency development ($d = .61$). By integrating moderator variables into our statistical model, we are able to provide insights on the relative effectiveness of certain technological and instructional characteristics (spoken vs. written, task-oriented vs. open-ended, form-focused vs. meaning-focused) on different learning outcomes (writing vs. speaking vs. comprehension skills, complexity, accuracy and fluency measures…) and different samples of populations (L2 proficiency, age, context…), as well as to model the effect of treatment duration (number of sessions and time on task) and spacing on these outcomes, to better inform future system and research design.” |
5 Jul 2018 | Paper at XIXth International CALL Research Conference KU Leuven Campus Bruges, Bruges Insights from a multilevel meta-analysis on the effectiveness of dialogue-based CALL with Wim Van den Noortgate, Thomas François, Piet Desmet |
18 May 2018 | Poster at PLIN Linguistic Day 2018 UCLouvain, Louvain-la-Neuve “Hey Siri, can I learn English by talking to you?” A meta-analysis of dialogue-based CALL |
10 Oct 2017 | Keynote at Audaxis Autumn Talk Rossel, Brussels Génération automatique de texte : état de la recherche et des applications with Cédrick Fairon |
18 May 2017 | Paper at CALICO Conference 2017 Flagstaff, AZ, USA The effectiveness of dialogue-based CALL on L2 proficiency development: a meta-analysis with Wim Van den Noortgate, Thomas François, Piet Desmet Dialogue-based computer-assisted language learning (CALL) systems allow a learner to practice meaningfully a foreign language (L2) with an automated agent, whether orally or through text chat. With the aim of establishing the impact of such systems on L2 proficiency development, we conducted a meta-analysis of empirical research on dialogue-based CALL. Twenty-nine effect sizes from effectiveness studies on various systems were included into a multilevel model, with moderator variables allowing for fine-grained analysis. Our findings establish a significant effect ($d = .64$) of dialogue-based CALL on general proficiency development. The comparisons of system characteristics, testing conditions and language learning outcome measurements allow to draw conclusions and recommendations for future system and research design on the topic. |
11 May 2016 | Paper at CALICO Conference 2016 Michigan State University, East Lansing Instructional design and natural language processing in dialogue-based CALL with Thomas François, Piet Desmet Dialogue-based computer-assisted language learning (CALL) encompasses applications that allow a learner to practice a foreign language by carrying a conversation with a computer through unconstrained input. Such systems, whether speech or text-based, present various challenges to the CALL developer, both with the instructional design (degree of openness of the interaction, types of prompt, etc.) and the technological design (rules-driven vs. data-driven system, complexity level of the natural language processing, etc.). We propose a general task design framework for dialogue-based CALL, and align it with recommendations for natural language processing (NLP) techniques to tackle such challenge. |
27 Aug 2015 | Paper at EuroCALL Conference 2015 Università di Padova, Padova Dialogue-based CALL: an overview of existing research with Thomas François, Piet Desmet Dialogue-based CALL covers applications and systems allowing a learner to practice the target language in a meaning-focused conversational activity with an automated agent. We first present a common definition for dialogue-based CALL, based on three features: dialogue as the activity unit, computer as the interlocutor and negotiation of outcome through open learner production. We conducted a systematic literature review on the main scientific databases resulting, after filtering, in 138 relevant papers, which were analyzed and coded. Results show a scattered research field, with four different disciplinary approaches. We conclude with observations regarding the remaining challenges and opportunities for ICALL research. |
28 May 2015 | Paper at CALICO Conference 2015 University of Colorado, Boulder Conversational agents for language learning: state of the art and avenues for research on task-based agents with Thomas François, Piet Desmet Conversational agents are seen as a way to offer an anxiety-free L2 practice environment for learners, in the hope that it would produce similar proficiency improvements as those obtained in a chat with a human interlocutor. Various approaches have been used to develop conversational agents: pattern matching (from a knowledge base obtained either manually, from a corpus or with crowdsourcing), AI planners and script-based frameworks. However current agents still present important shortcomings for applications in language learning and very few researchers have ever evaluated their impact on L2 development. Following Petersen’s (2010) successful experiment, we will present a design for a task-based agent that would provide semantically and pragmatically consistent answers inside a specific goal-oriented conversation with a learner. |