00:00:05:08 - 00:00:39:19 Carolina Serrano-Archimi Voilà 8 h 30. Bonjour tout le monde ! Nous sommes vraiment ravis, Jacques et moi, de pouvoir vous accueillir pour ce huitième petit déjeuner sur un sujet qui nous préoccupe tous, je le pense, l'évaluation des mémoires. On parlera à la fois de l'évaluation des mémoires, bien sûr, mais également on ouvrira une toute petite discussion sur comment le mémoire peut-il encore, être, si vous voulez, un indicateur d'apprentissage de nos étudiants. 00:00:39:21 - 00:01:09:12 Carolina Serrano-Archimi On sait que c'est des questionnements qu'on a tous. Donc on s'est dit que ce n'était pas l'objet du petit déjeuner, mais ça permettrait peut-être de partager un peu certaines choses entre nous pour nourrir la réflexion. Je partage avec vous notre support : créer un assistant pour évaluer des mémoires avec feedback personnalisé. Tout d'abord, on est encore dans les temps, bonne année tout le monde ! 00:01:09:14 - 00:01:32:14 Carolina Serrano-Archimi Un petit rappel : nous avons fait 7 petit déjeuner en 2025 et puis nous en avons ajouté un huitième parce que finalement, le 16 décembre, on avait été trop ambitieux. On voulait vous proposer l'évaluation de copies et de mémoires et finalement on avait scindé copie d'un côté pour un petit déjeuner, mémoires pour un autre, qui est celui d'aujourd'hui. 00:01:32:16 - 00:01:46:06 Carolina Serrano-Archimi Il y a, rappelez vous, comme je le rappelle à chaque fois, plein de petits déjeuners enregistrés par d'autres collègues depuis 2023 qui sont excellents à voir. Et puis alors, qui sommes-nous ? 00:01:46:08 - 00:02:31:15 Jacques Baratti Oui. Jacques Baratti. Bonjour. Prof émérite à Aix-Marseille Université. Pas du tout dans vos domaines puisque je suis scientifique, chimiste à la base et biochimiste ensuite. Et je m'intéresse depuis pas mal d'années aux pédagogies actives, au numérique. Et maintenant à l’IA depuis et depuis qu'elle est sortie, il y à trois ans et un peu plus maintenant. Et je suis actif sur les réseaux sociaux sous le nom d'Apache de Cochise. Sur LinkedIn en particulier, où je publie diverses choses, dont des lettres de veille techno pédagogique,sur les pédagogies actives et sur l’IA. allez voir sur LinkedIn si vous voulez la recevoir. 00:02:31:17 - 00:02:56:20 Carolina Serrano-Archimi Et moi, c'est Carolina Serrano-Archimi. Moi, je suis maître de conférences HDR à l’IAE d'Aix-Marseille Université et également, j'ai toujours été très intéressé par la pédagogie, notamment la pédagogie active et inductive. Et je fais partie donc du programme ITP, pour ceux qui connaissent, je suis membre au nom de l’IAE d’Aix, sur lequel on travaille énormément autour de la pédagogie en management. 00:02:56:22 - 00:03:17:24 Carolina Serrano-Archimi Et donc pour ce petit déjeuner, voilà les trois parties qu'on va voir ensemble. On va voir comment on évalue des mémoires avec un assistant GPT. On va ensuite, après avoir pratiqué, on va voir comment on le construit. Et enfin, on fera une petite synthèse où on parlera de mise en perspective, du rôle de mémoire, à l'heure actuelle. 00:03:18:01 - 00:03:42:22 Carolina Serrano-Archimi Donc on y va. Tout d'abord, on vous invite, peut-être que certains d'entre vous l'ont fait, mais sinon, vraiment, on vous invite à visionner le petit déjeuner n°7, le précédent du 16 décembre, où on avait travaillé sur la création d'un assistant pour évaluer les copies avec feedback. Là, j'ai demandé à NotebookLM de nous proposer une infographie qui résume le contenu de ce petit déjeuner. 00:03:42:24 - 00:04:08:00 Carolina Serrano-Archimi Mais allez le voir parce qu'il y a des choses sur lesquelles on n'ira pas aussi en profondeur lors de ce petit déjeuner et qu'on a fait lors du précédent. Alors l'évaluation des mémoires, rien qu'on ne sache pas. Le mémoire devient un indicateur peu fiable de l'apprentissage de nos étudiants à la fin d'un programme. Il reste pourtant un élément fondamental des maquettes de l'ensemble des programmes, donc on ne peut pas s'en extirper. 00:04:08:00 - 00:04:36:07 Carolina Serrano-Archimi Et pour l'instant, on n'a pas de réponse de remplacement. Et peut-être que certains d'entre vous ont des idées là dessus. Et l'IA change nos pratiques d'enseignement, donc directement d'évaluation. Mais on insiste avec Jacques sur le fait que les outils qu'on va présenter ne vont rester que des aides, que des soutiens à l'évaluation. A nos yeux, des soutiens très utiles, mais que ça et qui restent pleinement l'évaluation sous le contrôle et la responsabilité de l'enseignant. 00:04:36:07 - 00:04:56:06 Carolina Serrano-Archimi C'est très important de le rappeler. On va s'appuyer, et là ce n'est qu'un rappel à nouveau, parce qu'on a traité ça en profondeur au petit déjeuner N°6, sur les éléments de la grille d'évaluation critériée. Donc, rappelez-vous que là, en revanche, pour les mémoires, on va monter d'un cran. On va être sur la grille d'évaluation d'un programme. 00:04:56:07 - 00:05:28:04 Carolina Serrano-Archimi En l'occurrence, nous, on va s'appuyer sur un Master 2. Mais peu importe, tout ça s'adapte au niveau de chacun des programmes. Il y a donc dans une grille d'évaluation des critères d'évaluation, qu’on va évaluer. Des niveaux de maîtrise, on en aura 4. Et des pondérations. Donc chaque critère peut être pondéré. Nous, pour ce niveau là, on a la même pondération pour l'ensemble des critères. Et des descripteurs qui sont l'explication, le contenu détaillé du croisement entre les critères et les niveaux. 00:05:28:06 - 00:05:57:14 Carolina Serrano-Archimi Donc on va s'appuyer sur une grille d'évaluation au niveau d'un programme qui comporte 5 ILOs, qui sont des grandes compétences à acquérir par l'étudiant à la fin d'un programme. Chaque ILO est décomposé en 4 critères, ce qui fera 20 critères en tout à tenir compte à l'intérieur du mémoire. Et puis chaque critère est évalué sur 4 niveaux. Ici, j’ai donné juste un exemple sur un des ILOs, qui est classique dans l'ensemble des programmes, qui sont les compétences de recherche. 00:05:57:16 - 00:06:23:13 Carolina Serrano-Archimi Alors, nous, on va vous proposer ici la l'évaluation de Mémoires Professionnels de Master 2. Donc pas des mémoires de recherche, mais des mémoires professionnels et en niveau Master 2. Donc la démarche est exactement la même pour n'importe quel type de mémoire. Que ce soit un mémoire, si vous demandez un peu plus qu'un rapport de stage, que ce soit un mémoire de stage, que ce soit un mémoire de licence, la démarche est la même. 00:06:23:18 - 00:06:42:01 Carolina Serrano-Archimi Nous allons pour cela nous servir de cet assistant créé dans le but de ce petit déjeuner. Et donc voilà pour la création. On va d'abord passer la parole à Jacques. Cher ami, tu peux prendre la suite. 00:06:42:03 - 00:06:59:22 Jacques Baratti Je vais partager mon écran. Nous on utilise chatGPT mais on peut le faire sur Gemini et on peut le faire sur Perplexity, sur Mistral. Donc voilà l'interface... 00:06:59:24 - 00:07:23:20 Jacques Baratti ...de GPT, pardon, excusez-moi, qui s'appelle “Dinamentor-Évaluer des mémoires-PDA8”. Et on retrouve dans la partie gauche un certain nombre de points que je vais vous détailler mais qu'on a vu la dernière fois sur l'assistant copie. Donc il y a d'abord le nom. Ok, on a vu. Il y a une description. 00:07:23:20 - 00:07:52:14 Jacques Baratti Ça, ça permet de le vérifier quand on se connecte. Et il y a le plus important : les instructions. Pour les instructions, vous avez, dans les documents qui vous sont donnés dans le tchat, la manière dont on les a obtenus. C'est assez simple. On demande à une IAG, on lui dit ce qu'on veut faire et on lui demande de rédiger des instructions avec différentes phases. 00:07:52:16 - 00:08:14:02 Jacques Baratti Vous regardez. Ici, on a directement les instructions. Vous voyez qu'il y a des petites choses comme des dièses, etc. Ça, c'est parce qu'on les a transformés au format Markdown, qui est un format qui structure, il y a des étoiles, qui structure la pensée et que les IA lisent beaucoup plus facilement que du format texte. 00:08:14:04 - 00:08:43:14 Jacques Baratti Et ça, on peut demander directement à l’IAG de transformer l'instruction au format Markdown et on fait un copier-coller. Donc tout ça on l'a vu, donc on ne le rappelle pas, on dit simplement comment on a fait. Donc voilà. Ici, il y a la mission, un assistant. Il y a la liste des documents. Là, il y en a deux qui sont les instructions données aux étudiants pour rédiger leur mémoire, et les ILOs dont on vient de parler 00:08:43:14 - 00:08:46:17 Jacques Baratti Carolina. 00:08:46:19 - 00:08:49:24 Carolina Serrano-Archimi Rappelle-toi juste, Jacques, pardon de t’ interrompre, que moi je vais expliquer tout ça après. 00:08:50:00 - 00:08:51:07 Jacques Baratti D'accord, ok. 00:08:51:07 - 00:08:53:23 Carolina Serrano-Archimi Il s'agissait de le faire marcher. 00:08:54:00 - 00:09:07:22 Jacques Baratti Donc là on est sur Priorité des sources. Contrôle. Structure. C’est tout ce que va rappeler Carolina. Sortie, etc. 00:09:07:24 - 00:09:09:07 Carolina Serrano-Archimi Ouais, on fera tout ça dans le détail après. 00:09:09:07 - 00:09:20:19 Jacques Baratti Là tu veux que je le fasse marcher ? Pardon, alors le petit souci. Alors donc, on va mettre une copie. 00:09:20:21 - 00:09:22:21 Carolina Serrano-Archimi Ferme-le. 00:09:22:23 - 00:09:29:07 Jacques Baratti Non, on va pas le faire comme ça, Carolina. Tu veux que je mette la copie et que je le fasse ou tu le fais toi ? 00:09:29:09 - 00:09:35:14 Carolina Serrano-Archimi Non, non, tu le tourne, t’y vas. 00:09:35:16 - 00:10:01:12 Carolina Serrano-Archimi Donc nous avons conçu 3, identifié 3 mémoires dont on sait nous, que celui là est un niveau faible. Le suivant est un niveau moyen, et le troisième de niveau élevé. C'est pour vous montrer que le GPT arrive à identifier vraiment que c'est d'un niveau faible avec nos instructions. Peut-être cache à gauche pour que tu puisses avoir plus de place ? 00:10:01:14 - 00:10:12:09 Jacques Baratti Euh il faut que je le mette à jour et je crains que ça arrête. Donc pour l'instant je sais pas le faire. 00:10:12:11 - 00:10:31:09 Jacques Baratti Voilà, Donc là, il travaille, il donne la conformité par rapport aux instructions. Vous voyez que c'est assez détaillé. 00:10:31:11 - 00:10:48:01 Carolina Serrano-Archimi Donc Jacques utilise le modèle 5.2 Thinking, c'est pour ça qu'il est un peu plus lent que ce qu'on peut faire d'habitude. Bien évidemment, c'est quand même impressionnant tout ce qui sort. Et vous allez voir dans le détail. 00:10:48:03 - 00:11:19:10 Jacques Baratti Donc là, il sort par ILO et par sous-ILO dont a parlé Carolina. Il sort les preuves et l'évaluation. Ouais, c'est à droite, je n’arrive pas à le mettre. Je vais le changer dès que c'est terminé. Donc là, il fait une analyse extrêmement détaillée, par ILO et sous-ILO du mémoire. Et dans la ligne qui est ici, là, vous voyez les 1, c'est le niveau. 00:11:19:13 - 00:11:48:19 Jacques Baratti Je rappelle que dans la grille d'évaluation, il y a 4 niveaux, 1, 2,3. Donc là c'est une copie qu’on a demandé de niveau faible. Donc, elle est de niveau 1, le niveau le plus faible. Donc l'IA a attribué pour chaque ILO et pour chaque sous-ILO un niveau. Et là vous voyez que c'est tout le niveau 1. Ce qui est assez encourageant puisque c'est une copie de niveau faible. 00:11:48:21 - 00:12:22:05 Jacques Baratti Pour tester vos assistants, vous pouvez demander, comme cela a été dit, à votre IAG de générer des copies de différents niveaux. Là, on a fait trois niveaux. Là, il y a la notation. Vous voyez que celui là, il a 5 sur 20, ce qui n’est pas terrible. Et il y a un feedback étudiant. Alors, dans les instructions, le feedback il est formaté de la manière suivante : 3 forces principales, 3 points critiques. Mais ça, vous pouvez le modifier dans les instructions. 00:12:22:06 - 00:12:27:10 Carolina Serrano-Archimi Oui, c’est ce qu'on leur suggère, on leur suggère de faire ça. 00:12:27:12 - 00:12:39:13 Jacques Baratti Et les pistes d'amélioration. Ce qui est intéressant, c'est un feedback plutôt formatif. Risques et intégrité académique. Voilà pour la démonstration, Carolina. 00:12:39:15 - 00:12:46:02 Carolina Serrano-Archimi Alors peut être tu peux...On voulait leur montrer la comparaison des trois mémoires, tu sais le bilan ? 00:12:46:04 - 00:12:57:06 Jacques Baratti Ok, donc je fais le deuxième. Alors attends, je vais le mettre à jour. Ça va prendre un petit peu de temps pour avoir un affichage complet. 00:12:57:08 - 00:13:09:01 Carolina Serrano-Archimi D'accord, si tu veux, si tu es d'accord, Jacques, je reprends le partage. Je leur montre un petit peu la structure de montage du GPT et je te repasse la main. 00:13:09:03 - 00:13:11:14 Jacques Baratti Parfait. 00:13:11:16 - 00:13:40:02 Carolina Serrano-Archimi Et donc, comment Jacques a fait ce qu'il vous a montré ? Alors attendez, excusez moi, ça c'est mon ordinateur. Décidément, ce matin, nous on n'est pas réveillés, mais l'ordinateur non plus... 00:13:40:04 - 00:14:03:12 Carolina Serrano-Archimi Alors, la création d'un GPT fonctionne...D'abord, vous vous en souvenez, les documents nécessaires. Donc pour ce GPT, au niveau des mémoires, on en a deux qui sont fondamentaux. La première, c'est les instructions fournies aux étudiants pour le mémoire, qui doivent être très détaillées, qui doivent inclure les compétences, qui doit inclure les ILOs, qui doit tout inclure. Et la grille d'évaluation critériée qui, elle, doit être complète. 00:14:03:14 - 00:14:26:01 Carolina Serrano-Archimi Ça, ce sont les deux documents que nous, on a fourni au GPT, que Jacques vous a montré. J'ai rajouté ici à droite les supports de cours. Mais bon, comme il s'agit d'un mémoire, en tout cas celui qu'on a utilisé de fin d'année, ça correspond à l'ensemble de nos cours. Donc si vous avez quelque chose qui peut reprendre et qui peut aider le GPT à être plus précis, vous l'ajoutez. 00:14:26:07 - 00:14:54:07 Carolina Serrano-Archimi Si vos instructions sont bonnes, c'est suffisant. Voilà les étapes. La première étape, c'est de rassembler les deux ou trois documents nécessaires. La deuxième étape, c'est de rédiger le prompt pour demander les instructions à fournir au GPT, puisque les instructions, qui est l'étape trois, vont avoir un format bizarroïde sous Markdown. Donc c'est plus difficile de demander, d’écrire, de rédiger les instructions soi-même. 00:14:54:09 - 00:15:25:03 Carolina Serrano-Archimi Donc ce qu'on fait, c'est qu'on dit à chatGPT en l'occurrence, mais dans n'importe quel LLM, qu’est-ce qu’on veut obtenir, qu’est-ce qu’n attend de GPt, qu’est-ce qu’il doit fournir, et puis sous quel ton et dans quelles exigences. Et après, l'étape trois, c'est de lui demander : Copier-coller le prompt de votre choix pour recevoir les instructions adaptées au GPT, puis ensuite discuter/dialoguer avec l’IA pour les ajuster et surtout demander qu'il soit fait en format Markdown pour qu'il soit plus lisible par la suite dans le GPT. 00:15:25:05 - 00:15:47:01 Carolina Serrano-Archimi Ensuite, l'étape quatre, c'est de configurer le GPT. C'est un peu ce que Jacques vous montrait. Le nommer, lui fournir les instructions qu'on va lire ensemble, télécharger les documents et le paramétrer et enfin le tester avec un mémoire toujours. Je vous lis Le prompt que nous on a utilisé pour générer les instructions. “Prends le rôle d'un enseignant universitaire en sciences de gestion et de management. 00:15:47:02 - 00:16:09:00 Carolina Serrano-Archimi Ta mission est de l'aider à rédiger les instructions pour un GPT qui doit lui servir à évaluer des mémoires de Master 2. Prends connaissance des deux documents joints qui seront fournis au GPT. Un est intitulé Instructions et ILO et définit pour les étudiants le travail à faire pour leur mémoire - Ici appelé Master Thesis - également les cinq compétences à acquérir sous forme de intended Learning Outcomes. 00:16:09:02 - 00:16:26:01 Carolina Serrano-Archimi L'autre est intitulé Grille d'évaluation et contient les critères qui sont les critères, ce sont les cinq compétences, et les sous-critères 4 par compétences, ainsi que les 4 niveaux d'atteinte de ces critères. Je joins également les instructions”. Ça, c'est important. On ne va pas le faire ici, mais on vous le montre puisqu'on l'a fait au petit déjeuner précédent. 00:16:26:02 - 00:16:49:03 Carolina Serrano-Archimi “Je joins également les instructions pour un GPT d'évaluation de copie - Instructions pour GPT copies - dont tu t’inspirera fortement en l’appliquant au mémoire.” Puisqu'on l'avait déjà testé, qui marchait bien. “Est-ce clair pour toi ? Prends le temps de la réflexion”. Et donc il nous sort en effet un document qui est comme ça, un document, un texte qui est divisé en partie 1 Mission. 00:16:49:04 - 00:17:33:02 Carolina Serrano-Archimi Donc il va reprendre tout ça. Vous pourrez le lire en détail. Priorité des sources en cas de conflit. Donc la priorité des sources, c'est vraiment les consignes d'abord, puis ensuite la grille. Les entrées attendues sur la base du prompt qu'on lui a donné. Le contrôle de conformité. Le référentiel qui va être donc la grille d'évaluation qu’il va relire ici, qu’il va détailler. Le calcul de la note finale sur 20 chez nous. Et les sorties obligatoires qu'on a exigées, et notamment, point 4, le feedback étudiant avec les forces majeures, les points critiques, le plan d'amélioration et s'il peut, s'il la trouve, la bibliographie, un point spécifique également sur la bibliographie 00:17:33:04 - 00:17:56:05 Carolina Serrano-Archimi Donc là, c'est ce que vous disait Jacques, vous pouvez demander autre chose. Nous, on a demandé ça. Et enfin, à la fin, un bilan s’il y a plusieurs mémoires et c'est ce que je voulait vous montrer. C'est à dire qu'à un moment donné, quand on télécharge un mémoire suivi d'un deuxième mémoire et d'un troisième mémoire, il est capable de nous faire un bilan et une comparaison entre eux, ce qui est très utile pour l'enseignant. 00:17:56:07 - 00:17:59:02 Carolina Serrano-Archimi Alors est ce que je te passe la main Jacques ?. 00:17:59:04 - 00:18:01:14 Jacques Baratti Continue parce que c'est en train de mouliner là. 00:18:01:16 - 00:18:02:02 Carolina Serrano-Archimi D'accord. 00:18:02:06 - 00:18:05:24 Jacques Baratti Comme c'est le modèle 5.2, il va lentement. 00:18:06:01 - 00:18:22:21 Carolina Serrano-Archimi Ensuite, très important par rapport aux feedback. Donc vous avez vu qu'il y a un feedback qui sort pour l'étudiant. C'est un feedback proposé par le GPT. Après, vous le reprenez, ça vous donne une base. Soit vous le prenez tel quel, parce qu'il vous convient, en déclarant... je pense, nous, c'est ce qu'on pense... 00:18:22:21 - 00:18:47:02 Carolina Serrano-Archimi il faut qu'on déclare, nous tous, l'usage de l'IA. On va avoir à la fin, dans les réflexions que si on prend ça avec un peu plus de recul, ça va devenir une normalité. Ou bien vous pouvez le modifier, mais vous aurez une base de travail qui sera vraiment très très proche de ce qu'a pu faire l'étudiant sur la base des instructions du GPT. On verra que la qualité du feedback est assez élevée. 00:18:47:02 - 00:19:25:03 Carolina Serrano-Archimi Elle est plus longue peut-être. Ce n'est pas le cas pour tout le monde. Dans mon cas, je faisais des feedbacks relativement courts. Aujourd'hui, ça me permet de faire des feedbacks beaucoup plus longs et ça me permet d'arriver à ce slide pour dire l'importance du feedback dans l'apprentissage des étudiants. Alors moi j'en ai certains qui parfois ne les lisent pas, c'est vrai. Mais pour ceux qui auraient encore envie de faire de la fin de leur mémoire une expérience d'apprentissage, il y a des revues systématiques, notamment ces deux là, qui expliquent à quel point la qualité des feedbacks d'une copie ou d'un mémoire sont un facteur d'efficacité significative sur l'impact d'apprentissage des étudiants. 00:19:25:03 - 00:19:50:22 Carolina Serrano-Archimi C'est pour ça que nous, on insiste sur le fait que le GPT sert surtout à proposer des feedbacks. La note, bien sûr... On avait trois mémoires. On savait d'avance qu'il y en avait un faible, un moyen et puis un bon. Les notes, si vous donnez un 9.3, moi c'est des notes que je n’utilise, pas celles qu'il me propose. Je le lis quand même le mémoire et j'ajuste par rapport à ça. 00:19:50:22 - 00:20:11:12 Carolina Serrano-Archimi L'avantage que l'on a, et ça on en parle aux PDA précédents, c'est que l'IA n'a pas les biais qu'on a nous : les biais de fatigue, les biais de contraste quand on corrige un certain nombre de mémoires. Alors si c'est une thèse de doctorat, c'est différent, on n'en lit pas trois d'affilée. Mais comme ce sont des mémoires professionnels, on peut en avoir plusieurs à lire. 00:20:11:14 - 00:20:27:09 Carolina Serrano-Archimi On a un espace de temps limité et puis là, on essaye d'éviter les biais de correction, les biais humains, de correction. L'IA a d'autres biais mais heureusement pas ici. Donc par rapport... je te passe la main Jacques ? 00:20:27:11 - 00:20:29:18 Jacques Baratti Non, continue. Je suis désolé, ça va lentement. 00:20:29:20 - 00:20:51:21 Carolina Serrano-Archimi Alors par rapport à la synthèse et la conclusion, on voulait vous parler d'un travail qu'a fait Christine Caneva à l'université de Lausanne qui parle du paradoxe du double ancrage, que vous connaissez peut-être, et qui explique, qui croise deux dimensions Une, c'est l'expertise disciplinaire que l'on a chacun d'entre nous dans nos disciplines. Normalement, elle n’est jamais faible. 00:20:51:21 - 00:21:13:19 Carolina Serrano-Archimi Donc on va partir directement sur la droite. Et puis elle permet de juger la justesse et la pertinence des réponses de l'IA selon les critères de validité d'un domaine. Et c'est l'enseignant, donc il est souvent aujourd'hui plutôt ici. Attention, je sais qu'il y a déjà des enseignants en haut à droite. Et la deuxième dimension, c'est la littératie 00:21:13:19 - 00:21:38:17 Carolina Serrano-Archimi IA qui englobe les connaissances techniques et éthiques pour utiliser l'outil de façon éclairée. Et donc l'objectif...Très souvent, on a nos étudiants, là-haut, c'est-à-dire qui savent très bien utiliser, ou en tout cas massivement utiliser l'IA peut-être pas très bien, mais de façon régulière et massive, d'une manière générale. Et puis ils ont une faible expertise disciplinaire pour faire simple. 00:21:38:19 - 00:22:12:02 Carolina Serrano-Archimi Et puis nous, on a une faible littératie IA et une forte expertise disciplinaire. Donc l'idée c'est de ramener nos étudiants vers la droite avec notre expertise disciplinaire, en plus de leur expertise IA. Et nous, c'est pour ça qu'on est là, dans ce petit déjeuner, d'augmenter notre littératie pour pouvoir nous rencontrer avec nos étudiants. Et donc Canva va nous dire qu'on a deux possibilités. Soit on contourne l'IA et puis on sait qu'on a encore aujourd'hui certaines institutions qui, pour l'instant, peuvent le limiter fortement pour nos étudiants et voire même encore l'interdire. 00:22:12:04 - 00:22:38:22 Carolina Serrano-Archimi Mais ce serait revenir à des examens oraux ou sur table pour garantir l'authenticité. Ça peut être pertinent sur des des évaluations formatives, mais au final c'est très difficile et cette approche risque de favoriser un apprentissage de surface parce que ça ne prépare pas au contexte professionnel futur. Et on sait qu'aujourd'hui on est obligé de former nos étudiants à l'utilisation de l'IA sur tous les domaines. Ou bien l'intégrer. 00:22:38:22 - 00:23:07:15 Carolina Serrano-Archimi Et elle va dire, Christine, qu'autoriser son usage dans un cadre maîtrisé va demander de repenser l'alignement pédagogique dont on vous parle dans les petits déjeuners précédents. C'est à dire cette cohérence dès le départ entre les objectifs, les activités, les évaluations. Et ici, c'est au niveau d'un programme. Et de former les étudiants aux limites éthiques et techniques des systèmes, tout en gardant en tête que les exigences de la future vie de nos étudiants passent par la maîtrise de l'usage de l'IA performante, éthique et responsable. 00:23:07:17 - 00:23:39:18 Carolina Serrano-Archimi Et donc quelques quelques pistes sur des travaux comme le mémoire qui viennent de collègues qui ont réfléchi dessus. Ou peut-être que tout ça, et avec des points d'interrogation, l'enjeu se déplace, davantage que sur le savoir uniquement, sur ce qu'ils appellent le “savoir agir”. Évaluer le fait de voir comment l'étudiant mobilise l'IA pour problématiser, argumenter et justifier un certain nombre de choix. 00:23:39:20 - 00:24:00:20 Carolina Serrano-Archimi Alors il y a des options comme la DRANE Versaille qui dit de passer d'une évaluation de la restitution à une évaluation de l'action et du raisonnement critique. Il y a les collègues de Laval ou même l'UNESCO qui disent privilégier le processus plutôt que le produit final, le mémoire rédigé lui-même, et mettre l'accent sur le cheminement intellectuel et évaluer ce cheminement. 00:24:00:22 - 00:24:22:22 Carolina Serrano-Archimi L'option trois, ce serait de redonner les lettres de noblesse à la soutenance et au dialogue en temps réel, peut-être seuls remparts contre l’externalisation totale de la pensée. On sait que ça nous fait peur compte-tenu du temps que ça peut prendre de refaire des jury. Mais peut-être que, sans revenir en arrière, il faut repenser quelque chose qu'on a pas encore fait. 00:24:22:24 - 00:24:46:10 Carolina Serrano-Archimi L'option quatre, c'est avoir une approche par l'intégrité, la transparence. C'est les collègues, j'ai oublié de le mettre, je veux le rajouter, de Sherbrooke au Canada qui travaillent là-dessus et qui explicitent les attentes dès premier plan de cour. Chaque enseignant dans le programme le fait. Et quelque part, on engage les étudiants pendant toute l'année à être intègres et transparents dans l'utilisation des outils. 00:24:46:10 - 00:25:20:00 Carolina Serrano-Archimi Bon, ces options impliquent de demander des traces d'apprentissage comme source d'évaluation. Il y a déjà des universités, qui demandent des journaux de bord pour comprendre les itérations successives et les réflexions méta cognitives de nos étudiants. C'est pas simple. Là, on est en train d'entrer dans une dans une troisième dimension. Mais peut-être que pour faire face à cette réalité, ce n'est pas tellement combattre la bête par des logiciels de détection peu fiables in fine, mais d'apprendre à l'apprivoiser par une forme de transparence. 00:25:20:02 - 00:25:46:19 Carolina Serrano-Archimi Je voulais vous inviter à aller voir ce document, c'est un webinaire qui avait duré environ 1 h et demie, parce qu'il y a les collègues Van de Poël, de l'Université de Lausanne, Serge Piché de Sherbrooke...et Céline Averseng, de l’IAE de Montpellier, qui donne des conseils, qui explique un peu ce qu'elle fait, elle, au niveau de l'évaluation. Et moi-même qui parle un petit peu de ces notions d'évaluation également. 00:25:46:21 - 00:25:55:07 Carolina Serrano-Archimi Et c'est assez intéressant d’écouter les différents collègues de différents pays. Je te passe la main, Jacques ? 00:25:55:09 - 00:25:56:20 Jacques Baratti Euh oui, oui, quand tu veux. 00:25:56:22 - 00:26:01:08 Carolina Serrano-Archimi Alors, je conclurai après. Je te passe la main, j'arrête le partage. 00:26:01:12 - 00:26:33:07 Jacques Baratti Ok, je vais remettre mon partage. Pardon pour ce petit décalage. Donc j'ai testé avec l'assistant les trois copies. Donc il ma fait le travail sur les trois copies. Et vous voyez qu'à la fin, là dans les instructions, j'ai écrit bilan et je le lance devant vous. Donc l’IA, l'assistant va vous faire une analyse des trois ou huit copies que vous avez corrigées avec les grandes tendances, et c'est extrêmement intéressant pour vous, enseignants. 00:26:33:09 - 00:27:02:19 Jacques Baratti Là, elle est en train d'expliquer ce qu'elle fait. Encore une fois, j'ai mis le modèle le plus performant et donc c'est le plus lent. Alors, suivant le type d'évaluation que vous avez à faire, vous pouvez changer le modèle, c'est dans les paramètres, ppour avoir des choses plus rapides. Là, il commence par un tableau récapitulatif des notes qui ont été obtenues aux différents ILOs. 00:27:02:19 - 00:27:27:22 Jacques Baratti Je vous rappelle qu'il en avait cinq. Vous voyez que le mémoire 1, de niveau faible, il a des notes basses. La note globale c'est 5, 10,5...les notes globales sont 5, 10,5 et 15. Et vous avez la répartition par ILO. Vous avez la répartition par sous-critères, si vous voulez l'utiliser. Et surtout, vous avez des recommandations pédagogiques basées sur l'analyse des copies. 00:27:27:23 - 00:27:37:10 Jacques Baratti Ca c'est extrêmement intéressant comme retour. Voilà, merci, Merci de reprendre la main. 00:27:37:12 - 00:28:13:20 Carolina Serrano-Archimi Oui, merci, parce que on sait que cette partie, c'est vraiment la plus intéressante du petit déjeuner. Donc merci beaucoup. Moi, le seul truc que je vais faire c'est conclure pour nous laisser quelques minutes d'échanges. Nous on utilise la déclaration d'usage de l’IA suivant les instructions de Galleron de 2024 que vous trouvez sur HAL. Nos étudiants ont l'obligation de compléter ce document, que ce soit pour une copie ou que ce soit surtout pour un mémoire, un rapport et surtout encore plus pour une thèse de doctorat, bien sûr. 00:28:13:22 - 00:28:32:17 Carolina Serrano-Archimi Alors nous, on part de l'hypothèse que vraiment, tout ce qu'on vous donne, c'est quelque chose qui est une aide. Ça ne remplace jamais ce que vous vous décidez de faire. Pour ce petit déjeuner, le scénario pédagogique nous a pris un peu de temps. On y a passé du temps. 00:28:32:17 - 00:29:18:11 Carolina Serrano-Archimi On a pas vraiment utilisé l'IA pour ça. Mais on l’a utilisé vraiment pour différents outils. Pour les images, on utilise toujours les mêmes, vous l'avez vu. Juste, on change de temps en temps pour que ça fasse décoratif mais mais on ne crée pas de nouvelles images. Et enfin, on voulait vous proposer un dernier petit déjeuner plutôt focalisé sur un outil qui nous paraît être l'outil de l'enseignant, le Must, NotebookLM. Qu'il faut maîtriser parce que c'est vraiment un outil d'une énorme aide, à la fois pour les évaluations, mais bien au-delà, pour la totalité du parcours, de la stratégie pédagogique de l'enseignant. 00:29:18:14 - 00:29:25:05 Carolina Serrano-Archimi Ça sera le 3 février. Alors j'arrête le partage et on va voir s'il y a des questions. 00:29:25:07 - 00:29:32:06 Jacques Baratti Il y a pas mal de questions. J'ai commencé à répondre, mais tu peux compléter, Carolina. 00:29:32:08 - 00:29:42:19 Carolina Serrano-Archimi Je ne sais pas si quelqu'un peut me les lire. 00:29:42:21 - 00:29:45:13 Sophie Bertonneau Oui Carolina, si tu veux, je peux te les lire. 00:29:45:15 - 00:29:46:21 Carolina Serrano-Archimi Parce que moi je n'y arrive pas. 00:29:47:01 - 00:29:51:21 Sophie Bertonneau Voilà. Alors on a une question. 00:29:51:23 - 00:30:05:11 Sophie Bertonneau Je crois. Jacques avait commencé à répondre. Pour certains mémoires, la confidentialité est importante. Est-ce qu'un NotebookLM qui travaille en fermé, ou autre type de produit IAG peut-il être pertinent pour ce type d'usage ? 00:30:05:13 - 00:30:12:04 Carolina Serrano-Archimi Et donc tu as, tu as répondu La confidentialité est importante. 00:30:12:06 - 00:30:13:23 Jacques Baratti J'ai répondu qu'il faut anonymiser.. 00:30:13:23 - 00:30:14:18 Carolina Serrano-Archimi Oui, absolument. 00:30:14:18 - 00:30:42:03 Jacques Baratti ...les mémoires qu'on a déjà développé lors du PDA sur les copies. Mais Yves, à priori, si on a enlevé le nom de l'étudiant dans le nom du fichier, si on a enlevé le nom de l'étudiant dans l'ensemble du mémoire et si on a effacé dans les propriétés, dans les détails, le nom de l'étudiant, on est déjà relativement protégé. 00:30:42:05 - 00:30:50:10 Jacques Baratti Mais le mémoire, il va partir dans la base de données de l’IAG que vous utilisez. 00:30:50:12 - 00:31:00:22 Sophie Bertonneau On a une autre question à laquelle Jacques avait commencé à répondre également : Est-ce que les universités, écoles de commerce vont nous fournir à l'avenir ces outils-là ? 00:31:00:24 - 00:31:26:14 Carolina Serrano-Archimi Alors quand j'entends outils, j'entends : Est-ce qu'ils vont vous payer l'abonnement ? C'est ça ? Parce que l'outil, il est disponible de toute façon. Pour créer un GPT, c'est vrai qu'il faut l'abonnement. Je pense, ça va dépendre... Alors, les écoles de commerce, c’est un monde à part, je ne peux pas parler pour elles. Mais je pense que oui, qu'elles financent plusieurs abonnements à leurs enseignants. 00:31:26:16 - 00:32:04:15 Carolina Serrano-Archimi Du côté universitaire, c'est un peu différent. Nous, on a essayé par exemple de mobiliser du financement issu d'un projet de recherche pour les enseignants. Moi, je paye deux trois abonnements de ma poche, même si en effet, je comprends tout à fait qu'on puisse se dire que ce n'est pas acceptable. Donc en effet...Bon c'est 20 € par mois chatGPT. C'est pour ça qu'on l'a utilisé, parce que là on va bouger. Nous on migre sur Mistral, côté IAE. Si si, Christine, tu es parfaitement capable de créer cet outil. 00:32:04:15 - 00:32:33:12 Carolina Serrano-Archimi Je t'assure que si tu suis les pas, ça devient mécanique à la fin. Ce qui est important c'est de voir. Si tu regardes le petit déjeuner précédent, tu verras exactement comment utiliser le prompt. Puis tu utilises le prompt du petit déjeuner, du déjeuner 7 et celui d'aujourd'hui. Et puis tu travailles avec un LLM et tu vas voir, les réponses sont parfaitement faisables. 00:32:33:14 - 00:32:42:01 Carolina Serrano-Archimi On a essayé de le rendre simple. On a eu un petit cafouillis technique, excusez nous, mais c'est simple à faire. 00:32:42:03 - 00:33:09:13 Jacques Baratti Alors juste un point là-dessus. vous n'êtes pas obligés d'avoir un abonnement payant. Vous pouvez utiliser Perplexity pro qui est accessible gratuitement en éducation pour les enseignants. Et je pense que les Gems de Gemini sont également accessibles gratuitement. Juste pour dire que sur chatGPT il faut la version payante, mais pas sur certains autres outils. 00:33:09:15 - 00:33:13:03 Carolina Serrano-Archimi Après pour faire des GPT, je ne suis pas sûre que ce soit gratuit. 00:33:13:05 - 00:33:20:14 Jacques Baratti Heu non non, sur Gemini c'est gratuit, sur Perplexity pro, c'est gratuit pour les enseignants. 00:33:20:16 - 00:33:35:06 Carolina Serrano-Archimi Vous demandiez le lien sur le webinaire de la DGSIP, le voici. Jacques Une question qui est intéressante : est-ce qu'il faut demander aux étudiants leur accord pour que leur travail soit versé dans une IAG ? 00:33:35:08 - 00:34:04:22 Jacques Baratti Alors je ne sais pas, mais a priori ça me paraîtrait assez, oui, important. Alors, c'est le problème du RGPD de l'IA Act qui est beaucoup plus restrictif que les législations ailleurs dans le monde. Et il me semble que oui. Je dirais plutôt oui. Il y a également, il y avait une question sur les mémoires en alternance qui sont faites dans une entreprise avec des informations sensibles de l'entreprise. 00:34:05:03 - 00:34:34:02 Jacques Baratti Ça il ne faut pas le faire. clairement, il ne faut pas le faire. Là, on attend les RAGs internes ou les IAG internes aux universités. Je sais que le ministère y travaille. Il y a RAGaRenn qui est un site qui permet de faire ça, mais je sais pas encore comment on peut le faire. Aujourd'hui, les seuls outils sont ceux qu'on a testés, qu'on vous a indiqués, c'est à dire chatGPT, Gemini et Perplexity. 00:34:34:04 - 00:35:00:21 Carolina Serrano-Archimi Ok. Je voudrais juste ajouter, pardon Jacques, parce qu'il est déjà 9 h 04, que de toute façon tout cela nous oblige... Alors c'est peut-être le cas déjà de plusieurs programmes dans les universités. Je parle de otre discipline, mais on est obligés de donner une importance fondamentale au Student Handbook, au guide de l'étudiant, dès le départ, dans lequel il faut absolument, dès aujourd'hui, qu'on ait une charte. 00:35:00:21 - 00:35:24:15 Carolina Serrano-Archimi Une charte IA ou pas, par l'établissement, pour donner les consignes pour nos étudiants et de donner les consignes de comment les enseignants et les directions de programme vont utiliser l'IA. Cette transparence d'usage, elle est fondamentale. Il y a des peurs, il y a des appréhensions. Nous, chaque fois qu'on en parle avec des collègues, il y a le mot prudence qui arrive. 00:35:24:15 - 00:35:45:21 Carolina Serrano-Archimi Attention ! Oui, mais il faut y aller. À un moment donné, on avance en marchant. On peut les corriger à tout moment. Mais il vaut mieux avoir un texte qui cadre que de ne pas avoir de cadre. Pas de cadre, c'est la jungle. Alors que nous on veut pas une jungle. Les étudiants ont besoin de savoir comment on va s'en servir. 00:35:46:00 - 00:35:49:24 Carolina Serrano-Archimi Ils ont besoin de savoir comment on attend qu'ils s'en servent. 00:35:50:01 - 00:36:13:19 Jacques Baratti Juste un petit point pour terminer, il y a une remarque d'Alice qui dit qu'on peut tourner en local aussi. Alors il faut une machine un petit peu plus performante que la plupart de celles qu'on a, mais pas tant que ça. Et ça peut être une solution aussi. Et vous faites monter par votre service informatique tourner des IAG en local et vous pouvez faire un certain nombre de choses. 00:36:13:19 - 00:36:23:05 Jacques Baratti Et à ce moment là, une bonne partie des questions que l'on se pose ne sont plus pertinentes puisque ça ne sort pas de votre ordinateur. 00:36:23:07 - 00:36:45:06 Carolina Serrano-Archimi Voilà, tout ça évolue très vite. C'est à dire que ce qu'on vous raconte aujourd'hui, dans deux mois peut-être, ce sera inutile. Mais à ce stade, on a souhaité.. Fathia, on ne peut pas te donner la parole. Est-ce que tu peux écrire ta question sur le tchat s'il te plaît ? 00:36:45:08 - 00:37:20:06 Carolina Serrano-Archimi Comme ça on pourra te répondre Quelqu'un a dit on pourrait parler d'enseignement à l'ère de l'IA. Si vous pensez que ça peut être utile d'avoir un petit déjeuner qui ne serait pas du tout “top down”, comme on a fait jusque là, mais qui serait uniquement avec des échanges d'expériences ou des questionnements entre nous, on peut tout à fait le proposer à Christophe Fournier et on pourrait passer une demi-heure à échanger sur ces questions-là. 00:37:20:08 - 00:37:26:22 Carolina Serrano-Archimi Oui, on va s'arrêter. On vous remercie. 00:37:26:24 - 00:37:33:07 Carolina Serrano-Archimi On va proposer, à ce moment là, voir si ça intéresse aussi les collègues. Merci à tous.