00:00:04:24 - 00:00:15:00 Carolina Serrano-Archimi Buenos dias. En espanol la Lina [..] Hablas espanol. Que bueno. 00:00:15:02 - 00:00:20:02 Carolina Serrano-Archimi Vous aurez deviné quand même avec Serrano que je suis Espagnole. 00:00:20:04 - 00:00:24:11 Jacques Baratti Et moi Belge. 00:00:24:13 - 00:00:30:05 Carolina Serrano-Archimi Jacques, non seulement il est Français, mais aussi très marseillais. 00:00:30:07 - 00:00:38:17 Jacques Baratti Pour ne pas parler de foot et de la rivalité avec le PSG. Il faudrait commencer peut-être... 00:00:38:19 - 00:01:14:20 Carolina Serrano-Archimi Alors bienvenue à tous et à toutes bien sûr. Rappelez-vous que j'ai tendance à dire bienvenue tout le monde, parce que ça m'évite le tous et toutes. Aujourd'hui, on va partager avec vous un contenu qui est vachement important, je sais, pour vous tous. Attendez, déjà mon ordinateur fait des bêtises. Voilà. Et on a une petite information à vous partager. 00:01:14:22 - 00:01:37:21 Carolina Serrano-Archimi Nous avions annoncé dans le titre qu'on allait créer un assistant pour évaluer des copies ou des mémoires avec feedbacks personnalisés. Après avoir travaillé sur ce petit déjeuner, on s'est aperçu qu'on avait besoin d'un petit déjeuner à part entière pour les copies et d'un petit déjeuner à part entière pour les mémoires. Donc j'espère ne provoquer aucune frustration. 00:01:37:23 - 00:02:03:12 Carolina Serrano-Archimi Sachez qu'on a tout à gagner à faire ça suite à notre expérience avec Jacques. Et la date, elle est en train d'être fixée pour janvier. Donc dès janvier, on aura un petit déjeuner exclusivement pour la correction de mémoire avec un assistant GPT. Donc aujourd'hui, on se concentre sur un assistant GPT pour corriger des copies. Alors comme d'habitude, voilà les sept petits déjeuners. 00:02:03:12 - 00:02:29:00 Carolina Serrano-Archimi Aujourd'hui, c'est le septième, donc le dernier de 2025 : Créer un assistant pour évaluer des copies avec feedbacks personnalisés. Je vous rappelle, je le fais toujours, et puis vous savez qu'on y tient beaucoup à rappeler tous les efforts que d'autres collègues avaient également fait dès 2023. Et ce sont des ressources qui restent toujours disponibles sur le site d’AUNEGe. Alors un petit rappel de qui nous sommes. 00:02:29:02 - 00:02:59:16 Jacques Baratti Jacques Baratti, donc de consonance belge, comme vous l'avez vu. Professeur émérite en sciences à Aix-Marseille Université et donc pas du tout dans vos disciplines. Adepte des pédagogies actives depuis une bonne quinzaine d'années, du numérique, et depuis trois ans, de l'IA et de son utilisation en pédagogie. Je suis actif sur les réseaux sociaux sous le pseudonyme de Cochise, en particulier sur LinkedIn. 00:02:59:18 - 00:03:31:24 Carolina Serrano-Archimi Et moi, c'est Carolina Serrano-Archimi. Je suis maître de conférence HDR à l'IAE d'Aix-Marseille Université. Et puis avec Jacques, on a beaucoup travaillé ensemble. Moi, je suis également très intéressée par la pédagogie en sciences de gestion. Et on avait créé une formation, qui continue de se développer, pour les enseignants permanents et vacataires, également sur les usages des IAG en pédagogie avec une clé d'entrée par la pédagogie comme vous avez vu, c'est notre notre façon de faire. 00:03:32:01 - 00:03:54:02 Carolina Serrano-Archimi Donc on va avancer. Aujourd'hui, qu'est-ce qu'on va faire ? On va démarrer par utiliser un assistant GPT pour évaluer des copies. On va vous montrer comment ça se passe, qu'est-ce que ça propose. Et puis ce n'est qu'après qu'on va créer ensemble un assistant GPT pour évaluer les copies avec un certain nombre d'étapes qu'on va vous montrer dans le détail. Et enfin, on fera une synthèse et une conclusion. 00:03:54:03 - 00:04:19:02 Carolina Serrano-Archimi Alors démarrons par cette évaluation. Avant de faire ça, un petit rappel, tout simplement. Vous avez tout intérêt, comme vous allez pratiquer vous même, à faire ce qu'on va vous proposer aujourd'hui, à revisionner le petit déjeuner numéro 4 du 28 octobre dans lequel on vous avait déjà montré comment créer un assistant simple pour simuler un cas. 00:04:19:04 - 00:04:40:15 Carolina Serrano-Archimi Ce n'était pas pour la correction, mais on vous avait déjà montré les étapes pour créer un assistant. Et également le petit déjeuner 6 du 2 décembre où on vous montrait comment créer une grille d'évaluation critériée. Je me suis permis de les rappeler avec une infographie faite avec NotebookLM que d'ailleurs on vous montrera si ça vous intéresse en janvier. 00:04:40:17 - 00:05:07:02 Carolina Serrano-Archimi Voilà. Mais quand même, on va vous rappeler deux, trois trucs pour que vraiment ce soit le plus clair possible. Qu'est-ce que l'évaluation ? Je ne vais rien vous dire que vous ne sachiez pas. Mais l'évaluation permet de vérifier que les objectifs d'apprentissage, les Intended Learning Outcomes, et les blocs de compétences qu'on a définis en début de cours ou en début de programme et qu'on a fait pratiquer en activités aux étudiants, sont acquises par ces mêmes étudiants. 00:05:07:04 - 00:05:36:03 Carolina Serrano-Archimi Mais à l'intérieur de cet alignement pédagogique qu'on vous rappelle régulièrement.On ne va pas insister dessus. C'est juste un petit rappel et vraiment on veut mettre l'accent sur le fait que les outils, les systèmes qu'on va vous présenter aujourd'hui sont des aides vraiment à l'évaluation. Mais cette même évaluation reste pleinement sous le contrôle et la responsabilité de l'enseignant, à la fois sur la notation et à la fois sur le sur le feedback fourni aux étudiants. 00:05:36:05 - 00:06:00:14 Carolina Serrano-Archimi Donc pour ce faire, je dois quand même vous rappeler très très rapidement, et désolée pour ceux qui ont assisté au dernier petit déjeuner, ce qu'est une grille d'évaluation critériée. Parce que sinon, pour ceux qui n'ont pas pu le suivre, ça va être trop difficile à capter, ça restera trop abstrait. Rappelez-vous, une grille d'évaluation a quatre éléments principaux : des critères, des niveaux de maîtrise, des descripteurs et des pondérations de ces critères. 00:06:00:14 - 00:06:26:02 Carolina Serrano-Archimi Et d'ailleurs, on va vous montrer. On utilise la grille d'évaluation qu'on avait fournie lors du dernier petit déjeuner, mais qu’on a encore améliorée. Parce que les IA évoluant à la vitesse que vous connaissez, on nous a proposé encore quelque chose qui pouvait encore affiner mieux la grille. Donc regardez, je vous montre la grille qu'on utilise. Sur la gauche, 00:06:26:04 - 00:06:50:23 Carolina Serrano-Archimi les critères. Il y en a cinq. Sur la droite, les niveaux. Je vous ai dit que c'était le deuxième élément : zéro, un, deux, trois. Complètement sur la droite, la pondération des critères. Et ce qu'on a rajouté là, c'est la notion de note. Et Jacques qui reviendra tout à l'heure, et moi même aussi, quand on construira le GPT. 00:06:51:00 - 00:07:18:12 Carolina Serrano-Archimi Donc la note, nous, on leur a dit, on a cité : notes 0 à 1, 1 à 2, 2 à 3, 3 à 4, pour chacun des niveaux. Et alors là on s'accroche, parce que ça ne va pas être simple à lire. Regardez les détails qu'on peut arriver à fournir dans cette grille qui est fondamentale pour notre GPT, puisque ça va le rendre encore plus fiable pour les résultats qu'il va nous fournir par la suite. 00:07:18:12 - 00:07:38:16 Carolina Serrano-Archimi Je vous donne un exemple un peu zoomée, parce que sinon vous allez me détester avec ce tableau difficile à lire. Le critère ici, vous le voyez, c'est le diagnostic de la problématique du cas. On était là dans une modalité d’évaluation d'une étude de cas. Et donc le niveau c'est zéro. C'est vraiment quand la copie est vraiment très, très mauvaise. 00:07:38:18 - 00:08:04:18 Carolina Serrano-Archimi Et vous voyez que le niveau zéro, il va être décrit par l'IA, s'il y a au moins trois conditions qui sont vraies parmi les quatre qui sont citées ici : l'étudiant ne propose aucun problème managérial. Le texte se limite à décrire le cas. Moins de deux faits précis et aucun concept cadre mobilisé. Voilà, là on a vu le principal. Ce n’est pas “synthèse et conclusion”, je corrigerai le titre. 00:08:04:18 - 00:08:30:24 Carolina Serrano-Archimi Ça c'est l’assistant que l'on va utiliser maintenant. Avant de passer à la création, j'arrête le partage. Et puis vous me dites si vous voyez bien mon chatGPT, comme je vais le partager. D'ailleurs, je n'avais pas besoin d'arrêter le partage. Voilà, vous voyez bien mon chatGPT ? Alors, ça va sans dire que vous utilisez LMM de votre choix. 00:08:30:24 - 00:08:58:02 Carolina Serrano-Archimi Moi, à partir de janvier, je vais commencer à utiliser Mistral. Avec Jacques, on a construit ce GPT qui est là, qui s'appelle étude de cas X, Y, Z. Vous vous souvenez que c'était le cas, que les étudiants avaient dû réaliser pour le petit déjeuner, le dernier petit déjeuner. Donc on a identifié, on a 8 copies. 00:08:58:02 - 00:09:21:20 Carolina Serrano-Archimi Voilà, on a une chance incroyable. On a que huit étudiants, on a huit copies. Qu'est-ce que je fais ? J'ai déjà mon GPT et là, je vais tout simplement chercher ma première copie. Moi, ce que je sais, et ça on vous le répétera après, c'est que les deux premières copies sont mauvaises. Ça, c'est un back office. Ça c'est c'est pour vous montrer que le GPT ne fait pas de bêtises. 00:09:21:22 - 00:09:39:18 Carolina Serrano-Archimi Les deux premières ne sont pas très bonnes. La trois et quatre sont un peu meilleures. Cinq et six sont un peu meilleures. Sept et huit sont les meilleures. Et puis simplement je la télécharge. Donc là, la copie téléchargée. J'aurais pu télécharger les huit copies en même temps. Ça c'est Jacques qui l’aura fait et qui va vous le montrer tout à l'heure. 00:09:39:18 - 00:09:59:04 Carolina Serrano-Archimi Mais moi, ce que je veux, là, vous montrer, c'est... Regardez, on a utilisé le modèle 5.2 Thinking. Thinking, ça veut dire qu’il va plus dans du deep learning. Et là il vous dit, vous pouvez le voir sur chatGPT, ce qu'il est en train de faire. Là il est en train de lire les documents qu'on a fournis au GPT. 00:09:59:06 - 00:10:16:17 Carolina Serrano-Archimi Il vous dit un peu ce qu'il est en train de faire. Il se base sur la grille critères qui est très détaillée et qu'on lui a fournie comme vous pouvez voir. Et donc il est en train de calculer ces différents coefficients sur la base de toute l'information qu'on lui a fournie et qu'on va vous expliquer tout de suite après. 00:10:16:19 - 00:10:36:09 Carolina Serrano-Archimi Nous, on voulait démarrer là par vous montrer qu'est ce qui sort de ce GPT. Et par la suite, on va vous montrer comment le construire. Donc ça prend un tout petit peu plus de temps puisqu'on lui a demandé le modèle Thinking. Mais vous allez voir que dans quelques secondes, il va nous fournir les informations que l'on voulait. Regardez, 00:10:36:09 - 00:10:58:06 Carolina Serrano-Archimi restez avec moi. Identification. Déjà il nous dit c'est la copie numéro 1. On l'a anonymisée.On ne le répétera jamais assez, c'est pas encore faitt, mais là je le dis, il faut anonymiser toutes les copies, c'est fondamental. Et il faut bien sûr garder un document Excel dans lequel vous allez faire des rapprochements entre le numéro de la copie et le nom de l'étudiant. 00:10:58:08 - 00:11:18:12 Carolina Serrano-Archimi Donc voilà ce qu’il vous dit. Il nous rappelle qu'il s'agit de X, Y, Z. C'était le cas. Et là, tout de suite, il nous fait un tableau récapitulatif avec les cinq critères que vous avez vu dans la grille. Il nous met à son avis le niveau. Il nous donne la note sur quatre qu'on lui avait demandée 00:11:18:12 - 00:11:41:00 Carolina Serrano-Archimi pour chaque critère. Il rappelle le coefficient qu'on veut pour chaque critère. Donc là, c'est son calcul à lui pour pouvoir nous donner une note sur 20. Et il nous donne tout de suite une brève appréciation de chacun des critères. Alors on peut le regarder, mais là, ce qu'on va faire, c'est ne pas trop le regarder. Il nous propose un 7,1 sur 20 pour cette copie. Nous 00:11:41:00 - 00:12:03:01 Carolina Serrano-Archimi on savait que c'était une mauvaise copie puisqu'on l'avait testée auparavant. On l'avait corrigée de façon classique. Et puis c'est une copie qui n'atteignait pas la moyenne. Après, il vous donne, regardez, comme on lui a demandé, vous verrez qu'on lui a demandé ça, un feedback détaillé à destination de l'étudiant. Donc les points forts, les points faibles par critères, puisque c'est ça qu'on a voulu avoir, 00:12:03:03 - 00:12:27:10 Carolina Serrano-Archimi et puis enfin, des pistes d'amélioration concrètes qu'on peut proposer à l'étudiant. Ensuite, il nous donne une appréciation générale, courte, un espèce de résumé qui peut servir à l'étudiant pour avoir une idée globale de la correction de cette copie. Et que vous pouvez, bien évidemment, utiliser en classe aussi si vous revoyez les étudiants. Si vous ne les revoyez pas, vous ne pourrez pas l’utiliser. 00:12:27:12 - 00:12:37:24 Carolina Serrano-Archimi Et là je te passe la main Jacques, pour faire l'appréciation globale des huit copies. 00:12:38:01 - 00:13:00:04 Jacques Baratti Une fois qu'on a mis les huit copies, on peut lui demander un bilan global. Et la première des choses qu'il sort, c'est le tableau que vous voyez à l'écran avec ici les différentes copies. Donc vous voyez qu'il y en a huit. Il pourrait y en avoir beaucoup plus. Et ce qui est intéressant, c'est la partie tout de suite à droite, là, qui est la note sur 20. 00:13:00:06 - 00:13:30:20 Jacques Baratti Donc, comme l'a dit Carolina, les deux premières copies sont mauvaises, elles sont entre six et sept. Les deux suivantes sont aux environs de dix. Les cinq et six sont aux environs de quatorze quinze et les sept et huit aux environs de 17. Ce que le tableau récapitulatif donne, c'est également les notes sur chacun des critères. C1, C2, C3, C4, ce sont les critères. 00:13:30:22 - 00:13:57:11 Jacques Baratti Ce qui fait que vous pouvez copier ce tableau et le mettre dans un tableau Excel et éventuellement faire les moyennes par critère de manière à faire une analyse un petit peu plus précise. Donc ça, ça permet d'avoir une vision globale de la notation de l'ensemble des copies. Et vous avez une moyenne générale de toutes les copies qui est autour de 12. Ce que donne également cette analyse globale : 00:13:57:13 - 00:14:21:16 Jacques Baratti pour l'enseignant, c'est les points forts, points faibles de la globalité des copies. Donc c'est une analyse vraiment pour l'enseignant. Donc la plupart des copies repèrent bien le choc culturel, etc. Les meilleures copies proposent en plus des choses. Les points faibles, c’est e critère C2. Il n’y a souvent pas de cadre explicite. Les plans d'actions qui sont souvent une liste d’idées. 00:14:21:18 - 00:14:47:20 Jacques Baratti Et là il manque des choses. Quelque chose qui n'est pas respecté. Et enfin, il fait une analyse un petit peu plus précise sur les groupes de copies. Il a fait quatre groupes de copies et ça vous permet de vérifier ce que vos étudiants ont fait et donc éventuellement de leur faire un retour. Mais en tout cas, c'est un retour pour vous. 00:14:47:22 - 00:14:50:16 Jacques Baratti Voilà, fin de ma partie, Carolina. 00:14:50:18 - 00:15:15:22 Carolina Serrano-Archimi Merci Jacques, je vais reprendre la main. Alors on a voulu, vous l'avez compris, vous proposer d'abord l'utilisation de ce GPT. Et maintenant, ce même GPT qu'on a utilisé, on va voir comment le créer ensemble et comment vous allez pouvoir le créer vous-même. Alors la première chose à savoir, c'est qu'il y a un certain nombre de documents nécessaires. 00:15:15:24 - 00:15:49:00 Carolina Serrano-Archimi Le premier, c'est le plan de cours. Normalement, on a tous un plan de cours qui donne un certain nombre d'informations sur le cours. Le deuxième, c'est les supports de cours que vous utilisez, par exemple votre PowerPoint. Le troisième, c'est, si vous en avez fournies, les instructions fournies aux étudiants pour l'examen. Donc, nous, on a fourni. Moi, je fournis un certain nombre d’instructions dans un document à l'encontre des étudiants. Et je leur donne les instructions de comment analyser le cas, ce qui est attendu, etc. 00:15:49:02 - 00:16:09:09 Carolina Serrano-Archimi Le quatrième document qu'il faut préparer à l'avance, c'est la modalité d'examen, c'est à dire dans mon cas, c'est une étude de cas. Donc je vais fournir l'étude de cas à temps pour cet assistant. Et enfin, le dernier, et c'est ce que je vous disais avant, le plus important, c'est la grille d'évaluation critériée qu'on a vue tout à l'heure. 00:16:09:11 - 00:16:39:03 Carolina Serrano-Archimi Une fois que vous avez rassemblé ces documents, voilà ce qu'on va faire ensemble et que Jacques va vous montrer dans un instant. Première étape pour créer le GPT rassembler les cinq documents que je viens de lister. Deuxième étape rédiger le prompt pour un LLM pour demander les instructions à fournir au GPT. Vous savez que le GPT Il est constitué d'un mégaprompt à l'intérieur qui correspond à des instructions. Pour avoir ces instructions 00:16:39:03 - 00:17:07:02 Carolina Serrano-Archimi le mieux et le mieux écrites possibles. On va d'abord demander au LLM de nous proposer ces instructions. Et ce même prompt,on va lire ensemble immédiatement et après Jacques va faire la démonstration. L'étape trois, tout simplement copier-coller ce prompt qu'on va lire ensemble dans le LLM de votre choix pour recevoir les instructions que ce LLM vous propose pour le GPT, pour l'assistant. Et il doit être en format Markdown. 00:17:07:04 - 00:17:34:00 Carolina Serrano-Archimi De toute façon, il va vous montrer, Jacques, comment faire. Etape quatre que j'ai mis en gros, j'aurais pu mettre les couleurs, c'est le nerf de la guerre, c'est configurer le GPT. Qu'est-ce qu'on va faire ? On va le nommer. On va lui fournir les instructions qu'on vient de générer avec notre prompt et qu'on pourra vérifier en détail et corriger à ce moment là en le lisant facilement. On va télécharger les cinq documents et on va paramétrer le GPT. Jacques va vous montrer comment faire. 00:17:34:01 - 00:17:58:03 Carolina Serrano-Archimi Et enfin, l'étape cinq, c'est le tester avec une copie. Alors on va lire ensemble très rapidement le prompt pour créer les instructions. Ce prompt est écrit par nous, parce qu'on sait, nous en tant qu'enseignant, ce qu'on veut avoir. “Prend le rôle d'un enseignant universitaire en sciences du management qui veut créer un assistant GPT pour l'aider à la correction de copies de ses étudiants de Master 2. 00:17:58:05 - 00:18:25:11 Carolina Serrano-Archimi L'assistant devra d'abord prendre connaissance des documents fournis qui sont...” , et vous les listez, “plan de cours, étude de cas, consignes de travail, grilles en version JASON et supports de cours”. Jacques, tu leur rappelleras pour les documents. OCR, JASON, tout ça. “ Sur chaque copie tu procéderas à l'évaluation en suivant les critères de la grille fournie. 00:18:25:11 - 00:18:32:01 Carolina Serrano-Archimi Pour cela, tu définira le niveau de la copie. 00:18:32:03 - 00:18:53:11 Carolina Serrano-Archimi Tu définira le le niveau de la copie par rapport aux quatre niveaux de la grille” qu'on lui a mis : de 0 à 3. “Tu feras ce travail pour chacun des critères. Tu attribueras une note en fonction du niveau de la copie. Note entre 0 et 1 pour le niveau 0, entre 1 et 2 pour le niveau 1, entre 2 et 3 pour le niveau 2, et entre 3 et 4 pour le niveau 3. 00:18:53:13 - 00:19:18:21 Carolina Serrano-Archimi Tu seras exigeant mais juste dans tes notations. Tu tiendras compte des coefficients de pondération applicables à chaque critère qui sont donnés dans la grille et tu calculeras une note sur 20 pour la copie. Tu fourniras le résultat sous la forme d'un tableau récapitulatif avec la note par critères, une brève appréciation et la note globale”. Vous avez vu que c'est ce qu'on a reçu tout à l'heure quand j'ai téléchargé une copie. 00:19:18:23 - 00:19:36:19 Carolina Serrano-Archimi Alors pardonnez moi parce que comme je bouge des choses, ça [...]. Alors j'arrive tout de suite avec mes excuses. 00:19:36:21 - 00:19:44:08 Carolina Serrano-Archimi Ensuite, je vais bouger ça et on va à la fin du prompt. 00:19:44:10 - 00:20:11:07 Carolina Serrano-Archimi “Tu fourniras également un feedback précis et détaillé à destination de l'étudiant pour lui permettre de bien comprendre la notation et favoriser ses apprentissages. Le feedback comprendra les points forts, les points faibles et les pistes d'amélioration. Sois précis et constructif pour l'étudiant. Ce feedback traitera l'ensemble des critères de la grille. Tu fourniras également une appréciation générale courte mais suffisamment claire pour être bien comprise par l'étudiant et par l'enseignant. 00:20:11:09 - 00:20:31:20 Carolina Serrano-Archimi Une fois toutes les copies évaluées...”, c'est ce que vous a montré Jacques, “...tu fourniras un tableau récapitulatif avec l'identification de la copie, le nom du fichier fourni la note par critère de 0 à 4...”, oui, parce qu'on a cinq critères, “...et la note globale sur 20, tu feras les moyennes des notes par critère et de la note globale. 00:20:31:22 - 00:20:56:00 Carolina Serrano-Archimi Une analyse pour l'enseignant de l'ensemble des copies avec points forts, points faibles et pistes d'amélioration qui donnera une vue d'ensemble à l'enseignant. Et tu peux me proposer des suggestions qui te paraissent pertinentes dans le contexte”. Et donc c'est là que je te donne la main, Jacques. Parce que tout ce que j'ai expliqué, on va montrerncomment ça marche. 00:20:56:02 - 00:21:26:11 Jacques Baratti Donc, une fois qu'on a rédigé cette espèce de mégaprompt pour obtenir les instructions, on. J'en ai fait un copier-coller dans chatGPT. Le voilà. Et donc c'est un simple copier-coller de ce que vient de vous montrer Carolina. Euh. Et là je peux le lancer. Il l'a lancé déjà. Ok. “Voici une version copier-coller”. 00:21:26:12 - 00:22:03:05 Jacques Baratti Donc il a analysé le prompt et il a rédigé les instructions pour le GPT. Là, il l'a fait en format normal. Documents de référence, il les rappelle. Alors je rappelle que pour fournir des documents à une IAG, il faut faire extrêmement attention à plusieurs choses. Quand c'est des PDF, il faut absolument faire un OCR dessus parce que la plupart des PDF sont pas lisibles, même le texte, et que quand il y a des images, s’il n’y a pas d’OCR, ce n'est pas lisible. C'est pareil pour les PowerPoint et finalement c'est mieux des fichiers texte. 00:22:03:07 - 00:22:23:09 Jacques Baratti Et en ce qui concerne la grille, vous voyez que là elle est en version de JASON. Qu'est-ce que c'est JASON ? C'est un codage informatique simple qui transforme un fichier Excel. La grille originale, celle que vous avez vu sur les diapos, elle est en format Excel, c’est un tableur. Et elle le met en format texte, au format JASON. 00:22:23:11 - 00:22:39:19 Jacques Baratti En gros, c'est ça. Pour un humain, c'est pas terrible, mais pour une IA c'est beaucoup mieux. Donc voilà. On liste les documents et l'IA va d'abord les lire. Ensuite, entrées attendues. 00:22:39:21 - 00:23:06:17 Jacques Baratti Pour chaque copie. OK. Méthode d'évaluation. Il répète ce qu'on lui a dit, mais il le formule d'une manière qui puisse bien être comprise par l'IA. Feedbacks, etc. Donc ça c'est le prompt. Et on lui dit... Là encore, il y a une question de format. 00:23:06:19 - 00:23:36:12 Jacques Baratti Ça, c'est en format texte, c'est facile pour nous, pour le corriger. Voilà, il le met en format Markdown. Et c'est ce format Markdown qu'on va utiliser pour faire l'assistant. Alors pendant qu'il le fait, je vais y revenir après, ccomment créer le GPT ? Sur la page d'accueil de GPT, je vois qu'ici c'est le dernier modèle GPT 5.2 qui est sorti il y a une quinzaine de jours. 00:23:36:17 - 00:24:10:09 Jacques Baratti Là, vous voyez, ici à gauche, il y a GPT. On fait explorer, créer. On a déjà vu ça la dernière fois. Configurer. Je vais mettre et évaluation des copies. Description : étude de cas. Évidemment, vous mettez ce que vous voulez. Là vous voyez qu'il y a une case instructions. Donc je vais copier-coller les instructions. On peut les agrandir et là vous pouvez relire l'ensemble des instructions et éventuellement les corriger. 00:24:10:11 - 00:24:38:08 Jacques Baratti C'est un document texte On peut faire tout ce qu'on veut dessus. Il faut en particulier bien vérifier qu'il a compris les différents documents et que dans les instructions, il y a ce que vous voulez. Une fois que ça c'est fait, on lui met les fichiers. Je les ai ici. 00:24:38:10 - 00:25:01:07 Jacques Baratti Ils sont numérotés de 1 à 5. C'est pas nécessairement dans l'ordre, mais peu importe, il va charger les fichiers. Voilà il est en train de les charger. Et là on peut décocher l'ensemble des cases. Alors, “recherche sur le web” si on veut que l'IA travaille uniquement sur les documents qu'on lui a fourni, il ne faut pas le cocher. Si on veut que l'IA aille rechercher sur le web, on peut cocher ici. 00:25:01:09 - 00:25:22:01 Jacques Baratti On est prêt. Il suffit de le créer. Alors pour le partager, il y a trois options. Vous pouvez mettre “Moi seulement”, il y a que vous qui y avez accès. Vous pouvez mettre “Tous les utilisateurs disposant d'un lien”. C'est ce qu'on va faire. Ou vous pouvez mettre sur le “GPT Store”, c'est à dire la terre entière y aura accès. 00:25:22:03 - 00:25:29:11 Jacques Baratti Donc je vais cliquer sur ça. Enregistrer. 00:25:29:13 - 00:25:46:17 Jacques Baratti Je regarde l'heure... Et là il va donner le lien que je peux copier et vous donner. Donc là on a fabriqué le GPT. Vous voyez le lien ici. “Copié”, “GPT publié” et le lien. Voilà ! A toi Carolina. 00:25:46:19 - 00:25:49:07 Carolina Serrano-Archimi Merci. 00:25:49:09 - 00:26:13:10 Carolina Serrano-Archimi Merci Jacques. Alors, j'essaye de répondre à vos questions en même temps que vous les posez. Et après on va pouvoir...Laissez-moi terminer, si vous êtes d'accord avec moi, si vous me permettez, laissez moi terminer la présentation et ensuite je reviendrai à pourquoi il y a les écarts de notes. 00:26:13:12 - 00:26:46:03 Carolina Serrano-Archimi Excusez moi, toujours ces petits soucis que j'ai avec mon petit ordinateur. Alors merci beaucoup ! Vous avez vu comment construire le GPT. Synthèse et conclusion. Alors, l'importance du feedback personnalisé, Peut-être que certains d'entre vous connaissent, c'est surtout pour le primaire et pour le secondaire. Mais bon, ça reste lié à l'apprentissage d'une personne. Le classement de Hattie qui est énormément utilisé par nos collègues de l'éducation nationale par exemple. Et Hattie, régulièrement 00:26:46:03 - 00:27:20:22 Carolina Serrano-Archimi il met à jour d'ailleurs des méta analyses. Et dans ses méta analyses, il va identifier un certain nombre de paramètres ou de facteurs qui peuvent aider ou nuire à l'apprentissage issu de ces méta analyses. Et donc c'est comme ça qu'il a créé, vous voyez tout en haut, le feedback par l'enseignant. C'est le facteur qui influence le plus l'apprentissage de l'élève, pour pour l'éducation nationale, et de l'étudiant, 00:27:21:02 - 00:27:40:09 Carolina Serrano-Archimi pour nous. On voulait partager avec vous cette information pour revenir sur le feedback. Alors je sais pas vous, mais moi quand je corrige beaucoup de copies, j'arrive à donner un petit feedback de quelques lignes, mais je donne jamais trois pages de feedback à un étudiant. Ici, Vraiment, on peut aller très loin avec le feedback. 00:27:40:15 - 00:28:06:10 Carolina Serrano-Archimi Attention, on ne le prend pas sans le vérifier ! C'est là que c'est un peu compliqué parce que ça nous donne quand même du travail lié à l'avantage qu’avec cette évaluation, et je me dépêche, c'est vraiment de dire qu'elle réduit aussi un certain nombre de nos biais. Par exemple, le premier biais, c'est le biais de fatigue. Quand on démarre à corriger nos copies à 9 h et puis qu'on ne s'arrête pas jusqu'à 12 h, 00:28:06:12 - 00:28:33:13 Carolina Serrano-Archimi probablement que la note qu'on a donnée à la dernière copie qu'on a corrigée n'aurait pas été tout à fait été la même, ou le même le feedback, que celle qu'on a corrigee si on l'avait corrigée à 9 h du matin. Donc il y a cette notion là. Et puis il y a un autre effet. Un peu l'effet de halo qui fait que quand on corrige une copie très très bonne et que derrière on a une copie qui est moyenne, on va par effet de contraste, la considérer très mauvaise. Alors que l'IA, elle va rester, de ce point de vue là, 00:28:33:15 - 00:28:54:00 Carolina Serrano-Archimi elle va rester attachée à nos instructions. Et puis elle va faire son travail de génération de feedback, basé sur les instructions qu'on lui a données. Donc, moins de biais de ce point de vue là. On ne peut que vous rappeler, on l'a déjà dit, ces deux informations, s'il vous plaît, la cohérence de l'alignement pédagogique et la deuxième, c'est que tout ça, ce sont des aides. 00:28:54:02 - 00:29:22:07 Carolina Serrano-Archimi Et le principe fondamental, c'est que l'IA ne vous remplace jamais. Ce qu'on a fait dans cette présentation, c'était le scénario pédagogique et le contenu textuel construit par nous. On a utilisé un certain nombre d'outils et puis le Gamma issu du premier petit déjeuner qu'on a continué d'utiliser à chaque petit déjeuner. La prochaine session, ça va être “créer un assistant pour évaluer des mémoires”, des mémoires de fin d'année, avec feedback personnalisés. 00:29:22:07 - 00:29:45:20 Carolina Serrano-Archimi Elle aura lieu en janvier. On s’y engage. Et puis je voulais juste vous lister l'ensemble des sept petits déjeuners qu'on a fait, Jacques et moi, que je remercie, et AUNEGe que je remercie énormément aussi, et qui sont tous disponibles sur le site d’AUNEGe. Et donc Jacques, il y avait des gens qui demandaient, moi j'ai répondu par écrit :”Pourquoi 00:29:45:20 - 00:29:56:04 Carolina Serrano-Archimi par exemple pour la première copie, moi j'ai eu à 7,1 et pour la première copie, toi, quand tu as relancé exactement la même requête, tu as eu un 5,9 ? 00:29:56:04 - 00:30:04:24 Jacques Baratti Oui, pour ceux qui peuvent, je propose de rester si c'est possible. Sophie On peut décaler d'une minute ou deux pour essayer de répondre aux questions. 00:30:05:01 - 00:30:08:19 Carolina Serrano-Archimi Oui, pas de souci, j'arrêterai l'enregistrement après, pas de souci. 00:30:08:21 - 00:30:29:18 Jacques Baratti Donc il y a une question d'Audrey qui dit : “La note était de 7,1 dans le test de Carolina et de 5,8 dans le test de Jacques”. Alors la première réponse qui me vient à l'esprit, elle est toute bête, c'est qu'on a modifié beaucoup de choses et que peut-être séquentiellement dans le temps, quand on a posé la question, c'était pas la même configuration de l'assistant. 00:30:29:20 - 00:30:53:04 Jacques Baratti Mais ceci dit, si vous pouvez poser plusieurs fois la même question à une IAG, elle ne vous donnera pas la même réponse. Parce que la réponse, elle est probabiliste. Et pour moi, 5,8 et 7,1 c'est quasiment pareil. Il faut relativiser la note. C'est pas parce qu'il y a une décimale, un chiffre après après la décimale, 00:30:53:04 - 00:31:16:17 Jacques Baratti pardon j'en bégaie, que a note est fiable. La note, il y a toujours une marge d'erreur. Moi je dirais que 5,8 et 7,1, bah c'est c'est pas très éloigné. Mais les deux raisons sont est ce qu'on a utilisé exactement le même assistant ? Ça c'est possible que non parce qu'on arrête pas de le modifier. Et deuxièmement, quand on pose la même question à une IA, elle donne pas la même réponse. 00:31:16:17 - 00:31:19:00 Jacques Baratti Ensuite... 00:31:19:00 - 00:31:36:06 Carolina Serrano-Archimi En revanche, Jacques, je dis juste un truc, c'est que les deux premières copies, nous on savait qu'elles n’étaient pas bonnes, Elles ont été quand même évaluées à moins de dix. Et puis on a vu que ça a correspondu à la qualité intrinsèque des copies que nous, on avait choisies. Donc de ce point de vue là, c'est fiable. 00:31:36:08 - 00:32:05:22 Jacques Baratti Pour répondre à Odile qui fait analyser, fait choisir un chapitre de livre à ses étudiants, il faut pouvoir mettre le livre dans les documents. Ça, vous pouvez le faire. Attention aux droits d'auteur, il faut que vous ayez acheté le livre, etc. Mais c'est possible de mettre ça comme une évaluation. Alors, Carolina, tu as répondu, Je regarde s’il y en a d'autres. 00:32:05:24 - 00:32:19:04 Jacques Baratti Le document travail du webinaire ? Oui, on va le donner ça. Adin Tilhac qui dit : “Curieusement , j’ai vu le document de travail au début de webinaire et je ne le vois plus”. Euh. Carolina, tu vas le mettre le document de travail ? 00:32:19:06 - 00:32:22:07 Carolina Serrano-Archimi Le document de travail, il a été fourni par Sophie, mais on va le rajouter. 00:32:22:07 - 00:32:46:02 Jacques Baratti OK. “ la note est à prendre comme une note approximative - à nos yeux ce qui est vraiment utile est le feedback pour l’étudiant”. Voilà, ça c'est la réponse de Carolina. “En même temps, deux correcteurs humains, donc pas forcément la même note”. Non, non, tous ceux qui ont fait des jurys de bac, ou autres jurys formatés comme ças le savent, la notation humaine n’est pas nécessairement absolument juste. 00:32:46:08 - 00:32:54:13 Jacques Baratti Ok, merci, merci [...] 00:32:54:15 - 00:32:59:24 Carolina Serrano-Archimi Alors là, il y a une question intéressante. “Il faut que les copies soit en format numérique.” 00:33:00:01 - 00:33:02:12 Jacques Baratti Oui, oui, évidemment, oui, oui, oui. 00:33:02:14 - 00:33:04:02 Carolina Serrano-Archimi C’est la limite, bien sûr. 00:33:04:04 - 00:33:28:24 Jacques Baratti Alors, le format Markdown, Justin, c'est juste beaucoup plus lisible par une IA. On peut lui rentrer les instructions au format texte, elle les lit, mais si on les met en Markdown, qui est du texte à peine modifié avec quelques balises, elle les lit mieux. Donc ça permet à l'IA de lire mieux les instructions. “Comment indiquez-vous aux étudiants que vous avez utilisé l'IA pour corriger les copies ?” 00:33:29:01 - 00:33:47:00 Jacques Baratti Alors moi je pense que le plus simple c'est de leur dire on a utilisé une IA pour corriger les copies, mais on a relu l'ensemble des appréciations et c'est moi qui vous donne mes appréciations. C'est ma responsabilité d'enseignant. Donc il faut jouer la transparence totale par rapport aux IA. 00:33:47:02 - 00:34:07:17 Carolina Serrano-Archimi Et moi j'indique dans les feedbacks : “feedback assisté par l'IA”. Et de toute façon je leur dis même au moment où je leur donne des instructions, comment je vais corriger les copies. Et de toute façon, eux, ils doivent aussi travailler avec l'IA la plupart des fois, puisqu'on doit les former nos étudiants à l'utilisation transparente de l'IA. Donc ça va dans les deux sens. 00:34:07:19 - 00:34:32:05 Jacques Baratti Myriam, oui il faut des copies numérisées, Franchement c'est mieux pour. On peut scanner des copies hein, mais là ça dépend de la qualité du scan et de la qualité de l'écriture. Et moi, très sincèrement, je vous le déconseille parce que vous allez vers des déconvenues. J'ai essayé et ça ne marche pas, surtout dans mes matières scientifiques où il y a des formules, des exposants, etc. Et je ne sais pas les vôtres, 00:34:32:05 - 00:34:56:09 Jacques Baratti mais nos étudiants sont des étudiants de licence plutôt que de mastère, mais ils écrivent vraiment pas très bien. Ok, “ça vaut le coup pour les feedbacks”. Voilà, on a balayé l'ensemble des détails de vos remarques. Merci. Merci à vous tous avec Carolina pour votre participation et à AUNEGe, Sophie, à l'équipe, pour nous avoir permis de faire ça. Passez de bonnes fêtes. 00:34:56:15 - 00:35:21:11 Carolina Serrano-Archimi À Christophe, à Violaine, à tous. Merci beaucoup, vraiment. On a été vraiment très contents de faire ces petits déjeuners et donc on continue encore un peu en janvier avec plaisir. On fera aussi un zoom en janvier sur l'utilisation de Notebook LM dans toutes ses dimensions, en se basant sur les supports des petits déjeuners qu'on aura fait. 00:35:21:13 - 00:35:27:22 Carolina Serrano-Archimi Merci, vous êtes très gentil. Bonnes fêtes, bien sûr ! Merci à tous.