00:00:07:14 - 00:00:39:16 Carolina Serrano-Archimi Bonjour Mohamed. Bien, il est 8 h 30 et puis, en suivant vraiment le format des petits déjeuners AUNEGe, on va démarrer. Bonjour Anne-Marie, Bonjour à tous ceux qui sont arrivés. On va démarrer pour bien pouvoir tenir dans les 30 minutes du format du petit déjeuner. Ceux qui arriveront plus tard bien sûr, pourront prendre la suite lors du recording, de l'enregistrement et voilà. De quoi allons nous parler aujourd'hui ? 00:00:39:18 - 00:01:07:20 Carolina Serrano-Archimi Créer ou construire une grille d'évaluation critériée. Alors on est très content que ce sujet puisse vous intéresser, puisque c'est le cas pour Jacques et pour moi depuis longtemps, où on travaille sur ce sujet qui n'est pas toujours évident parce qu'un peu laborieux. Et c'est en ça que les IAG maintenant vont nous aider vraiment à réduire ce côté un peu laborieux de la création d'une grille d'évaluation critériée. 00:01:07:22 - 00:01:29:04 Carolina Serrano-Archimi Donc bienvenue à tous ceux qui sont en train d'arriver. Sachez que vous recevez de la part des équipes d’AUNEGe sur le tchat, vous recevez un document de travail au cas où vous vouliez suivre en direct avec les prompts qu'on va utiliser en même temps que la démonstration que fera Jacques. Donc une petite introduction que l'on fait toujours, vous le savez. 00:01:29:06 - 00:02:02:24 Carolina Serrano-Archimi Un petit rappel de où nous nous trouvons parmi la série des 7 petits déjeuners qu'on a assurés depuis le 7 septembre. On est dans l'avant-dernier. Donc on est vraiment dans la partie après le cours, tout ce qui touche à l'évaluation. On avait vu la dernière fois comment construire des quiz. Aujourd'hui, on va se focaliser sur la grille d'évaluation critéririée qui est un élément phare pour ensuite, le 16 décembre, aller vers l'évaluation, l'acte d'évaluation, l'utilisation de la grille critériée elle-même et puis la création de feedbacks personnalisés pour nos étudiants. 00:02:03:01 - 00:02:24:23 Carolina Serrano-Archimi Donc un petit rappel comme quoi, et vous le savez, il existe toujours à disposition plusieurs webinaire que de nombreux collègues ont démarré depuis 2023. Plusieurs encore d'actualité, même si on sait que toute ces sujets vieillissent. Nous, après notre petit déjeuner, il y a déjà des choses qui ont pu un peu vieillir. Et enfin, qui sommes-nous ? 00:02:25:00 - 00:02:54:02 Jacques Baratti Jacques Baratti, professeur émérite en sciences. Ppas du tout dans vos domaines. Intéressé depuis une quinzaine d'années par les pédagogies actives puis par le numérique. Et depuis bientôt trois ans maintenant, non, exactement trois ans, par l'impact que peut avoir l'IA dans la pédagogie, en particulier dans l'évaluation. Ce qu'on va voir aujourd'hui. Je suis plus connu sous mon pseudonyme Cochise sur LinkedIn. 00:02:54:04 - 00:03:28:03 Carolina Serrano-Archimi Voilà. Et puis moi c'est Carolina Serrano-Archimi. Moi, je suis maître de conférences HDR à l’IAE d'Aix-Marseille Université. Et puis je suis également passionnée de pédagogie, en plus d'être d'être en sciences de gestion. Mais en pédagogie active, que je mets en place dans tous mes cours, et en pédagogie expérientielle. Et puis, depuis à peu près un an, une bonne année, un an et demi sur les IAG. Plsu parce que j'avais une appréhension vis-à-vis d'elles que par intérêt de départ. 00:03:28:03 - 00:03:54:12 Carolina Serrano-Archimi Et cette appréhension m'a obligée à... Je me suis donné les moyens d'arriver à vraiment approfondir. J'ai passé une année entière vraiment à approfondir l'usage des IAG dans la pédagogie, notamment aux côtés de Jacques qui m'a énormément aidée. Et tous les deux, on est ravis de pouvoir partager ça avec vous, comme on a déjà fait avec une partie des enseignants permanents et vacataires de l’IAE d’Aix. Et qu'on va continuer de faire. 00:03:54:14 - 00:04:17:09 Carolina Serrano-Archimi Alors ce petit déjeuner se divise en trois parties. Qu'est-ce qu'une grille d'évaluation critériée ? Comment construire la grille pas à pas avec les IAG ? Et une synthèse et conclusion. Alors, qu'est-ce qu'une grille ? Nous, on ne doute pas que vous connaissez l'usage de la grille. On voudait juste faire un petit rappel pour ceux qui, peut-être, ne s'en servent pas quotidiennement ou régulièrement. 00:04:17:11 - 00:04:45:10 Carolina Serrano-Archimi Il faut savoir qu'en ce qui nous concerne, on a commencé à travailler sur ces sujets-là grâce aux accréditations qui nous ont obligés à travailler à ce niveau-là et qui nous a vraiment permis de travailler sur l'alignement pédagogique, qui n'était peut-être pas quelque chose de spontané ou naturel auparavant, il y a 25 ans. Donc, une grille d'évaluation critériée, avec cette image faite avec Napkin, est composée de quatre éléments fondamentaux. 00:04:45:12 - 00:05:09:07 Carolina Serrano-Archimi D'abord des critères. Donc des critères d'évaluation qui définissent ce qui compte et ce que nous voulons mesurer. Donc évaluer par une mesure. Ensuite, il y a un niveau de maîtrise. Ce sont les niveaux qui peuvent être trois, quatre. Qui peuvent être quatre, six, par exemple, parce qu'on va vous inciter, mais vous êtes libres, à utiliser un nombre pair. 00:05:09:09 - 00:05:34:10 Carolina Serrano-Archimi Ce sont les niveaux de maîtrise qui montrent le degré d'acquisition et de maîtrise et de connaissance par l'étudiant. Ensuite, il y a les descripteurs. Les descripteurs, Ce sont les cases qui sont à la croisée des critères et des niveaux de maîtrise et qui distinguent clairement les niveaux de maîtrise et de connaissances de nos étudiants et qui décrivent pourquoi le travail de l'étudiant est là et pas ailleurs. 00:05:34:12 - 00:05:57:07 Carolina Serrano-Archimi Et enfin, les pondérations. Les pondération soulignent l'importance relative des critères. Selon les objectifs d'apprentissage que l'on a prévu au début du cours, es critères peuvent avoir plus ou moins d'importance et donc on va les pondérer. Pour démarrer, on va faire un peu d’inductif. On va présenter tout de suite une grille que j'ai utilisée dans le cadre d'un de mes cours. 00:05:57:09 - 00:06:22:23 Carolina Serrano-Archimi Vous voyez là, j'avais décidé que pour l'évaluation que j'utilisais dans le cadre de ce cours, il y avait cinq critères qui sont ceux-ci. Ca c'est les critères. Ensuite, j'ai décidé d'avoir quatre niveaux. Dans ce cas là, j'en ai deux qui sont de niveau insuffisant. J'en ai un qui est de niveau insuffisant et trois qui sont de niveau suffisant. 00:06:22:23 - 00:06:42:23 Carolina Serrano-Archimi C'est pour un niveau master. Maintenant, vous pouvez tout à fait décider, vous, que vous avez deux niveaux de niveau insuffisant et deux niveaux de niveau suffisant. Ça, vraiment, c'est l'enseignant qui le décide. Et ce qui est important : pourquoi on vous propose un nombre pair ? C'est parce que, 00:06:43:00 - 00:07:10:09 Carolina Serrano-Archimi statistiquement, si on inclut un nombre impair, on incite au centrage sur la gaussienne. Le nombre pair aide l'évaluateur à trancher. C'est donc pour éviter d'avoir une fonction médiane car la gaussienne est automatiquement centrée sur 10. Et cela réduit le biais de notation qui peut exister et permet une plus haute discrimination des notes. Vous pouvez tout à fait, cependant, malgré notre avis, avoir cinq niveaux de maîtrise. 00:07:10:11 - 00:07:34:17 Carolina Serrano-Archimi Ensuite, vous avez ce que j'ai appelé les pondérations par critère, les coefficients. Donc ici, sur cette grille, vous voyez que j'ai le critère 3 qui pour moi, et par rapport aux objectifs d'apprentissage que j'avais prévu, est de loin le plus important. Mais après il y a trois autres critères qui sont pondérés à 2 et un qui est important aussi, mais qui a un coefficient de 1. 00:07:34:19 - 00:08:06:21 Carolina Serrano-Archimi Et enfin, on a ce qu'on appelle les descripteurs. Les descripteurs, ce sont vraiment les détails de définition très concrets sur les niveaux et les critères. On fait en sorte qu'ils soient observables et mesurables. Donc il ne faut pas que ce soit trop abstrait, il faut que ça s'appuie également sur des des verbes d'action que l'on puisse observer à travers l'évaluation que l'on a fournie à nos étudiants : l'examen, 00:08:06:23 - 00:08:38:24 Carolina Serrano-Archimi le type d'examen, quel qu'il soit. Alors, qu'est ce qu'une grille d'évaluation ? L'enjeu. Il y a trois enjeux principaux que vous connaissez sûrement. Le premier, c'est la transparence entre l'enseignant et l'étudiant. C'est à dire que l'étudiant, va savoir avec la grille d'évaluation, sur quoi il va être évalué et comment la note va être construite. Cela protège l'enseignant si vous voulez d'objectivité, de risque de subjectivité perçue. 00:08:39:01 - 00:09:13:18 Carolina Serrano-Archimi Et puis vraiment, ça permet cette explicitation des attentes. Il y a ensuite l'équité. C'est à dire que tous les étudiants sont évalués selon les mêmes critères puisque sans grille, le risque est que chaque étudiant soit évalué selon un certain nombre de biais qu'on a tous et que je vais citer tout de suite après. Et puis enfin, il y a la notion de reproductibilité. C'est à dire, imaginez, vous avez un groupe énorme d'étudiants et que vous partagez avec un collègue, deux collègues ou trois collègues, les corrections. 00:09:13:19 - 00:09:36:08 Carolina Serrano-Archimi Donc, avec la grille d’étudiant, vous aurez une évaluation qui sera très proche, qui sera similaire entre vous, et vous n'aurez pas besoin de passer 100 ans à vous accorder pour savoir qu'est-ce que tel barème peut vouloir dire. Parce que, en effet, une des options à la grille critéries, si vous me posez la question, ça va être par exemple le barème classique. 00:09:36:08 - 00:09:56:10 Carolina Serrano-Archimi Moi je l'ai utilisé longtemps. C'est à dire la répartition de points par question de l'examen ou par partie du sujet, comme ça peut être une étude de cas qui va être l'exemple qu'on va voir. Dans la grille, les critères sont mieux définis que dans un barème où il y a davantage de place pour la subjectivité. Les bénéfices, 00:09:56:10 - 00:10:21:03 Carolina Serrano-Archimi vous le voyez ci-dessous...Pour l'étudiant, c'est la génération d'un contrat d'évaluation, un document fourni aux évalués avant l'activité et garantissant intégrité, clarté. L'étudiant a ainsi une compréhension claire de ce qui est attendu de lui ou d'elle. Et pour vous, l'enseignant, la grille réduit la potentielle subjectivité et facilite la justification des notes qui sont liées à des biais de correction qu'on a tous. 00:10:21:04 - 00:10:44:12 Carolina Serrano-Archimi Je le vois, moi même. L'effet d'ordre, c'est un peu la fatigue qui peut s'installer quand vous démarrez une correction à 9 h du matin. Vous êtes toute fraîche et vous venez de boire votre café, vous êtes même optimiste, vous voyez ? Et puis, vers la fin de la matinée, vous commencez à fatiguer et il y a un impact sur la façon dont vous allez noter. Et l'effet de contraste. 00:10:44:12 - 00:11:03:24 Carolina Serrano-Archimi C'est à dire si vous avez une très bonne copie, il va y avoir un effet derrière. Ou une mauvaise copie, ou n'importe quel type de copie, ous allez la voir comme plus faible qu'elle n'est potentiellement. Et vice-versa, une très mauvaise copie, derrière vous allez voir une copie que vous allez considérer comme très bonne alors qu'elle n'est peut-être pas si bonne que ça. 00:11:04:01 - 00:11:30:08 Carolina Serrano-Archimi Or, on va voir que la grille nous permet d'éviter ça. Et puis on verra dans le dernier petit déjeuner que le fait de corriger avec l'IA, même si on doit toujours être maître de cette correction, nous permet en effet de réduire ces biais également. Alors mon petit...pardonnez moi, il s'est bloqué. J'avance et on va passer très rapidement à la pratique. 00:11:30:10 - 00:11:57:07 Carolina Serrano-Archimi Vous savez que des fois mon ordinateur se bloque et je ne sais pas très bien, je n'ai pas réussi à savoir pourquoi. Je vous demande un tout petit peu d'indulgence parce que je ne sais pas pourquoi ça fait ça. Donc je retourne là. Les joies du direct, vous savez... Alors pour la première partie, vous avez vu qu'on vous a donné un cadre sur ce qu'est la grille. 00:11:57:07 - 00:12:16:23 Carolina Serrano-Archimi Même si je suis sûr que vous le connaissiez. Et là, maintenant, on va passer à la pratique. Vous savez que c'est ce qui nous intéresse. Et je vais passer la main à Jacques. Avant ça, je vous dis de quoi il s'agit. L'exemple qu'on a pris un cours sur le management d'équipe en situation d'incertitude. C'est un niveau master 2. 00:12:17:00 - 00:12:40:06 Carolina Serrano-Archimi Le type d'évaluation, c'est une analyse individuelle d'une étude de cas qu'on a fournie à nos étudiants.Et on va avoir besoin d'un certain nombre de documents pour télécharger dans les IAG afin de construire une grille pertinente. Un, c'est le plan de cours et le plan de cours comportera les objectifs d'apprentissage ou ce qu'on appelle les ILO, les intended learning outcomes. 00:12:40:08 - 00:13:03:07 Carolina Serrano-Archimi L'étude de cas elle-même, qu'on a complètement anonymisée. Et puis les consignes de travail qu'on a prévu pour nos étudiants. Et il est possible aussi, si vous le souhaitez, nous ici, on ne va pas le faire, mais on peut rajouter également des éléments de cours comme notre PowerPoint le plus anonymisé possible ou autre. Et donc je vais passer la main à Jacques. 00:13:03:07 - 00:13:12:04 Carolina Serrano-Archimi J'arrête le partage, cher Jacques, et puis tu peux prendre la main. 00:13:12:06 - 00:13:37:00 Jacques Baratti Tu es toujours en partage là ? Voilà. Donc là, vous allez voir mon LLM favori qui est chatGPT. Mais on peut le faire évidemment sur ce qu'on veut. J'ai mis le premier prompt et je vais mettre les trois documents dont a parlé Carolina. 00:13:37:02 - 00:13:51:21 Carolina Serrano-Archimi Pendant que Jacques télécharge, je vous lis le prompt. C’est un prompt de démarrage. “Prends connaissance de ces trois documents que nous allons utiliser ensemble : plante cours, casa study et consignes de travail à rendre.” 00:13:51:23 - 00:14:13:06 Jacques Baratti Juste un petit commentaire. Il y a deux documents de type texte, docx. Là, il n'y a pas de souci. Il y a un document PDF. Et prenez bien l'habitude sur les documents PDF, qui ne sont pas toujours lisibles par les IA, de faire une reconnaissance de caractères. Vous voyez que là il y a marqué OCR derrière parce qu'il y a eu une reconnaissance de caractères. 00:14:13:08 - 00:14:42:04 Jacques Baratti Ça permet de lire l'ensemble du texte et les images. Vous pouvez également le vérifier en lui posant des questions sur : “Est-ce que tu peux me décrire l'image de la page 4 ?”. Et comme ça, vous voyez si l’IA peut lire l'ensemble du document. Je lance et l’IA va nous décrire les différents documents qui prouvent qu'elle arrive à les lire et à les lire correctement. 00:14:42:06 - 00:14:53:11 Carolina Serrano-Archimi Et donc, comme vous dit Jacques, là vraiment, vous vérifiez que ce qu'il vous dit correspond à ce qu'il y a dedans. Tu peux, Jacques, montrer tout doucement qu'est-ce qu'il propose, qu'est-ce qu'il montre... 00:14:53:14 - 00:15:12:18 Jacques Baratti Donc ça, c'est le premier document : plan de cours. Voilà, il définit ce qu'il y a dedans. Là, il l'a lu et il dit “je l'ai lu”. Ça c'est le deuxième document : c'est l'étude de cas. Alors XYZ, c'est le codage qu'on a utilisé pour pour l’anonymiser. 00:15:12:20 - 00:15:34:21 Jacques Baratti Ca a été dit par Carolina au début, l'anonymisation, c'est le nom du fichier, c'est tout ce qu'il y a à l'intérieur du document qui permet de l'identifier. Et c'est, dans les propriétés du fichier, tous les éléments, en particulier le nom de l'auteur. Vous faites un clic droit sur le nom du fichier dans un explorateur et vous le modifiez. 00:15:34:23 - 00:15:48:21 Jacques Baratti Donc ça, voilà l'étude de cas. Et le troisième document : c'est les consignes. Il est arrivé à tout lire, voilà on y est. Donc on va pouvoir passer à la suite. Je vais coller le prompt. Carolina, je te laisse le lire. 00:15:48:21 - 00:16:11:22 Carolina Serrano-Archimi Le prompt pour les critères et les niveaux : “Prends le rôle d'un enseignant universitaire en management pour des étudiants de niveau master qui doivent analyser un cas. Le plan de cours est donné dans le document 1, le cas étudié dans le document 2 et les consignes pour le travail à rendre dans le document 3. Les objectifs pédagogiques ou ILO sont fournis également dans le document 1. 00:16:11:24 - 00:16:22:17 Carolina Serrano-Archimi A partir de ces éléments, propose-moi 3 à 5 critères d'évaluation ainsi que 4 niveaux d'atteinte de ces critères pour construire une grille d'évaluation critériée.” 00:16:22:19 - 00:16:46:24 Jacques Baratti Alors juste une précision. J'ai reprécisé dans le prompt où sont les renseignements par rapport aux documents pour que l’IA ne s'y trompe pas. Ce n'est peut-être pas nécessaire, mais dans mon expérience ça évite d'avoir des ennuis. Et ensuite la la question, la tâche qui est donnée à l'IA est ici. Donc on va lancer et voir ce que l’IA nous sort. 00:16:47:01 - 00:17:09:10 Carolina Serrano-Archimi Et alors là, vous voyez, comme Jacques vous le dit aussi, on a demandé par exemple ici à l'IA de nous proposer 3 à 5 critères. Après, si vous, de votre côté, vous savez que vous en voulez 4 ou 6, vous lui dites : “Tu m'en proposes 4. Tu m’en proposes 6”. Donc le prompt est tout à fait adapté selon vos besoins. 00:17:09:12 - 00:17:32:17 Jacques Baratti Donc là il me dit qu'il a bien lu les documents. Et voilà, il commence un premier critère : pertinence de l'identification des problématiques du cas avec des éléments. Il a défini 4 niveaux, comme on lui a demandé, excellent, satisfaisant, fragile, insuffisant. Avec un certain nombre de descripteurs, mais on va y venir pour les décrire plus en détail. 00:17:32:19 - 00:18:00:04 Jacques Baratti Le deuxième critère, c'est qualité des recommandations (pertinence, réalisme, alignement avec le cas) avec, pareil, les niveaux qu'on lui a demandés et un début de description. Le critère trois : Capacité à analyser rétrospectivement ce qui aurait dû être fait. Et vous voyez qu’il fait le lien avec les ILO et qu'on lui a mis dans les documents. Et le critère quatre : analyse métacognitive de l'usage de l'IA (question 4). 00:18:00:06 - 00:18:13:00 Jacques Baratti Critère cinq : qualité rédactionnelle et rigueur académique. C’est celui qui a le coefficient le plus faible, On va revenir. 00:18:13:01 - 00:18:35:01 Jacques Baratti Il il commence à donner une grille qu’il va remplir par la suite. Alors c'est à ce moment là que vous pouvez commencer à dire ah mais non, là je suis pas d'accord. Et vous pouvez discuter avec l’IA en lui disant par exemple, dans le critère cinq, les descripteurs ça me va pas, etc. Donc dès cette étape là, vous pouvez commencer à à dire s’il y a des choses qui vont pas. 00:18:35:03 - 00:18:54:20 Carolina Serrano-Archimi Sachant que là on est vraiment au niveau des idées, des critères et des niveaux. Donc, il faut rester sur une discussion avec l'IA à ce niveau là, parce que les descripteurs, on va les demander en détail par la suite. Par exemple, vous vous souvenez que je vous ai dit que moi j'avais toujours un niveau en-dessous : insatisfaisant, et trois niveaux satisfaisants. 00:18:54:24 - 00:19:14:16 Carolina Serrano-Archimi Là, il a proposé deux niveaux insatisfaisants et deux niveaux satisfaisants. Donc, ça, c'est sûr que moi, je discuterais avec l'IA en disant ça ne me convient pas, retravaille les niveaux pour que j'en ai un qui soit en-dessous de dix et trois qui soient de dix jusqu'à 20. Alors là, on continue. Et Jacques 00:19:14:22 - 00:19:45:07 Carolina Serrano-Archimi maintenant, il rajoute le prompt pour les descripteurs. Même si l’IA en a déjà proposé quelques uns, nous on veut beaucoup plus de détails. On lui dit : “Rédige des descripteurs qui, pour chaque critère et niveaux, décrivent précisément et de manière observable et mesurable le niveau du travail à évaluer. Ces descripteurs doivent être suffisamment précis pour permettre aux étudiants de les comprendre et à un enseignant ou à une IA de les utiliser pour évaluer les travaux fournis. 00:19:45:09 - 00:19:50:00 Carolina Serrano-Archimi Présente les résultats sous la forme d'un tableau”. 00:19:50:02 - 00:20:15:16 Jacques Baratti Alors sur ce prompt, la partie importante c'est ça. C'est la qualité des descripteurs. La qualité de votre grille, c'est fonction de la qualité des descripteurs. Qu'elle soit utilisée par les étudiants qui sont évidemment les premiers destinataires, par vous en tant qu'enseignant, si vous faites une correction manuelle, ou par une IA si vous faites une correction automatique. 00:20:15:18 - 00:20:34:00 Jacques Baratti Donc travaillez ce point là, la qualité des descripteurs. Ensuite, je lui ai demandé sous forme de tableau, c'est juste pour permettre de faire un copier-coller facilement derrière. Donc là il va fournir la grille. 00:20:34:02 - 00:20:36:19 Jacques Baratti Il répète toujours ce qu'on lui a dit. 00:20:36:21 - 00:20:59:08 Carolina Serrano-Archimi Il nous rappelle. Nous, ça nous rassure. Si vous voyez un jour qu'il ne vous rappelle pas ce sur quoi il s'appuie, attention ! Peut-être, c'est qu’il a décroché, ça peut arriver. A ce moment là, il faut lui soit lui rappeler : “appuie-toi sur les documents de départ”, soit les lui retélécharger. 00:20:59:10 - 00:21:26:05 Jacques Baratti Il a bien compris 100 % observables, 100 % mesurables, adaptés à une correction humaine ou par une IA. Donc il reprend le critère, les niveaux. Et là vous voyez que les descripteurs, par rapport à tout à l'heure, sont beaucoup plus clairs. Le critère 2, pareil. Le critère 3, pareil. Il est en train de travailler. 00:21:26:07 - 00:21:29:02 Carolina Serrano-Archimi Je pense qu'il fera le tableau à la fin ? 00:21:29:04 - 00:21:33:02 Jacques Baratti J'ai l'impression qu'il a oublié de faire le tableau alors qu'on lui a dit. On va voir. 00:21:33:04 - 00:21:56:01 Carolina Serrano-Archimi On va voir ça. Ça nous arrive. Parfois il fait, parfois il fait pas. Il a ses petites crises. 00:21:56:03 - 00:22:19:00 Jacques Baratti Voilà, il a décidé de faire le tableau à la fin. Il l'a présenté comme ça, la forme classique. Et là il vous fait un tableau. L'avantage de faire un tableau, c'est que vous voyez ici, là vous avez “copier le tableau” et vous pouvez faire un copier-coller directement dans un fichier Excel. Ce qui est bien pratique. 00:22:19:02 - 00:22:45:02 Carolina Serrano-Archimi Donc ce tableau, vraiment, est très important. Mais avant même de commencer à le travailler, d'une façon critique, on va vous demander de demander la dernière chose qui est importante. Et vous verrez que comme ça vous aurez la totalité des informations. Et là, on lui dit : “Propose une pondération des différents critères en fonction de leur importance et ajoute la dans une colonne du tableau. 00:22:45:04 - 00:23:22:07 Carolina Serrano-Archimi Donc là, sur la base de ce qu'il a déjà généré, il va évaluer combien chaque niveau devrait peser en termes de coefficients, il va nous le proposer. Et c'est là que, à ce moment là, vous, en tant qu'enseignant, vous allez pouvoir télécharger le tableau et le travailler. Soit vous l'acceptez parce qu'il vous convient, soit vous le retravaillez. Mais vous voyez que l'IA vous a mâché le travail et ce qui peut-être nous prenait 3 h à réaliser, on peut le faire en moins d'une heure. 00:23:22:09 - 00:23:31:22 Jacques Baratti Donc vous voyez, là, il a rajouté cette colonne pondération avec 25, 25, 20 et 15. 00:23:31:24 - 00:23:41:18 Jacques Baratti Vous pouvez toujours, une fois qu'il aura terminé, copier le tableau tel quel, ou rentrer cette instruction que je vous mets : 00:23:41:20 - 00:24:06:05 Carolina Serrano-Archimi “Présente les résultats sous la forme d'un fichier Excel téléchargeable”. L'avantage de ce dernier point, c'est que vous pouvez avoir un fichier que vous téléchargez sur Excel direct. Mais pour ceux qui préfèrent juste copier le tableau et peut-être le mettre plutôt sur un document Word, c'est également possible. Vous avez ces deux possibilités. Et là, Jacques, il va générer un tableau Excel. 00:24:06:06 - 00:24:06:18 Carolina Serrano-Archimi Vous voyez. 00:24:06:18 - 00:24:09:00 Jacques Baratti C'est un peu plus long. 00:24:09:02 - 00:24:17:06 Carolina Serrano-Archimi On a pas besoin de le voir. Il comporte exactement le même contenu que le tableau que vous avez vu ici. Donc je te propose Jacques qu’on prenne la suite. 00:24:17:08 - 00:24:22:09 Jacques Baratti Juste il donne un lien, vous cliquez sur le lien, ça télécharge le tableau. Voilà. 00:24:22:11 - 00:24:35:24 Carolina Serrano-Archimi Oui, il vous donnera un lien Excel. Si on voit que ça va vite, on vous le montre, sinon on reprend la main. Mais de toute façon, il y a vraiment pas de surprise quoi. Y a rien qu'on... Regardez. 00:24:36:01 - 00:24:58:03 Jacques Baratti Et là je clique dessus. Ah, alors ça arrive de temps en temps, vous voyez il me met “fichiers non trouvé”. Donc là, on lui dit : “Recommence. Je n'ai pas trouvé le fichier”. Voilà. Tu penses que tu peux continuer Carolina ? 00:24:58:05 - 00:25:26:21 Carolina Serrano-Archimi Alors je prends la main. Jacques. Ne vous inquiétez pas, ça arrive souvent. Et donc tout simplement vous lui dites : “Écoute, je ne vois pas le fichier, renvoie le moi, régénère le”, jusqu'à ce qu'il le fasse. Je reprends notre petit PowerPoint. Nous sommes en train d'arriver vers la fin. Dans le PowerPoint vous aurez les prompts que vous avez également dans le document de travail que les équipes d’AUNEGe ont partagés avec vous sur le tchat. 00:25:26:21 - 00:26:04:19 Carolina Serrano-Archimi Synthèse. Alors on ne pouvait pas ne pas partager cela avec vous comme on l'avait déjà fait au petit premier petit déjeuner en septembre. Vous voyez que la grille d'évaluation en fait c'est un élément à l'intérieur de l'alignement pédagogique, dont on vous parle depuis le début, où on a les objectifs d'apprentissage, les fameux ILO que l'on a dans notre plan de cours ou dans notre syllabus, avec l'ensemble des activités d'apprentissage logiques, cohérentes par rapport à ses objectifs, et des activités d'évaluation que l'on va évaluer 00:26:04:19 - 00:26:24:14 Carolina Serrano-Archimi avec cette grille d'évaluation qui est l'objet de ce petit déjeuner. Vous regarderez ça en détail. HEC Montréal a fait un très gros travail là-dessus. Je vous ai mis le lien sur leur Genially. Ici, je ne vais pas passer beaucoup de temps. Mais vous, si ça vous intéresse, je voulai quand même vous montrer les liens qu'il y a entre tous ces sujets. 00:26:24:16 - 00:26:47:03 Carolina Serrano-Archimi Premier point les objectifs d'apprentissage ou Intended Learning Outcomes. Ils inspirent les critères d'évaluation, ils déterminent les descripteurs et ils guident la pondération. Et ils sont regroupés en blocs de compétences. Là, on n'a pas eu le temps d'en parler parce que ce n'était pas directement le sujet. Mais dans l'approche par compétences, tout ça se marie très très bien. 00:26:47:09 - 00:27:19:13 Carolina Serrano-Archimi Donc un ensemble ILOs vont générer un bloc de compétences et parfois un programme va avoir quatre, cinq, six compétences à développer. Ensuite, les activités d'évaluation, ici par exemple l'étude de cas, vont servir comme mesure directe pour vérifier l'atteinte des objectifs d'apprentissage qui permet de vérifier et de qualifier l'atteinte de ces objectifs. Et enfin, pour ceux d'entre vous, le point trois, qui seraient dans cette démarche globale, par exemple, d'accréditation internationale, 00:27:19:19 - 00:27:50:00 Carolina Serrano-Archimi tout ça s'inscrit aussi dans une démarche de “Assurance of Learning” qui est l'architecture qualité globale institutionnelle garantissant que les ILOs, ou les objectifs d'apprentissage, se traduisent par des apprentissages mesurables et observables et continuellement optimisés dans le cadre d'une démarche de qualité totale ou d'amélioration continue. Alors pour finir, Jacques, vous met à disposition également un assistant qu'il a créé autour de ce sujet : 00:27:50:00 - 00:28:08:05 Carolina Serrano-Archimi comment créer une grille d'évaluation ? Parce que vous pouvez soit la créer, soit améliorer aussi une grille existante. Ce n'est pas que pour créer. Nous, on s'est focalisé sur la création, mais supposez que vous en avez une qui existe, vous pouvez aussi l'améliorer en disant donne moi ton avis par rapport à cette grille et voilà mon syllabus et voilà, etc. 00:28:08:07 - 00:28:43:19 Carolina Serrano-Archimi Et donc, et je vous ai mis le lien vers le l'assistant sur chatGPT. Mais il l’a également mise à disposition sur Perplexity, sur Gemini. Et les liens sur ces trois LLM seront sur les documents qu'on va partager sur le site d’AUNEGe. Enfin, pour conclure, comme toujours, vous rappeler que tout ça c'est un soutien, c'est un support, que l'IA ne vous remplace pas, qu'elle propose une base modulable que vous pouvez ajuster, amender, compléter, rejeter selon votre choix pédagogique par exemple, notamment des descripteurs. 00:28:43:21 - 00:29:10:17 Carolina Serrano-Archimi Et puis comment on a fait cette session d'un point de vue de l'IA ? Le scénario pédagogique, on l'a décidé Jacques et moi, sans avoir recours à l'intelligence artificielle. Quelques outils ont été faits avec l'intelligence artificielle comme chatGPT, Napkin et Ideogram qui est sans “e” d'ailleurs. Et le contenu textuel, certains contenus, on s'est un peu appuyés sur ce que nous proposait l'IA, et d'autres parties, 00:29:10:19 - 00:29:37:04 Carolina Serrano-Archimi on l'a utilisé nous-mêmes. Et Gamma a été fait 100 % avec l'IA. Même si j'utilise les images du prompt du tout premier Gamma du premier petit déjeuner, je n'en ai pas besoin de nouvelles. Notre prochaine session le 16 décembre, la dernière session, en tout cas de cet ensemble de petits déjeuners, “Créer un assistant pour évaluer les copies et les mémoires avec feedbacks personnalisés” dans lesquels on aura besoin de la grille 00:29:37:04 - 00:29:56:17 Carolina Serrano-Archimi critériée. Nous sommes ici pour répondre à vos questions, même si on n'a pas été très juste parce qu'on vous a laissé très peu de temps. 00:29:56:19 - 00:30:14:00 Carolina Serrano-Archimi Merci. Est-ce que ça vous a paru clair ? Oui ! Merci Alien. Normal, je comprends. C'est super ! Nous on a une obsession avec la clarté. 00:30:14:02 - 00:30:19:12 Carolina Serrano-Archimi Merci Sylvette. 00:30:19:14 - 00:30:28:15 Carolina Serrano-Archimi Merci à tous. Quoi qu'il en soit, vous aurez tous les éléments sur le site d’AUNEGe très rapidement. 00:30:28:17 - 00:30:41:06 Carolina Serrano-Archimi Merci Pascal. Si c'est ton premier petit déjeuner, super ! Bienvenue ! N'hésite pas à voir les autres, ils sont disponibles. Puisqu'il y a une continuité. 00:30:41:08 - 00:30:54:01 Carolina Serrano-Archimi Oui, les mémoires hein, on est d'accord. Gros sujet. 00:30:54:03 - 00:30:56:04 Carolina Serrano-Archimi Merci à tous. Bonne journée également.