Développer une programmation automatisée basée sur l’IA

Par Jovina Ang

Bureau de recherche et de transfert de technologie SMU – “Corriger. Bon travail.” “Mauvais. Réessayer.”

Ce sont les commentaires typiques basés sur les résultats fournis par la plupart des outils de notation de programmation informatique, y compris les outils commerciaux comme Gradescope.

“Les outils de notation existants, y compris de nombreux prototypes de recherche, ne suffisent pas à répondre aux besoins des instructeurs enseignant la programmation informatique”, a déclaré le professeur adjoint d’informatique (éducation) Don Ta. Bureau de la recherche et du transfert de technologie.

“Bien que certains outils soient bons pour l’évaluation sommative, ils sont incapables de fournir une évaluation holistique du processus cognitif et de l’approche adoptée par les étudiants lorsqu’ils travaillent sur la conception d’algorithmes ou l’écriture de code pour résoudre un problème”, a-t-il poursuivi.

«Ainsi, pour fournir des commentaires constructifs, les instructeurs en informatique et systèmes d’information (SIC) comme moi doivent réviser des centaines, voire des milliers de lignes de code. Il s’agit d’un processus de longue haleine car il peut y avoir 400 à 500 étudiants inscrits au cours d’introduction à la programmation à SMU », a-t-il ajouté.

“Sur la base de mes années d’expérience dans l’enseignement de l’informatique, je suis conscient que les étudiants apprennent mieux lorsqu’ils reçoivent des commentaires opportuns, fréquents, formatifs et personnalisés. Plus les étudiants reçoivent des commentaires, y compris des suggestions d’échantillons de code pertinents et se voient confier des tâches de programmation supplémentaires pour travailler sur leurs erreurs précédentes, plus vite ils amélioreront leurs compétences en lecture de code, en conception d’algorithmes et en écriture de code, qui font partie des compétences de base de tout SIC. étudiant », poursuit-il.

Afin de développer un outil qui fournit une rétroaction instantanée et constructive aux étudiants, le professeur Ta et ses trois collaborateurs, le professeur associé SMU d’informatique Shar Lwin Khin, le professeur SMU de systèmes d’information (éducation) Venky Shankararaman et le professeur associé Hui Siu Cheng de L’École d’informatique et d’ingénierie de l’Université technologique de Nanyang a récemment reçu une subvention du Fonds de recherche pour l’enseignement supérieur (TRF) du ministère de l’Éducation. Le projet réalisera un outil basé sur le Web nommé AP-Coach, qui signifie Automated Programming Coach.

Cette recherche approfondit les travaux antérieurs du professeur Ta qui portaient sur la précision et l’efficacité de la notation automatique des codes et des textes courts en langues naturelles.

La recherche

L’AP-Coach sera testé sur une classe pilote composée d’étudiants de première année de premier cycle SMU inscrits au cours d’introduction à la programmation Python, à partir de janvier 2023. Il sera déployé pour le reste des étudiants au cours des semestres suivants s’il s’avère être utile pour l’apprentissage.

Les principaux objectifs de l’AP-Coach sont d’automatiser le processus de révision du code à grande échelle, tout en améliorant l’apprentissage en fournissant des commentaires instantanés, constructifs et personnalisés aux étudiants en leur montrant des conseils sur ce que devraient être les prochaines étapes, pertinentes des échantillons de code et en leur donnant des tâches de programmation appropriées supplémentaires pour parfaire leur apprentissage en lecture de code, en conception d’algorithmes et en écriture de code.

L’AP-Coach examinera le code ou le pseudocode soumis par les étudiants pour générer des commentaires pertinents et personnalisés grâce à l’utilisation d’algorithmes d’appariement de similarité basés sur les avancées récentes de l’IA (intégration de code et modèles de traitement du langage naturel) et de techniques de génie logiciel pour évaluer structures syntaxiques abstraites du code.

Pour fournir plus de tâches pratiques, l’AP-Coach sera conçu pour générer automatiquement divers exercices de programmation et pseudocode à l’aide d’IA tels que le modèle OpenAI GPT-3 (Generative Pre-trained Transformer 3), qui est un modèle de langage auto-régressif capable de produire du texte et du code de type humain.

L’outil est également conçu pour suivre les progrès des élèves. Chaque étudiant recevra un résumé des erreurs commises tout au long du cours de 13 semaines. Les étudiants peuvent également utiliser l’AP-Coach pour revoir les exercices de programmation antérieurs.

Pour vérifier l’efficacité d’AP-Coach, les compétences des étudiants en lecture de code, en conception d’algorithmes et en écriture de code seront contrôlées sur plusieurs semestres consécutifs.

Implications de la recherche

Il y a trois implications importantes de cette recherche.

Premièrement, il a été constaté que les commentaires immédiats et pertinents sont très motivants pour les étudiants. Il permet également un apprentissage autonome.

Deuxièmement, un coaching efficace et automatique permet non seulement de faire évoluer le processus de révision du code, mais également de réduire considérablement la charge de travail des instructeurs. Ainsi, les instructeurs auraient plus de temps pour aider et guider les étudiants les plus faibles.

Troisièmement, l’AP-Coach peut être une étape importante vers la concrétisation de l’enseignement de l’informatique basé sur l’IA.

L’éducation basée sur l’IA est une discipline passionnante dans l’apprentissage et l’enseignement, et le professeur Ta a hâte de découvrir comment l’outil peut être utile aux étudiants.