Innovations en matière d’évaluation & Pédagogie

Mis à jour 22/6/23 par Adrien

Innovations : évaluation du niveau et formations

Etat de l'art existant avant le démarrage des travaux.

Les approches classiques de l'évaluation du niveau sont les suivantes (example avec des test d'anglais) :

l'évaluation lors d'un test calibré (comme le TOEIC ou le TOEFL)

Un tel test, qui dure au moins une heure et qui est le même pour tous les candidats, n'est pas compatible avec notre approche où une des contraintes est de prendre au maximum de l'ordre de 20 minutes par jour à nos candidats, et où l'autre contrainte est de personnaliser chaque session de formation, ce qui exclut les tests standards qui seraient les mêmes pour tout le monde.

l'évaluation à partir de l'avancement dans un programme linéaire donné

Il s’agit par exemple de dire à un candidat qu'il a atteint un avancement de 70% de son programme de niveau 3, en indiquant qu'il aura atteint le niveau 3 à la fin de son programme de formation. Cette méthode n'est pas vraiment précise car rien ne garantit que le niveau est atteint à la fin de la formation. Par ailleurs, elle n'est pas non plus compatible avec notre approche, vu que nous n'avons pas de programme linéaire.

Nous avons tenté en 2005 et 2006 de donner un niveau à nos utilisateurs en utilisant respectivement les deux méthodes décrites ci-dessus, mais ce niveau n'était pas fiable (il n'était pas cohérent avec le niveau donné par les évaluations traditionnelles ou il changeait trop brusquement) et nos clients se plaignaient.

Objectifs visés et contraintes

Les approches traditionnelles étant incompatibles avec une évaluation continue du niveau lors de sessions personnalisées de 20 minutes, nous avons dû chercher nos propres solutions. La solution que nous cherchions à obtenir devait nous donner un niveau fiable (par exemple pour la grammaire, la compréhension et le vocabulaire) tout en respectant nos contraintes. Dans notre cas, fiable voulait dire un niveau stable dans le temps et cohérent avec les évaluations traditionnelles que nos clients pourraient faire.

La plus grosse difficulté à résoudre est liée à la personnalisation extrême de notre formation : comme deux utilisateurs n'ont jamais les mêmes cours, il n'est pas possible de calibrer un test sur un échantillon témoin, ce qui est l'approche habituelle pour les problématiques de régressions.

Travaux effectués

Nous avons choisi de rechercher une solution à partir de la piste de régressions non linéaires à base de sigmoïdes, utilisées en physique pour les études de transition de phase (en se basant sur l'idée que la frontière entre un niveau et le niveau supérieur constitue une phase).

Cette technique est décrite dans l'article suivant : Dang, Liem X., and Tsun-Mei Chang. "Molecular dynamics study of water clusters, liquid, and liquid vapor interface of water with many-body potentials." American Institute of Physics (1997) [S0021-9606 97 50119-X].

Une fois l'idée de l'algorithme sigmoïde trouvée, nous avons commencé par l'appliquer sur les profils des utilisateurs salariés de la société afin de valider sa pertinence. Les résultats étant encourageants, en particulier avec les sigmoïdes de type tangente hyperbolique, nous avons continué sur cette piste en essayant de paramétrer la régression de la sigmoïde pour caler le niveau sur les résultats des évaluations traditionnelles.

Grâce à l'expérience et au temps passé par notre équipe pédagogique, nous avons finalement choisi la limite de niveau sur la réalisation de 60% de réussite sur une sigmoïde tangente hyperbolique ayant pour limites 100% et 0%, ce qui veut dire que si un utilisateur à un pourcentage de réussite de 60% à nos tests de niveau 3, et les taux de réussites correspondants pour les autres niveaux, il sera dit être de niveau 3. Ceci est explicité sur le graphe suivant :

Une pédagogie qui s'inscrit dans la durée

Gymglish a conçu un nouveau concept d'apprentissage. Fondée sur une combinaison d'innovations technologiques et pédagogiques sans équivalent, l'approche Gymglish est en rupture avec de nombreuses approches pédagogiques existantes, elle est le fruit des sensibilités, réflexions et expériences personnelles variées de ses concepteurs.

Gymglish ne prétend pas pouvoir remplacer une pratique réelle de la langue. Une gymnastique par emails ne sollicite pas directement l'expression orale de l'utilisateur, et ne présente donc pas le même apport que celui d'un professeur. Cours présentiels et Gymglish proposent des valeurs ajoutées différentes, et complémentaires.

Différentes études mettent en relief que nous avons tous un 'niveau latent', c'est un à dire un niveau, supérieur à notre réel niveau, qu'il serait relativement facile de retrouver grâce à la pratique. Ci-dessous trois graphiques schématisant les valeurs ajoutées respectives des cours présentiels, de Gymglish, et d'un programme combinant les deux (nous sommes partis sur l'hypothèse simplifiée d'un stage annuel de deux mois de cours présentiels) :

Les cours présentiels permettent aux utilisateurs de retrouver rapidement leur niveau latent, puis de continuer à progresser. Une fois que les cours sont terminés, et s'ils ne sont pas suivis d'une sollicitation régulière des acquis, les progrès sont soumis à l'impact du temps et de l'oubli. S'il ne pratique pas après ses cours, l'utilisateur retrouve peu à peu le niveau qu'il avait en début de formation.

Gymglish, utilisé sans autre complément de formation, présente une courbe de progression plus lente que celle des cours présentiels, car l'effort est dilué dans le temps. Comme pour les cours présentiels, l' utilisateur retrouve son niveau latent, puis continue à progresser. La courbe ci-dessus met en relief la grande valeur ajoutée de Gymglish : consolider les acquis dans le temps.

Utilisé en complément de cours présentiels, Gymglish permet de consolider les progrès réalisés non seulement avec Gymglish mais également lors de récentes sessions de cours. Gymglish est proposé en 'inter-sessions', permettant à l'utilisateur de progresser rapidement grâce à son ou ses professeurs, et d'entretenir et mémoriser ses acquis sur le long terme grâce à Gymglish.

Nouveaux regards sur la mémorisation : en s’appuyant sur des études de biologie et de psychologie expérimentale, ces nouvelles théories ont mis en évidence certaines caractéristiques du processus de mémorisation :

Il est inutile de perdre son temps à réviser des éléments connus.
Il est impératif de réviser les nouvelles connaissances dans un laps de temps court, sous peine de les oublier.
En révisant à un moment précis, la connaissance est fixée pour plus longtemps dans la mémoire.

Note : les courbes ci-dessus sont une représentation simplifiée du principe général, avec des valeurs non significatives, A9 ne publiant pas le détail de ses algorithmes.

Le moteur d'intelligence artificielle A9expert construit un programme de révision optimisé pour chaque candidat. Gardant un historique détaillé des différents points abordés et révisés, A9expert définit, en fonction du rythme d'apprentissage et de la capacité de mémorisation de chacun, les intervalles de temps à partir desquels il est pertinent de faire réviser l'utilisateur sur un point en particulier (mot de vocabulaire, points de grammaire....). Si, lors de la révision, le candidat se souvient du point concerné, l'intervalle de temps avant la prochaine révision est augmenté selon le modèle théorique.