Modalités d’organisation des épreuves d’évaluation et mise en place de leur contrôle
Mis à jour 22/6/23
par
Adrien
La formation Gymglish est dispensée de manière dynamique, en format ‘e-learning’ et totalement en distanciel. En outre, elle a pour particularité de constituer en elle-même l’épreuve grâce à un contrôle continu, et ne reposant donc pas sur une épreuve finale.
Organisation des épreuves
Les formations Gymglish résultent d’un processus d’évaluation continue, opéré par un moteur d’intelligence artificielle et non du résultat à un test ou à un examen à un instant T.
Dès lors, “les épreuves” se déroulent tout au long du parcours d’un candidat et sont supervisées par nos équipes pédagogiques et service utilisateurs dont une partie de l’équipe est dédiée aux questions d’ordre pédagogique de nos utilisateurs. Ces équipes, de par leur travail proactif, permettent l’accompagnement du candidat lors de son parcours, et assurent également la cohérence pédagogique du parcours proposé à ce dernier.
Elles sont également réactives en cas de questions techniques ou pédagogiques de la part du candidat, “réorganisant” s’il le faut le parcours de celui-ci. En bas de chaque leçon et correction, une fenêtre de saisie permet en outre de communiquer avec nos équipes.
En cas de handicap
En cas de handicap, lorsque des modalités particulières doivent être mises en place (accompagnement,..) pour des personnes handicapées, le candidat ou le donneur d’ordre informe Gymglish qui prendra les mesures nécessaires grâce à son réseau de partenaires, en application des dispositions des articles D.5211-2 et suivants du code du travail.
Procédure d’habilitation du jury
Le premier jury est notre moteur d’intelligence artificielle A9expert, né du travail de recherche et développement de nos équipes pédagogiques, ainsi que de nos ingénieurs depuis 2004. En d’autres termes, notre moteur d’intelligence artificielle, fort de la matrice de niveaux et du contenu pédagogique rattaché à celle-ci, est en mesure d’évaluer et d'établir un bilan pédagogique stipulant le niveau du candidat.
Concrètement, à chaque élément de contenu est attribué un niveau en fonction de sa difficulté.
Au terme des différentes périodes de formation proposées - 6 mois, 9 mois, 12 mois ou 24 mois, le moteur génère un bilan pédagogique précis.
Lorsqu’un candidat est surpris par son bilan pédagogique, un jury constitué d’un évaluateur interne et d’un évaluateur externe analyse ce bilan et le justifie (souvent) ou le rectifie (rarement) en fonction des cas.
Conséquemment, l’évaluation pédagogique se faisant en continu, nous n’avons pas besoin d’évaluation sommative en fin de parcours. L’IA peut donc émettre un bilan pédagogique en fin de chaque parcours proposé.
Le jury constitué de :
- Andrew Arnon, responsable pédagogique natif en langue anglaise et responsable du produit Gymglish - évaluateur interne,
- Sam Brightbart, traducteur et natif en langue anglaise - évaluateur externe.
Modalités d’information et de convocation du candidat
En amont de la formation
Quelque soit la durée de formation choisie (6, 9, 12 ou 24 mois), le candidat reçoit préalablement au lancement de son parcours, un courriel d’information. Ce courriel mentionne la durée de formation ainsi que la date de début de formation, correspondant donc au jour de réception d’une première leçon (ou leçon suivante dans le cadre d'un renouvellement de parcours).
Durant la formation
Chaque jour de réception de leçon programmé (jusqu’à 5 par semaine), le candidat est notifié de la disponibilité de sa leçon par courriel et/ou notification, s’il a téléchargé notre application mobile/tablette. Ce procédé équivaut à une convocation du candidat.
Aussi, si toutefois le candidat n’est pas assidu au cours de sa formation, une “alerte assiduité'' lui est envoyée automatiquement par notre moteur d’intelligence artificielle. Nos équipes pédagogiques et Customer Care en sont également alertées et se rapprochent alors du candidat afin de vérifier les raisons de ce contretemps ou manque d’assiduité. Ces alertes sont envoyées si le candidat n’atteint pas le minimum de 4 sessions mensuelles soit 1h20 de formation par mois (les leçons prennent 20 minutes maximum à être effectuées).
Déroulement de l’évaluation sommative
Chaque jour choisi par ses soins, le candidat reçoit donc un courriel d'activités linguistiques qu’il complète en parcourant simplement la leçon de haut en bas. Lorsqu'il a terminé, il clique sur le bouton Envoyer pour envoyer ses réponses. Le système interprète immédiatement les réponses et renvoie un courriel de corrections dans les secondes qui suivent.
La suite du parcours pédagogique est personnalisée dynamiquement par un moteur d'intelligence artificielle conçu par la société A9 conceptrice de Gymglish : dénommé A9 expert.
Chaque leçon est unique et créée en fonction des lacunes, attentes et besoins en révisions du candidat.
Ainsi, les formations Gymglish comportent autant d’évaluations sommatives que de questions de leçons auxquelles répond un candidat. Le candidat est constamment évalué et son niveau constamment recalculé. En outre, ce procédé nous permet de renseigner non seulement sur les niveaux constatés en fin de formation, mais aussi sur les efforts d’apprentissage et révisions faits en amont, taux d’assiduité, temps de formation, progressions et degrés d’ancrage des connaissances.
Communication des résultats
Score quotidien
Le candidat reçoit quelques secondes après avoir soumis ses réponses à une leçon, la correction des exercices auxquels il vient de répondre. Cette correction est accompagnée d’un score, représentant le pourcentage de réponses justes par rapport au nombre total de questions que comportait sa leçon. Ce score gn'est pas indicatif du niveau car il n'intègre pas la difficulté des questions.
Bilan pédagogique et niveau initial
Les premières leçons du parcours d’un candidat sont communes à tous nos candidats. Elles permettent ainsi à notre moteur d’intelligence artificielle de connaître le niveau initial du candidat puis d’amorcer la personnalisation des révisions de la pédagogie basée sur les lacunes et niveaux détectés de ce dernier. Puis l’ordre des leçons est personnalisé dynamiquement. Les révisions sont personnalisées dès la deuxième leçon.
Dès cette étape franchie, un bilan pédagogique est alors envoyé par courriel au candidat. Celui-ci est également rendu disponible dans son espace utilisateur.
Bilan de formation et niveaux de fin de parcours
En fin de formation, soit au terme de la période de 6, 9, 12 ou 24 mois, notre moteur d’intelligence artificielle notifie notre équipe Customer Care ainsi que notre équipe pédagogique que le candidat est arrivé au terme de son parcours. Un niveau de fin de formation, compte tenu de l’historique pédagogique du candidat, est alors calculé et produit par notre moteur d’intelligence artificielle. Un courriel de notification est alors envoyé au candidat, comportant en pièce jointe le bilan de formation. En outre, le candidat récipiendaire de la formation peut également télécharger ce parchemin depuis un espace utilisateur restant à sa disposition à vie à la suite de sa formation.
Statistiques accessibles à tout moment
Durant son parcours de formation, le candidat a la possibilité de consulter ses résultats et statistiques de formation dans une rubrique dédiée de son espace utilisateur. Outre son niveau global, il accède en temps réel au détail de celui-ci qui n’est autre que la moyenne exacte des niveaux de grammaire, de compréhension écrite et de compréhension orale. Voici un exemple de cette interface ci-dessous :
Processus de rattrapage s'il y a lieu
Il n’existe pas de processus de rattrapage. Toutefois, le candidat peut s’il le souhaite, solliciter une nouvelle période de formation (6, 9, 12 ou 24 mois), permettant la poursuite de la pédagogie et l’atteinte éventuelle d’un niveau supérieur, au terme d'un nouveau processus de contrôle continu.
Modalités de délivrance matérielle des formations
Outre l’envoi du bilan de formation par voie numérique, l’envoi de celle-ci sous ‘format papier’ est également possible, sur demande du candidat et transmission à nos équipes d’une adresse postale.
Description des modalités de traitement des dysfonctionnements
Un premier niveau de traitement des dysfonctionnements est assuré par la veille proactive des parcours pédagogiques par le biais de nombreux tableaux de bords surveillés par notre équipe Customer Care et ce quotidiennement. Toute anomalie, selon sa typologie, est alors remontée à l’équipe pédagogique et technique avec pour objectif d’être corrigée au plus vite.
Parallèlement, ont été développés des systèmes d’alertes qui, à la manière des ‘alertes assiduité’ évoquées précédemment, vont avertir nos équipes d’éventuels dysfonctionnements de notre moteur d’intelligence artificielle. Ces alertes sont, en cas d’apparition, traitées par une équipe technique dédiée, mettant alors ses activités en suspens afin de résoudre ou d’écarter les éventuels dysfonctionnements. Notre équipe Customer Care intervient alors auprès du candidat en cas d’impact sur ce dernier.
Enfin, le candidat lui-même a la possibilité de faire remonter à nos équipes un dysfonctionnement suspect. Une fenêtre dédiée est ainsi présente au bas de chacune de ses leçons dans laquelle il a la possibilité de nous faire parvenir un commentaire. L’équipe Customer Care analyse alors le dysfonctionnement suspecté par l’utilisateur et fait intervenir en cas de besoin les équipes pédagogiques et/ou techniques, tout en informant de manière continue et transparente le candidat.
Les formations Gymglish résultent d'un parcours sous le statut d'élève et non un examen sous la surveillance de scrutateurs, l'authentification de l'élève prétendant à la formation revêt dès lors un caractère primordial. C'est à cet effet que Gymglish intègre dans chacune de ses leçons, un dispositif de signature permettant de vérifier l'identité du candidat grâce à l'authentification de sa signature manuscrite numérique. Toute réception de signature ne correspondant pas aux récurrences précédemment enregistrées pour un candidat, déclenche une alerte réceptionnée par nos équipes.
Selon les résultats de l'enquête diligentée conjointement par nos équipes techniques et pédagogiques, il est décidé si les résultats de la leçon/correction incriminée peuvent ou non être intégrés au processus d'évaluation continue de notre moteur d'intelligence artificielle. Nous vous invitons à trouver ci-dessous un visuel du dispositif d'authentification d'un candidat de part le recueil de sa signature électronique numérique :
Description des modalités de régulation des processus d’évaluation
Le processus d’évaluation de notre méthodologie est dicté, fort de son expertise et expérience, par notre équipe pédagogique et technique.
Les réponses de l'ensemble des utilisateurs sont régulièrement étudiées pour étalonner le niveau de chaque test ou module pédagogique au regard des tendances de réponses des utilisateurs. Ainsi, les niveaux des utilisateurs sont perpétuellement affinés. Ce procédé de calibrage dynamique des tests, permet le cas échéant de corriger finement l’estimation initiale par nos spécialistes du langage de la difficulté d’une question en fonction des retours des candidats. Ceci permet d’obtenir la meilleure évaluation possible cohérente entre tous les candidats.
Chaque leçon constituant une évaluation sommative en soit, il a été prévu qu’en cas de difficultés techniques relatives aux médias contenus dans ces leçons, un candidat ne soit pas pénalisé. Dès lors, s’il nous signale cette difficulté, les questions relatives à ces audios sont ignorées afin que son niveau (et le calibrage dynamique) ne soit pas impacté. Notre équipe Customer Care se charge par ailleurs de solutionner ce dysfonctionnement avec l’utilisateur.
Il est à noter que chaque leçon est conçue par l’équipe pédagogique puis s'ajoute à la banque de données de leçons de l’intelligence artificielle. Ainsi, l’équipe pédagogique reste maître de la conception pédagogique et de l’attestation du niveau du candidat au sortir de sa formation.
Également, l’équipe pédagogique et technique procèdent à une veille pédagogique et technologique afin de constamment mettre à jour l’approche pédagogique d’une part et la technologie du moteur et de ses algorithmes d’autre part.
Des enquêtes et recherches sont menées afin de créer et mettre à jour nos formats de tests afin d’enseigner et de tester au mieux nos cibles pédagogiques auprès de nos candidats.
Des campagnes de rafraîchissement de nos contenus écrits et audiovisuels sont réalisées régulièrement afin d’être à jour tant d’un point de vue de la cohérence des écrits, car il faut qu’ils soient ancrés dans le présent, que d’un point de vue qualitatif concernant nos médias.
Les voies de recours
Tout recours ou contestation suite à la délivrance des formations peut être formulé par le candidat par simple réponse au courriel acheminant celle-ci. Le candidat peut également contacter nos équipes depuis son espace utilisateur, rubrique d’aide en ligne, nombreux boutons ‘contactez-nous de notre site internet, ou bien en contactant l’adresse support@gymglish.com.
