Commit d76da60d54f8d8b5b1f640e6c5719da40e5e4a7a
1 parent
5d456b4cf3
Exists in
main
version correct to chapter 7, terms unification...
Showing 2 changed files with 31 additions and 31 deletions Side-by-side Diff
chapters/ESCBR.tex
View file @
d76da60
... | ... | @@ -358,7 +358,7 @@ |
358 | 358 | |
359 | 359 | Dans ESCBR-SMA, chaque agent effectue un algorithme de recherche des voisins du problème au cours de la première étape puis, au cours de la seconde, génère une solution en se référant à la liste des solutions obtenues au cours de la première étape. À chaque itération, les agents peuvent choisir parmi trois comportements programmés : la recherche de problèmes voisins, la génération de solutions ou l'échange d'informations avec un autre agent. L'exécution de ces trois comportements programmés est asynchrone. En revanche, la création et la sélection de la liste des voisins se font de manière synchronisée. |
360 | 360 | |
361 | -Les étapes d'extraction, de réutilisation, de révision et de conservation restent conformes au modèle RàPC conventionnel. En revanche, ESCBR-SMA comprend trois nouvelles étapes : | |
361 | +Les étapes d'extraction, de réutilisation, de révision et de conservation restent conformes au RàPC conventionnel. En revanche, ESCBR-SMA comprend trois nouvelles étapes : | |
362 | 362 | \begin{itemize} |
363 | 363 | \item durant la phase de reconfiguration, les agents mettent à jour les valeurs de leurs paramètres locaux afin d'améliorer la qualité de la solution proposée lors de l'itération suivante, |
364 | 364 | \item durant la phase d'échange, les agents échangent des informations pour améliorer leurs processus internes de recherche et de génération, |
... | ... | @@ -407,7 +407,7 @@ |
407 | 407 | \end{tabular} |
408 | 408 | &$\mathbb{Z}$\\ |
409 | 409 | \end{tabular} |
410 | -\caption{Variables et paramètres supplémentaires du modèle ESCBR-SMA (Type: p - paramètre, v - variable, f - fonction)} | |
410 | +\caption{Variables et paramètres supplémentaires du ESCBR-SMA (Type: p - paramètre, v - variable, f - fonction)} | |
411 | 411 | \label{tabVarPar2} |
412 | 412 | \end{table} |
413 | 413 |
chapters/TS.tex
View file @
d76da60
... | ... | @@ -30,18 +30,18 @@ |
30 | 30 | |
31 | 31 | Parmi les algorithmes les plus prometteurs pouvant aider à proposer des recommandations, nous avons identifié l'algorithme d'échantillonnage de Thompson (TS). Il s'agit d'un algorithme probabiliste appartenant à la catégorie des algorithmes d'apprentissage par renforcement. À l'instant $t$, TS choisit l'action $a_t$ d'un ensemble $A$ d'actions possibles, et obtient une récompense pour celle-ci. À $t+1$, une action $a_{t+1}$ est sélectionnée en tenant compte de la récompense précédente. L'objectif consiste à maximiser la récompense. Selon le principe bayésien, cette maximisation itérative est opérée en suivant une distribution de probabilité évoluant à chaque itération. Cette évolution peut être calculée selon la variante de Bernoulli \colorbox{yellow}{de la loi de bernoulli ?} où la récompense n'a que deux valeurs possibles 0 ou 1 (échec ou succès), ou selon une distribution \textit{Beta} définie sur l'intervalle $[0, 1]$ et calculée en fonction de deux valeurs $\alpha$ et $\beta$ \cite{9870279}. |
32 | 32 | |
33 | -Ce chapitre est divisé en trois parties, la première partie présente un algorithme délivrant des recommandations en fonction des résultats produits par l'apprenant en temps réel. Une partie de cette proposition est publiée dans \cite{Soto2}. Cet algorithme permet l'adaptation automatique en temps réel d'une séance prédéterminée dans l'EIAH AI-VT. Nous considérons qu'elle intervient durant la phase de révision du cycle classique du raisonnement à partir de cas (RàPC). Le modèle proposé est stochastique et il a été testé selon trois scénarios différents. Les résultats montrent de quelle manière AI-VT peut proposer des recommandations pertinentes selon les faiblesses identifiées de l'apprenant. | |
33 | +Ce chapitre est divisé en trois parties, la première partie présente un algorithme délivrant des recommandations en fonction des résultats produits par l'apprenant en temps réel. Une partie de cette proposition est publiée dans \cite{Soto2}. Cet algorithme permet l'adaptation automatique en temps réel d'une séance prédéterminée dans l'EIAH AI-VT. Nous considérons qu'elle intervient durant la phase de révision du cycle classique du raisonnement à partir de cas (RàPC). L'algorithme proposé est stochastique et il a été testé selon trois scénarios différents. Les résultats montrent de quelle manière AI-VT peut proposer des recommandations pertinentes selon les faiblesses identifiées de l'apprenant. | |
34 | 34 | |
35 | -La deuxième partie de ce chapitre montre l'intégration de tous les algorithmes présentés dans les chapitres précédents à AI-VT. Le modèle intégré est appliqué au système AI-VT sur des données générées et des données réelles. Plusieurs types de test sont exécutés pour montrer que le modèle final permet en effet d'améliorer les capacités d'identification et d'adaptation. Les performances de ce nouveau modèle sont comparées à celles d'autres algorithmes. Enfin, l'évolution de l'acquisition des connaissances induites par ces nouveaux modèles de recommandation stochastiques est analysée dans cette deuxième partie du présent chapitre. | |
35 | +La deuxième partie de ce chapitre montre l'intégration de tous les algorithmes présentés dans les chapitres précédents à AI-VT. L'algorithme intégré est appliqué au système AI-VT sur des données générées et des données réelles. Plusieurs types de test sont exécutés pour montrer que l'algorithme final permet en effet d'améliorer les capacités d'identification et d'adaptation. Les performances de ce nouveau algorithme sont comparées à celles d'autres algorithmes. Enfin, l'évolution de l'acquisition des connaissances induites par ces nouveaux algorithmes de recommandation stochastiques est analysée dans cette deuxième partie du présent chapitre. | |
36 | 36 | |
37 | 37 | Pour terminer, dans la troisième partie de ce chapitre, nous présentons une évolution de ce système de recommandation intégrant le processus de Hawkes. L'intérêt de ce dernier réside dans le fait qu'il utilise une courbe d'oubli, nous permettant ainsi de tenir compte du fait que certaines connaissances et certains mécanismes doivent être rappelés aux apprenants. Cette troisième partie intègre une étude des performances du système de recommandation incluant ce processus stochastique de Hawkes. |
38 | 38 | |
39 | 39 | \section{Système de recommandation stochastique fondé sur l'échantillonnage de Thompson} |
40 | 40 | \sectionmark{Système de recommandation fondé sur TS} |
41 | 41 | |
42 | -\subsection{Modèle Proposé} | |
42 | +\subsection{Algorithme Proposé} | |
43 | 43 | |
44 | -Le modèle proposé, en tant que système de recommandation, prend en compte les notes antérieures des apprenants pour estimer leurs connaissances et leur maîtrise des différentes compétences, sous-compétences et niveaux de complexité au sein du système AI-VT. Puis il adapte les séances pour maximiser l'acquisition des connaissances et la maîtrise des différents domaines contenus dans la même compétence définie. | |
44 | +L'algorithme proposé, en tant que système de recommandation, prend en compte les notes antérieures des apprenants pour estimer leurs connaissances et leur maîtrise des différentes compétences, sous-compétences et niveaux de complexité au sein du système AI-VT. Puis il adapte les séances pour maximiser l'acquisition des connaissances et la maîtrise des différents domaines contenus dans la même compétence définie. | |
45 | 45 | |
46 | 46 | La famille de distributions de probabilité Beta est utilisée pour définir dynamiquement le niveau de complexité (équation \ref{eqBeta}) à proposer à l'apprenant. Cet algorithme permet de recommander des niveaux de complexité non contigus et dans lesquels des lacunes ont été détectés. Les paramètres initiaux des distributions de probabilité peuvent forcer le système à recommander des niveaux de complexité contigus plus ou moins importants \colorbox{yellow}{je ne comprends pas le importants, relatif à quoi ?}. |
47 | 47 | |
... | ... | @@ -117,7 +117,7 @@ |
117 | 117 | |
118 | 118 | Pour chaque niveau de complexité $c$, $Beta(\alpha_c, \beta_c)$ fournit une distribution de probabilité $\theta_c$ dont nous calculons l'espérance $\mathbb{E}[\theta_c]$. Le nouveau niveau de complexité $ncl$ correspond à l'espérance maximale obtenue. |
119 | 119 | |
120 | -Le détail des pas d'exécution du modèle proposé sont dans l'algorithme \ref{alg2}. | |
120 | +Le détail des pas d'exécution de l'algorithme proposé sont dans l'algorithme \ref{alg2}. | |
121 | 121 | |
122 | 122 | \begin{algorithm} |
123 | 123 | \caption{Algorithme de recommandation stochastique} |
... | ... | @@ -160,7 +160,7 @@ |
160 | 160 | \label{tabDataSet} |
161 | 161 | \end{table} |
162 | 162 | |
163 | -Toutes les valeurs des paramètres pour tester le modèle sont dans le tableau \ref{tabgm1}. | |
163 | +Toutes les valeurs des paramètres pour tester l'algorithme sont dans le tableau \ref{tabgm1}. | |
164 | 164 | |
165 | 165 | \begin{table}[!ht] |
166 | 166 | \centering |
... | ... | @@ -175,7 +175,7 @@ |
175 | 175 | |
176 | 176 | La figure \ref{figCmp2} permet de comparer les résultats obtenus par le module proposé, un système de recommandation déterministe et le système AI-VT initial lors d'un \textit{démarrage à froid} (c'est-à-dire sans données historiques ni informations préalables sur le profil de l'apprenant). Sur les graphiques de cette figure, les numéros des questions posées sont reportées en abscisse selon l'ordre chronologique d'apparition durant la séance d’entraînement, le niveau de complexité de chaque question posée est représenté par une couleur différente, et le nombre d'apprenants ayant eu des questions de ce niveau de complexité sont reportés en ordonnées. Ainsi, le système AI-VT initial (premier graphique de la figure) et le système de recommandation déterministe (deuxième graphique) ont tous deux proposé trois questions de niveau de complexité 0 (le plus faible) à tous les apprenants au démarrage de la séance d'entrainement. Nous pouvons remarquer que le système initial est resté sur ce niveau de complexité durant toute la séance (pour les 15 questions du test), tandis que le système de recommandation déterministe a progressivement mixé les complexités des questions posées. Le système de recommandation stochastique décrit dans ce chapitre a quant à lui mixé ces niveaux de complexité dès la première question. |
177 | 177 | |
178 | -Ainsi, les systèmes de recommandation permettent de proposer une adaptation progressive du niveau de complexité en fonction des notes obtenues. Le modèle déterministe génère quatre grandes transitions avec un grand nombre d'apprenants dans les questions 5, 6, 8 et 12, toutes entre des niveaux de complexité contigus. La tendance est à la baisse pour les niveaux 0, 1 et 2 après la huitième question et à la hausse pour les niveaux 1 et 3. Le modèle stochastique commence par proposer tous les niveaux de complexité possibles tout en privilégiant le niveau 0. Avec ce système, les transitions sont constantes mais pour un petit nombre d'apprenants. La tendance après la dixième question est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. | |
178 | +Ainsi, les systèmes de recommandation permettent de proposer une adaptation progressive du niveau de complexité en fonction des notes obtenues. L'algorithme déterministe génère quatre grandes transitions avec un grand nombre d'apprenants dans les questions 5, 6, 8 et 12, toutes entre des niveaux de complexité contigus. La tendance est à la baisse pour les niveaux 0, 1 et 2 après la huitième question et à la hausse pour les niveaux 1 et 3. L'algorithme stochastique commence par proposer tous les niveaux de complexité possibles tout en privilégiant le niveau 0. Avec ce système, les transitions sont constantes mais pour un petit nombre d'apprenants. La tendance après la dixième question est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. | |
179 | 179 | |
180 | 180 | \colorbox{yellow}{Figure figCmp2 à corriger : ce n'est pas un nombre de question, }\\ |
181 | 181 | \colorbox{yellow}{mais un numéro de question.}\\ |
182 | 182 | |
... | ... | @@ -187,9 +187,9 @@ |
187 | 187 | \label{figCmp2} |
188 | 188 | \end{figure} |
189 | 189 | |
190 | -Après la génération de la première séance, le système peut continuer avec une deuxième liste d'exercices. Pour cette partie des tests, les trois modèles ont été initialisés avec les mêmes données, et des valeurs égales pour tous les apprenants. La figure \ref{figCmp3} permet de voir la première transition du système original ne réagissant qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours. \colorbox{yellow}{La figure X permet de voir la première transition du système original qui ne réagit qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours?} Les transitions sont très lentes, et tous les apprenants doivent suivre un chemin identique même s'ils obtiennent des notes différentes au cours de la séance. | |
190 | +Après la génération de la première séance, le système peut continuer avec une deuxième liste d'exercices. Pour cette partie des tests, les trois algorithmes ont été initialisés avec les mêmes données, et des valeurs égales pour tous les apprenants. La figure \ref{figCmp3} permet de voir la première transition du système original ne réagissant qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours. \colorbox{yellow}{La figure X permet de voir la première transition du système original qui ne réagit qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours?} Les transitions sont très lentes, et tous les apprenants doivent suivre un chemin identique même s'ils obtiennent des notes différentes au cours de la séance. | |
191 | 191 | |
192 | -Pour leur part, les deux autres systèmes de recommandation testés proposent un fonctionnement différent. Le modèle déterministe présente trois transitions aux questions 3, 5 et 12. Les tendances sont y relativement homogènes et progressives pour le niveau 3, très variables pour le niveau 2 et fortement décroissantes pour le niveau 0. Le modèle stochastique quant à lui, propose des transitions douces mais il a tendance à toujours privilégier le niveau le plus faible. Nous pouvons observer une prépondérance du niveau 1 avec ce système. Ici, les niveaux 0 et 1 sont décroissants, le niveau 2 est statique et les niveaux 3 et 4 sont ascendants. | |
192 | +Pour leur part, les deux autres systèmes de recommandation testés proposent un fonctionnement différent. L'algorithme déterministe présente trois transitions aux questions 3, 5 et 12. Les tendances sont y relativement homogènes et progressives pour le niveau 3, très variables pour le niveau 2 et fortement décroissantes pour le niveau 0. L'algorithme stochastique quant à lui, propose des transitions douces mais il a tendance à toujours privilégier le niveau le plus faible. Nous pouvons observer une prépondérance du niveau 1 avec ce système. Ici, les niveaux 0 et 1 sont décroissants, le niveau 2 est statique et les niveaux 3 et 4 sont ascendants. | |
193 | 193 | |
194 | 194 | \begin{figure} |
195 | 195 | \includegraphics[width=\textwidth]{./Figures/comp3.png} |
... | ... | @@ -197,7 +197,7 @@ |
197 | 197 | \label{figCmp3} |
198 | 198 | \end{figure} |
199 | 199 | |
200 | -Les questions de la première et la deuxième séance étant de niveaux 0 et 1, le système a proposé des niveaux de complexité 1 ou 2 pour la troisième séance. La figure \ref{figCmp4} montre que le système original est très lent à passer d'un niveau à l'autre et les changements sont abrupts pour tous. \colorbox{yellow}{tjs parce que pas d'adaptation en cours de séance - et abruptes?}La figure \ref{figCmp3} permet de voir la première transition du système original ne réagissant qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours. Dans ce cas, le modèle de recommandation déterministe adopte la même stratégie et propose un changement brutal à tous les apprenants autour de la cinquième question. Le modèle stochastique continue avec des changements progressifs tout en privilégiant le niveau 2. | |
200 | +Les questions de la première et la deuxième séance étant de niveaux 0 et 1, le système a proposé des niveaux de complexité 1 ou 2 pour la troisième séance. La figure \ref{figCmp4} montre que le système original est très lent à passer d'un niveau à l'autre et les changements sont abrupts pour tous. \colorbox{yellow}{tjs parce que pas d'adaptation en cours de séance - et abruptes?}La figure \ref{figCmp3} permet de voir la première transition du système original ne réagissant qu'aux notes obtenues dans les séances précédentes et non à celles de la séance en cours. Dans ce cas, l'algorithme de recommandation déterministe adopte la même stratégie et propose un changement brutal à tous les apprenants autour de la cinquième question. L'algorithme stochastique continue avec des changements progressifs tout en privilégiant le niveau 2. | |
201 | 201 | |
202 | 202 | \begin{figure} |
203 | 203 | \includegraphics[width=\textwidth]{./Figures/comp4.png} |
... | ... | @@ -205,7 +205,7 @@ |
205 | 205 | \label{figCmp4} |
206 | 206 | \end{figure} |
207 | 207 | |
208 | -Pour comparer numériquement le système original, le modèle déterministe et le modèle de recommandation proposé, un ensemble d'équations a été défini (équation \ref{eqMetric1} et équation \ref{eqMetric2}). Celles-ci permettent de décrire le système de recommandation idéal si l'objectif de l'apprenant est de suivre un apprentissage standard. Une valeur est calculée pour chaque niveau de complexité en fonction de la moyenne des notes et du nombre de questions recommandées dans ce niveau de complexité. L'objectif de cette mesure est d'attribuer un score élevé aux systèmes de recommandation qui proposent plus d'exercices au niveau de complexité où l'apprenant a obtenu une note moyenne plus basse, lui permettant ainsi de renforcer ses connaissances pour ce niveau de complexité. De la même manière, il est attendu que le système de recommandation propose moins d'exercices aux niveaux de complexité pour lesquels les notes moyennes sont élevées, l'étudiant ayant acquis des connaissances suffisantes à ces niveaux de complexité. Les scores faibles sont attribués aux systèmes qui recommandent peu d'exercices à des niveaux de complexité dont les notes moyennes sont faibles et, inversement, s'ils proposent beaucoup d'exercices à des niveaux de complexité dont les notes moyennes sont élevées. | |
208 | +Pour comparer numériquement le système original, l'algorithme déterministe et l'algorithme de recommandation proposé, un ensemble d'équations a été défini (équation \ref{eqMetric1} et équation \ref{eqMetric2}). Celles-ci permettent de décrire le système de recommandation idéal si l'objectif de l'apprenant est de suivre un apprentissage standard. Une valeur est calculée pour chaque niveau de complexité en fonction de la moyenne des notes et du nombre de questions recommandées dans ce niveau de complexité. L'objectif de cette mesure est d'attribuer un score élevé aux systèmes de recommandation qui proposent plus d'exercices au niveau de complexité où l'apprenant a obtenu une note moyenne plus basse, lui permettant ainsi de renforcer ses connaissances pour ce niveau de complexité. De la même manière, il est attendu que le système de recommandation propose moins d'exercices aux niveaux de complexité pour lesquels les notes moyennes sont élevées, l'étudiant ayant acquis des connaissances suffisantes à ces niveaux de complexité. Les scores faibles sont attribués aux systèmes qui recommandent peu d'exercices à des niveaux de complexité dont les notes moyennes sont faibles et, inversement, s'ils proposent beaucoup d'exercices à des niveaux de complexité dont les notes moyennes sont élevées. | |
209 | 209 | |
210 | 210 | \begin{equation} |
211 | 211 | %r_c=x+y-2xy |
... | ... | @@ -246,7 +246,7 @@ |
246 | 246 | \label{figMetric} |
247 | 247 | \end{figure} |
248 | 248 | |
249 | -Les résultats des calculs de la métrique $rp_c(x)$ établie pour le système original et les deux modèles dans les trois scénarios testés sont présentés dans le tableau \ref{tabRM}. | |
249 | +Les résultats des calculs de la métrique $rp_c(x)$ établie pour le système original et les deux algorithmes dans les trois scénarios testés sont présentés dans le tableau \ref{tabRM}. | |
250 | 250 | |
251 | 251 | \begin{table}[!ht] |
252 | 252 | \centering |
... | ... | @@ -296,7 +296,7 @@ |
296 | 296 | |
297 | 297 | La figure \ref{figMetric2} représente la fonction $rs_c(x)$. Comme pour $rp_c$, la valeur maximale de $r$ dans un niveau de complexité spécifique étant égale à $1$, la valeur maximale globale pour les scénarios testés est égale à 5. |
298 | 298 | |
299 | -Les résultats du calcul des métriques pour le système original et les deux modèles dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM2}. | |
299 | +Les résultats du calcul des métriques pour le système original et les deux algorithmes dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM2}. | |
300 | 300 | |
301 | 301 | \begin{figure}[!ht] |
302 | 302 | \centering |
... | ... | @@ -329,7 +329,7 @@ |
329 | 329 | DM&-&-&0.2236&\textbf{0.9674}&-&1.191&23.82\\ |
330 | 330 | SM&0.1873&0.3038&\textbf{0.6345}&0.2394&\textbf{0.1726}&\textbf{1.5376}&\textbf{30.75}\\ |
331 | 331 | \end{tabular} |
332 | -\caption{Évaluation des recommandations proposées selon $rs_c(x)$ par les différents systèmes de recommandation testés : RàPC - Système sans module de recommandation, DM - Modèle deterministique, SM - Modèle stochastique} | |
332 | +\caption{Évaluation des recommandations proposées selon $rs_c(x)$ par les différents systèmes de recommandation testés : RàPC - Système sans module de recommandation, DM - Algorithme deterministique, SM - Algorithme stochastique} | |
333 | 333 | \label{tabRM2} |
334 | 334 | \end{table} |
335 | 335 | |
336 | 336 | |
... | ... | @@ -354,14 +354,14 @@ |
354 | 354 | \end{table} |
355 | 355 | |
356 | 356 | \subsection{Discussion et Conclusion} |
357 | -Avec la génération d'exercices par le système de RàPC initial, AI-VT propose les mêmes exercices à tous les apprenants, et l'évolution des niveaux de complexité est très lente, un changement toutes les trois ou quatre séances environ. En effet, le système ne prend pas en compte les notes obtenues pendant la séance. Les systèmes intégrant l'un des modules de recommandation testés sont plus dynamiques et les évolutions sont plus rapides. En considérant les notes des apprenants, le modèle déterministe suggère des changements de niveaux à un grand nombre d'apprenants de manière soudaine, tandis que le modèle stochastique est plus axé sur la personnalisation individuelle et les changements de niveau de complexité sont produits pour un petit nombre d'apprenants. Les deux modules de recommandation proposés ont la capacité de détecter les faiblesses des apprenants et d'adapter la séance à leurs besoins particuliers. | |
357 | +Avec la génération d'exercices par le système de RàPC initial, AI-VT propose les mêmes exercices à tous les apprenants, et l'évolution des niveaux de complexité est très lente, un changement toutes les trois ou quatre séances environ. En effet, le système ne prend pas en compte les notes obtenues pendant la séance. Les systèmes intégrant l'un des modules de recommandation testés sont plus dynamiques et les évolutions sont plus rapides. En considérant les notes des apprenants, l'algorithme déterministe suggère des changements de niveaux à un grand nombre d'apprenants de manière soudaine, tandis que l'algorithme stochastique est plus axé sur la personnalisation individuelle et les changements de niveau de complexité sont produits pour un petit nombre d'apprenants. Les deux modules de recommandation proposés ont la capacité de détecter les faiblesses des apprenants et d'adapter la séance à leurs besoins particuliers. | |
358 | 358 | \colorbox{yellow}{le texte de la page 83 sous les 2 tables est décalé} |
359 | 359 | |
360 | 360 | Les données générées ont permis de simuler diverses situations avec les notes de mille apprenants, permettant ainsi d'évaluer le comportement des systèmes de recommandation avec différentes configurations. |
361 | 361 | |
362 | 362 | Les résultats numériques montrent que les distributions des questions dans une séance par les deux modules de recommandation sont différentes bien que la tendance générale soit similaire. Les modules de recommandation proposés tentent de répartir les questions dans tous les niveaux de complexité définis. Globalement, le module de recommandation stochastique a obtenu un meilleur score. En comparaison du système original, les modules de recommandation (déterministe et stochastique) proposent 15\% à 68\% d'adaptations pour tous les niveaux de complexité.\colorbox{yellow}{d'adaptation de quoi?} |
363 | 363 | |
364 | -Selon la métrique de la similarité cosinus, le module de recommandation stochastique augmente la diversité des propositions par rapport au système original dans les trois séances d'entrainement testées, ce qui indique qu'en plus d'atteindre l'adaptabilité, des propositions personnalisées sont générées tout en maintenant l'objectif de progression des niveaux de compétence des apprenants. La diversité des propositions est une caractéristique essentielle du modèle de recommandation dans ses deux versions. | |
364 | +Selon la métrique de la similarité cosinus, le module de recommandation stochastique augmente la diversité des propositions par rapport au système original dans les trois séances d'entrainement testées, ce qui indique qu'en plus d'atteindre l'adaptabilité, des propositions personnalisées sont générées tout en maintenant l'objectif de progression des niveaux de compétence des apprenants. La diversité des propositions est une caractéristique essentielle de l'algorithme de recommandation dans ses deux versions. | |
365 | 365 | |
366 | 366 | Les modules de recommandation sont un élément essentiel pour certains EIAH car ils aident à guider le processus d'apprentissage individuel. Ils permettent également d'identifier les faiblesses et de réorienter le processus complet afin d'améliorer les connaissances et les compétences. Les deux modules de recommandation proposés peuvent détecter en temps réel les faiblesses de l'apprenant et tentent de réorienter la séance vers le niveau de complexité le plus adapté. Même si l'ensemble des données générées est une simulation de temps de réponse et de notes fictives d'apprenants fictifs, les tests démontrent la flexibilité et la robustesse des modules de recommandation proposés : les données relatives aux apprenants présentent en effet une grande diversité et obligent le système à s'adapter à différents types de configuration. Par conséquent, il est possible de conclure que les modules de recommandation proposés ont la capacité de fonctionner dans différentes situations et de proposer des chemins alternatifs et personnalisés pour améliorer le processus d'apprentissage global. Leur intégration à l'EIAH AI-VT originel constituent donc une amélioration notable du système. |
367 | 367 | \colorbox{yellow}{Est ce qu'il faut redire que dm vient de Simha, mais tu as fait les tests?} |
... | ... | @@ -377,7 +377,7 @@ |
377 | 377 | |
378 | 378 | Cette section présente les concepts, les définitions et les algorithmes nécessaires à la compréhension du module proposé. Le paradigme fondamental utilisé dans ce travail est le raisonnement à partir de cas (RàPC), qui permet d'exploiter les connaissances acquises et l'expérience accumulée pour résoudre un problème spécifique. L'idée principale est de rechercher des situations antérieures similaires et d'utiliser l'expérience acquise pour résoudre de nouveaux problèmes. Le RàPC suit classiquement un cycle de quatre étapes pour améliorer la solution d'inférence \cite{jmse11050890}. |
379 | 379 | |
380 | -L'un des modèles les plus couramment utilisés dans les EIAH pour adapter le contenu et estimer la progression du niveau de connaissance des apprenants est le BKT (\textit{Bayesian Knowledge Tracing}) \cite{ZHANG2018189}. Ce modèle utilise quatre paramètres pour estimer la progression des connaissances. $P(k)$ estime la probabilité de connaissance dans une compétence spécifique. $P(w)$, est la probabilité que l'apprenant démontre ses connaissances. $P(s)$, est la probabilité que l'apprenant fasse une erreur. $P(g)$, est la probabilité que l'apprenant ait deviné une réponse. La valeur estimée de la connaissance est mise à jour selon les équations \ref{eqbkt1}, \ref{eqbkt2} et \ref{eqbkt3}. Si la réponse de l'apprenant est correcte, l'équation \ref{eqbkt1} est utilisée, mais si la réponse est incorrecte, l'équation \ref{eqbkt2} est utilisée. | |
380 | +L'un des algorithmes les plus couramment utilisés dans les EIAH pour adapter le contenu et estimer la progression du niveau de connaissance des apprenants est le BKT (\textit{Bayesian Knowledge Tracing}) \cite{ZHANG2018189}. Cet algorithme utilise quatre paramètres pour estimer la progression des connaissances. $P(k)$ estime la probabilité de connaissance dans une compétence spécifique. $P(w)$, est la probabilité que l'apprenant démontre ses connaissances. $P(s)$, est la probabilité que l'apprenant fasse une erreur. $P(g)$, est la probabilité que l'apprenant ait deviné une réponse. La valeur estimée de la connaissance est mise à jour selon les équations \ref{eqbkt1}, \ref{eqbkt2} et \ref{eqbkt3}. Si la réponse de l'apprenant est correcte, l'équation \ref{eqbkt1} est utilisée, mais si la réponse est incorrecte, l'équation \ref{eqbkt2} est utilisée. | |
381 | 381 | |
382 | 382 | \begin{equation} |
383 | 383 | P(k_{t-1}|Correct_t)=\frac{P(k_{t-1})(1-P(s))}{P(k_{t-1})(1-P(s))+(1-P(k_{t-1}))P(g)} |
384 | 384 | |
... | ... | @@ -504,12 +504,12 @@ |
504 | 504 | |
505 | 505 | L'idée est d'unifier les deux modules en se fondant à la fois sur des informations locales (recommandation fondée sur l'échantillonnage de Thompson et les informations propres à l'apprenant), et sur des informations globales (cas similaires de la base de connaissances du système de RàPC). |
506 | 506 | |
507 | -L'architecture du modèle est présentée sur la figure \ref{fig:Amodel}, où l'on peut voir que les deux modèles TS et RàPC sont exécutés en parallèle et indépendamment. Des synchronisations sont faites après obtention des résultats de chaque module sont obtenus. \colorbox{yellow}{revoir al phrase, suppr sont obtenus?}Ces résultats sont unifiés via d'une fonction de pondération. La recommandation finale est calculée selon l'équation \ref{eqMixModels_}. La consolidation des résultats permet d'atténuer l'effet \textit{paradoxe de Simpson} \cite{10.1145/3578337.3605122} caractérisant des tendances divergentes lors de l'unification d'ensembles de données différents \cite{lei2024analysis}. \colorbox{yellow}{<== Contresens ?} | |
507 | +L'architecture de l'algorithme est présentée sur la figure \ref{fig:Amodel}, où l'on peut voir que les deux algorithmes TS et RàPC sont exécutés en parallèle et indépendamment. Des synchronisations sont faites après obtention des résultats de chaque module sont obtenus. \colorbox{yellow}{revoir al phrase, suppr sont obtenus?}Ces résultats sont unifiés via d'une fonction de pondération. La recommandation finale est calculée selon l'équation \ref{eqMixModels_}. La consolidation des résultats permet d'atténuer l'effet \textit{paradoxe de Simpson} \cite{10.1145/3578337.3605122} caractérisant des tendances divergentes lors de l'unification d'ensembles de données différents \cite{lei2024analysis}. \colorbox{yellow}{<== Contresens ?} | |
508 | 508 | |
509 | 509 | \begin{figure} |
510 | 510 | \centering |
511 | 511 | \includegraphics[width=0.7\linewidth]{Figures/Model.png} |
512 | - \caption{Schéma de l'architecture du modèle proposé} | |
512 | + \caption{Schéma de l'architecture de l'algorithme proposé} | |
513 | 513 | \label{fig:Amodel} |
514 | 514 | \end{figure} |
515 | 515 | |
516 | 516 | |
... | ... | @@ -537,13 +537,13 @@ |
537 | 537 | $D_{JS}$&f&Divergence de Jensen-Shannon&$[0,1] \in \mathbb{R}$\\ |
538 | 538 | |
539 | 539 | \end{tabular} |
540 | - \caption{Paramètres (p), variables (v) et fonctions (f) du modèle proposé et métriques utilisées} | |
540 | + \caption{Paramètres (p), variables (v) et fonctions (f) du algorithme proposé et métriques utilisées} | |
541 | 541 | \label{tabvp} |
542 | 542 | \end{table} |
543 | 543 | \colorbox{yellow}{temps défini par itération?} |
544 | 544 | \colorbox{yellow}{la figure 7.7 n'est pas jolie/lisible} |
545 | 545 | |
546 | -Comme exprimé précédemment, le processus de recommandation se fait en trois étapes. Tout d'abord, il est nécessaire d'avoir des valeurs aléatoires pour chaque niveau de complexité $c$ en utilisant les distributions de probabilité générées avec le modèle TS (équation \ref{IntEq1_}). Une fois que toutes les valeurs de probabilité correspondant à tous les niveaux de complexité ont été obtenues, la normalisation de toutes ces valeurs est calculée selon l'équation \ref{IntEq2_}. Les valeurs de normalisation servent de paramètres de priorité pour les prédictions effectuées par ESCBR-SMA (équation \ref{eqMixModels_}). La recommandation finalement proposée est celle dont la valeur est la plus élevée. | |
546 | +Comme exprimé précédemment, le processus de recommandation se fait en trois étapes. Tout d'abord, il est nécessaire d'avoir des valeurs aléatoires pour chaque niveau de complexité $c$ en utilisant les distributions de probabilité générées avec le algorithme TS (équation \ref{IntEq1_}). Une fois que toutes les valeurs de probabilité correspondant à tous les niveaux de complexité ont été obtenues, la normalisation de toutes ces valeurs est calculée selon l'équation \ref{IntEq2_}. Les valeurs de normalisation servent de paramètres de priorité pour les prédictions effectuées par ESCBR-SMA (équation \ref{eqMixModels_}). La recommandation finalement proposée est celle dont la valeur est la plus élevée. | |
547 | 547 | |
548 | 548 | \begin{equation} |
549 | 549 | TS_c=rand(Beta(\alpha_c, \beta_c)) |
... | ... | @@ -566,8 +566,8 @@ |
566 | 566 | |
567 | 567 | Pour cette raison, les différentes approches proposées ont été testées sur des données générées : les notes et les temps de réponse de 1000 apprenants fictifs et cinq questions par niveau de complexité. Les notes des apprenants ont été créées en suivant la loi de distribution logit-normale que nous avons jugée proche de la réalité de la progression d'un apprentissage.\colorbox{yellow}{lien vers la base générée?} |
568 | 568 | |
569 | -Quatre séries de tests ont été effectuées. La première série a été menée sur le système AI-VT intégrant le système de RàPC pour la régression afin de démontrer la capacité du modèle à prédire les notes à différents niveaux de complexité. | |
570 | -La deuxième série de tests a évalué la progression des connaissances avec TS afin d'analyser la capacité du module à proposer des recommandations personnalisées. Lors de la troisième série de tests, nous avons comparé les modèles de recommandation BKT et TS. Enfin, lors de la quatrième série de tests, nous avons comparé TS seul et TS avec ESCBR-SMA. | |
569 | +Quatre séries de tests ont été effectuées. La première série a été menée sur le système AI-VT intégrant le système de RàPC pour la régression afin de démontrer la capacité de l'algorithme à prédire les notes à différents niveaux de complexité. | |
570 | +La deuxième série de tests a évalué la progression des connaissances avec TS afin d'analyser la capacité du module à proposer des recommandations personnalisées. Lors de la troisième série de tests, nous avons comparé les algorithmes de recommandation BKT et TS. Enfin, lors de la quatrième série de tests, nous avons comparé TS seul et TS avec ESCBR-SMA. | |
571 | 571 | |
572 | 572 | \subsubsection{Régression avec ESCBR-SMA pour l'aide à l'apprentissage humain} |
573 | 573 | |
... | ... | @@ -646,7 +646,7 @@ |
646 | 646 | |
647 | 647 | \subsubsection{Progression des connaissances} |
648 | 648 | |
649 | -Le modèle de recommandation TS est fondé sur le paradigme bayésien le rendant ainsi particulièrement adapté au problèmes liés à la limitation de la quantité de données et à une incertitude forte. Afin de quantifier la connaissance et de voir sa progression dans le temps avec TS, la divergence de Jensen-Shannon avec la famille de distribution Beta en $t$ et $t-1$ a été mesurée. L'équation \ref{eqprog1} décrit formellement le calcul à effectuer avec les distributions de probabilité en un temps $t$ pour un niveau de complexité $c$, en utilisant la définition $m$ (équation \ref{eqprog2}). | |
649 | +L'algorithme de recommandation TS est fondé sur le paradigme bayésien le rendant ainsi particulièrement adapté au problèmes liés à la limitation de la quantité de données et à une incertitude forte. Afin de quantifier la connaissance et de voir sa progression dans le temps avec TS, la divergence de Jensen-Shannon avec la famille de distribution Beta en $t$ et $t-1$ a été mesurée. L'équation \ref{eqprog1} décrit formellement le calcul à effectuer avec les distributions de probabilité en un temps $t$ pour un niveau de complexité $c$, en utilisant la définition $m$ (équation \ref{eqprog2}). | |
650 | 650 | |
651 | 651 | %\begin{equation} |
652 | 652 | \begin{multline} |
... | ... | @@ -705,7 +705,7 @@ |
705 | 705 | \label{fig:stabilityBP} |
706 | 706 | \end{figure} |
707 | 707 | |
708 | -La précision de la recommandation pour tous les apprenants est évaluée en considérant comme comportement correct deux états : i) le modèle recommande un niveau où l'apprenant a une note supérieure ou égal à 6 et ii) le modèle recommande un niveau inférieur au niveau réel évalué par l'apprenant. Le premier cas montre que le modèle a identifié le moment précis où l'apprenant doit augmenter le niveau de complexité, le second cas permet d'établir que le modèle propose de renforcer un niveau de complexité plus faible. Puis la précision est calculée comme le rapport entre le nombre d'états correspondant aux comportements corrects définis et le nombre total de recommandations. La figure \ref{fig:precision} montre les résultats de cette métrique après 100 exécutions.\ | |
708 | +La précision de la recommandation pour tous les apprenants est évaluée en considérant comme comportement correct deux états : i) l'algorithme recommande un niveau où l'apprenant a une note supérieure ou égal à 6 et ii) l'algorithme recommande un niveau inférieur au niveau réel évalué par l'apprenant. Le premier cas montre que l'algorithme a identifié le moment précis où l'apprenant doit augmenter le niveau de complexité, le second cas permet d'établir que l'algorithme propose de renforcer un niveau de complexité plus faible. Puis la précision est calculée comme le rapport entre le nombre d'états correspondant aux comportements corrects définis et le nombre total de recommandations. La figure \ref{fig:precision} montre les résultats de cette métrique après 100 exécutions.\ | |
709 | 709 | |
710 | 710 | \begin{figure}[!ht] |
711 | 711 | \centering |
... | ... | @@ -736,7 +736,7 @@ |
736 | 736 | |
737 | 737 | \subsubsection{Système de recommandation avec ESCBR-SMA} |
738 | 738 | |
739 | -Le troisième étape est l'association des deux modèles afin de combiner des observations qui ne sont pas directement liées l'une à l'autre, c'est-à-dire en utilisant l'information individuelle (recommandation avec Thomson) et le filtre collaboratif (interpolation avec ESCBR-SMA). Cette partie présente une comparaison entre le système de recommandation TS et le système de recommandation TS intégrée à la prédiction ESCBR-SMA. | |
739 | +Le troisième étape est l'association des deux algorithmes afin de combiner des observations qui ne sont pas directement liées l'une à l'autre, c'est-à-dire en utilisant l'information individuelle (recommandation avec Thomson) et le filtre collaboratif (interpolation avec ESCBR-SMA). Cette partie présente une comparaison entre le système de recommandation TS et le système de recommandation TS intégrée à la prédiction ESCBR-SMA. | |
740 | 740 | |
741 | 741 | Les résultats proposés sont comparés après réponse des apprenants à six questions car il est nécessaire de disposer d'informations préalables pour utiliser l'algorithme ESCBR-SMA et prédire les notes dans tous les niveaux de complexité à la question suivante. |
742 | 742 | |
... | ... | @@ -767,7 +767,7 @@ |
767 | 767 | \colorbox{yellow}{Il manque une légende sur cette figure. Que représentent les axes ? Quelles sont les unités ?}\\ |
768 | 768 | Cette figure montre une bifurcation après la septième question.\\ |
769 | 769 | \colorbox{yellow}{La suite est à reformuler ensemble, je ne vois pas en quoi TS-ESCBR-SMA est meilleur ou supérieur} |
770 | - , et l'intégration de l'échantillonnage de Thompson et du raisonnement à partir de cas permet d'améliorer l'évolution des connaissances par rapport au seul modèle d'échantillonnage de Thompson (Figure \ref{fig_cmp2}). Pour toutes les questions de la même séance, en moyenne, la progression est supérieure par rapport à l'utilisation du seul modèle d'échantillonnage de Thompson comme modèle de recommandation. | |
770 | + , et l'intégration de l'échantillonnage de Thompson et du raisonnement à partir de cas permet d'améliorer l'évolution des connaissances par rapport au seul algorithme d'échantillonnage de Thompson (Figure \ref{fig_cmp2}). Pour toutes les questions de la même séance, en moyenne, la progression est supérieure par rapport à l'utilisation du seul algorithme d'échantillonnage de Thompson comme technique de recommandation. | |
771 | 771 | |
772 | 772 | \begin{figure}[!h] |
773 | 773 | \centering |
... | ... | @@ -790,7 +790,7 @@ |
790 | 790 | |
791 | 791 | Dans la partie précédente, nous avons proposé un système capable de permettre à l'apprenant de suivre une progression relativement linéaire. Toutefois, certaines notions sont parfois oubliées par les apprenants et des rappels doivent être proposés afin de mieux consolider les connaissances. C'est la raison pour laquelle nous nous intéressons dans cette partie à l'intégration d'un processus de Hawkes qui permet de simuler une courbe d'oubli. |
792 | 792 | |
793 | -\subsection{Modèle Proposé} | |
793 | +\subsection{Algorithme Proposé} | |
794 | 794 | |
795 | 795 | L'algorithme proposé est une intégration de la recommandation stochastique (fondée sur l'échantillonnage de Thompson), du raisonnement à partir de cas (ESCBR-SMA) et du processus de Hawkes. Dans ce cas, l'algorithme de recommandation produit une adaptation en fonction des notes de l'apprenant et l'ESCBR-SMA effectue une prédiction pour valider l'adaptation générée, le processus de Hawkes simule la courbe d'oubli dans le processus d'apprentissage. |
796 | 796 | |
... | ... | @@ -924,7 +924,7 @@ |
924 | 924 | |
925 | 925 | \subsection{Conclusion} |
926 | 926 | |
927 | -Cette partie a présenté un algorithme intégrant un système de recommandation fondé sur l'algorithme d'échantillonnage de Thompson, un modèle de régression d'ensemble fondé sur le raisonnement par cas et système multi-agents, et une fonction d'oubli fondée sur le processus de Hawkes. Nous avons mesuré ses performances sur un ensemble de données générées permettant de simuler les notes et temps de réponses obtenues par 1000 apprenants sur un EIAH proposant des exercices répartis sur cinq niveaux de complexité. Ces tests ont été réalisés en vue d'une intégration à l'EIAH AI-VT. Les résultats montrent que le module final permet de réviser les séances d'entrainement, de proposer des exercices progressivement plus difficiles, tout en intégrant des rappels de notions. | |
927 | +Cette partie a présenté un algorithme intégrant un système de recommandation fondé sur l'algorithme d'échantillonnage de Thompson, un algorithme de régression d'ensemble fondé sur le raisonnement par cas et système multi-agents, et une fonction d'oubli fondée sur le processus de Hawkes. Nous avons mesuré ses performances sur un ensemble de données générées permettant de simuler les notes et temps de réponses obtenues par 1000 apprenants sur un EIAH proposant des exercices répartis sur cinq niveaux de complexité. Ces tests ont été réalisés en vue d'une intégration à l'EIAH AI-VT. Les résultats montrent que le module final permet de réviser les séances d'entrainement, de proposer des exercices progressivement plus difficiles, tout en intégrant des rappels de notions. | |
928 | 928 | |
929 | 929 | \colorbox{yellow}{Il manque une conclusion au chapitre :}\\ |
930 | 930 | \colorbox{yellow}{ - rappel du fonctionnement global du module final,}\\ |