\chapter{Système de Recommandation dans AI-VT}

\section{Introduction}

Ce chapitre explicite l'algorithme de recommandation proposé basé sur les résultats produits par l'apprenant en temps réel. La plupart du contenu est extrait et traduit de l'article Soto \textit{et al.} \cite{Soto2}.

Ce chapitre présente un modèle d'adaptation automatique en temps réel d'une session prédéterminée à l'intérieur du système AI-VT. Dans cette adaptation le processus fait partie d'un modèle global de raisonnement à partir de cas. Le modèle proposé est stochastique et a été testé avec trois scénarios différents. Les résultats montrent l'adaptation dynamique du modèle proposé, les adaptations obtenues aidant le système à évoluer plus rapidement et identifier les faiblesses des apprenants dans les différents niveaux de complexité ainsi que la génération de recommandations pertinentes dans des cas spécifiques pour chaque capacité d'apprenant.

Le module mis en œuvre pour AI-VT est classé dans la catégorie des systèmes de recommandation. Les systèmes de recommandation dans les environnements d'apprentissage prennent en compte les exigences, les besoins, le profil, les talents, les intérêts et l'évolution de l'apprenant pour adapter et recommander des ressources ou des exercices dans le but d'améliorer l'acquisition et la maîtrise des concepts et des connaissances en général. L'adaptation de ces systèmes peut être de deux types, l'adaptation de la présentation qui montre aux apprenants des ressources d'étude en fonction de leurs faiblesses et l'adaptation de la navigation qui change la structure du cours en fonction du niveau et du style d'apprentissage de chaque apprenant \cite{MUANGPRATHUB2020e05227}.

Les techniques de recommandation sont utiles dans les EIAH car elles peuvent détecter les changements et évoluer vers un état optimal, comme l'algorithme d'échantillonnage de Thompson (TS), qui est un algorithme de type probabiliste appartenant à la catégorie des algorithmes d'apprentissage par renforcement, où l'algorithme choisit au temps $t$ une action $a$ à partir d'un ensemble $A$, obtient une récompense pour l'action $a$ et, en fonction de la valeur de la récompense, ajuste sa stratégie de décision pour choisir au temps $t + 1$ une autre action $a$, dans le but de maximiser la récompense. Il est fondé sur le principe Bayésien, où il y a une distribution de probabilité a priori et avec les données obtenues une distribution de probabilité a posteriori est générée qui vise à maximiser l'estimation de la valeur attendue. Pour la variante de Bernoulli, où la récompense n'a que deux valeurs possibles 0 et 1 ou succès et échec, la distribution de base utilisée est la distribution Beta qui est définie sur [0, 1] et paramétrée par deux valeurs $\alpha$ et $\beta$ \cite{9870279}.

\section{Modèle Proposé}

Le modèle proposé, en tant que système de recommandation, prend en compte les notes antérieures des apprenants pour estimer leurs connaissances et leur maîtrise des différentes compétences, sous-compétences et niveaux de complexité au sein du système AI-VT, puis adapte les sessions pour maximiser l'acquisition des connaissances et la maîtrise des différents domaines contenus dans la même compétence définie. Le modèle est conçu comme une modification de l'algorithme d'échantillonnage de Thompson avec l'intégration de l'échantillonnage stratifié pour obtenir l'adaptation.

On utilise la famille Beta de distributions de probabilité pour définir dynamiquement le nouveau niveau de complexité (équation \ref{eqBeta}) inspiré de l'algorithme d'échantillonnage de Thompson. Cette version du modèle permet de recommander des niveaux de complexité non contigus, mais la priorité est de recommander les niveaux dans lesquels des défauts ont été détectés. La paramétrisation initiale de toutes les distributions de probabilité peut forcer le modèle à recommander des niveaux de complexité contigus plus élémentaires.

\begin{equation}
B(x, \alpha, \beta) =
\begin{cases}
\frac{x^{\alpha-1}(1-x)^{\beta - 1}}{\int_0^1 u^{\alpha - 1}(1-u)^{\beta - 1}du} & for \; x \in [0, 1] \\
0&otherwise
\end{cases}
\label{eqBeta}
\end{equation}

Les variables qui font partie du modèle sont spécifiées dans le tableau \ref{tabPar}.

\begin{table}[!ht]
\centering
\begin{tabular}{ccc}
ID&Description&Domain\\
\hline
$c_n$&Niveaux de complexité&$\mathbb{N} \; | \; c_n>0$\\
$g_m$&Valeur maximale dans l'échelle des notes& $\mathbb{N} \;|\; g_m>0$ \\
$g_t$&Seuil de notation &$(0, g_m) \in \mathbb{R}$\\
$s$&Nombre de parcours définis&$\mathbb{N} \; | \; s>0$\\
$s_c$&Parcours courant fixe défini&$[1, s] \in \mathbb{N}$\\
$\Delta s$&Pas pour les paramètres de la distribution bêta dans le parcours $s$ &$(0,1) \in \mathbb{R}$\\
$t_m$&Valeur maximale du temps de réponse&$\mathbb{R} \; | \; t_m>0$\\
$g_{c}$&Note de l'apprenant à une question de complexité $c$&$[0, g_m] \in \mathbb{R}$\\
$ng_c$&Grade de l'apprenant avec pénalisation du temps &$[0, g_m] \in \mathbb{R}$\\
$t_{c}$&Le temps de réponse à une question de complexité $c$&$[0, t_m] \in \mathbb{R}$\\
$ncl$&Nouveau niveau de complexité calculé&$\mathbb{N}$\\
$\alpha_{c}$&Valeur de $\alpha$ dans la complexité $c$&$\mathbb{R} \; | \; \alpha_{c}>0$\\
$\beta_{c}$&Valeur de $\beta$ dans la complexité $c$&$\mathbb{R} \; | \; \beta_{c}>0$\\
$\Delta \beta$&Pas initial du paramètre bêta&$\mathbb{N} \; | \; \Delta \beta >0$\\
$\lambda$&Poids de la pénalisation temporelle&$(0,1) \in \mathbb{R}$\\
$G_c$&Ensemble de $d$ notes dans le niveau de complexité $c$&$\mathbb{R}^d \;, d\in \mathbb{N} \; | \; d>0$\\
$x_c$&Notes moyennes normalisées&$[0, 1] \in \mathbb{R}$\\
$n_c$&Nombre total de questions dans une session&$\mathbb{N} \; | \; n_c>0$\\
$ny_c$&Nombre de questions dans le niveau de complexité $c$&$\mathbb{N} \; | \; 0<ny_c \le n_c$\\
$y_c$&Proportion de questions dans le niveau de complexité $c$&$[0, 1] \in \mathbb{R}$\\
$r$&Valeur totale de la métrique définie pour l'adaptabilité&$[0, c_n] \in \mathbb{R}$\\
$sc$&Valeur totale de la métrique de similarité cosinus&$[-1, 1] \in \mathbb{R}$\\
\end{tabular}
\caption{Variables et paramètres du modèle proposé}
\label{tabPar}
\end{table}

Dans ce cas, il est nécessaire d'utiliser la variable de seuil de grade $g_t$ pour déterminer la variabilité de la distribution de probabilité pour chaque niveau de complexité. Les équations \ref{eqsMg}, \ref{eqgtc} et \ref{eqltc} montrent les règles de mise à jour corrélées, ces règles modifient les valeurs par récompense inverse. Chaque niveau de complexité est associé à une distribution de probabilité Beta avec des valeurs initiales prédéfinies pour les paramètres $\alpha$ et $\beta$.

\begin{equation}
ng_c=g_c
\label{eqsMg}
\end{equation}

\begin{equation}
ng_c \ge g_t \rightarrow
\begin{cases}
\beta_c=\beta_c+\Delta_s\\
\beta_{c-1}=\beta_{c-1} + \frac{\Delta_s}{2}\\
\alpha_{c+1}=\alpha_{c+1} + \frac{\Delta_s}{2}
\end{cases}
\label{eqgtc}
\end{equation}

\begin{equation}
ng_c < g_t \rightarrow
\begin{cases}
\alpha_c=\alpha_c+\Delta_s\\
\alpha_{c-1}=\alpha_{c-1} + \frac{\Delta_s}{2}\\
\beta_{c+1}=\beta_{c+1} + \frac{\Delta_s}{2}
\end{cases}
\label{eqltc}
\end{equation}

Le nouveau niveau de complexité est l'indice de la valeur aléatoire maximale (générée à partir de la distribution Beta de chaque niveau de complexité, équation \ref{eqBRnd}) pour tous les niveaux de complexité (équation \ref{eqsncl}).

\begin{equation}
\theta_c  = Beta(\alpha_c, \beta_c)
\label{eqBRnd}
\end{equation}

\begin{equation}
ncl=max_x(\mathbb{E}[\theta_x]), 0<=x<=c_n
\label{eqsncl}
\end{equation}

La note des apprenants peut considérer aussi le temps de réponse comme une pénalité, et dans ce cas-là la note est calcule comme la équation \ref{eqsGT}.

\begin{equation}
ng_c=g_c- \left(g_c * \lambda * \frac{t_c}{t_m} \right)
\label{eqsGT}
\end{equation}

Le détail des pas d'exécution du modèle proposé sont dans l'algorithme \ref{alg2}.

\begin{algorithm}
\caption{Stochastic Recommendation Model}
\begin{algorithmic}
\State Initialize the a-priori distributions of probability
\For {\textbf{each} questions $q$}
	\State With $i$ as actual complexity level $c$
	\State Calculate $ng_i$ \Comment{eq \ref{eqsMg} or eq \ref{eqsGT}}
	\State Update parameters $\alpha_i$ and $\beta_i$ \Comment{eq \ref{eqgtc} and eq \ref{eqltc}}
	\State Get random values $\theta_c$ with Beta distribution\Comment{$\forall c$, eq \ref{eqBRnd}}
	\State Get $ncl$ \Comment{eq \ref{eqsncl}}
\EndFor
\end{algorithmic}
\label{alg2}
\end{algorithm}

\section{Résultats}

Le comportement du modèle a été testé avec un jeu de données généré, ce jeu de données contient les notes et les temps de réponse de 1000 apprenants pour 5 niveaux de complexité différents, la description des données est indiquée dans le Tableau \ref{tabDataSet}. Les notes des apprenants sont générées avec la distribution logit-normale de probabilité, car c'est expérimentalement le meilleur modèle de représentation \cite{Arthurs}.

L'ensemble de données généré est une simulation des notes des apprenants pour les réponses à quinze questions à chacun des cinq niveaux de complexité. L'ensemble de données simule, via la distribution de probabilité logit-normale, une faiblesse dans chaque niveau de complexité pour 70\% des apprenants dans les dix premières questions. La difficulté de la complexité est également simulée en réduisant le score moyen et en augmentant la variance. La figure \ref{figData} montre la distribution de l'ensemble de données des notes de 1000 apprenants par niveau de complexité.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/dataset.png}
\caption{Boîte à moustaches pour la base de données générée}
\label{figData} 
\end{figure}

\begin{table}[!ht]
\centering
\begin{tabular}{ccc}
ID&Description&Domain\\
\hline
$q_{c}$&Niveau de complexité de une question $q$&$[0, c_n] \in \mathbb{N}$\\
$q_{g,c}$&Note obtenue $g$ pour la question $q$ avec complexité $c$ &$[0,g_m] \in \mathbb{R}$\\
$q_{t,c}$&Temps employé $t$ pour une question $q$ avec complexité $c$&$[0, t_m] \in \mathbb{R}$\\
\end{tabular}
\caption{Description des variables utilisées dans la base de données evaluée}
\label{tabDataSet}
\end{table}

Toutes les valeurs des paramètres pour tester le modèle sont dans le tableau \ref{tabgm1}.

\begin{table}[!ht]
\centering
\begin{tabular}{c|cccccccccccccc}
ID&$c_n$&$g_m$&$t_m$&$s$&$s_c$&$\lambda$&$g_t$&$\alpha_{x,1}$&$\alpha_{x,y}$&$\beta_{x,1}$&$\Delta \beta_{x,y}$&$\Delta_1$&$\Delta_2$&$\Delta_3$\\
\hline
Valeur&5&10&120&3&2&0.25&6 & 2 & 1 & 1 & 1 & 0.3 & 0.5 & 0.7\\
\end{tabular}
\caption{Valeurs des paramètres pour les scénarios evalués}
\label{tabgm1}
\end{table}

Les résultats de la première comparaison sans données historiques (démarrage à froid) entre le odèle proposé, un système de recommandation déterministe et le système original (CBR) sont présentés dans la figure \ref{figCmp2}, où apparaissent différents nombres et échelles de transitions, le système original ne présente pas de transitions, tous les apprenants sont évalués au niveau de complexité 0, les notes obtenues pendant la session ne sont pas prises en compte. Le système avec des modèles de recommandation tente d'adapter le niveau de complexité en fonction des notes obtenues. Le modèle déterministe génère quatre grandes transitions avec un grand nombre d'apprenants dans les questions 5, 6, 8 et 12, toutes entre des niveaux de complexité contigus, la tendance est à la baisse pour les niveaux 0, 1 et 2 après la huitième question et à la hausse pour les niveaux 1 et 3. Le modèle proposé (stochastique), commence par proposer tous les niveaux de complexité possibles mais se concentre sur le niveau 0, les transitions sont constantes mais pour un petit nombre d'apprenants, la tendance après la dixième question est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. La tendance est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. La tendance est à la hausse pour les niveaux 1, 2 et 3.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp2.png} 
\caption{Résultats pour le premier test}
\label{figCmp2}
\end{figure}

Après la génération de la première session, le système peut continuer avec la liste suivante d'exercices, dans ce cas les trois modèles ont été initialisés avec les mêmes données, et des valeurs égales pour tous les apprenants. La figure \ref{figCmp3} permet de voir la première transition du système original, cette transition montre que le système agit uniquement avec les notes obtenues dans le passé et les transitions sont très lentes, même si les notes sont différentes au cours de la session, tous les apprenants doivent suivre le même chemin. Cependant, les modèles de recommandation changent, le modèle déterministe présente trois transitions dans les questions 3, 5 et 12. Les tendances sont statiques pour le niveau 3, variables pour le niveau 2 et fortement descendantes pour le niveau 0. Le modèle stochastique continue avec des transitions douces mais essaie toujours de préférer le niveau le plus faible, dans ce cas le modèle a identifié le niveau de complexité 1. Ici, les niveaux 0 et 1 sont descendants, le niveau 2 est statique et les niveaux 3 et 4 sont ascendants.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp3.png} 
\caption{Résultats pour le deuxième Test}
\label{figCmp3}
\end{figure}

Enfin, les données d'initialisation considèrent comme évalués deux niveaux de complexité 0 et 1, alors naturellement le système doit commencer avec le niveau 1 ou 2. Comme le système original est très lent à passer d'un niveau à l'autre, ce système commence par le niveau de complexité 1, comme le montre la figure \ref{figCmp4}, comme les deux autres comparaisons, les changements dans ce système ne sont pas progressifs, mais directs pour tous. Dans ce cas, le modèle de recommandation déterministe adopte la même stratégie et propose un changement direct pour tous les apprenants autour de la cinquième question. Le modèle stochastique continue avec des changements faibles mais constants, mais avec une préférence pour le niveau 2, la tendance est très stable sauf pour 1 (à la hausse) et 2 (à la baisse) niveaux.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp4.png} 
\caption{Résultats pour le troisième Test}
\label{figCmp4}
\end{figure}

Pour comparer numériquement le système original, le modèle déterministe et le modèle de recommandation proposé, un ensemble d'équations a été défini (équation \ref{eqMetric1} et équation \ref{eqMetric2}) qui décrit le système de recommandation idéal si l'objectif de l'apprenant est l'apprentissage standard, la métrique calcule une valeur pour chaque niveau de complexité en fonction de la moyenne des notes et du nombre de questions recommandées dans ce niveau de complexité. L'objectif de cette métrique est d'attribuer un score élevé aux systèmes de recommandation qui proposent plus d'exercices au niveau de complexité où l'apprenant a obtenu une note moyenne plus basse, dans l'idée de renforcer les connaissances à ce niveau de complexité, de même s'ils proposent moins d'exercices aux niveaux de complexité où la note moyenne est élevée, puisqu'il est supposé que l'étudiant a déjà acquis des connaissances suffisantes à ces niveaux de complexité. Les scores faibles sont attribués aux systèmes qui recommandent peu d'exercices à des niveaux de complexité dont les notes moyennes sont faibles et, inversement, s'ils proposent beaucoup d'exercices à des niveaux de complexité dont les notes moyennes sont élevées.

\begin{equation}
%r_c=x+y-2xy
%r_c=x^2+y^2-2x^2y^2
rp_c(x)=e^{-2(x_{0,c}+x_{1,c}-1)^2} ; \{x \in \mathbb{R}^2 | 0<=x<=1\}
\label{eqMetric1}
\end{equation}

\begin{equation}
r=\sum_{c=0}^{c_n-1} rp_c
\label{eqMetric2}
\end{equation}

Les propriétés de la métrique sont : 
\begin{itemize}
    \item $\{\forall x \in \mathbb{R}^2 | 0<=x<=1\},  rp_c(x)>0$
    \item $max(rp_c(x))=1; \; if \; x_{0,c}+x_{1,c}=1$
    \item $min(rp_c(x))=0.1353; \; if \; \left ( \sum_{i=1}^2 x_{i,c}=0 \; \lor \; \sum_{i=1}^2 x_{i,c} = 2 \right )$\\
\end{itemize}

Dans l'équation \ref{eqMetric1}, $x_{0,c}$ est la moyenne normalisée des notes dans le niveau de complexité $c$ (équation \ref{eqXc}), et $x_{1,c}$ est le nombre normalisé de questions répondues dans le niveau de complexité $c$ (équation \ref{eqYc}).

\begin{equation}
x_{0,c}=\frac{<g_c>_{G_c}}{g_m}
\label{eqXc}
\end{equation}

\begin{equation}
x_{1,c}=\frac{ny_c}{n_c}
\label{eqYc}
\end{equation}

La figure \ref{figMetric} montre l'équation globale pour la métrique $rp$ dans le domaine de deux variables $x_{0,c}$ et $x_{1,c}$. La valeur maximale de $r$ dans un niveau de complexité spécifique est de 1, la valeur maximale globale pour les scénarios testés est de 5. Un bon système de recommandation devrait donc avoir une valeur $r$ élevée.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/metric.png} 
\caption{Métrique pour le parcours standard}
\label{figMetric}
\end{figure}

Les résultats des calculs de la métrique établie pour le système original et les deux modèles dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM}.

\begin{table}[!ht]
\centering
\begin{tabular}{cccccccc}
&$c_0$&$c_1$&$c_2$&$c_3$&$c_4$&Total ($r$)&Total ($\%$)\\
\hline
Test 1\\
\hline
CBR&0.5388&-&-&-&-&0.5388&10.776\\
DM&0.8821&0.7282&\textbf{0.9072}&\textbf{0.8759}&-&3.3934&67.868\\
SM&\textbf{0.9463}&\textbf{0.8790}&0.7782&0.7108&0.6482&\textbf{3.9625}&79.25\\
\hline
Test 2\\
\hline
CBR&0.9445&\textbf{0.9991}&-&-&-&1.9436&38.872\\
DM&-&0.9443&\textbf{0.8208}&\textbf{0.9623}&-&2.7274&54.548\\
SM&\textbf{0.9688}&0.9861&0.8067&0.7161&0.6214&\textbf{4.0991}&81.982\\
\hline
Test3\\
\hline
CBR&-&0.8559&0.7377&-&-&1.5936&31.872
\\
DM&-&-&0.5538&\textbf{0.7980}&-&1.3518&27.036\\
SM&0.9089&\textbf{0.9072}&\textbf{0.9339}&0.7382&0.6544&\textbf{4.1426}&82.852\\
\end{tabular}
\caption{Résultats de la métrique $rp_c(x)$ (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabRM}
\end{table}

Une métrique pour l'apprentissage en douceur est définie dans l'équation \ref{eqMetricS1} et l'équation \ref{eqMetricS2}, avec cette métrique un score élevé est attribué aux systèmes qui proposent plus d'exercices dans un niveau de complexité où les notes moyennes sont d'environ 0,4 et qui sont plus flexibles avec des notes moyennes plus basses, également si le nombre d'exercices proposés est faible pour des notes moyennes élevées. Les scores faibles sont attribués aux systèmes qui recommandent un nombre élevé de questions dans un niveau de complexité avec des notes moyennes élevées et si le nombre d'exercices recommandés est trop élevé ou trop faible pour les notes inférieures.

\begin{equation}
rs_c(x)=e^{-\frac{2}{100}(32x_{0,c}^2-28x_{0,c}+10x_{1,c}-4)^2} ; \{x \in \mathbb{R}^2 | 0<=x<=1\}
\label{eqMetricS1}
\end{equation}

\begin{equation}
r=\sum_{c=0}^{c_n-1} rs_c
\label{eqMetricS2}
\end{equation}

Les propriétés de la métrique sont : 
\begin{itemize}
    \item $\{\forall x \in \mathbb{R}^2 | 0<=x<=1\},  rs_c(x)>0$
    \item $max(rs_c(x))=1; \; if \; 16x_{0,c}^2-14x_{0,c}+5x_{1,c}-2=0$\\
\end{itemize}

La figure \ref{figMetric2} montre l'équation globale pour la métrique $rs$ dans le domaine de deux variables $x_{0,c}$ et $x_{1,c}$. La valeur maximale de $r$ dans un niveau de complexité spécifique est de 1, la valeur maximale globale pour les scénarios testés est de 5, un bon système de recommandation doit donc avoir une valeur $r$ élevée.

Les résultats du calcul des métriques pour le système original et les deux modèles dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM2}.

\begin{figure}[!ht]
\centering
\includegraphics[width=\textwidth]{./Figures/metric2.png}
\caption{Fonction d'évaluation métrique à chaque niveau de complexité (Soft learning)}
\label{figMetric2}
\end{figure}

\begin{table}[!ht]
\centering
\begin{tabular}{cccccccc}
&$c_0$&$c_1$&$c_2$&$c_3$&$c_4$&Total ($r$)&Total ($\%$)\\
\hline
Test 1\\
\hline
CBR&\textbf{0.9979}&-&-&-&-&0.9979&\\
DM&0.8994&0.1908&\textbf{0.3773}&\textbf{0.2990}&-&1.7665&\\
SM&0.8447&\textbf{0.3012}&0.2536&0.2030&\textbf{0.1709}&\textbf{1.7734}&\\
\hline
Test 2\\
\hline
CBR&\textbf{0.4724}&\textbf{0.7125}&-&-&-&1.1849&\\
DM&-&0.6310&\textbf{0.3901}&\textbf{0.4253}&-&1.4464&\\
SM&0.2697&0.7089&0.2634&0.2026&\textbf{0.1683}&\textbf{1.6129}&\\
\hline
Test3\\
\hline
CBR&-&\textbf{0.9179}&0.2692&-&-&1.1871&
\\
DM&-&-&0.2236&\textbf{0.9674}&-&1.191&\\
SM&0.1873&0.3038&\textbf{0.6345}&0.2394&\textbf{0.1726}&\textbf{1.5376}&\\
\end{tabular}
\caption{Résultats de la métrique $rs_c(x)$ (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabRM2}
\end{table}

Pour comparer le système original et le modèle de recommandation, est utilisée la métrique de la diversité des propositions, avec la similarité en cosinus (La similarité en cosinus entre un vecteur $A$ et un vecteur $B$, Équation \ref{eqCS}) entre toutes les propositions des apprenants. Les résultats de la similarité cosinus moyenne sont présentés dans le tableau \ref{tabCS}.

\begin{equation}
sc=\frac{\sum_{i=1}^n A_i B_i}{\sqrt{\sum_{i=1}^n A_i^2} \sqrt{\sum_{i=1}^n B_i^2}}
\label{eqCS}
\end{equation}

\begin{table}[!ht]
\centering
\begin{tabular}{cccc}
Model&Scenario 1&Scenario 2&Scenario 3\\
\hline
CBR&1&1&1\\
DM&0.9540&0.9887&0.9989\\
SM&\textbf{0.8124}&\textbf{0.8856}&\textbf{0.9244}\\
\end{tabular}
\caption{Moyenne de la diversité des propositions pour tous les apprenants. Une valeur plus faible représente une plus grande diversité. (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabCS}
\end{table}

\section{Discussion et Conclusions}
Avec la génération d'exercices CBR, le système propose les mêmes exercices à tous les apprenants, et l'évolution des niveaux de complexité est très lente, presque un changement toutes les 3 ou 4 sessions, ceci parce que le système ne prend pas en compte les notes obtenues pendant la session. Les systèmes de recommandation sont plus dynamiques et les évolutions sont plus rapides mais en considérant les notes des apprenants, le modèle déterministe suggère des changements de niveaux à un grand nombre d'apprenants soudainement parce qu'ils sont regroupés à l'intérieur d'un intervalle de taux de maîtrise, alors que le modèle stochastique est plus axé sur la personnalisation individuelle et les changements de niveau de complexité sont produits pour un petit nombre d'apprenants. Les deux modèles proposés ont la capacité de détecter les faiblesses des apprenants et d'adapter la session à leurs besoins particuliers.

La base de données générée a permis de simuler diverses situations avec les notes de 1000 apprenants, permettant ainsi d'évaluer le comportement des systèmes de recommandation avec différentes configurations.

Les résultats numériques utilisant la métrique définie montrent que les distributions des questions dans une session par les deux versions du modèle de recommandation sont différentes mais avec une tendance générale similaire pour tous les apprenants. Le modèle proposé tente de répartir les questions dans tous les niveaux de complexité définis. Globalement, avec la métrique définie, le modèle stochastique a obtenu un meilleur score. Par rapport au système original, le modèle de recommandation (versions déterministe et stochastique) obtient une augmentation globale de l'adaptabilité comprise entre 15\% et 68\% pour tous les niveaux de complexité.

Selon la métrique de la similarité cosinus, le modèle de recommandation proposé augmente la diversité des propositions par rapport au système original dans les trois scénarios évalués, ce qui indique qu'en plus d'atteindre l'adaptabilité, des propositions personnalisées sont générées tout en maintenant l'objectif de faire progresser les apprenants entre les niveaux de complexité. La diversité des propositions est une caractéristique essentielle du modèle de recommandation dans ses deux versions.

Les modules de recommandation sont une pièce essentielle pour les systèmes ITS car ils aident à guider le processus d'apprentissage individuel, permettent d'identifier les faiblesses et de réorienter le processus complet afin d'améliorer les connaissances et les compétences. Les versions du modèle proposé peuvent détecter en temps réel les faiblesses de l'apprenant et tentent de réorienter la session vers le meilleur niveau de complexité possible afin d'aider l'apprenant à acquérir et à maîtriser les connaissances avant de passer aux niveaux de complexité supérieurs, car généralement les connaissances des niveaux de complexité inférieurs sont nécessaires pour compléter les niveaux supérieurs. Même si l'ensemble de données généré est une simulation des temps de réponse et des notes des apprenants, les tests qui l'utilisent permettent de voir la flexibilité et la robustesse du modèle de recommandation proposé, car les données relatives aux apprenants présentent une grande diversité et obligent le système à s'adapter à différents types de configurations. Par conséquent, il est possible de conclure que le modèle de recommandation proposé a la capacité de fonctionner dans différentes situations et dans chaque cas de proposer des chemins alternatifs pour améliorer le processus d'apprentissage global, même si l'objectif d'apprentissage est différent pour chaque apprenant, comme le démontrent les résultats obtenus dans l'évaluation des deux métriques proposées. Le modèle proposé permet également la diversité et la personnalisation du système, puisque selon les résultats de la comparaison avec la similarité cosinus entre toutes les recommandations générées pour chaque apprenant, il y a une augmentation par rapport au système original.