\chapter{Système de Recommandation dans AI-VT}

\section{Introduction}

Ce chapitre est divisé en trois parties, la première partie explicite un algorithme de recommandation proposé fondé sur les résultats produits par l'apprenant en temps réel. La plupart du contenu est extrait et traduit de l'article Soto \textit{et al.} \cite{Soto2}. C'est un modèle d'adaptation automatique en temps réel d'une session prédéterminée à l'intérieur du système AI-VT. Dans cette adaptation le processus fait partie d'un modèle global de raisonnement à partir de cas. Le modèle proposé est stochastique et a été testé avec trois scénarios différents. Les résultats montrent l'adaptation dynamique du modèle proposé, les adaptations obtenues aidant le système à évoluer plus rapidement et identifier les faiblesses des apprenants dans les différents niveaux de complexité ainsi que la génération de recommandations pertinentes dans des cas spécifiques pour chaque capacité d'apprenant.

Le module mis en œuvre pour AI-VT est classé dans la catégorie des systèmes de recommandation. Les systèmes de recommandation dans les environnements d'apprentissage prennent en compte les exigences, les besoins, le profil, les talents, les intérêts et l'évolution de l'apprenant pour adapter et recommander des ressources ou des exercices dans le but d'améliorer l'acquisition et la maîtrise des concepts et des connaissances en général. L'adaptation de ces systèmes peut être de deux types, l'adaptation de la présentation qui montre aux apprenants des ressources d'étude en fonction de leurs faiblesses et l'adaptation de la navigation qui change la structure du cours en fonction du niveau et du style d'apprentissage de chaque apprenant \cite{MUANGPRATHUB2020e05227}.

Les techniques de recommandation sont utiles dans les EIAH car elles peuvent détecter les changements et évoluer vers un état optimal, comme l'algorithme d'échantillonnage de Thompson (TS), qui est un algorithme de type probabiliste appartenant à la catégorie des algorithmes d'apprentissage par renforcement, où l'algorithme choisit au temps $t$ une action $a$ à partir d'un ensemble $A$, obtient une récompense pour l'action $a$ et, en fonction de la valeur de la récompense, ajuste sa stratégie de décision pour choisir au temps $t + 1$ une autre action $a$, dans le but de maximiser la récompense. Il est fondé sur le principe Bayésien, où il y a une distribution de probabilité a priori et avec les données obtenues une distribution de probabilité a posteriori est générée qui vise à maximiser l'estimation de la valeur attendue. Pour la variante de Bernoulli, où la récompense n'a que deux valeurs possibles 0 et 1 ou succès et échec, la distribution de base utilisée est la distribution Beta qui est définie sur [0, 1] et paramétrée par deux valeurs $\alpha$ et $\beta$ \cite{9870279}.

La deuxième partie de ce chapitre présente l'intégration de tous les algorithmes développés et explicités dans les chapitres précédents. Le modèle intégré est appliqué au AI-VT système sur une base de données générée et une base de données réelle. Plusieurs types de test sont exécutés pour montrer que le modèle final permet en effet d'améliorer les capacités d'identification et adaptation.

Les contributions de la deuxième partie sont :
\begin{itemize}
    \item Vérification de l'efficacité du modèle de raisonnement basé sur les cas pour la prédiction avec une base de données de notes d'apprenants par rapport à d'autres algorithmes.
    \item Calcul explicite de l'évolution de l'acquisition des connaissances en analysant le changement des distributions de probabilité générées par le modèle de recommandation stochastique.
    \item Intégration du modèle de recommandation stochastique à la prédiction par raisonnement basé sur les cas pour améliorer la personnalisation de l'ITS.
\end{itemize}

L'un des principaux modules des EIAH est le système de recommandation, qui vise à trouver les faiblesses et à adapter la plateforme localement ou globalement pour faciliter le processus d'apprentissage et l'acquisition des connaissances, ce module est très important car il permet d'adapter le système et de personnaliser les contenus et les exercices en fonction des besoins et des résultats de chacun des apprenants, l'efficacité du système dans l'acquisition des connaissances et l'adaptation aux différents types d'apprentissage dépend de ce module \cite{Liu2023}. Il est donc nécessaire de trouver des techniques et des algorithmes capables d'exploiter les données disponibles et d'explorer les options d'apprentissage de manière dynamique, afin d'améliorer les performances globales des EIAH.

Dans la troisième partie seront détaillées les contributions réalisées avec l'incorporation du processus de Hawkes :

\begin{itemize}
    \item Simulation de la courbe d'oubli dans le processus d'apprentissage à l'aide du processus stochastique de Hawkes.
    \item Intégration du raisonnement par cas, des systèmes multi-agents et du processus de Hawkes dans un algorithme de recommandation.
    \item Vérification de la progression, de la stabilité, la précision et évolution de l'algorithme de recommandation stochastique proposé à l'aide de bases de données simulées et hétérogènes d'étudiants réels.\\\\
\end{itemize}

\textbf{PREMIÈRE PARTIE}

\section{Modèle Proposé}

Le modèle proposé, en tant que système de recommandation, prend en compte les notes antérieures des apprenants pour estimer leurs connaissances et leur maîtrise des différentes compétences, sous-compétences et niveaux de complexité au sein du système AI-VT, puis adapte les sessions pour maximiser l'acquisition des connaissances et la maîtrise des différents domaines contenus dans la même compétence définie. Le modèle est conçu comme une modification de l'algorithme d'échantillonnage de Thompson avec l'intégration de l'échantillonnage stratifié pour obtenir l'adaptation.

On utilise la famille Beta de distributions de probabilité pour définir dynamiquement le nouveau niveau de complexité (équation \ref{eqBeta}) inspiré de l'algorithme d'échantillonnage de Thompson. Cette version du modèle permet de recommander des niveaux de complexité non contigus, mais la priorité est de recommander les niveaux dans lesquels des défauts ont été détectés. La paramétrisation initiale de toutes les distributions de probabilité peut forcer le modèle à recommander des niveaux de complexité contigus plus élémentaires.

\begin{equation}
B(x, \alpha, \beta) =
\begin{cases}
\frac{x^{\alpha-1}(1-x)^{\beta - 1}}{\int_0^1 u^{\alpha - 1}(1-u)^{\beta - 1}du} & si \; x \in [0, 1] \\
0&sinon
\end{cases}
\label{eqBeta}
\end{equation}

Les variables qui font partie du modèle sont spécifiées dans le tableau \ref{tabPar}.

\begin{table}[!ht]
\centering
\begin{tabular}{ccc}
ID&Description&Domain\\
\hline
$c_n$&Niveaux de complexité&$\mathbb{N} \; | \; c_n>0$\\
$g_m$&Valeur maximale dans l'échelle des notes& $\mathbb{N} \;|\; g_m>0$ \\
$g_t$&Seuil de notation &$(0, g_m) \in \mathbb{R}$\\
$s$&Nombre de parcours définis&$\mathbb{N} \; | \; s>0$\\
$s_c$&Parcours courant fixe défini&$[1, s] \in \mathbb{N}$\\
$\Delta s$&Pas pour les paramètres de la distribution bêta dans le parcours $s$ &$(0,1) \in \mathbb{R}$\\
$t_m$&Valeur maximale du temps de réponse&$\mathbb{R} \; | \; t_m>0$\\
$g_{c}$&Note de l'apprenant à une question de complexité $c$&$[0, g_m] \in \mathbb{R}$\\
$ng_c$&Grade de l'apprenant avec pénalisation du temps &$[0, g_m] \in \mathbb{R}$\\
$t_{c}$&Le temps de réponse à une question de complexité $c$&$[0, t_m] \in \mathbb{R}$\\
$ncl$&Nouveau niveau de complexité calculé&$\mathbb{N}$\\
$\alpha_{c}$&Valeur de $\alpha$ dans la complexité $c$&$\mathbb{R} \; | \; \alpha_{c}>0$\\
$\beta_{c}$&Valeur de $\beta$ dans la complexité $c$&$\mathbb{R} \; | \; \beta_{c}>0$\\
$\Delta \beta$&Pas initial du paramètre bêta&$\mathbb{N} \; | \; \Delta \beta >0$\\
$\lambda$&Poids de la pénalisation temporelle&$(0,1) \in \mathbb{R}$\\
$G_c$&Ensemble de $d$ notes dans le niveau de complexité $c$&$\mathbb{R}^d \;, d\in \mathbb{N} \; | \; d>0$\\
$x_c$&Notes moyennes normalisées&$[0, 1] \in \mathbb{R}$\\
$n_c$&Nombre total de questions dans une session&$\mathbb{N} \; | \; n_c>0$\\
$ny_c$&Nombre de questions dans le niveau de complexité $c$&$\mathbb{N} \; | \; 0<ny_c \le n_c$\\
$y_c$&Proportion de questions dans le niveau de complexité $c$&$[0, 1] \in \mathbb{R}$\\
$r$&Valeur totale de la métrique définie pour l'adaptabilité&$[0, c_n] \in \mathbb{R}$\\
$sc$&Valeur totale de la métrique de similarité cosinus&$[-1, 1] \in \mathbb{R}$\\
\end{tabular}
\caption{Variables et paramètres du modèle proposé}
\label{tabPar}
\end{table}

Dans ce cas, il est nécessaire d'utiliser la variable de seuil de grade $g_t$ pour déterminer la variabilité de la distribution de probabilité pour chaque niveau de complexité. Les équations \ref{eqsMg}, \ref{eqgtc} et \ref{eqltc} montrent les règles de mise à jour corrélées, ces règles modifient les valeurs par récompense inverse. Chaque niveau de complexité est associé à une distribution de probabilité Beta avec des valeurs initiales prédéfinies pour les paramètres $\alpha$ et $\beta$.

\begin{equation}
ng_c=g_c
\label{eqsMg}
\end{equation}

\begin{equation}
ng_c \ge g_t \rightarrow
\begin{cases}
\beta_c=\beta_c+\Delta_s\\
\beta_{c-1}=\beta_{c-1} + \frac{\Delta_s}{2}\\
\alpha_{c+1}=\alpha_{c+1} + \frac{\Delta_s}{2}
\end{cases}
\label{eqgtc}
\end{equation}

\begin{equation}
ng_c < g_t \rightarrow
\begin{cases}
\alpha_c=\alpha_c+\Delta_s\\
\alpha_{c-1}=\alpha_{c-1} + \frac{\Delta_s}{2}\\
\beta_{c+1}=\beta_{c+1} + \frac{\Delta_s}{2}
\end{cases}
\label{eqltc}
\end{equation}

Le nouveau niveau de complexité est l'indice de la valeur aléatoire maximale (générée à partir de la distribution Beta de chaque niveau de complexité, équation \ref{eqBRnd}) pour tous les niveaux de complexité (équation \ref{eqsncl}).

\begin{equation}
\theta_c  = Beta(\alpha_c, \beta_c)
\label{eqBRnd}
\end{equation}

\begin{equation}
ncl=max_x(\mathbb{E}[\theta_x]), 0<=x<=c_n
\label{eqsncl}
\end{equation}

La note des apprenants peut considérer aussi le temps de réponse comme une pénalité, et dans ce cas-là la note est calcule comme la équation \ref{eqsGT}.

\begin{equation}
ng_c=g_c- \left(g_c * \lambda * \frac{t_c}{t_m} \right)
\label{eqsGT}
\end{equation}

Le détail des pas d'exécution du modèle proposé sont dans l'algorithme \ref{alg2}.

\begin{algorithm}
\caption{Stochastic Recommendation Model}
\begin{algorithmic}
\State Initialize the a-priori distributions of probability
\For {\textbf{each} questions $q$}
	\State With $i$ as actual complexity level $c$
	\State Calculate $ng_i$ \Comment{eq \ref{eqsMg} or eq \ref{eqsGT}}
	\State Update parameters $\alpha_i$ and $\beta_i$ \Comment{eq \ref{eqgtc} and eq \ref{eqltc}}
	\State Get random values $\theta_c$ with Beta distribution\Comment{$\forall c$, eq \ref{eqBRnd}}
	\State Get $ncl$ \Comment{eq \ref{eqsncl}}
\EndFor
\end{algorithmic}
\label{alg2}
\end{algorithm}

\section{Résultats}

Le comportement du modèle a été testé avec un jeu de données généré, ce jeu de données contient les notes et les temps de réponse de 1000 apprenants pour 5 niveaux de complexité différents, la description des données est indiquée dans le Tableau \ref{tabDataSet}. Les notes des apprenants sont générées avec la distribution logit-normale de probabilité, car c'est expérimentalement le meilleur modèle de représentation \cite{Arthurs}.

L'ensemble de données généré est une simulation des notes des apprenants pour les réponses à quinze questions à chacun des cinq niveaux de complexité. L'ensemble de données simule, via la distribution de probabilité logit-normale, une faiblesse dans chaque niveau de complexité pour 70\% des apprenants dans les dix premières questions. La difficulté de la complexité est également simulée en réduisant le score moyen et en augmentant la variance. La figure \ref{figData} montre la distribution de l'ensemble de données des notes de 1000 apprenants par niveau de complexité.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/dataset.png}
\caption{Boîte à moustaches pour la base de données générée}
\label{figData} 
\end{figure}

\begin{table}[!ht]
\centering
\begin{tabular}{ccc}
ID&Description&Domain\\
\hline
$q_{c}$&Niveau de complexité de une question $q$&$[0, c_n] \in \mathbb{N}$\\
$q_{g,c}$&Note obtenue $g$ pour la question $q$ avec complexité $c$ &$[0,g_m] \in \mathbb{R}$\\
$q_{t,c}$&Temps employé $t$ pour une question $q$ avec complexité $c$&$[0, t_m] \in \mathbb{R}$\\
\end{tabular}
\caption{Description des variables utilisées dans la base de données evaluée}
\label{tabDataSet}
\end{table}

Toutes les valeurs des paramètres pour tester le modèle sont dans le tableau \ref{tabgm1}.

\begin{table}[!ht]
\centering
\begin{tabular}{c|cccccccccccccc}
ID&$c_n$&$g_m$&$t_m$&$s$&$s_c$&$\lambda$&$g_t$&$\alpha_{x,1}$&$\alpha_{x,y}$&$\beta_{x,1}$&$\Delta \beta_{x,y}$&$\Delta_1$&$\Delta_2$&$\Delta_3$\\
\hline
Valeur&5&10&120&3&2&0.25&6 & 2 & 1 & 1 & 1 & 0.3 & 0.5 & 0.7\\
\end{tabular}
\caption{Valeurs des paramètres pour les scénarios evalués}
\label{tabgm1}
\end{table}

Les résultats de la première comparaison sans données historiques (démarrage à froid) entre le modèle proposé, un système de recommandation déterministe et le système original (CBR) sont présentés dans la figure \ref{figCmp2}, où apparaissent différents nombres et échelles de transitions, le système original ne présente pas de transitions, tous les apprenants sont évalués au niveau de complexité 0, les notes obtenues pendant la session ne sont pas prises en compte. Le système avec des modèles de recommandation tente d'adapter le niveau de complexité en fonction des notes obtenues. Le modèle déterministe génère quatre grandes transitions avec un grand nombre d'apprenants dans les questions 5, 6, 8 et 12, toutes entre des niveaux de complexité contigus, la tendance est à la baisse pour les niveaux 0, 1 et 2 après la huitième question et à la hausse pour les niveaux 1 et 3. Le modèle proposé (stochastique), commence par proposer tous les niveaux de complexité possibles mais se concentre sur le niveau 0, les transitions sont constantes mais pour un petit nombre d'apprenants, la tendance après la dixième question est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. La tendance est à la baisse pour les niveaux 0 et 4 et à la hausse pour les niveaux 1, 2 et 3. La tendance est à la hausse pour les niveaux 1, 2 et 3.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp2.png} 
\caption{Résultats pour le premier test}
\label{figCmp2}
\end{figure}

Après la génération de la première session, le système peut continuer avec la liste suivante d'exercices, dans ce cas les trois modèles ont été initialisés avec les mêmes données, et des valeurs égales pour tous les apprenants. La figure \ref{figCmp3} permet de voir la première transition du système original, cette transition montre que le système agit uniquement avec les notes obtenues dans le passé et les transitions sont très lentes, même si les notes sont différentes au cours de la session, tous les apprenants doivent suivre le même chemin. Cependant, les modèles de recommandation changent, le modèle déterministe présente trois transitions dans les questions 3, 5 et 12. Les tendances sont statiques pour le niveau 3, variables pour le niveau 2 et fortement descendantes pour le niveau 0. Le modèle stochastique continue avec des transitions douces mais essaie toujours de préférer le niveau le plus faible, dans ce cas le modèle a identifié le niveau de complexité 1. Ici, les niveaux 0 et 1 sont descendants, le niveau 2 est statique et les niveaux 3 et 4 sont ascendants.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp3.png} 
\caption{Résultats pour le deuxième Test}
\label{figCmp3}
\end{figure}

Enfin, les données d'initialisation considèrent comme évalués deux niveaux de complexité 0 et 1, alors naturellement le système doit commencer avec le niveau 1 ou 2. Comme le système original est très lent à passer d'un niveau à l'autre, ce système commence par le niveau de complexité 1, comme le montre la figure \ref{figCmp4}, comme les deux autres comparaisons, les changements dans ce système ne sont pas progressifs, mais directs pour tous. Dans ce cas, le modèle de recommandation déterministe adopte la même stratégie et propose un changement direct pour tous les apprenants autour de la cinquième question. Le modèle stochastique continue avec des changements faibles mais constants, mais avec une préférence pour le niveau 2, la tendance est très stable sauf pour 1 (à la hausse) et 2 (à la baisse) niveaux.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/comp4.png} 
\caption{Résultats pour le troisième Test}
\label{figCmp4}
\end{figure}

Pour comparer numériquement le système original, le modèle déterministe et le modèle de recommandation proposé, un ensemble d'équations a été défini (équation \ref{eqMetric1} et équation \ref{eqMetric2}) qui décrit le système de recommandation idéal si l'objectif de l'apprenant est l'apprentissage standard, la métrique calcule une valeur pour chaque niveau de complexité en fonction de la moyenne des notes et du nombre de questions recommandées dans ce niveau de complexité. L'objectif de cette métrique est d'attribuer un score élevé aux systèmes de recommandation qui proposent plus d'exercices au niveau de complexité où l'apprenant a obtenu une note moyenne plus basse, dans l'idée de renforcer les connaissances à ce niveau de complexité, de même s'ils proposent moins d'exercices aux niveaux de complexité où la note moyenne est élevée, puisqu'il est supposé que l'étudiant a déjà acquis des connaissances suffisantes à ces niveaux de complexité. Les scores faibles sont attribués aux systèmes qui recommandent peu d'exercices à des niveaux de complexité dont les notes moyennes sont faibles et, inversement, s'ils proposent beaucoup d'exercices à des niveaux de complexité dont les notes moyennes sont élevées.

\begin{equation}
%r_c=x+y-2xy
%r_c=x^2+y^2-2x^2y^2
rp_c(x)=e^{-2(x_{0,c}+x_{1,c}-1)^2} ; \{x \in \mathbb{R}^2 | 0<=x<=1\}
\label{eqMetric1}
\end{equation}

\begin{equation}
r=\sum_{c=0}^{c_n-1} rp_c
\label{eqMetric2}
\end{equation}

Les propriétés de la métrique sont : 
\begin{itemize}
    \item $\{\forall x \in \mathbb{R}^2 | 0<=x<=1\},  rp_c(x)>0$
    \item $max(rp_c(x))=1; \; if \; x_{0,c}+x_{1,c}=1$
    \item $min(rp_c(x))=0.1353; \; if \; \left ( \sum_{i=1}^2 x_{i,c}=0 \; \lor \; \sum_{i=1}^2 x_{i,c} = 2 \right )$\\
\end{itemize}

Dans l'équation \ref{eqMetric1}, $x_{0,c}$ est la moyenne normalisée des notes dans le niveau de complexité $c$ (équation \ref{eqXc}), et $x_{1,c}$ est le nombre normalisé de questions répondues dans le niveau de complexité $c$ (équation \ref{eqYc}).

\begin{equation}
x_{0,c}=\frac{<g_c>_{G_c}}{g_m}
\label{eqXc}
\end{equation}

\begin{equation}
x_{1,c}=\frac{ny_c}{n_c}
\label{eqYc}
\end{equation}

La figure \ref{figMetric} montre l'équation globale pour la métrique $rp$ dans le domaine de deux variables $x_{0,c}$ et $x_{1,c}$. La valeur maximale de $r$ dans un niveau de complexité spécifique est de 1, la valeur maximale globale pour les scénarios testés est de 5. Un bon système de recommandation devrait donc avoir une valeur $r$ élevée.

\begin{figure}
\includegraphics[width=\textwidth]{./Figures/metric.png} 
\caption{Métrique pour le parcours standard}
\label{figMetric}
\end{figure}

Les résultats des calculs de la métrique établie pour le système original et les deux modèles dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM}.

\begin{table}[!ht]
\centering
\begin{tabular}{cccccccc}
&$c_0$&$c_1$&$c_2$&$c_3$&$c_4$&Total ($r$)&Total ($\%$)\\
\hline
Test 1\\
\hline
CBR&0.5388&-&-&-&-&0.5388&10.776\\
DM&0.8821&0.7282&\textbf{0.9072}&\textbf{0.8759}&-&3.3934&67.868\\
SM&\textbf{0.9463}&\textbf{0.8790}&0.7782&0.7108&0.6482&\textbf{3.9625}&79.25\\
\hline
Test 2\\
\hline
CBR&0.9445&\textbf{0.9991}&-&-&-&1.9436&38.872\\
DM&-&0.9443&\textbf{0.8208}&\textbf{0.9623}&-&2.7274&54.548\\
SM&\textbf{0.9688}&0.9861&0.8067&0.7161&0.6214&\textbf{4.0991}&81.982\\
\hline
Test3\\
\hline
CBR&-&0.8559&0.7377&-&-&1.5936&31.872
\\
DM&-&-&0.5538&\textbf{0.7980}&-&1.3518&27.036\\
SM&0.9089&\textbf{0.9072}&\textbf{0.9339}&0.7382&0.6544&\textbf{4.1426}&82.852\\
\end{tabular}
\caption{Résultats de la métrique $rp_c(x)$ (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabRM}
\end{table}

Une métrique pour l'apprentissage en douceur est définie dans l'équation \ref{eqMetricS1} et l'équation \ref{eqMetricS2}, avec cette métrique un score élevé est attribué aux systèmes qui proposent plus d'exercices dans un niveau de complexité où les notes moyennes sont d'environ 0,4 et qui sont plus flexibles avec des notes moyennes plus basses, également si le nombre d'exercices proposés est faible pour des notes moyennes élevées. Les scores faibles sont attribués aux systèmes qui recommandent un nombre élevé de questions dans un niveau de complexité avec des notes moyennes élevées et si le nombre d'exercices recommandés est trop élevé ou trop faible pour les notes inférieures.

\begin{equation}
rs_c(x)=e^{-\frac{2}{100}(32x_{0,c}^2-28x_{0,c}+10x_{1,c}-4)^2} ; \{x \in \mathbb{R}^2 | 0<=x<=1\}
\label{eqMetricS1}
\end{equation}

\begin{equation}
r=\sum_{c=0}^{c_n-1} rs_c
\label{eqMetricS2}
\end{equation}

Les propriétés de la métrique sont : 
\begin{itemize}
    \item $\{\forall x \in \mathbb{R}^2 | 0<=x<=1\},  rs_c(x)>0$
    \item $max(rs_c(x))=1; \; if \; 16x_{0,c}^2-14x_{0,c}+5x_{1,c}-2=0$\\
\end{itemize}

La figure \ref{figMetric2} montre l'équation globale pour la métrique $rs$ dans le domaine de deux variables $x_{0,c}$ et $x_{1,c}$. La valeur maximale de $r$ dans un niveau de complexité spécifique est de 1, la valeur maximale globale pour les scénarios testés est de 5, un bon système de recommandation doit donc avoir une valeur $r$ élevée.

Les résultats du calcul des métriques pour le système original et les deux modèles dans les trois scénarios définis sont présentés dans le tableau \ref{tabRM2}.

\begin{figure}[!ht]
\centering
\includegraphics[width=\textwidth]{./Figures/metric2.png}
\caption{Fonction d'évaluation métrique à chaque niveau de complexité (Soft learning)}
\label{figMetric2}
\end{figure}

\begin{table}[!ht]
\centering
\begin{tabular}{cccccccc}
&$c_0$&$c_1$&$c_2$&$c_3$&$c_4$&Total ($r$)&Total ($\%$)\\
\hline
Test 1\\
\hline
CBR&\textbf{0.9979}&-&-&-&-&0.9979&\\
DM&0.8994&0.1908&\textbf{0.3773}&\textbf{0.2990}&-&1.7665&\\
SM&0.8447&\textbf{0.3012}&0.2536&0.2030&\textbf{0.1709}&\textbf{1.7734}&\\
\hline
Test 2\\
\hline
CBR&\textbf{0.4724}&\textbf{0.7125}&-&-&-&1.1849&\\
DM&-&0.6310&\textbf{0.3901}&\textbf{0.4253}&-&1.4464&\\
SM&0.2697&0.7089&0.2634&0.2026&\textbf{0.1683}&\textbf{1.6129}&\\
\hline
Test3\\
\hline
CBR&-&\textbf{0.9179}&0.2692&-&-&1.1871&
\\
DM&-&-&0.2236&\textbf{0.9674}&-&1.191&\\
SM&0.1873&0.3038&\textbf{0.6345}&0.2394&\textbf{0.1726}&\textbf{1.5376}&\\
\end{tabular}
\caption{Résultats de la métrique $rs_c(x)$ (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabRM2}
\end{table}

Pour comparer le système original et le modèle de recommandation, est utilisée la métrique de la diversité des propositions, avec la similarité en cosinus (La similarité en cosinus entre un vecteur $A$ et un vecteur $B$, Équation \ref{eqCS}) entre toutes les propositions des apprenants. Les résultats de la similarité cosinus moyenne sont présentés dans le tableau \ref{tabCS}.

\begin{equation}
sc=\frac{\sum_{i=1}^n A_i B_i}{\sqrt{\sum_{i=1}^n A_i^2} \sqrt{\sum_{i=1}^n B_i^2}}
\label{eqCS}
\end{equation}

\begin{table}[!ht]
\centering
\begin{tabular}{cccc}
Model&Scenario 1&Scenario 2&Scenario 3\\
\hline
CBR&1&1&1\\
DM&0.9540&0.9887&0.9989\\
SM&\textbf{0.8124}&\textbf{0.8856}&\textbf{0.9244}\\
\end{tabular}
\caption{Moyenne de la diversité des propositions pour tous les apprenants. Une valeur plus faible représente une plus grande diversité. (CBR - Système sans modèle de recommandation, DM - Modèle deterministique, SM - Modèle stochastique)}
\label{tabCS}
\end{table}

\section{Discussion et Conclusions}
Avec la génération d'exercices CBR, le système propose les mêmes exercices à tous les apprenants, et l'évolution des niveaux de complexité est très lente, presque un changement toutes les 3 ou 4 sessions, ceci parce que le système ne prend pas en compte les notes obtenues pendant la session. Les systèmes de recommandation sont plus dynamiques et les évolutions sont plus rapides mais en considérant les notes des apprenants, le modèle déterministe suggère des changements de niveaux à un grand nombre d'apprenants soudainement parce qu'ils sont regroupés à l'intérieur d'un intervalle de taux de maîtrise, alors que le modèle stochastique est plus axé sur la personnalisation individuelle et les changements de niveau de complexité sont produits pour un petit nombre d'apprenants. Les deux modèles proposés ont la capacité de détecter les faiblesses des apprenants et d'adapter la session à leurs besoins particuliers.

La base de données générée a permis de simuler diverses situations avec les notes de 1000 apprenants, permettant ainsi d'évaluer le comportement des systèmes de recommandation avec différentes configurations.

Les résultats numériques utilisant la métrique définie montrent que les distributions des questions dans une session par les deux versions du modèle de recommandation sont différentes mais avec une tendance générale similaire pour tous les apprenants. Le modèle proposé tente de répartir les questions dans tous les niveaux de complexité définis. Globalement, avec la métrique définie, le modèle stochastique a obtenu un meilleur score. Par rapport au système original, le modèle de recommandation (versions déterministe et stochastique) obtient une augmentation globale de l'adaptabilité comprise entre 15\% et 68\% pour tous les niveaux de complexité.

Selon la métrique de la similarité cosinus, le modèle de recommandation proposé augmente la diversité des propositions par rapport au système original dans les trois scénarios évalués, ce qui indique qu'en plus d'atteindre l'adaptabilité, des propositions personnalisées sont générées tout en maintenant l'objectif de faire progresser les apprenants entre les niveaux de complexité. La diversité des propositions est une caractéristique essentielle du modèle de recommandation dans ses deux versions.

Les modules de recommandation sont une pièce essentielle pour les systèmes ITS car ils aident à guider le processus d'apprentissage individuel, permettent d'identifier les faiblesses et de réorienter le processus complet afin d'améliorer les connaissances et les compétences. Les versions du modèle proposé peuvent détecter en temps réel les faiblesses de l'apprenant et tentent de réorienter la session vers le meilleur niveau de complexité possible afin d'aider l'apprenant à acquérir et à maîtriser les connaissances avant de passer aux niveaux de complexité supérieurs, car généralement les connaissances des niveaux de complexité inférieurs sont nécessaires pour compléter les niveaux supérieurs. Même si l'ensemble de données généré est une simulation des temps de réponse et des notes des apprenants, les tests qui l'utilisent permettent de voir la flexibilité et la robustesse du modèle de recommandation proposé, car les données relatives aux apprenants présentent une grande diversité et obligent le système à s'adapter à différents types de configurations. Par conséquent, il est possible de conclure que le modèle de recommandation proposé a la capacité de fonctionner dans différentes situations et dans chaque cas de proposer des chemins alternatifs pour améliorer le processus d'apprentissage global, même si l'objectif d'apprentissage est différent pour chaque apprenant, comme le démontrent les résultats obtenus dans l'évaluation des deux métriques proposées. Le modèle proposé permet également la diversité et la personnalisation du système, puisque selon les résultats de la comparaison avec la similarité cosinus entre toutes les recommandations générées pour chaque apprenant, il y a une augmentation par rapport au système original.\\\\

\textbf{DEUXIÈME PARTIE}

\section{Concepts Associés}

Cette section présente les concepts, les définitions et les algorithmes nécessaires à la compréhension du modèle proposé, ainsi que les modèles et les mesures fondamentaux. Le premier paradigme fondamental utilisé dans ce travail est le raisonnement à partir de cas (CBR), qui permet d'exploiter les connaissances historiquement acquises et l'expérience accumulée en ce qui concerne un problème spécifique. Ce paradigme est utilisé pour générer des solutions émergentes pour un nouveau problème en utilisant une base de données de connaissances. L'idée principale est de rechercher des situations antérieures similaires et d'utiliser l'expérience acquise pour résoudre de nouveaux problèmes. La CBR est particulièrement utile lorsque les causes sous-jacentes d'un problème ne sont pas bien comprises. Le raisonnement à base de cas définit un cycle de quatre étapes pour améliorer la solution d'inférence \cite{jmse11050890}.

Puisque l'objectif ici est d'adapter les exercices proposés par AI-VT, il est nécessaire de connaître le fonctionnement de l'un des algorithmes les plus utilisés pour effectuer l'adaptation du contenu et des exercices dans certains STI, afin de comparer les résultats avec l'algorithme proposé et de voir dans quelle mesure il permet d'obtenir une amélioration de l'adaptation et de la performance des apprenants. L'un des modèles les plus couramment utilisés dans les STI pour adapter le contenu et estimer la progression du niveau de connaissance des apprenants est le BKT (Bayesian Knowledge Tracing) \cite{ZHANG2018189}. Ce modèle utilise quatre paramètres pour estimer la progression des connaissances. $P(k)$ estime la probabilité de connaissance dans une compétence spécifique. $P(w)$, est la probabilité que l'apprenant démontre ses connaissances. $P(s)$, est la probabilité que l'apprenant fasse une erreur.$P(g)$, est la probabilité que l'apprenant ait deviné une réponse. La valeur estimée de la connaissance est mise à jour avec les équations \ref{eqbkt1}, \ref{eqbkt2} et \ref{eqbkt3}. Si la réponse de l'apprenant est correcte, l'équation \ref{eqbkt1} est utilisée, mais si la réponse est incorrecte, l'équation \ref{eqbkt2} est utilisée.

\begin{equation}
    P(k_{t-1}|Correct_t)=\frac{P(k_{t-1})(1-P(s))}{P(k_{t-1})(1-P(s))+(1-P(k_{t-1}))P(g)}
    \label{eqbkt1}
\end{equation}

\begin{equation}
    P(k_{t-1}|Incorrect_t)=\frac{P(k_{t-1})P(s)}{P(k_{t-1})(P(s))+(1-P(k_{t-1}))(1-P(g))}
    \label{eqbkt2}
\end{equation}

\begin{equation}
    P(k_{t})=P(k_{t-1}|evidence_t)+(1-P(k_{t-1}|evidence_t))P(w)
    \label{eqbkt3}
\end{equation}

Le modèle de recommandation proposé, associé à AI-VT, est basé sur le paradigme de l'apprentissage par renforcement. L'apprentissage par renforcement est une technique d'apprentissage automatique qui permet, par le biais d'actions et de récompenses, d'améliorer les connaissances du système sur une tâche spécifique \cite{NEURIPS2023_9d8cf124}.  L'algorithme utilisé pour l'adaptation est un algorithme d'apprentissage par renforcement appelé échantillonnage de Thompson, qui, par le biais d'une distribution de probabilité initiale (distribution a priori) et d'un ensemble de règles de mise à jour prédéfinies, peut adapter et améliorer les estimations initiales d'un processus analysé spécifique \cite{pmlr-v238-ou24a}. La distribution de probabilité initiale est généralement définie comme une distribution spécifique de la famille des distributions Bêta (équation \ref{fbeta}) avec des valeurs initiales prédéterminées pour $\alpha$ et $\beta$ \cite{math12111758}, \cite{NGUYEN2024111566}.

%\begin{equation}
%    Beta(x,\alpha,\beta)=\begin{cases}
%        \frac{(x^{\alpha -1})(1-x)^{\beta -1}}{\int_0^1(u^{\alpha -1})(1-u)^{\beta -1} du}&x \in [0, 1]\\
%        0&otherwise
%    \end{cases}
%\end{equation}

\begin{equation}
    Beta(\theta | \alpha, \beta) = \frac{\Gamma(\alpha + \beta)}{\Gamma(\alpha) \Gamma(\beta)}\theta^{\alpha-1}(1-\theta)^{\beta-1}
    \label{fbeta}
\end{equation}

En utilisant la definition formelle de la fonction Gamma $\Gamma$ (équation \ref{eqGamma1}) et en remplaçant des variables, une nouvelle expression de la fonction Beta est obtenue (équation \ref{f2beta}).

\begin{equation}
    \Gamma(z)=\int_0^\infty e^{-x} x^{z-1} dx
    \label{eqGamma1}
\end{equation}

\begin{equation}
    Beta(\theta | \alpha, \beta) = \frac{\int_0^\infty e^{-s} s^{\alpha+\beta-1}ds}{\int_0^\infty e^{-u} u^{\alpha-1}du\int_0^\infty e^{-v} v^{\beta-1}dv}\theta^{\alpha-1}(1-\theta)^{\beta-1}
    \label{f2beta}
\end{equation}

En exprimant les deux intégrales du denominateur comme une seule intégrale, l'équation \ref{f3Beta} est obtenue.

\begin{equation}
    \int_{u=0}^{\infty}\int_{v=0}^\infty e^{-u-v} u^{\alpha-1} v^{\beta-1}du dv
    \label{f3Beta}
\end{equation}

Après, sont remplacées $u=st$, $v=s(1-t)$, $s=u+v$ et $t=u/(u+v)$, avec le résultat du Jacobien \ref{eqJac}, alors l'expression finale est comme montre l'équation \ref{f4Beta}.

\begin{equation}
    \left (
    \begin{matrix}
        \frac{\partial u}{\partial t} & \frac{\partial u}{\partial s}\\
        \frac{\partial v}{\partial t} & \frac{\partial v}{\partial s}\\
    \end{matrix}
    \right ) =
    \left (
    \begin{matrix}
        sdt & tds \\
        -sdt & (1-t)ds\\
    \end{matrix}
    \right ) = s \; dtds
    \label{eqJac}
\end{equation}

\begin{equation}
    \int_{s=0}^\infty \int_{t=0}^1 e^{-s}(st)^{\alpha-1}(s(1-t))^{\beta-1}s \; dsdt
    \label{f4Beta}
\end{equation}

Si les intégrales sont exprimées en fonction des variables indépendantes $s$ et $t$ l'équation \ref{f5Beta} est générée.

\begin{equation}
    \int_{s=0}^\infty e^{-s}s^{\alpha+\beta-1}ds \int_{t=0}^1 t^{\alpha-1}(1-t)^{\beta-1}dt
    \label{f5Beta}
\end{equation}

En plaçant les termes dans l'équation le résultat est l'équation \ref{f6Beta}.

\begin{equation}
    Beta(\theta | \alpha, \beta) = \frac{\int_0^\infty e^{-s} s^{\alpha+\beta-1}ds}{\int_{s=0}^\infty e^{-s}s^{\alpha+\beta-1}ds \int_{t=0}^1 t^{\alpha-1}(1-t)^{\beta-1}dt
}\theta^{\alpha-1}(1-\theta)^{\beta-1}
    \label{f6Beta}
\end{equation}

Finalement, la famille de fonctions de distribution Beta peut être exprimée comme l'équation \ref{f7Beta}. Les métriques utilisées dans ce chapitre s'expriment en fonction de cette définition.

\begin{equation}
    Beta(\theta | \alpha, \beta) = \frac{\theta^{\alpha-1}(1-\theta)^{\beta-1}}{\int_{0}^1 t^{\alpha-1}(1-t)^{\beta-1}dt
    }
    \label{f7Beta}   
\end{equation}

L'évolution de l'algorithme de recommandation TS est établie par le changement des distributions de probabilité, mais au moment de quantifier l'évolution, le changement et la variabilité doivent être calculés en fonction du temps. Les distributions de probabilités peuvent être comparées pour déterminer leur degré de similitude, sous la forme d'une métrique qui détermine numériquement les différences entre elles. L'apprentissage automatique utilise la divergence de Kullback-Liebler, qui décrit l'entropie relative de deux distributions de probabilités. Cette fonction est basée sur le concept d'entropie et le résultat peut être interprété comme la quantité d'information nécessaire pour obtenir la distribution de probabilité $q$ à partir de la distribution de probabilité $p$. La divergence de Kullback-Liebler (équation \ref{dkl}) est largement utilisée, mais elle présente l'inconvénient de ne pas pouvoir être utilisée comme métrique dans certains cas, car il ne s'agit pas d'une mesure symétrique, $D_{KL}(p,q) \neq D_{KL}(q,p)$, elle ne satisfait pas à l'inégalité triangulaire et elle n'est pas bornée \cite{Li_2024}. Pour remédier à cette difficulté, il est possible d'utiliser la divergence de Jensen-Shannon.

\begin{equation}
    D_{KL}(p(x),q(x))=\int_{-\infty}^{\infty}p(x) log \left(\frac{p(x)}{q(x)} \right)dx
    \label{dkl}
\end{equation}

La divergence de Jenser-Shannon est basée sur la divergence de Kullback-Liebler, à la différence qu'une distribution de probabilité auxiliaire $m$ est créée dont la définition est basée sur les distributions initiales $p$ et $q$ \cite{Kim2024}. L'équation \ref{djs} montre la définition formelle de la divergence de Jensen-Shannon, où $m(x)$ est une distribution de mélange de probabilités basée sur $p(x)$ et $q(x)$, l'équation \ref{djs2} montre comment elle est calculée. La divergence de Jensen-Shannon est un mélange de distributions de probabilités basé sur $p(x)$ et $q(x)$.

%Jensen-Shannon Divergence (equations \ref{djs}, \ref{djs2}).\\

\begin{equation}
    D_{JS}(p(x),q(x))=\frac{1}{2}D_{KL}(p(x), m(x))+\frac{1}{2}D_{KL}(q(x), m(x))
    \label{djs}
\end{equation}

\begin{equation}
    m(x)=\frac{1}{2}p(x)+\frac{1}{2}q(x)
    \label{djs2}
\end{equation}

Les distributions de probabilité à comparer doivent être continues et définies dans le même domaine.

La prédiction utilisée dans le modèle proposé est basée sur les travaux de Soto \textit{et al.} \cite{10.1007/978-3-031-63646-2_11}, il s'agit d'un modèle d'empilage de raisonnement basé sur les cas qui met en œuvre deux niveaux d'intégration, le modèle utilise globalement la stratégie d'empilage pour exécuter plusieurs algorithmes afin de rechercher des informations dans un ensemble de données et de générer des solutions à différents problèmes génériques, en outre il y a une étape d'évaluation qui permet de sélectionner la solution la plus optimale pour un problème donné en fonction d'une métrique adaptative définie pour les problèmes de régression. Il a été décidé de mettre en œuvre le modèle basé sur l'empilement car il s'agit d'une méthode d'ensemble qui permet d'éviter le paradoxe de Stein puisqu'elle combine les points de vue de différents estimateurs à des étapes de récupération et de réutilisation par raisonnement basé sur les cas.

\section{Modèle Proposé}

Le modèle proposé est une intégration du modèle d'adaptation stochastique (basé sur l'échantillonnage de Thompson) avec le raisonnement à base de cas d'ensemble (ESCBR-SMA). Dans ce cas, le modèle de recommandation produit une adaptation en fonction des notes de l'apprenant et l'ESCBR-SMA effectue une prédiction pour valider l'adaptation générée.

L'idée d'unifier les deux modèles est d'obtenir des informations du point de vue local où une recommandation est obtenue en se basant uniquement sur les informations des apprenants individuels (modèle basé sur l'échantillonnage de Thompson) et la prédiction globale où les informations sont obtenues à partir de tous les apprenants qui ont des résultats similaires (filtre collaboratif avec CBR). L'architecture du modèle est présentée dans la figure \ref{fig:Amodel}, où l'on peut voir que les deux modèles TS et CBR sont exécutés en parallèle et indépendamment avec les informations extraites de la même base de données, une fois que les résultats de chaque modèle sont obtenus, les résultats sont unifiés par le biais d'une fonction de pondération, la recommandation finale est celle qui maximise l'expression \ref{eqMixModels}. La consolidation des résultats des deux modèles permet d'atténuer l'effet du paradoxe de Simpson \cite{10.1145/3578337.3605122}. Ce paradox décrit l'effet qui se présente lorsque les données sont grouppes de différents manières et montrent tendances divergentes \cite{lei2024analysis}.

\begin{figure}
    \centering
    \includegraphics[width=0.5\linewidth]{Figures/Model.png}
    \caption{Schéma de l'architecture du modèle proposé}
    \label{fig:Amodel}
\end{figure}

La première étape est l'adaptation avec l'échantillonnage de Thompson, puis la prédiction ECBR-SMA et enfin la prise de décision à envoyer à l'apprenant. Le système de recommandation obtient une valeur de probabilité pour tous les niveaux de complexité de l'apprenant et l'ECBR-SMA évalue la proposition avec une prédiction pour chaque niveau de complexité. Le tableau \ref{tabvp} présente les variables et les paramètres du modèle proposé ainsi que les mesures employées. Le tableau \ref{tabvp} présente les variables et les paramètres du modèle proposé ainsi que les mesures employées.

\begin{table}[!ht]
    \centering
    \footnotesize
    \begin{tabular}{c|c|>{\centering\arraybackslash}p{8cm}|c}
    ID&Type&Description&Domain\\
    \hline
    $\alpha$&p&Paramètre de la distribution bêta&$[1, \infty] \in \mathbb{R}$\\
    $\beta$&p&Paramètre de la distribution bêta&$[1, \infty] \in \mathbb{R}$\\
    $t$&p&Temps défini comme itérations&$\mathbb{N}$\\
    $c$&p&Niveau de complexité&$\mathbb{N}$\\
    $k_{t,c}$&v&Évolution de la connaissance dans le temps $t$ pour le niveau de complexité $c$&$[0,1] \in \mathbb{R}$\\
    $vk_{t,c}$&v&Évolution de la connaissance pour chaque niveau de complexité $c$&$\mathbb{R}$\\
    $TS_c$&v&Récompense d'échantillonnage de Thompson pour un niveau de complexité $c$&$[0,1] \in \mathbb{R}$\\
    $TSN_c$&v&Normalization de $TS_c$ avec d'autres niveaux de complexité&$[0,1] \in \mathbb{R}$\\
    $ESCBR_c$&v&Prédiction de la note pour un niveau de complexité $c$&$\mathbb{R}_+$\\
    $p_c$&f&Fonction de densité de probabilité pour le niveau de complexité $c$&$\mathbb{R}_+$\\
    $D_{JS}$&f&Divergence de Jensen-Shannon&$[0,1] \in \mathbb{R}$\\
        
    \end{tabular}
    \caption{Paramètres (p), variables (v) et fonctions (f) du modèle proposé et les métriques utilisées}
    \label{tabvp}
\end{table}

L'intégration se fait en trois étapes. Tout d'abord, il est nécessaire d'avoir des valeurs aléatoires pour chaque niveau de complexité $c$ en utilisant les distributions de probabilité générées avec le modèle TS (équation \ref{IntEq1}), une fois que toutes les valeurs de probabilité correspondant à tous les niveaux de complexité ont été obtenues, la normalisation de toutes ces valeurs est calculée comme indiqué dans l'équation \ref{IntEq2}. Les valeurs de normalisation servent de paramètres de priorité pour les prédictions effectuées par le modèle ESCBR-SMA, comme le montre l'équation \ref{eqMixModels}.

\begin{equation}
    TS_c=rand(Beta(\alpha_c, \beta_c))
    \label{IntEq1}
\end{equation}

\begin{equation}
    TSN_c=\frac{TS_c}{\sum_{i=0}^4TS_i}
    \label{IntEq2}
\end{equation}

\begin{equation}
    n_c=argmax_c(TSN_c*ESCBR_c)
    \label{eqMixModels}
\end{equation}

Avec les valeurs finales calculées pour chaque niveau de complexité, le niveau de complexité qui a la valeur la plus élevée est proposé comme recommandation finale (équation \ref{eqMixModels}). Le niveau de complexité qui a la valeur la plus élevée est proposé comme recommandation finale (équation \ref{eqMixModels}).

\section{Résultats et Discussion}

Cette section présente la description de la base de données et les paramètres utilisés pour mesurer la précision, la performance et la progression des connaissances, les résultats individuels du modèle de recommandation, le modèle de prédiction ainsi que leur intégration finale pour améliorer la personnalisation du système d'IA-VT. Cette section présente les résultats individuels du modèle de recommandation, le modèle de prédiction ainsi que leur intégration finale pour améliorer la personnalisation du système d'IA-VT.

La base de données a été générée avec la distribution logit-normale pour simuler les notes des apprenants, car il s'agit d'un bon modèle pour se rapprocher du monde réel. La base de données représente les notes et les temps de réponse d'un apprenant pour cinq questions à chaque niveau de complexité.

Le principal inconvénient de ce système de validation « en situation réelle » est la difficulté de la collecte des données. Cette difficulté est accentuée dans les contextes d'apprentissage autorégulé, puisque les apprenants peuvent quitter la plateforme d'apprentissage à tout moment et que les données peuvent être incomplètes \cite{badier:hal-04092828}.

Quatre tests différents ont été effectués pour démontrer les avantages de l'intégration de la TS et de la CBR dans les EIAH. Le premier est l'utilisation de CBR pour la régression avec une base de données d'apprenants afin de démontrer la capacité du modèle à prédire les notes à différents niveaux de complexité, le deuxième est l'évaluation de la progression des connaissances avec TS afin de déterminer l'efficacité du modèle dans la recommandation personnalisée pour chaque apprenant, La troisième est la comparaison entre les modèles de recommandation BKT et TS afin d'établir la performance du modèle TS en utilisant BKT comme modèle de base et enfin, la comparaison entre TS seul et TS avec ESCBR-SMA pour démontrer que l'intégration entre les deux modèles améliore l'ensemble du système de recommandation dans AI-VT.

\subsection{Régression dans la base de données des apprenants avec ESCBR-SMA}

Le SMA utilise le raisonnement bayésien, ce qui permet aux agents d'apprendre des données et des interactions au cours de l'exécution et de l'exploration.

L'algorithme utilise une fonction noyau pour obtenir la meilleure approximation de la solution du nouveau problème, le problème de l'obtention de la meilleure solution est un problème NP, car la formulation est similaire au problème de Fermat-Weber à N dimensions. Le problème de l'obtention de la meilleure solution est un problème NP, car la formulation est similaire au problème de Fermat-Weber à N dimensions \cite{doi:10.1137/23M1592420}.

La première série de tests est définie sous la forme de différents scénarios, comme le montre le tableau \ref{tab:scenarios}. Dans le scénario 1 (E1), il s'agit de prédire la note d'un apprenant au premier niveau de complexité, après 3 questions. Le scénario 2 (E2) contient les notes de 8 questions et l'objectif est de prédire la note de 9 questions dans le même niveau de complexité. Le scénario 3 (E3) contient les données permettant de prédire le passage à un niveau de complexité supérieur après 4 questions. Le scénario 4 (E4) contient 4 questions et la prédiction de 2 notes dans un niveau de complexité supérieur.

\begin{table}[!ht]
    \centering
    \begin{tabular}{ccc}
    Scenario&Features&Output Dimension\\
    \hline
      E1   &  5 & 1\\
      E2   & 15& 1\\
      E3   & 9 & 1\\
      E4   & 9 & 2\\
    \end{tabular}
    \caption{Description des scénarios}
    \label{tab:scenarios}
\end{table}

Le modèle a été comparé à neuf algorithmes bien connus utilisés pour résoudre les problèmes de régression. La liste des algorithmes est présentée dans le tableau \ref{tabAlgs}.

\begin{table}[!ht]
\footnotesize
\begin{tabular}{ll|ll}
ID&Algorithm&ID&Algorithm\\
\hline
A1&Linear Regression&A6&Polinomial Regression\\
A2&K-Nearest Neighbor&A7&Ridge Regression\\
A3&Decision Tree&A8&Lasso Regression\\
A4&Random Forest (Ensemble)&A9&Gradient Boosting (Ensemble)\\
A5&Multi Layer Perceptron&A10&Proposed Ensemble Stacking CBR\\
\end{tabular}
\caption{Liste des algorithmes évalués }
\label{tabAlgs}
\end{table}

Les algorithmes ont été évalués à l'aide de trois mesures (Root Mean Squared Error - RMSE, Median Absolute Error - MedAE, Mean Absolute Error - MAE), dont les résultats figurent dans le tableau \ref{tab:results}, où l'on constate que l'algorithme proposé obtient de meilleurs résultats que les autres algorithmes avec lesquels il a été comparé, sauf dans les cas E1(MedAE), E1(MAE), E2(MedAE), E2(MAE), E3 et E4(MedAE) où les meilleurs résultats sont obtenus par l'algorithme A9, mais l'algorithme proposé occupe la deuxième place dans ces cas avec des résultats très proches. Il est possible de conclure que l'intégration de plusieurs algorithmes de recherche et de génération de solutions dans le cadre des paradigmes CBR et Stacking est efficace dans le cas de l'application à la prédiction des notes des apprenants.

\begin{table}[!ht]
    \centering
    \footnotesize
    \begin{tabular}{c|cccccccccc}
        &\multicolumn{10}{c}{\textbf{Algorithme}}\\
        \hline
        &  A1&A2&A3&A4&A5&A6&A7&A8&A9&A10\\
    \textbf{Scenario (Metrique)}\\
    \hline
E1 (RMSE)&0.625&0.565&0.741&0.56&0.606&0.626&0.626&0.681&0.541&\textbf{0.54}\\
        E1 (MedAE) & 0.387&0.35&0.46&0.338&0.384&0.387&0.387&0.453&\textbf{0.327}&0.347\\
        E1 (MAE) &0.485&0.436&0.572&0.429&0.47&0.485&0.485&0.544&\textbf{0.414}&0.417\\
        \hline
        E2 (RMSE)&        0.562&0.588&0.78&0.571&0.61&0.562&0.562&0.622&0.557&\textbf{0.556}\\
        E2 (MedAE)&0.351&0.357&0.464&0.344&0.398&0.351&0.351&0.415&\textbf{0.334}&0.346\\
        E2 (MAE)&0.433&0.448&0.591&0.437&0.478&0.433&0.433&0.495&\textbf{0.422}&0.429\\
        \hline
        E3 (RMSE)&0.591&0.59&0.79&0.57&0.632&0.591&0.591&0.644&\textbf{0.555}&0.558\\
        E3 (MedAE)&0.367&0.362&0.474&0.358&0.404&0.367&0.367&0.433&\textbf{0.336}&0.349\\
        E3 (MAE)&0.453&0.45&0.598&0.441&0.49&0.453&0.453&0.512&\textbf{0.427}&0.43\\
        \hline
        E4 (RMSE)&0.591&0.589&0.785&0.568&0.613&0.591&0.591&0.644&0.554&\textbf{0.549}\\
        E4 (MedAE)&0.367&0.362&0.465&0.57&0.375&0.367&0.367&0.433&\textbf{0.336}&0.343\\
        E4 (MAE)&0.453&0.45&0.598&0.438&0.466&0.453&0.453&0.512&0.426&\textbf{0.417}\\
    \end{tabular}
    \caption{Résultats de la régression pour la base de données des apprenants avec 100 exécutions}
    \label{tab:results}
\end{table}

\subsection{Progression des connaissances}

Le modèle de recommandation TS est basé sur le paradigme bayésien, ce qui est très utile lorsque les données sont limitées et l'incertitude forte. Afin de quantifier la connaissance et de voir sa progression dans le temps avec TS, la divergence de Jensen-Shannon avec la famille de distribution Beta en $t$ et $t-1$ fois a été utilisée comme second test. L'équation \ref{eqprog1} décrit formellement le calcul à effectuer avec les distributions de probabilité en un temps $t$ pour un niveau de complexité $c$, en utilisant la définition $m$ (équation \ref{eqprog2}).

%\begin{equation}
\begin{multline}
    k_{t,c}=\frac{1}{2}
\int_{0}^{1}p_c(\alpha_t,\beta_t,x) log \left(\frac{p_c(\alpha_t,\beta_t,x)}{m(p_c(\alpha_{t-1},\beta_{t-1},x),p_c(\alpha_t,\beta_t,x))} \right)dx
\\
+\frac{1}{2}
\int_{0}^{1}p_c(\alpha_{t-1},\beta_{t-1},x) log \left(\frac{p_c(\alpha_{t-1},\beta_{t-1},x)}{m(p_c(\alpha_{t-1},\beta_{t-1},x),p_c(\alpha_t,\beta_t,x))} \right)dx
\label{eqprog1}
\end{multline}
%\end{equation}

\begin{multline}
    m(p(\alpha_{(t-1)},\beta_{(t-1)},x),p(\alpha_{t},\beta_{t},x))=\frac{1}{2} \left( \frac{x^{\alpha_{(t-1)}-1}(1-x)^{\beta_{(t-1)}-1}}{\int_0^1 u^{\alpha_{(t-1)}-1}(1-u^{\beta_{(t-1)}-1})du} \right )\\
    +\frac{1}{2} \left (\frac{x^{\alpha_{t}-1}(1-x)^{\beta_{t}-1}}{\int_0^1 u^{\alpha_{t}-1}(1-u^{\beta_{t}-1})du} \right )
%\end{equation}
\label{eqprog2}
\end{multline}

La progression totale des connaissances en $t$ est la somme des différences entre $t$ et $t-1$ pour tous les $c$ niveaux de complexité calculés avec la divergence de Jensen-Shannon (équation \ref{eqTEK}). en utilisant l'évaluation de la progression de la variabilité (équation \ref{eqVarP}).

\begin{equation}
    vk_{t,c}=\begin{cases}
        D_{JS}(Beta(\alpha_{t,c},\beta_{t,c}), Beta(\alpha_{t+1,c},\beta_{t+1,c})), & \frac{\alpha_{t,c}}{\alpha_{t,c}+\beta_{t,c}} < \frac{\alpha_{t+1,c}}{\alpha_{t+1,c}+\beta_{t+1,c}}\\
        -D_{JS}(Beta(\alpha_{t,c},\beta_{t,c}), Beta(\alpha_{t+1,c},\beta_{t+1,c})),& Otherwise
    \end{cases}
    \label{eqVarP}
\end{equation}

\begin{equation}
    k_t=\sum_{c=4}^{c=0 \lor k_t \neq 0}
    \begin{cases}
    \alpha_{c-1} vk_{t,c-1};&vk_{t,c} > 0\\
    0;&Otherwise
    \end{cases}
    \label{eqTEK}
\end{equation}

\begin{figure}
    \centering
    \includegraphics[width=\textwidth]{Figures/kEvol_TS.jpg}
    \caption{Progression des connaissances avec l'échantillonnage de Thompson selon la divergence de Jensen-Shannon}
    \label{fig:evolution}
\end{figure}

La figure \ref{fig:evolution} montre la progression cumulative des connaissances sur les quinze questions d'une seule session de formation. Entre la première et la dernière question de la même session, tous les apprenants ont statistiquement augmenté leur niveau de connaissance puisque la moyenne a augmenté, la variabilité augmente à partir de la première question jusqu'à la question neuf, où le système a acquis plus d'informations sur les apprenants, à partir de là la variabilité diminue et la moyenne augmente. La figure {fig:evolution} montre la progression cumulative des connaissances sur les quinze questions d'une même session de formation.

\subsection{Comparaison entre TS et BKT}

L'évolution du système de recommandation TS est testée en comparaison avec BKT, la figure \ref{fig:EvGrades} montre l'évolution des notes des apprenants en fonction du nombre de questions auxquelles ils répondent dans la même session. Dans ce cas, le modèle TS génère moins de variabilité que BKT, mais si est faite la comparaison des moyennes générées par chaque question, l'évolution est très similaire. La figure \ref{fig:EvGrades} montre l'évolution des notes des apprenants en fonction du nombre de questions auxquelles ils répondent au cours de la même session.

\begin{figure}
    \centering
    \includegraphics[width=\textwidth]{Figures/GradesEv.jpg}
    \caption{Comparaison de l'évolution des notes entre les algorithmes BKT et TS}
    \label{fig:EvGrades}
\end{figure}

Mais, si les résultats obtenus sont comparés par rapport à l'évolution du niveau de complexité recommandé (figure \ref{fig:EvCL}), le modèle TS fait évoluer le niveau de complexité des apprénants, alors que le modèle BKT a tendance à laisser les apprénants au même niveau de complexité, c'est-à-dire qu'avec le modèle BKT, il est difficile d'apprendre de nouveaux sujets ou des concepts plus complexes au sein du même domaine. En examinant les résultats des deux figures (figures \ref{fig:EvGrades} et \ref{fig:EvCL}) et en établissant des comparaisons, le modèle TS permet de progresser en moyenne dans la valeur des notes et facilite l'évolution des niveaux de complexité.\N- Le modèle TS permet de progresser en moyenne dans la valeur des notes et facilite l'évolution des niveaux de complexité. Le modèle TS permet de progresser en moyenne dans la valeur des notes et facilite l'évolution des niveaux de complexité.

\begin{figure}
    \centering
    \includegraphics[width=\textwidth]{Figures/LevelsEv.jpg}
    \caption{Comparaison de l'évolution des niveaux entre les algorithmes BKT et TS}
    \label{fig:EvCL}
\end{figure}

\subsection{Système de recommandation avec ESCBR-SMA}

Le troisième test est l'intégration entre deux modèles. Cette combinaison est faite pour éviter le paradoxe de Stein, en essayant de combiner des observations qui ne sont pas directement liées l'une à l'autre, c'est-à-dire en utilisant l'information individuelle (Thomson sampling recommender) et le filtre collaboratif (Case-base reasoning prediction) pour améliorer la personnalisation. Le test est une comparaison entre le système de recommandation TS et le système de recommandation TS avec la prédiction ESCBR-SMA afin de déterminer si l'intégration des deux modèles permet d'améliorer l'évolution du processus d'apprentissage proposé par le système AI-VT.

La comparaison est effectuée après la question 6 pour tous les apprenants, car il est nécessaire de disposer d'informations préalables pour utiliser l'algorithme ESCBR-SMA et prédire les notes dans tous les niveaux de complexité pour la question suivante.

\subsection{Progression des connaissances TS vs TS et ESCBR-SMA}

Pour établir la différence entre le modèle de recommandation TS et le même modèle associé à la prédiction basée sur le raisonnement à partir de cas ESCBR-SMA, le quatrième test est défini en utilisant la métrique de Jensen-Shannon, mais dans ce cas la comparaison est faite entre les différents modèles (TS, TS-ESCBR) sur le même niveau de complexité dans le même temps $t$. La définition formelle de la métrique est exprimée par les équations \ref{eqjs4} et \ref{eqjs5}. La définition formelle de la métrique est exprimée par les équations \ref{eqjs4} et \ref{eqjs5}.

\begin{multline}
    k_{t,c}=\frac{1}{2}
\int_{0}^{1}p_c(\alpha_{p1,t},\beta_{p1,t},x)
log \left(\frac{p_c(\alpha_{p1,t},\beta_{p1,t},x)}{m(p_c(\alpha_{p1,t},\beta_{p1,t},x),p_c(\alpha_{p2,t},\beta_{p2,t},x))} \right)dx
\\
+\frac{1}{2}
\int_{0}^{1}p_c(\alpha_{p2,t},\beta_{p2,t},x) log \left(\frac{p_c(\alpha_{p2,t},\beta_{p2,t},x)}{m(p_c(\alpha_{p1,t},\beta_{p1,t},x),p_c(\alpha_{p2,t},\beta_{p2,t},x))} \right)dx
\label{eqjs4}
\end{multline}
%\end{equation}

\begin{multline}
    m(p(\alpha_{p1,t},\beta_{p1,t},x),p(\alpha_{p2,t},\beta_{p2,t},x))=\frac{1}{2} \left( \frac{x^{\alpha_{p1,t}-1}(1-x)^{\beta_{p1,t}-1}}{\int_0^1 u^{\alpha_{p1,t}-1}(1-u^{\beta_{p1,t}-1})du} \right )\\
    +\frac{1}{2} \left (\frac{x^{\alpha_{p2,t}-1}(1-x)^{\beta_{p2,t}-1}}{\int_0^1 u^{\alpha_{p2,t}-1}(1-u^{\beta_{p2,t}-1})du} \right )
    \label{eqjs5}
%\end{equation}
\end{multline}

La comparaison entre l'évolution des connaissances présente une bifurcation après la septième question, et l'intégration de l'échantillonnage de Thompson et du raisonnement à partir de cas permet d'améliorer l'évolution des connaissances par rapport au seul modèle d'échantillonnage de Thompson (Figure \ref{fig_cmp2}). Pour toutes les questions de la même session, en moyenne, la progression est supérieure par rapport à l'utilisation du seul modèle d'échantillonnage de Thompson comme modèle de recommandation.

\begin{figure}[!h]
    \centering
    \includegraphics[width=\textwidth]{Figures/TS-ESCBR.png}
    \caption{Normalisation de la différence de progression entre l'échantillonnage de Thompson et l'échantillonnage de Thompson avec ESCBR pour 1000 apprenants}
    \label{fig_cmp2}
\end{figure}

\section{Conclusion}

Ce chapitre présente un modèle intégré entre deux modèles développés précédemment, un système de recommandation basé sur l'algorithme d'échantillonnage de Thompson et un modèle de régression d'ensemble basé sur le raisonnement par cas. Le modèle intégré est appliqué à un ITS appelé AI-VT, les résultats montrent en effet que l'intégration permet d'améliorer la performance des deux modèles utilisés séparément, en outre il montre de meilleurs résultats dans la révision/adaptation des étapes de solutions pour chaque apprenant, en fonction des métriques utilisées et des tests définis, donnant une meilleure personnalisation du système et facilitant l'acquisition de connaissances.
%Le modèle intégré est appliqué à un ITS appelé AI-VT.\\

Les avantages du modèle proposé sont les suivants : i) il permet de générer des recommandations personnalisées pour chaque apprenant avec relativement peu de données historiques, ii) étant donné que de multiples points de vue (différents algorithmes) sur le même problème et avec la même base de données sont intégrés, le risque de tomber dans des paradoxes statistiques (Stein, Simpson) est réduit, iii) les deux modèles se complètent mutuellement en améliorant les résultats finaux d'une manière généralisée. Le modèle proposé a été conçu pour être utilisé dans le cadre d'un projet de recherche et de développement en cours.\\\\

\textbf{TROISIÈME PARTIE}

\section{Modèle Proposé}
L'algorithme proposé est une intégration de la recommandation stochastique (basée sur l'échantillonnage de Thompson), du raisonnement à partir de cas (ESCBR-SMA) et du processus de Hawkes. Dans ce cas, l'algorithme de recommandation produit une adaptation en fonction des notes de l'apprenant et l'ESCBR-SMA effectue une prédiction pour valider l'adaptation générée, le processus de Hawkes simule la courbe d'oubli dans le processus d'apprentissage.

L'idée de l'unification est d'obtenir des informations d'un point de vue local où une recommandation est obtenue en se basant uniquement sur les informations des apprenants individuels (modèle basé sur l'échantillonnage de Thompson), la prédiction globale où les informations sont obtenues à partir de tous les apprenants qui ont des résultats similaires (filtre collaboratif avec CBR) et le processus d'apprentissage dynamique avec le processus de Hawkes. L'architecture de l'algorithme est présentée dans la figure \ref{fig:Amodel}, où TS et CBR sont exécutés en parallèle et indépendamment avec les informations extraites de la même base de données, une fois que les résultats de chaque algorithme sont obtenus, les résultats sont unifiés par une fonction de pondération et une distribution de probabilité mises à jour dynamiquement en fonction des événements passés et du niveau de complexité sélectionné, la recommandation finale est celle qui maximise l'expression \ref{eqMixModels}. La consolidation des deux résultats globaux permet d'atténuer l'effet du paradoxe de Simpson \cite{10.1145/3578337.3605122}.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=0.5\linewidth]{Figures/Model.png}
    \caption{Architecture Proposed Algorithm}
    \label{fig:Amodel}
\end{figure}

La première étape est l'adaptation avec l'échantillonnage de Thompson et la prédiction de l'ECBR-SMA, et enfin la prise de décision pour l'envoi à l'apprenant. Le système de recommandation obtient une valeur de probabilité pour tous les niveaux de complexité pour l'apprenant et l'ECBR-SMA évalue la proposition avec une prédiction pour chaque niveau de complexité. Le tableau \ref{tabvp} présente les variables et les paramètres de l'algorithme proposé et les mesures employées.

\begin{table}[!ht]
    \centering
    \begin{tabular}{c|c|c|c}
    ID&Type&Description&Domain\\
    \hline
    $\alpha$&p&Beta distribution parameter&$[1, \infty] \in \mathbb{R}$\\
    $\beta$&p&Beta distribution parameter&$[1, \infty] \in \mathbb{R}$\\
    $t$&p&Time defined as iterations&$\mathbb{N}$\\
    $c$&p&Complexity level&$\mathbb{N}$\\
    $x_c$&p&Mean grades for complexity level $c$&$\mathbb{R}$\\
    $y_c$&p&Number of questions for complexity level $c$&$\mathbb{N}$\\
    $k_{t,c}$&v&Knowledge evolution in time $t$ for complexity level $c$&$[0,1] \in \mathbb{R}$\\
    $vk_{t,c}$&v&Knowledge evolution for each complexity level $c$&$\mathbb{R}$\\
    $TS_c$&v&Thompson sampling reward for a complexity level $c$&$[0,1] \in \mathbb{R}$\\
    $TSN_c$&v&Normalization of $TS_c$ with others complexity levels&$[0,1] \in \mathbb{R}$\\
    $ESCBR_c$&v&Grade prediction for a complexity level $c$&$\mathbb{R}_+$\\
    $p_c$&f&Probability density function for complexity level $c$&$\mathbb{R}_+$\\
    $D_{JS}$&f&Jensen-Shannon divergence&$[0,1] \in \mathbb{R}$\\
    $r$&f&Recommender metric function&$[0,1] \in \mathbb{R}$\\
    \end{tabular}
    \caption{Parameters (p), variables (v) and functions (f) of proposed algorithm and metrics}
    \label{tabvp}
\end{table}

L'intégration se fait en trois étapes. Tout d'abord, sont obtenus les valeurs aléatoires pour chaque niveau de complexité $c$ en utilisant les distributions de probabilité générées avec le TS (équation \ref{IntEq1}), une fois que toutes les valeurs de probabilité correspondant à tous les niveaux de complexité ont été obtenues, la normalisation de toutes ces valeurs est calculée comme indiqué dans l'équation \ref{IntEq2}. Les valeurs de normalisation servent de paramètres de priorité pour les prédictions effectuées par l'ESCBR-SMA, comme le montre l'équation \ref{eqMixModels}.

\begin{equation}
    TS_c=rand(Beta(\alpha_c, \beta_c))
    \label{IntEq1}
\end{equation}

\begin{equation}
    TSN_c=\frac{TS_c}{\sum_{i=0}^4TS_i}
    \label{IntEq2}
\end{equation}

\begin{equation}
    n_c=argmax_c(TSN_c*ESCBR_c)
    \label{eqMixModels}
\end{equation}

Avec les valeurs finales calculées pour chaque niveau de complexité, le niveau de complexité qui a la valeur la plus élevée est proposé comme recommandation finale (équation~\ref{eqMixModels}).

Après la sélection du niveau de complexité, toutes les distributions de probabilité sont mises à jour selon le processus de Hawkes (équation \ref{hp1}) pour chaque paramètre $\alpha$ et $\beta$ en utilisant la fonction d'intensité définie constante (équations \ref{hp21} et \ref{hp22}) et la fonction d'excitation (équation \ref{hp31}). En simulant la courbe d'oubli dans lévolution de la distribution de probabilité Beta.

\begin{equation}
    \lambda(t)=\mu(t)+\sum_{t_i<t} \phi(t-t_i)
    \label{hp1}
\end{equation}

\begin{equation}
    \mu_{\alpha,c}(t)=\begin{cases}
        2 ,& c=0\\
        1 ,& 1\le c \le 4\\
    \end{cases}
    \label{hp21}
\end{equation}

\begin{equation}
    \mu_{\beta,c}(t)=\begin{cases}
        1,&c=0\\
        3,&c=1\\
        5,&c=2\\
        7,&c=3\\
        9,&c=4\\
    \end{cases}
    \label{hp22}
\end{equation}

\begin{equation}
    \phi_h(t)=(10)(0.02)e^{-0.02t}
    \label{hp31}
\end{equation}

Then, the equation \ref{hpfa} shows the complete definition for all $\alpha$ and the equation \ref{hpfb} the definition for $\beta$ parameters.

\begin{equation}
    \lambda_{\alpha}(t)=\mu_{\alpha,c}(t)+\sum_{t_i<t} \phi_h(t-t_i)
    \label{hpfa}
\end{equation}

\begin{equation}
    \lambda_{\beta}(t)=\mu_{\beta,c}(t)+\sum_{t_i<t} \phi_h(t-t_i)
    \label{hpfb}
\end{equation}

And for each complexity level $c$, the equation \ref{eqBetaH} describe the distribution of probability.

\begin{equation}
    P_c(x,\lambda_{\alpha}(t),\lambda_{\beta}(t))=\frac{x^{\lambda_{\alpha}(t)}(1-x)^{\lambda_{\beta}(t)}}{\int_0^1u^{\lambda_{\alpha}(t)}(1-u)^{\lambda_{\beta}(t)} du}
    \label{eqBetaH}
\end{equation}

\section{Résultats et Discussion}

\subsection{Système de recommandation avec une base de données d'étudiants réels (TS avec Hawkes)}

Le système de recommandation TS a été testé avec un ensemble de données adapté extrait des données réelles des interactions des étudiants avec un environnement d'apprentissage virtuel pour différents cours \cite{Kuzilek2017}, le total des apprenants est 23366, dans cette base de données il y a les notes de l'apprenant dans différents cours et de multiples types d'évaluations. Il s'agit du troisième test, pour lequel le format de la base de données est adapté à la structure AI-VT (notes, temps de réponse et niveau de complexité), les niveaux de complexité sont divisés en cinq étapes et calculés avec le pourcentage de poids défini dans l'ensemble de données. La figure \ref{fig:stabilityBP} a été générée après 100 exécutions de l'algorithme et montre que même la stochasticité, l'algorithme est stable parce que la variance globale dans tous les niveaux de complexité est faible en fonction du nombre total d'apprenants et du nombre total de recommandations.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=0.6\textwidth]{./Figures/stabilityBoxplot1.png}\hfill
    \includegraphics[width=0.6\textwidth]{Figures/stabilityBoxplot2.png}
    \caption{Number of recommendations by complexity level (left static learning process, right dynamic learning process with Hawkes process)}
    \label{fig:stabilityBP}
\end{figure}

L'algorithme recommande plus de niveaux de faible complexité avec Hawkes, parce que la connaissance tend à diminuer avec le temps, puis l'algorithme force à renforcer la connaissance dans tous les niveaux de complexité et puisque la configuration initiale donne une plus grande probabilité aux niveaux inférieurs, l'algorithme tend à répéter les niveaux plus accessibles nécessaires pour atteindre les niveaux supérieurs.

\subsection{Base de données simulée (ESCBR, TS avec Hawkes)}

La base de données simulée est générée à l'aide d'une distribution log-normale de probabilité pour simuler les notes de 1000 apprenants dans cinq niveaux de complexité, chacun comportant quinze questions. Le générateur simule une plus grande complexité en réduisant la moyenne et en augmentant la variabilité de la distribution de probabilité.

La comparaison est faite avec la métrique décrite dans l'équation \ref{metric1}, où est calculée la relation entre la moyenne des notes $x_c$ et le nombre de questions $y_c$ pour chaque niveau de complexité $c$.

\begin{equation}
    r(x_c,y_c)=e^{-2(x_c+y_c-1)^2}
    \label{metric1}
\end{equation}

Un scénario spécifique a été défini sans données initiales (notes et temps de réponse), c'est-à-dire un démarrage à froid. Le tableau \ref{tab:my_label} montre les résultats numériques après 10000 exécutions (1000 apprenants) pour TS et TS-Hawkes, dans le scénario évalué. Malgré les changements dans chaque niveau de complexité, le pourcentage total est très similaire.

\begin{table}[!ht]
    \centering
    \begin{tabular}{c|ccccccc}&$r_{C0}$&$r_{C1}$&$r_{C2}$&$r_{C3}$&$r_{C4}$&Total&Percent\\
    \hline
    TS&0.9695&0.7945&0.6377&0.5615&0.5184&3.4816&69.632\\%TS&0.971&0.7982&0.6315&0.551&0.5014&3.4531&69.062\\
    TS-Hawkes&0.9414&0.7175&0.6434&0.5761&0.5448&3.4232&68.464\\
    %TS-Hawkes&0.9432&0.7107&0.6253&0.5853&0.5291&3.3936&67.872\\
    \end{tabular}
    \caption{Metric comparison ESCBR-TS and ESCBR-TS-Hawkes}
    \label{tab:my_label}
\end{table}

L'évolution de la variance (figure \ref{fig:vars}) montre qu'avec le processus de Hawkes, les valeurs sont maintenues autour de la configuration initiale, ce qui permet une plus grande adaptabilité aux changements dynamiques des connaissances qui se produisent dans le processus d'apprentissage. Étant donné que la distribution de probabilité Beta converge rapidement vers une valeur unique, plus on obtient de valeurs, plus la variance est faible et s'il y a un changement dans la valeur de convergence, la distribution a besoin de plus de données pour converger vers la nouvelle valeur, puisque les changements dans la moyenne sont proportionnels à la valeur de la variance avec un pas de changement constant pour les paramètres. Dans le cas de la modélisation du processus d'apprentissage, il est donc préférable de maintenir une valeur de variance relativement élevée pour faciliter l'adaptation aux changements imprévus, ce qui constitue la principale contribution du processus de Hawkes à l'échantillonnage de Thompson pour la modélisation de l'évolution des connaissances.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=1\textwidth]{Figures/Var.png}
    
    \medskip
    \hrulefill\par
    \vspace{15pt}
    
    \includegraphics[width=1\textwidth]{Figures/VarH.png}
    \caption{Variance evolution for Beta distribution of probability and all complexity levels (Top: static learning process. Bottom: dynamic learning process with Hawkes process)}
    \label{fig:vars}
\end{figure}

\section{Conclusion}

Ce chapitre a présenté un algorithme intégré entre deux modèles développés précédemment, un système de recommandation basé sur l'algorithme d'échantillonnage de Thompson, un modèle de régression d'ensemble basé sur le raisonnement par cas et une simulation de courbe d'oubli en utilisant le processus de Hawkes. L'algorithme intégré est appliqué à un EIAH appelé AI-VT. Les résultats montrent en effet que l'intégration permet d'obtenir des résultats similaires, mais avec un processus plus réaliste, ce qui permet de mieux personnaliser le système et de faciliter l'acquisition de connaissances.

Les avantages du modèle proposé sont les suivants : i) il permet de générer des recommandations personnalisées pour chaque apprenant avec relativement peu de données historiques, ii) étant donné que plusieurs points de vue (différents algorithmes) sur le même problème et avec la même base de données sont intégrés sur la base du paradoxe de Stein, le risque de tomber dans les paradoxes de Simpson est réduit, iii) les deux modèles avec le processus de Hawkes sont plus réalistes et dynamiques dans le processus d'apprentissage global.