\chapter{Application du raisonnement à partir de cas (RàPC), des systèmes multi-agents (SMA) et du processus de Hawkes au système AI-VT}
\section{Introduction}
L'un des principaux modules des EIAH est le système de recommandation, qui vise à trouver les faiblesses et à adapter la plateforme localement ou globalement pour faciliter le processus d'apprentissage et l'acquisition des connaissances, ce module est très important car il permet d'adapter le système et de personnaliser les contenus et les exercices en fonction des besoins et des résultats de chacun des apprenants, l'efficacité du système dans l'acquisition des connaissances et l'adaptation aux différents types d'apprentissage dépend de ce module \cite{Liu2023}. Il est donc nécessaire de trouver des techniques et des algorithmes capables d'exploiter les données disponibles et d'explorer les options d'apprentissage de manière dynamique, afin d'améliorer les performances globales des EIAH.

Dans ce chapitre seront detaillées les contributions réalisées avec l'incorporation du processus de Hawkes :

\begin{itemize}
    \item Simulation de la courbe d'oubli dans le processus d'apprentissage à l'aide du processus stochastique de Hawkes.
    \item Intégration du raisonnement par cas, des systèmes multi-agents et du processus de Hawkes dans un algorithme de recommandation.
    \item Vérification de la progression, de la stabilité, la précision et évolution de l'algorithme de recommandation stochastique proposé à l'aide de bases de données simulées et hétérogènes d'étudiants réels.
\end{itemize}

\section{Modèle Proposé}
L'algorithme proposé est une intégration de la recommandation stochastique (basée sur l'échantillonnage de Thompson), du raisonnement à partir de cas (ESCBR-SMA) et du processus de Hawkes. Dans ce cas, l'algorithme de recommandation produit une adaptation en fonction des notes de l'apprenant et l'ESCBR-SMA effectue une prédiction pour valider l'adaptation générée, le processus de Hawkes simule la courbe d'oubli dans le processus d'apprentissage.

L'idée de l'unification est d'obtenir des informations d'un point de vue local où une recommandation est obtenue en se basant uniquement sur les informations des apprenants individuels (modèle basé sur l'échantillonnage de Thompson), la prédiction globale où les informations sont obtenues à partir de tous les apprenants qui ont des résultats similaires (filtre collaboratif avec CBR) et le processus d'apprentissage dynamique avec le processus de Hawkes. L'architecture de l'algorithme est présentée dans la figure \ref{fig:Amodel}, où TS et CBR sont exécutés en parallèle et indépendamment avec les informations extraites de la même base de données, une fois que les résultats de chaque algorithme sont obtenus, les résultats sont unifiés par une fonction de pondération et une distribution de probabilité mises à jour dynamiquement en fonction des événements passés et du niveau de complexité sélectionné, la recommandation finale est celle qui maximise l'expression \ref{eqMixModels}. La consolidation des deux résultats globaux permet d'atténuer l'effet du paradoxe de Simpson \cite{10.1145/3578337.3605122}.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=0.5\linewidth]{Figures/Model.png}
    \caption{Architecture Proposed Algorithm}
    \label{fig:Amodel}
\end{figure}

La première étape est l'adaptation avec l'échantillonnage de Thompson et la prédiction de l'ECBR-SMA, et enfin la prise de décision pour l'envoi à l'apprenant. Le système de recommandation obtient une valeur de probabilité pour tous les niveaux de complexité pour l'apprenant et l'ECBR-SMA évalue la proposition avec une prédiction pour chaque niveau de complexité. Le tableau \ref{tabvp} présente les variables et les paramètres de l'algorithme proposé et les mesures employées.

\begin{table}[!ht]
    \centering
    \begin{tabular}{c|c|c|c}
    ID&Type&Description&Domain\\
    \hline
    $\alpha$&p&Beta distribution parameter&$[1, \infty] \in \mathbb{R}$\\
    $\beta$&p&Beta distribution parameter&$[1, \infty] \in \mathbb{R}$\\
    $t$&p&Time defined as iterations&$\mathbb{N}$\\
    $c$&p&Complexity level&$\mathbb{N}$\\
    $x_c$&p&Mean grades for complexity level $c$&$\mathbb{R}$\\
    $y_c$&p&Number of questions for complexity level $c$&$\mathbb{N}$\\
    $k_{t,c}$&v&Knowledge evolution in time $t$ for complexity level $c$&$[0,1] \in \mathbb{R}$\\
    $vk_{t,c}$&v&Knowledge evolution for each complexity level $c$&$\mathbb{R}$\\
    $TS_c$&v&Thompson sampling reward for a complexity level $c$&$[0,1] \in \mathbb{R}$\\
    $TSN_c$&v&Normalization of $TS_c$ with others complexity levels&$[0,1] \in \mathbb{R}$\\
    $ESCBR_c$&v&Grade prediction for a complexity level $c$&$\mathbb{R}_+$\\
    $p_c$&f&Probability density function for complexity level $c$&$\mathbb{R}_+$\\
    $D_{JS}$&f&Jensen-Shannon divergence&$[0,1] \in \mathbb{R}$\\
    $r$&f&Recommender metric function&$[0,1] \in \mathbb{R}$\\
    \end{tabular}
    \caption{Parameters (p), variables (v) and functions (f) of proposed algorithm and metrics}
    \label{tabvp}
\end{table}

L'intégration se fait en trois étapes. Tout d'abord, sont obtenus les valeurs aléatoires pour chaque niveau de complexité $c$ en utilisant les distributions de probabilité générées avec le TS (équation \ref{IntEq1}), une fois que toutes les valeurs de probabilité correspondant à tous les niveaux de complexité ont été obtenues, la normalisation de toutes ces valeurs est calculée comme indiqué dans l'équation \ref{IntEq2}. Les valeurs de normalisation servent de paramètres de priorité pour les prédictions effectuées par l'ESCBR-SMA, comme le montre l'équation \ref{eqMixModels}.

\begin{equation}
    TS_c=rand(Beta(\alpha_c, \beta_c))
    \label{IntEq1}
\end{equation}

\begin{equation}
    TSN_c=\frac{TS_c}{\sum_{i=0}^4TS_i}
    \label{IntEq2}
\end{equation}

\begin{equation}
    n_c=argmax_c(TSN_c*ESCBR_c)
    \label{eqMixModels}
\end{equation}

Avec les valeurs finales calculées pour chaque niveau de complexité, le niveau de complexité qui a la valeur la plus élevée est proposé comme recommandation finale (équation~\ref{eqMixModels}).

Après la sélection du niveau de complexité, toutes les distributions de probabilité sont mises à jour selon le processus de Hawkes (équation \ref{hp1}) pour chaque paramètre $\alpha$ et $\beta$ en utilisant la fonction d'intensité définie constante (équations \ref{hp21} et \ref{hp22}) et la fonction d'excitation (équation \ref{hp31}). En simulant la courbe d'oubli dans lévolution de la distribution de probabilité Beta.

\begin{equation}
    \lambda(t)=\mu(t)+\sum_{t_i<t} \phi(t-t_i)
    \label{hp1}
\end{equation}

\begin{equation}
    \mu_{\alpha,c}(t)=\begin{cases}
        2 ,& c=0\\
        1 ,& 1\le c \le 4\\
    \end{cases}
    \label{hp21}
\end{equation}

\begin{equation}
    \mu_{\beta,c}(t)=\begin{cases}
        1,&c=0\\
        3,&c=1\\
        5,&c=2\\
        7,&c=3\\
        9,&c=4\\
    \end{cases}
    \label{hp22}
\end{equation}

\begin{equation}
    \phi_h(t)=(10)(0.02)e^{-0.02t}
    \label{hp31}
\end{equation}

Then, the equation \ref{hpfa} shows the complete definition for all $\alpha$ and the equation \ref{hpfb} the definition for $\beta$ parameters.

\begin{equation}
    \lambda_{\alpha}(t)=\mu_{\alpha,c}(t)+\sum_{t_i<t} \phi_h(t-t_i)
    \label{hpfa}
\end{equation}

\begin{equation}
    \lambda_{\beta}(t)=\mu_{\beta,c}(t)+\sum_{t_i<t} \phi_h(t-t_i)
    \label{hpfb}
\end{equation}

And for each complexity level $c$, the equation \ref{eqBetaH} describe the distribution of probability.

\begin{equation}
    P_c(x,\lambda_{\alpha}(t),\lambda_{\beta}(t))=\frac{x^{\lambda_{\alpha}(t)}(1-x)^{\lambda_{\beta}(t)}}{\int_0^1u^{\lambda_{\alpha}(t)}(1-u)^{\lambda_{\beta}(t)} du}
    \label{eqBetaH}
\end{equation}

\section{Résultats et Discussion}

\subsection{Système de recommandation avec une base de données d'étudiants réels (TS avec Hawkes)}

Le système de recommandation TS a été testé avec un ensemble de données adapté extrait des données réelles des interactions des étudiants avec un environnement d'apprentissage virtuel pour différents cours \cite{Kuzilek2017}, le total des apprenants est 23366, dans cette base de données il y a les notes de l'apprenant dans différents cours et de multiples types d'évaluations. Il s'agit du troisième test, pour lequel le format de la base de données est adapté à la structure AI-VT (notes, temps de réponse et niveau de complexité), les niveaux de complexité sont divisés en cinq étapes et calculés avec le pourcentage de poids défini dans l'ensemble de données. La figure \ref{fig:stabilityBP} a été générée après 100 exécutions de l'algorithme et montre que même la stochasticité, l'algorithme est stable parce que la variance globale dans tous les niveaux de complexité est faible en fonction du nombre total d'apprenants et du nombre total de recommandations.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=0.5\textwidth]{./Figures/stabilityBoxplot1.png}\hfill
    \includegraphics[width=0.5\textwidth]{Figures/stabilityBoxplot2.png}
    \caption{Number of recommendations by complexity level (left static learning process, right dynamic learning process with Hawkes process)}
    \label{fig:stabilityBP}
\end{figure}

L'algorithme recommande plus de niveaux de faible complexité avec Hawkes, parce que la connaissance tend à diminuer avec le temps, puis l'algorithme force à renforcer la connaissance dans tous les niveaux de complexité et puisque la configuration initiale donne une plus grande probabilité aux niveaux inférieurs, l'algorithme tend à répéter les niveaux plus accessibles nécessaires pour atteindre les niveaux supérieurs.

\subsection{Base de données simulée (ESCBR, TS avec Hawkes)}

La base de données simulée est générée à l'aide d'une distribution log-normale de probabilité pour simuler les notes de 1000 apprenants dans cinq niveaux de complexité, chacun comportant quinze questions. Le générateur simule une plus grande complexité en réduisant la moyenne et en augmentant la variabilité de la distribution de probabilité.

La comparaison est faite avec la métrique décrite dans l'équation \ref{metric1}, où est calculée la relation entre la moyenne des notes $x_c$ et le nombre de questions $y_c$ pour chaque niveau de complexité $c$.

\begin{equation}
    r(x_c,y_c)=e^{-2(x_c+y_c-1)^2}
    \label{metric1}
\end{equation}

Un scénario spécifique a été défini sans données initiales (notes et temps de réponse), c'est-à-dire un démarrage à froid. Le tableau \ref{tab:my_label} montre les résultats numériques après 10000 exécutions (1000 apprenants) pour TS et TS-Hawkes, dans le scénario évalué. Malgré les changements dans chaque niveau de complexité, le pourcentage total est très similaire.

\begin{table}[!ht]
    \centering
    \begin{tabular}{c|ccccccc}&$r_{C0}$&$r_{C1}$&$r_{C2}$&$r_{C3}$&$r_{C4}$&Total&Percent\\
    \hline
    TS&0.9695&0.7945&0.6377&0.5615&0.5184&3.4816&69.632\\%TS&0.971&0.7982&0.6315&0.551&0.5014&3.4531&69.062\\
    TS-Hawkes&0.9414&0.7175&0.6434&0.5761&0.5448&3.4232&68.464\\
    %TS-Hawkes&0.9432&0.7107&0.6253&0.5853&0.5291&3.3936&67.872\\
    \end{tabular}
    \caption{Metric comparison ESCBR-TS and ESCBR-TS-Hawkes}
    \label{tab:my_label}
\end{table}

L'évolution de la variance (figure \ref{fig:vars}) montre qu'avec le processus de Hawkes, les valeurs sont maintenues autour de la configuration initiale, ce qui permet une plus grande adaptabilité aux changements dynamiques des connaissances qui se produisent dans le processus d'apprentissage. Étant donné que la distribution de probabilité Beta converge rapidement vers une valeur unique, plus on obtient de valeurs, plus la variance est faible et s'il y a un changement dans la valeur de convergence, la distribution a besoin de plus de données pour converger vers la nouvelle valeur, puisque les changements dans la moyenne sont proportionnels à la valeur de la variance avec un pas de changement constant pour les paramètres. Dans le cas de la modélisation du processus d'apprentissage, il est donc préférable de maintenir une valeur de variance relativement élevée pour faciliter l'adaptation aux changements imprévus, ce qui constitue la principale contribution du processus de Hawkes à l'échantillonnage de Thompson pour la modélisation de l'évolution des connaissances.

\begin{figure}[!ht]
    \centering
    \includegraphics[width=1\textwidth]{Figures/Var.png}
    
    \medskip
    \hrulefill\par
    \vspace{15pt}
    
    \includegraphics[width=1\textwidth]{Figures/VarH.png}
    \caption{Variance evolution for Beta distribution of probability and all complexity levels (Top: static learning process. Bottom: dynamic learning process with Hawkes process)}
    \label{fig:vars}
\end{figure}

\section{Conclusion}

Ce chapitre a présenté un algorithme intégré entre deux modèles développés précédemment, un système de recommandation basé sur l'algorithme d'échantillonnage de Thompson, un modèle de régression d'ensemble basé sur le raisonnement par cas et une simulation de courbe d'oubli en utilisant le processus de Hawkes. L'algorithme intégré est appliqué à un EIAH appelé AI-VT. Les résultats montrent en effet que l'intégration permet d'obtenir des résultats similaires, mais avec un processus plus réaliste, ce qui permet de mieux personnaliser le système et de faciliter l'acquisition de connaissances.

Les avantages du modèle proposé sont les suivants : i) il permet de générer des recommandations personnalisées pour chaque apprenant avec relativement peu de données historiques, ii) étant donné que plusieurs points de vue (différents algorithmes) sur le même problème et avec la même base de données sont intégrés sur la base du paradoxe de Stein, le risque de tomber dans les paradoxes de Simpson est réduit, iii) les deux modèles avec le processus de Hawkes sont plus réalistes et dynamiques dans le processus d'apprentissage global.