MoCA Cognition

Concevoir des outils d’IA pour la détection précoce du déclin cognitif

Le contexte

Notre client, MoCA Cognition, est le créateur du Montreal Cognitive Assessment (aussi appelé le test MoCA), un outil de référence reconnu mondialement pour détecter les premiers signes de troubles cognitifs comme l’Alzheimer. Leur test papier-crayon d’une page, composé de 30 points, prend moins de 15 minutes à compléter et est utilisé par des professionnels de la santé de diverses disciplines : neurologues, psychologues, orthophonistes et médecins de famille. Un évaluateur formé corrige les réponses en temps réel, ce qui fonctionne bien pour les spécialistes, mais limite l'évolutivité et la constance des résultats.

Pour répondre à ce défi, MoCA a développé MoCA Solo, une version numérique du test où les patients sont guidés par un avatar virtuel. Ils sont venus nous voir pour un élément bien précis : bâtir les modèles d’IA qui allaient automatiquement (et avec précision) corriger les réponses des patients. Voici comment nous avons collaboré étroitement avec leur équipe interne et leur agence partenaire pour concevoir l’intelligence évolutive qui alimente MoCA Solo.

Détails du projet

Industry

Santé

Technologies

AWS

YOLO

OpenCV

Whisper

Parakeet

Lambda functions

LLMs (Claude & Llama)

Langfuse

Services

I.A.

Le défi

La vision de MoCA était de créer une application web totalement autonome, optimisée pour les tablettes, capable d’administrer et de corriger le test MoCA sans évaluateur présent dans la pièce. Plutôt que de s’appuyer sur un humain pour interpréter les réponses, l’application devait recueillir les données du patient, les évaluer, puis transmettre les résultats directement à un spécialiste, qui pourrait ensuite suivre l’évolution cognitive au fil du temps.

La correction devait suivre des protocoles cliniques stricts fournis par l’équipe MoCA. Le test comporte 13 tâches audio et visuelles. Du côté auditif, les patients peuvent être invités à nommer l’endroit où ils se trouvent ou à répéter une séquence de mots. Du côté visuel, ils doivent par exemple dessiner une horloge avec les aiguilles à une heure précise, reproduire un cube à partir d’un modèle ou encore compléter un test de parcours (semblable à un jeu de relier les points).

Un défi majeur consistait à assurer une uniformité de correction entre les versions traditionnelles et numériques du test. En personne, une certaine subjectivité est inévitable, car les évaluateurs humains interprètent parfois différemment une même réponse. Par exemple, pour le dessin d’un cube, un évaluateur peut être plus indulgent sur l’angle ou le parallélisme des lignes. Pour l’audio, une petite erreur comme un temps de verbe mal utilisé peut passer inaperçue. Les modèles d’IA, eux, évaluent les réponses mathématiquement et appliquent le protocole de manière uniforme. Bien comprendre et traduire les critères de MoCA dans nos modèles était donc essentiel pour offrir des résultats fiables et reproductibles.

Un autre enjeu était la qualité des données. Dans plusieurs enregistrements audio, plusieurs patients effectuaient la même tâche en arrière-plan, ce qui rendait difficile l’attribution des réponses. Ces données devenaient donc inutilisables. Comme dans bien des projets d’IA, atteindre 90 % de précision est une étape solide, mais combler les 10 % restants est la partie la plus ardue. C’est là que surgissent les cas limites et les comportements imprévisibles. Entraîner des modèles capables de bien gérer ces exceptions exige davantage de données de haute qualité. À chaque itération, notre objectif était de rapprocher les prédictions de l’IA des attentes d’un évaluateur humain.

Femme en train de passer le MoCA Solo test.

Tâche de dessin requise dans le test MoCA Solo.

La mission

Nous avons commencé le projet par notre Processus de découverte sur mesure centré sur l’analyse du besoin d’affaires, de la qualité des données existantes de MoCA et des meilleures façons d’appliquer l’IA dans ce contexte. Cette étape nous a permis d’évaluer la qualité des données, de revoir l’architecture technique de l’application et de définir les objectifs cliniques à atteindre. Nous avons remis un rapport détaillé décrivant les approches proposées pour la reconnaissance des dessins et l’analyse vocale, l’infrastructure nécessaire pour les supporter ainsi que nos recommandations matérielles pour une collecte de données fiable et constante.

Comme une autre agence avait conçu l’interface de l’application, il nous fallait d’abord comprendre leur infrastructure pour intégrer nos modèles efficacement. Cette alignement technique était essentiel. Nous avons collaboré avec les deux équipes afin d’assurer une intégration fluide, de la gestion des flux de données jusqu’à l’implémentation des modèles. Des rencontres hebdomadaires ont permis de garder un rythme clair et soutenu.

Une fois l’intégration effectuée, nous sommes passés à la phase d’optimisation. Pour les tâches visuelles, nous avons personnalisé les modèles pour chaque sous-test afin de maintenir la précision de la correction. Pour l’audio, nous avons testé des outils de reconnaissance vocale comme Whisper et Parakeet afin de prendre en compte des nuances comme les accents, le marmonnement ou le multilinguisme. Nous avons également introduit des étapes de nettoyage des données pour filtrer le bruit de fond, ignorer les interruptions des évaluateurs et valider les enregistrements avant analyse.

En tant que firme d’innovation complète, experte autant en design de produits numériques qu’en développement logiciel, nous allons souvent au-delà de notre mandat IA pour maximiser la valeur. Dans ce projet, par exemple, certains patients (souvent, mais pas uniquement des personnes âgées) n’étaient pas certains du moment où la tablette enregistrait, ce qui entraînait des audios incomplets ou interrompus. Plutôt que de complexifier l’IA, nous avons recommandé des améliorations UX simples : désactiver l’écran pendant les consignes et ajouter une animation de décompte avant l’enregistrement. Ces ajustements ont rendu l’expérience plus intuitive, amélioré la qualité des données et réduit les coûts pour le client.

Osedea se démarque par son expertise. Leur équipe anticipe les besoins et propose des solutions avant même que les enjeux n’apparaissent, avec une approche globale qui allie produit, web et bases de données. Leur partenariat est d’une valeur inestimable.

Steven Ricciardi, Vice-président, Stratégie et partenariats, MoCA Cognition

Le résultat

Pour notre équipe, ce projet a été un défi motivant. Nous avons adopté une approche itérative, raffinant continuellement nos modèles, testant différentes technologies et adaptant notre code pour améliorer la performance à chaque étape. Nous avons appliqué des outils comme YOLO pour la détection visuelle et évalué leur pertinence dans un cadre clinique. Avec seulement 200 échantillons d’entraînement, la première phase a déjà permis d’atteindre plus de 90 % de précision sur des données réelles.

Même si notre mandat portait principalement sur les modèles d’IA, nous avons abordé le projet de façon holistique. Nous avons proposé des améliorations UX, signalé des enjeux fonctionnels et veillé à ce que le système réponde aux standards élevés d’une application de grade médical. Nous avons également accordé une grande attention à la cybersécurité et au DevOps afin d’assurer des bases solides sous tous les angles.

MoCA s’est dit très satisfait des résultats et a particulièrement apprécié la qualité de notre documentation. Chaque décision, contournement et recommandation y était consigné de façon détaillée, comme dans un article scientifique. Ce niveau de transparence est crucial dans les projets d’IA : il permet aux partenaires futurs de bien comprendre les dépendances et les limites des modèles, et donne à MoCA les outils nécessaires pour avancer vers les approbations réglementaires en toute confiance.

La suite...

Nous avons eu le privilège de contribuer à un projet porteur de sens. MoCA Solo a le potentiel de transformer la détection du déclin cognitif en permettant un dépistage précoce et uniforme en soins de première ligne. Avec l’IA qui assure la correction et les cliniciens qui gardent la supervision, le futur du dépistage cognitif sera plus accessible et évolutif.

MoCA Solo a été présenté cet automne à All In, le plus important événement canadien en intelligence artificielle. Entre-temps, nous poursuivons l’optimisation des modèles avec de nouvelles données et travaillons à l’élargissement du support linguistique au français, à l’espagnol et potentiellement à d’autres langues. Dans le cadre de son parcours réglementaire, le système passera par une validation confirmant que l’IA atteint le même niveau de performance qu’un évaluateur humain – une étape essentielle pour toute application clinique.

Si vous développez des outils en santé numérique ou relevez des défis complexes en IA nécessitant un design réfléchi et une ingénierie fiable, contactez-nous. Nous serions ravis de collaborer.