Vous avez déjà entendu parler d'un hackathon ? C'est essentiellement une période intensive de stratégie et de codage, dans le but de créer un nouveau produit numérique. Cela implique généralement de travailler en continu, par équipes.
Nous étions impatients d’organiser de nouveau, un hackathon, puisque le dernier s’est déroulé il y a quelques années. Pour cet évènement, 18 membres de l’équipe en provenance de nos trois bureaux à Montréal, Nantes et Londres se sont portés volontaires pour mettre en valeur leurs compétences dans ce cadre unique. Nous avons donc formé quatre équipes de collègues enthousiastes à l'idée de participer à cette expérience intensive (et prêts à dormir au bureau).
L'objectif de ce hackathon consistait à explorer les utilisations de l'IA générative (GenAI) et son potentiel pour éliminer les inefficiences de notre quotidien. Bien que notre entreprise ait déjà une certaine expérience dans ce domaine, nous nous efforçons d'acquérir davantage de compétences dans les secteurs tendances du domaine de la technologie. Nous avons utilisé l'événement comme une opportunité pour évaluer et tester de nouveaux outils dans ce domaine, pour aborder certains problèmes sous un nouvel angle et acquérir de nouvelles connaissances pouvant être appliquées à de futurs projets.
Dans cet article de blogue, nous partagerons les approches, les défis rencontrés et les résultats obtenus par les quatre équipes.
24 heures pour expérimenter avec l'IA générative
Nous commençons seulement à effleurer le potentiel de l'intelligence artificielle pour résoudre les problèmes quotidiens, améliorer l’efficacité de certains processus, favoriser l'innovation, accroître l'accessibilité et améliorer la précision. Mais une chose est claire, l'intelligence artificielle aura un rôle central à jouer dans les prochaines années et elle est là pour rester.
Pour que nos membres puissent se familiariser avec les dernières avancées technologiques de l'IA, y compris LLMs, ChatGPT et les cas d'utilisation potentiels, nous avons organisé un atelier avec l'expert en intelligence artificielle, Nicholas Nadeau, avant notre hackathon. Nous avons ensuite invité chaque équipe à choisir les technologies qu'elle préférait utiliser, avec pour seule règle d’utiliser des outils d’IA!
Voici comment ça s'est passé ...
Équipe 1 : OpenPizza (Montréal)
L'équipe OpenPizza avait pour objectif de résoudre le problème de pénuries de main-d'œuvre auxquelles sont actuellement confrontés les restaurants en automatisant les tâches avec l'IA. Ils ont développé une application qui utilise « speech-to-text », ChatGPT et « text-to-speech » pour créer un système de commande et de service au volant efficace.
L'équipe OpenPizza a utilisé une combinaison des outils Whisper et GPT-3.5 d'OpenAI, et de diverses solutions « text-to-speech » telles que l'API ElevenLabs et le référentiel de modèles Coqui TTS pour arriver à leur fin. Bien qu'ils aient pu terminer le cycle de commande de pizza, ils n’ont cependant pas eu le temps d'implémenter une mémoire à long terme pour l’intelligence artificielle avec Pinecone, une reconnaissance vocale et un suivi du visage pour identifier les clients et s’adapter à leurs goûts. Des exemples comprenaient la facilitation des commandes récurrentes et la suggestion de plats en fonction des préférences des utilisateurs.
Pour créer le système, l'équipe OpenPizza a utilisé diverses technologies pour synthétiser les réponses de GPT-3. Pour accomplir cette tâche, l’équipe s'est vue confrontée à de nombreux obstacles. Dans un premier temps, elle a éprouvé certaines difficultés à faire en sorte que les réponses générées par ChatGPT soient cohérentes. Elle a également fait face à un retard dans le délai des réponses ce qui a fait en sorte que le dialogue obtenu était parfois confus. De plus, l'équipe à constaté que l'exécution de modèles entraînés localement aboutissait parfois à des résultats audio étranges.
Malgré les obstacles auxquels elle a été confrontée, l'équipe OpenPizza a réussi à automatiser avec succès les commandes téléphoniques et le service au volant grâce à l'IA.
Équipe 2 : WasteNot (Montréal + Royaume-Uni)
L'équipe WasteNot avait pour objectif de résoudre le problème du gaspillage alimentaire en utilisant l'IA. Ils ont utilisé l'analyse prédictive, l'analyse d'images et la vision par ordinateur pour créer une planification des repas personnalisée, des rapports financiers et de gestion stocks pour tenter de résoudre le problème.
Leur approche consistait à identifier les articles dans le panier d'épicerie d'un utilisateur et sur les reçus d’achat antérieurs afin de fournir des suggestions personnalisées pour réduire le gaspillage alimentaire. Pour se faire, l'équipe s'est tournée vers ChatGPT pour identifier les mots-clés et les noms des logos et étiquettes des divers produits. Elle a également eu recours à d’autres outils tels que Miro et Figma, mais également à OpenAI et d'autres bibliothèques d'IA pour générer des solutions en temps réel, afin que les utilisateurs puissent prendre des décisions plus éclairées sur leurs achats en épicerie tout au long de la semaine.
L'équipe WasteNot a rencontré des difficultés avec l'API Azure alors qu’elle tentait de développer des flux utilisateur intégrant l'extraction de données à partir des reçus. La détection d'objets s'est également avérée plutôt difficile, puisque l'équipe obtenait des étiquettes trop abstraites par rapport aux objets qu'elle essayait de détecter. L'équipe a essayé de réinjecter la sortie du modèle Google Vision dans ChatGPT pour obtenir une liste filtrée d'articles, mais cette approche s'est avérée peu performante.
En fin de compte, en raison de la contrainte de temps de 24 heures, le produit minimum viable (MVP) de l'équipe était limité à une fonctionnalité. Cela étant dit, bien que l'objectif ultime n’est pas été atteint l’équipe en a beaucoup appris sur le rôle que peut jouer l'IA dans la réduction du gaspillage alimentaire et la promotion de la durabilité en optimisant les stocks d'épicerie, en identifiant les conditions de stockage optimales et les dates d'expiration, en facilitant les dons alimentaires aux organisations caritatives, en identifiant les méthodes de compostage optimales, en promouvant la biodiversité et en identifiant les ressources en eau utilisées dans la production d’aliments.
Équipe 3 : PerfectionnisteAI (Montréal)
Si vous avez déjà essayé de moderniser l'apparence d'une pièce de votre maison, vous savez combien d'essais et d'erreurs peuvent être nécessaires avant d’atteindre un agencement qui vous convient. L'équipe PerfectionnisteAI avait pour objectif de réduire le temps que cela peut prendre pour décorer des pièces en développant un assistant d'aménagement intérieur basé sur l'intelligence artificielle. L'idée était de donner aux utilisateurs la possibilité de prendre une photo ou une vidéo d'une pièce de leur maison, puis de donner des commandes vocales leur permettant d’ajouter des tableaux aux murs, de changer les meubles, d’ajouter des tapis au sol et des chiens sur les canapés (parce que pourquoi pas !). L'objectif final étant d'éviter les allers-retours répétés au magasin pour retourner des articles qui ne correspondent pas aux attentes.
Durant le hackathon, l’équipe a développé une application qui utilise Whisper d'OpenAI pour convertir la parole en texte. La sortie textuelle de Whisper était ensuite transmise à StableDiffusion par une instruction, déclenchant ainsi l'identification d'un masque. Par exemple, si l'instruction consistait à retirer une lampe blanche de la table, un masque serait créé pour isoler la zone autour de la lampe. Les capacités de modélisation générative effectuent ensuite les modifications demandées dans la région où se trouve la lampe, sans affecter le reste de l'image.
L'équipe a cependant noté qu'OpenAI avait du mal avec les masques complexes, mais produisait généralement de bons résultats lorsque le masque était large. Elle a également constaté qu’il était difficile de concevoir des instructions pour effectuer des tâches plus complexes. Par exemple, pour remplacer un objet dans une image, 15 étapes sont nécessaires avec StableDiffusion.
Dans l'ensemble, l'équipe PerfectionnisteAI était satisfaite de l'accès facile aux modèles via les API, de l'inférence abordable, de l'accès à des technologies de pointe et à de la recherche universitaire, de la contribution rapide à l'open source et aux puissants modèles de langage. Cependant, elle a également rencontré plusieurs défis, non seulement dans la complexité des technologies et des concepts de l'IA, mais également dans les limitations matérielles et d'infrastructure de l'IA, dans le comportement non déterminant de ChatGPT et les problèmes de gestion des dépendances.
Équipe 4 : Titre en Tête (Nantes)
L'équipe Titre en Tête a créé une application de devinette de films pour offrir aux passionnés de cinéma un moyen amusant et captivant de tester leurs connaissances et compétences cinématographiques. Le jeu consiste à jouer contre ChatGPT et demande aux joueurs de donner des indices précis (sans trop en dire).
L'équipe a utilisé Bubble, Chalice, l'API de The Movie Database et ChatGPT pour concrétiser leur vision en seulement 24 heures. Le plus grand défi était de construire une application avec 50% de membres non-développeurs, et avec certains membres de l'équipe devant travailler simultanément sur d'autres projets. Dans le cadre de cette activité, ChatGPT a également produit des résultats aléatoires, mais dans l'ensemble, la combinaison d'outils était un bon choix pour un déploiement immédiat. L'équipe a aussi dû se familiariser rapidement avec Bubble au cours des trois dernières heures du hackathon.
En conclusion, l'équipe Titre en Tête a réussi à créer leur application de devinette de films, en tirant de précieuses leçons sur le travail d'équipe et la gestion du temps. Ils ont démontré les avantages du développement « low code » et de l'intégration d’API tout en créant un produit amusant et captivant. Les améliorations futures de l'application pourraient inclure une meilleure précision des devinettes de films de l'IA, l'ajout de nouveaux modes de jeu et l'intégration des feedbacks provenant d’utilisateurs. Au final, l’équipe a remarqué que la création d'un petit produit leur à permis de travailler avec des intégrations d'IA et d’améliorer leur expertise.
Les points clés à retenir de cet évènement
À la fin du hackathon, chaque équipe a présenté son projet au reste de l'entreprise. Malgré la contrainte de temps, tous ont réussi à produire quelque chose d'innovant et de passionnant en utilisant les dernières avancées technologiques en lien avec l'Intelligence artificielle.
Voici quelques-unes des principales conclusions :
- L'IA peut être utilisée pour résoudre des problèmes du quotidiens - De la réduction du gaspillage alimentaire à l'automatisation des commandes au service au volant, les équipes ont montré des façons tangibles d'utiliser l'IA pour lutter contre les inefficiences de notre quotidien.
- La collaboration est essentielle - Chaque équipe était composée d'un mélange de designers et de développeurs, et c’est en travaillant ensemble et en mettant à profit les compétences et l'expertise de chacun qu’elles ont réussi à créer quelque chose de plus grand que la somme de ses parties.
- L'IA est encore en évolution - Bien que l'IA ait parcouru un long chemin ces dernières années, il existe encore des limites technologiques pouvant être résolues. Les équipes en ont fait l'expérience en confrontant certains défis tels que la reconnaissance vocale et l'analyse d'images.
- Le potentiel de l'IA est illimité - Malgré les défis, les équipes ont réussi à créer des projets novateurs et captivants, et il est excitant de penser à ce que l'avenir réserve à l'IA générative.
Explorons ensemble le potentiel de l’intelligence artificielle
Le hackathon a été un grand succès ! Nous sommes très fiers de ce que nos équipes ont pu réaliser en une seule journée - imaginez ce qu'elles pourraient accomplir en deux semaines ou un mois ! Nous croyons que l'IA a le potentiel de changer le monde pour le mieux, et nous sommes engagés à explorer ses utilisations et à en repousser les limites.
Si vous avez une idée de produit d'IA, ou si vous souhaitez en savoir plus sur la manière dont l'IA peut aider à résoudre des problèmes dans votre secteur d'activité, nous vous invitons à travailler avec nous! Contactez-nous pour réserver un 1:1 avec nous dès aujourd'hui et discutons des meilleurs outils et frameworks qui permettent de répondre à vos besoins, ainsi que de la façon dont nous pouvons vous aider à atteindre vos objectifs.
