Retour sur le DevFest Nantes 2023 : une plongée dans les nouvelle tendances tech

L’interprétation du langage des signes par l’IA

Quand l’intelligence artificielle devient actrice de l’inclusivité

La langue des signes est un moyen de communication visuo-gestuelle utilisé par les personnes sourdes et malentendantes, ainsi que certains entendants. À l’instar du langage parlé, elle peut varier selon la zone géographique. Par exemple, en France nous avons le LSF (Langue des Signes Française), aux États-Unis c’est l’ASF (American Sign Language), en Catalogne la LSC (Lengua de Señas Catalana), etc.

La barrière de la langue entre deux interlocuteurs se manifeste quand la langue étrangère n’est pas maîtrisée. Dans le cas du langage parlé, cette barrière est facilement franchissable. L’anglais étant une langue souvent enseignée dans le cursus d’apprentissage, beaucoup de personnes ont la capacité de la comprendre et/ou de la parler, même approximativement. Ensuite, si l’anglais n’est pas connu de l’interlocuteur, il existe de nombreuses applications qui permettent de communiquer à partir de sa langue natale. À l’opposé, la langue des signes étant rarement inculquée aux personnes entendantes, la barrière de communication est quasi systématique. Ce qui a pour conséquence d’accentuer l’exclusion sociale des personnes sourdes et malentendantes.

“Et si l’IA était la solution pour comprendre la langue des signes ?”

Ayant un intérêt pour les valeurs RSE de Néosoft et curieux du fonctionnement des IA, c’est tout naturellement que je me suis dirigé vers la conférence d’Eléa PETTON, Machine Learning Engineer et membre de l’AI Solutions Team chez OVHcloud. Elle nous a présenté ses travaux sur son projet d’application d’interprétation de la langue des signes.

L’objectif ? Faciliter l’inclusion des personnes sourdes et malentendantes en réduisant la barrière de la langue avec les personnes entendantes.

Premier essai :

Pour y parvenir elle a utilisé YOLOv7 (You Only Look Once), une famille d’algorithmes permettant de détecter divers objets dans des images ou vidéos en temps réel et ce avec une rapidité et une précision accrue. Ensuite elle a entrainé son modèle sur des machines OVH Cloud à reconnaitre différents signes à partir d’un dataset composé de 1700 images de l’alphabet de l’ASL (American Sign Langage). Lors des premiers tests, ce modèle identifiait mal les lettres, était imprécis et reconnaissait des faux objets, parce que le dataset utilisé était insuffisant et manquait de variation.

Amélioration du modèle et comparatif :

Pour combler ces lacunes, Eléa nous fait découvrir le principe de la “data augmentation”, une technique qui consiste à accroitre la quantité de données rapidement en créant des variations sur les données déjà existantes. Ainsi, avec des librairies comme OpenCV, Pillow ou Scikit-image, elle a joué avec le contraste, le bruit, la saturation et d’autres paramètres, pour multiplier le nombre de photo dans le dataset par 1,4 (soit ~2300 photos).

Eléa nous a ensuite présenté l’outil « Weights and Biases » pour démontrer les performances de son nouveau modèle par rapport au précèdent. En comparant les métriques (precision & recall, mAPs), les pertes (training set, validation set) et la matrice de confusion, elle nous a prouvé que le modèle était nettement plus précis.

L’application finale de la démonstration est peu dynamique car on doit prendre une photo à chaque interprétation, toutefois le projet est très ambitieux et prometteur. À long terme, ce type d’application pourrait évoluer vers une interprétation dynamique de phrase complète en langue des signes, indépendamment de la zone géographique dont elle est originaire.

Ressources supplémentaires :

• Pour tester l’application (attention à bien utiliser l’ASL)
• Pour les supports de présentation
• Pour apprendre l’alphabet en ASL

.

 

« Au secours, j’ai une personne handicapée dans mon équipe ! »

Parmi les conférences auxquelles j’ai pu assister, une qui a particulièrement retenu mon attention traitait du sujet du handicap en milieu professionnel.

Le sujet abordé par Emmanuelle ABOAF, développeuse fullstack, et directement concernée par le sujet puisqu’elle est elle-même sourde de naissance, a permis de mettre en lumière les différents obstacles rencontrés par les personnes handicapées dans le monde professionnel et dans le monde numérique.

Reprenons quelques chiffres, afin de mieux comprendre les enjeux :

• En France, 1 personne sur 6 est handicapée
• 80 % des handicaps sont invisibles
• En France, le taux de chômage des personnes handicapées est de 12 % (contre 7 % en tout public)
• Selon la loi du 11 février 2005, tout employeur d’au moins 20 salariés doit employer des personnes handicapées dans une proportion de 6% de l’effectif total

Près de 12 millions de personnes en France sont donc touchées par une forme de handicap, et leur accès à l’emploi s’en retrouve plus compliqué, malgré les lois en vigueur en France.

Et l’accès à l’emploi n’est que la première barrière, car de nombreuses formes de handicap nécessitent ensuite une adaptation de poste, qui peut être financée par des organismes comme l’AGEPHIP, le FIPHFP…

Il est aussi important de sensibiliser les équipes afin de faciliter l’insertion de ces personnes. Lorsqu’une personne handicapée rejoint une équipe, il faut aussi s’assurer que toute communication interne soit accessible à tous et toutes. Concrètement, cela peut se traduire par le fait de s’assurer que les vidéos partagées soient sous-titrées par exemple. La mise en place de règles de communications (lors de réunions à distance par exemple) permet ainsi d’assurer la bonne cohésion au sein de l’équipe de travail.

Et la tech dans tout ça ?

Travaillant dans la tech, nous sommes d’autant plus concernés par l’inclusion des personnes handicapées, car en plus d’avoir l’opportunité de travailler avec elles, nous développons quotidiennement des solutions numériques qui sont susceptibles d’être utilisées par des personnes atteintes de diverses formes de handicap. Nous sommes donc en première ligne pour assurer à ces personnes l’accessibilité au numérique.

Cela passe notamment par le développement de sites web répondant aux standards d’accessibilité mis en place par le Consortium du World Wide Web sous le projet WCAG. Des audits internes d’accessibilité des applications peuvent être mises en place au sein des équipes.

Ces efforts d’accessibilité permettent à de personnes handicapées d’accéder à des services qui leur étaient jusqu’ici inaccessibles ou bien pénibles à utiliser.

À l’inverse, la diminution des efforts pour rendre les services numériques accessibles peut s’avérer rédhibitoire pour certains utilisateurs, comme cela a été le cas par exemple après que Twitter ait licencié toute l’équipe de développeurs en charge de l’accessibilité de la plateforme en 2022, entraînant une dégradation importante de cette dernière et l’impossibilité pour certaines personnes de continuer à l’utiliser.

Comme on le fait pour de nombreux sujets en ce moment, on pourrait se demander si l’IA pourrait nous aider dans cette approche d’accessibilité ? Pourquoi pas, à condition que des efforts soient déployés en ce sens, ce qui ne semble pas encore être le cas à l’heure actuelle : si vous demandez à ChatGPT de vous générer du code, vous remarquerez que celui-ci ne répond généralement pas aux critères d’accessibilité.

Pour conclure sur cette conférence :

Le handicap est un sujet plus présent qu’on ne pourrait le penser à première vue, en voyant le nombres de personnes affectées, il est donc presque certain que l’on sera au cours de nos carrières confrontés directement ou indirectement au handicap. Cette conférence a mis en lumière la nécessité de se sensibiliser sur le sujet, d’autant plus dans le numérique où nous pouvons apporter directement des solutions pour nos utilisateurs.

CSS, Next.JS, l’Intelligence Artificielle et l’UX/UI

WEB : exploration des évolution actuelles

Coté Web, J’ai notamment participé à deux conférences qui m’ont permis d’en apprendre plus sur le CSS et sur Next.JS

CSS renait de ses cendres

Cette conférence portait sur les évolutions récentes du CSS avec notamment des fonctions permettant de cibler un élément dans une page à partir des éléments enfants ainsi que les possibilités de créer des variables pour réutiliser des valeurs àplusieurs endroits dans une feuille de style.

Dans l’exemple ils ont également montré la possibilité de définir des couleurs relativement à d’autres à l’aide de fonction CSS permettant de faire varier la teinte, la saturation et la luminosité d’une couleur.

Cette conférence m’a également permis d’en apprendre davantage sur les fonctionnalités expérimentales du CSS notamment une permettant de réaliser des transitions entre les pages à l’image de ce qui peut être réalisé en développement mobile.

Découvrez les différents modes de rendu avec Next.JS

Dans le cadre de mon évolution chez Néosoft je m’intéresse particulièrement à React, j’ai donc naturellement participé à un CodeLab sur Next.JS afin de découvrir le Framework et en apprendre davantage sur les différents modes de rendu d’une application Web.

J’ai appris au travers de cette conférence qu’il était possible depuis les dernières versions de Next.JS de choisir le mode de rendu pour chaque composant à l’aide de la mention « use client » afin de combiner les avantages du rendu côté Client (rafraichissement partiel, réduction de la charge côté serveur) et du rendu coté serveur (meilleur référencement, chargement initial plus rapide). Une fois appliquée, cette technique permet de rendre côté serveur les composants qui ne nécessitent pas d’être actualisés fréquemment (Logo, Menus etc…) et de rendre côté client les informations dynamiques par exemple (Articles, Liste d’éléments, etc…)

Intelligence Artificielle : exploration des capacités visuelles

Du côté de l’intelligence artificielle j’ai pu assister à une conférence assez technique qui présentait l’outil « Visual Blocks for ML » de google qui permet de créer des workflows utilisant le machine learning, pour faire de la reconnaissance et du traitement d’image en temps réel depuis son navigateur. Lors de la démonstration ils ont présenté la possibilité de récupérer une image via la caméra, de reconnaitre la position du visage pour superposer une autre image comme un « sticker » qui suit la position du visage en temps réel.

Cette expérience dans le navigateur est possible grâce à la librairie « TensorFlow.js » qui permet de créer et exécuter des modèles de machine learning depuis le navigateur ou depuis nodejs.

Plongée dans l’UX/UI : décryptage des stratégies des GAFAM

La dernière conférence sur l’UX/UI a offert un regard aiguisé sur les mécaniques utilisées par les géants de la tech pour influencer les comportements des utilisateurs.

Lors de la conférence nous avons passé en revue l’interface d’Amazon pour identifier les mécaniques qui poussent le consommateur à acheter un produit, notamment avec des mentions d’urgence pour pousser l’utilisateur à l’achat « Plus que 5 produits en stock », « Profiter de la livraison offerte pendant 1h30min20s ».

Cette conférence mettait également en évidence le fait que les pages sur Amazon contenaient au moins 50% de publicité sous différentes formes (articles fréquemment achetés ensemble, articles recommandés pour vous…).

Xtrem TDD par l’exemple

Durant cette conférence d’une heure et demie, nous avons pu voir les bases du TDD (Test Driven Development) et le mettre en pratique au travers de cas simples.

L’atelier a commencé par une partie théorique pour donner une base de connaissance et échanger sur certaines bonnes pratiques de développement. Le TDD est une méthode de développement, où comme son nom l’indique les tests vont piloter notre développement. On peut la découper en trois phases :

RED : On va donc commencer par écrire nos tests avant développer la fonctionnalité. Cette première phase est appelée la phase RED, car à la fin de cette phase nos tests échouent comme nous n’avons pas encore développé la fonctionnalité.

GREEN : Une fois l’écriture de nos tests terminée on passe à la phase GREEN, qui consiste à faire notre développement. On la considère terminée quand tous les tests réussissent.

REFACTOR : La dernière phase appelée REFACTOR consiste à refactoriser notre code tout en gardant l’ensemble des tests valides. 

Pour mettre en pratique un code kata nous a été proposé par l’animateur. Il est disponible sur Github : https://github.com/les-tontons-crafters/xtrem-tdd-money-kata.

Nous avons pu réaliser une partie des cas pratiques, surtout basés sur du refactoring. J’ai aussi pu découvrir l’outil Stryker.NET qui permet des tests de mutation sur des projets .NET. Cet outil va insérer temporairement des bugs en changeant certaines opérations dans notre code (mutations), pour tester si nos tests sont pertinents. Si un test continue de réussir malgré les mutations de code, c’est qu’il n’est peut-être pas assez détaillé ou qu’il ne teste pas bien la fonctionnalité.

Cet atelier m’a permis d’avoir une initiation au TDD mais c’était aussi l’occasion d’échanger avec d’autres développeurs sur des bonnes pratiques de codage.

Bilan et perspectives du DevFest Nantes 2023 

Le DevFest Nantes 2023 a été bien plus qu’un événement technologique. En explorant l’IA pour l’interprétation du langage des signes, en passant par les nouvelles fonctionnalités CSS et les modes de rendu de Next.JS, il a tracé un chemin vers une tech plus humaine. 

Ces deux jours ont dévoilé une vision où la tech, au-delà des innovations, s’engage à résoudre des problèmes concrets de notre société. 

Le DevFest incarne une dynamique où la tech œuvre pour un monde inclusif et connecté, soulignant ainsi l’évolution des mentalités et des responsabilités de ses acteurs.