Analyse des interviews assistée par IA

Découvrez comment l'IA permet d'automatiser l'analyse des interviews

USE-Case overview

Grâce à l’IA, on peut désormais collecter la transcription complète d’une interview (speech-to-text) et en générer automatiquement un résumé. Mais il est possible d’aller beaucoup plus loin dans l’analyse des conversations, en réalisant, par exemple, des études qualitatives assistées par l’IA (cf. Figure 1 ci-dessous). Le métier du conseil en organisation RH consiste notamment à interviewer des groupes de collaborateurs, pour essayer d’identifier des pistes d’amélioration des processus de travail. Ainsi il est fréquent de réaliser des questionnaires auprès d’une équipe d’une quinzaine de personnes pour collecter les feedbacks du terrain, comprendre les ressentis et ainsi faire émerger des leviers d’optimisation. La collecte de ces feedbacks et la production de la synthèse des échanges sont des tâches qui prennent beaucoup de temps. En effet, les analyses qualitatives sont par nature complexes, car elles sont basées sur des questions ouvertes (et donc des verbatims au format texte). Et le travail des analystes doit bien entendu s’inscrire dans des contraintes de temps et de budget. Grâce à l’IA et aux assistants virtuels de réunion, les tâches de collecte et de transcription des interviews sont désormais totalement automatisables. De plus, avec les plateformes IA de productivité (telles que Dust, Quivr, etc), l’analyse qualitative des interviews peut elle aussi être semi-automatisée. Guidée par l’analyste, l’IA peut identifier les signaux forts (problématiques remontées par la majorité des collaborateurs), catégoriser les thématiques (même si elles n’étaient pas anticipées), identifier les signaux faibles (ex. idées innovantes), ou encore générer des nuages de mots-clés pour représenter plus facilement les verbatims.
En bref, la production de transcripts complets représente une mine d’or pour les professionnels, et il est désormais possible d’en extraire des pépites, de manière semi-automatique, grâce à l’assistance de l’IA.
Bien entendu, l’intelligence humaine n’est pas remplacée: l’expérience de l’analyste reste incontournable pour comprendre le fonctionnement des équipes, analyser les sentiments implicites, et pour proposer des recommandations adaptées à la situation de l’entreprise… Mais l’analyse assistée par l’IA permet définitivement de gros gains de productivité, de l’ordre de 50%. En automatisant le traitement des tâches fastidieuses et chronophages, l’IA permet à l’analyste de consacrer son temps à apporter sa véritable valeur ajoutée.

Figure 1 : schéma de la chaîne d’analyse des interview – cas d’usage Verticille Conseil

Témoignage

Guillaume Body Lawson (CEO @ Verticille Conseil):
Grâce aux équipes Ogmentia, avec qui nous avons collaboré de manière rapprochée lors d’ateliers en présentiel, nous avons pu maximiser notre usage de la plateforme Dust. Tout d’abord, une formation de base nous a permis de mieux comprendre le champ des possibles, et d’identifier que la solution Dust peut permettre d’automatiser de nombreuses tâches quotidiennes, mais aussi des processus métiers plus complexes. Ensuite, Ogmentia a mis en place un workflow automatisé de A à Z, vraiment très rapidement (en deux jours), pour l’analyse de nos comptes-rendus d’interviews. Concrètement, cette automatisation permet de réduire d’environ 50% le temps global de nos analyses qualitatives, c’est donc un gain de productivité majeur… Bien entendu, il faut toujours un humain dans la boucle pour identifier et choisir les insights les plus pertinents à remonter au client final. Mais grâce à l’automatisation des tâches à moindre valeur ajoutée, on peut désormais consacrer plus de temps sur notre cœur de métier à savoir le vrai travail d’analyse, et la formulation de nos recommandations.

Le besoin

> Le besoin: automatisation de la chaîne de traitement des interviews, assistée par l’IA (collecte, transcription et analyse)

> Le métier: RH / Conseil stratégique / Cabinet de conseil en organisation

> Le client: Verticille Conseil est un cabinet de coaching d’organisations, spécialisé dans l’accompagnement à la transformation des entreprises.

> Le processus métier à automatiser:
Le métier du conseil en organisation RH consiste notamment à interviewer des groupes de collaborateurs, pour essayer d’identifier des pistes d’amélioration du fonctionnement de l’entreprise (processus de travail, collaboration entre les équipes, etc). Ainsi il est fréquent de réaliser des questionnaires auprès d’une quinzaine de personnes pour collecter les feedbacks du terrain, comprendre les ressentis et ainsi faire émerger des leviers d’optimisation. Les interviews sont conduites avec des questions ouvertes, pour permettre une expression libre des participants et laisser émerger tous les types de sujets (attentes, frustrations, préoccupations, suggestions, idées innovantes, etc).

> Pain points:
La collecte de ces feedbacks et la production de la synthèse des échanges sont des tâches qui prennent beaucoup de temps aux analystes. En effet, les études qualitatives sont par nature longues et complexes (versus les études quantitatives), car elles sont basées sur des réponses à des questions ouvertes. Il faut donc analyser des verbatims (données au format texte, non structurées) pour en déduire des insights (signaux forts, signaux faibles, etc). Et, bien entendu, le travail des analystes doit s’inscrire dans des contraintes de temps et de budget: il y a donc un enjeu de productivité. De part la nature des données (non structurées) et la diversité des contextes métiers, l’activité des études qualitatives / analyse des interviews était jusqu’ici très difficile à automatiser.
Heureusement, l’IA permet désormais d’automatiser une grande partie des tâches les plus chronophages et à faible valeur ajoutée.

Solution technique (résumé)

Différents outils IA combinés ensemble permettent d’automatiser la chaîne complète de traitement de l’information, depuis l’enregistrement et la transcription des interviews, jusqu’à l’analyse des conversations et l’extraction des insights.

En amont, la société Verticille Conseil utilise le logiciel de visioconférence (Google Meet), couplé à la solution d’assistants virtuels de réunion Fireflies (Fireflies.ai). Techniquement, l’utilisation de Fireflies est très simple: il vous suffit d’inviter votre assistant IA à votre visioconférence, comme si vous invitiez un collègue virtuel. Votre agent IA va enregistrer l’interview et va générer automatiquement la transcription complète de la conversation grâce à un modèle d’IA spécialisé dans le speech-to-text.

Une fois que le transcript de l’interview est généré par l’IA de Fireflies, le document est récupéré automatiquement et il est stocké dans le système de gestion documentaire du Verticille Conseil (Google Drive). Ce transfert automatisé est réalisé par un outil ETL (dans ce cas nous avons utilisé Zapier). Une routine basique permet notamment d’extraire le nom du client dans le nom de la réunion en ligne, pour créer ensuite un répertoire du même nom dans Google Drive. Cette logique permet d’organiser le stockage des transcriptions dans le système documentaire.

Le stockage dans Google Drive est une étape intermédiaire, qui permet ensuite de pouvoir exploiter le contenu des interviews grâce à une solution d’IA générative. Pour cela, Verticille Conseil utilise la plateforme d’IA Dust et sa connexion native au système Gdrive. De cette manière, toutes les transcriptions sont indexées automatiquement par l’IA de la solution Dust et les contenus peuvent être utilisés par l’IA (LLM) pour générer des résultats (c’est ce que l’on appelle le RAG). D’un point de vue technique, Dust donne accès à tous les principaux LLMs du marché (GPT, Claude, Mistral, Gemini, etc), il est donc possible de choisir son LLM en fonction du traitement spécifique à réaliser.

Grâce à la plateforme Dust et à sa capacité de RAG avancé, de nombreux cas d’usages deviennent possibles.
L’analyste peut à la fois fouiller le contenu des interviews, mais aussi et surtout les analyser en profondeur et extraire les insights pertinents.

Pour commencer, avec les capacités de recherche intelligente de l’IA (recherche sémantique), l’analyste peut retrouver une conversation ou une bribe de conversation dans toutes les transcriptions. Et il n’est pas nécessaire de se souvenir du vocabulaire exact utilisé par la personne interviewée: l’analyste peut poser des questions en langage naturel, et avec ses propres mots, et l’IA est capable de faire le rapprochement avec le concept ou l’idée qui a été exprimé par le participant.

Mais dans ce cas d’usage, la plus grande force du LLM est sa capacité de compréhension et de synthèse. Même avec des interviews multiples, menées auprès de participants qui expriment leur situation de travail avec des mots différents, l’IA est capable de réaliser une synthèse globale et cohérente, en analysant de manière transverse les différents verbatims. Concrètement, il suffit d’indiquer au LLM la question qui a été posée (issue du questionnaire d’interview) et l’IA est en mesure de parcourir toutes les transcriptions pour retrouver les réponses qui s’y rapportent, en réalisant si besoin un résumé. C’est d’autant plus remarquable que, dans le cadre d’une interview, la personne qui pose les questions ne suit pas toujours à la lettre le questionnaire. En effet, une même question peut être formulée de manière différente suivant l’évolution de l’interview et certaines questions peuvent être posées ou pas en fonction du profil des interviewés. Mais la puissance du LLM lui permet de s’y retrouver même si les réponses sont difficiles à synthétiser… Le travail d’exploration de l’analyste s’en trouve donc grandement facilité, et il peut alors se concentrer sur l’analyse des réponses automatiquement extraites et consolidées par l’IA.

Guidée par l’analyste, l’IA est également capable d’extraire les thématiques émergentes (signaux faibles), même si elles n’étaient pas anticipées dans le questionnaire initial.

Enfin, comme on pourrait le faire avec des technologies de NLP classiques, l’IA peut aussi produire des nuages de mots, selon différentes méthodes, pour visualiser plus facilement le contenu des interviews. L’IA (dans ce cas un LLM) est donc un outil très polyvalent.

Toutes ces opérations (exploration, extraction, résumé, nuage de mots) sont similaires d’une analyse qualitative à une autre et elles peuvent donc être en grande partie automatisées. Pour cela, Ogmentia a créé des assistants IA, basés sur la plateforme Dust. Par exemple, un assistant principal boucle sur la liste des questions du questionnaire et extrait automatiquement une synthèse des réponses des participants pour chaque thématique. Les données de l’assistant principal peuvent ensuite alimenter d’autres agents (comme par exemple celui qui produit des nuages de mots). Ces assistants Dust ont été configurés et testés initialement sur un groupe d’interviews réalisé dans une entreprise spécifique. Ensuite, par simple configuration (no-code), Verticille Conseil peut désormais modifier le prompting de ces assistants, pour les adapter aux contextes des différentes interviews pour ses autres clients.

En bref, les solutions d’assistant virtuel de réunion offrent désormais la possibilité de collecter et de transcrire nos échanges oraux de manière automatique, avec des IA spécialisées dans le speech-to-text. Ensuite, grâce aux plateformes IA de productivité (telles que Dust), il est possible de valoriser ces conversations (entretiens ou interviews) pour en extraire, semi-automatiquement, de la valeur et de précieux insights.

Implémentation détaillée

Figure 2: étude qualitative assistée par l’IA – cas d’usage Verticille Conseil

Au niveau de la plateforme Dust, un méta-assistant permet d’orchestrer les différents traitements (cf. Figure 2 ci-avant). En résumé, l’objectif de cet assistant est de parcourir automatiquement la liste des questions de l’interview et, pour chaque question, de réaliser une extraction et une synthèse des différentes réponses. L’IA est capable de traiter une interview de 10 questions et impliquant une quinzaine de participants, en seulement quelques minutes (versus plusieurs heures avec une méthode manuelle).

Figure 3: l’assistant IA multi-tools est capable de piloter plusieurs outils pour générer un résultat

La plateforme Dust offre une véritable boîte à outils pour créer des assistants qui sont capables d’exécuter une combinaison de plusieurs tâches (c’est la notion d’agent multi-tools, cf Figure 3 ci-dessus). Au sein d’un même assistant, les résultats produits par l’un des outils peuvent être transmis à un autre outil, permettant ainsi la création de workflow de traitement. Dans le cas ci-dessus, un premier outil “query table” permet de requêter un fichier excel pour récupérer la liste des questions. Un deuxième outil “search data” permet de récupérer les réponses dans les interviews qui correspondent à chaque question, en réalisant une recherche sémantique. L’assistant principal est l’orchestrateur qui pilote les différents outils dans un ordre logique, pour aboutir au résultat final souhaité. Il s’occupe (notamment) de boucler sur la liste des questions et de lancer la recherche sémantique pour récupérer les réponses les plus pertinentes à chaque question.

Résultats

D’une manière générale, pour les tâches d’analyse des interviews, les différents outils d’IA combinés ensemble, permettent à la fois un gain de temps, de productivité et de qualité.

  • Gain de temps: grâce à la solution d’assistant virtuel de réunion (dans ce cas Fireflies), il n’est plus nécessaire de prendre des notes ou de rédiger un compte-rendu de l’interview après la réunion. Le modèle d’IA “speech-to-text” enregistre l’intégralité de la conversation et produit la transcription complète, sans oublier le moindre mot.
  • Gain de productivité: guidée par l’analyste, l’IA (LLM) et les assistants créés sur la plateforme Dust, permettent d’automatiser les tâches d’analyses chronophages et à faible valeur ajoutée. Les assistants préconfigurés permettent de lancer directement des opérations d’analyse sans avoir à prompter manuellement les instructions à chaque fois. Ceci évite les erreurs ou les oublis, et améliore la robustesse et la répétabilité des actions d’analyses. Par ailleurs, l’IA est infatigable, on peut lui demander de recommencer les opérations autant de fois que nécessaire, pour affiner ou reformuler ses synthèses, pour creuser des thématiques plus en détails ou explorer de nouvelles pistes analytiques.
  • Gain de qualité: grâce au temps gagné avec l’IA, qui permet d’automatiser les tâches chronophages à faible valeur ajoutée, l’analyste peut passer plus de temps sur l’exploration poussée des informations, la compréhension des insights et la préparation de ses recommandations.

Pour finir, si le gain de qualité est toujours difficile à estimer et à quantifier, le gain de temps et de productivité sont bien réels et significatifs. Ainsi on peut évaluer que la combinaison des différents types d’IA permet de réduire d’au moins 50% le temps de la chaîne complète de traitement des interviews.

50%

Gain de productivité

Related projects