Médias sociaux & veille : Et si on arrêtait un peu de survendre l’analyse automatique du sentiment ?

Avec l’avènement des conversations sur les médias sociaux, une foultitude d’éditeurs de logiciels s’est engouffré dans la brèche pour proposer des outils inédits capables de restituer en temps réel et avec précision le sentiment dominant d’une foule qui s’exprime sur un événement, une marque ou un sujet précis. Si les algorithmes sont en effet un précieux auxiliaire pour passer au tamis les opinions et les perceptions qui circulent sur les réseaux sociaux, il convient néanmoins de raison garder et d’éviter la sur-promesse. Le magazine professionnel PR Week s’est récemment livré à une édifiante expérience qui doit inciter à plus de pragmatisme et cesser de croître que l’automatisation des données est une infaillible martingale au prix dérisoire.

Il n’y a pas si longtemps, prendre le pouls de l’opinion sur un thème spécifique nécessitait une ingénierie analytique conséquente et plutôt coûteuse que seuls de grands instituts comme Ipsos, TNS, Nielsen, etc, pouvaient assembler pour le compte de grands clients. Grâce à des panels scientifiquement élaborés et des grilles d’analyse savamment pondérées, ces acteurs étaient à même de rendre compte des courants et des états d’âme d’un corps social donné, non sans une certaine marge d’erreur possible. Les sondages électoraux l’ont d’ailleurs régulièrement prouvé. Depuis que les médias sociaux charrient des giga-octets de commentaires spontanés, la donne s’est progressivement inversé. Il s’agit désormais d’aller extraire, filtrer et interpréter cette expression numérique bavarde. A moindre coût et moindre qualité ?

Ce séduisant mythe de l’algorithme

Grâce à ce nouveau filon des études, les éditeurs de logiciels de veille et d’analyse conversationnelle ont rapidement proliféré avec des solutions informatiques vantant leur référencement exhaustif du Web 2.0, leur puissance de calcul inégalable et leur granularité d’analyse implacable. Le tout étant habillé et packagé dans un discours séduisant où la veille digitale doit s’imposer comme le must absolu de tout communicant ou marketeur voulant disposer d’un thermomètre de l’opinion. De fait, le monitoring des réseaux sociaux est de toute évidence est un constituant incontournable d’une stratégie de communication moderne et pertinente. Pour autant, attention aux laïus enjolivés qui frôlent souvent l’arnaque intellectuelle et commerciale. A les écouter, il suffit d’enfourner quelques mots-clés, cliquer sur un bouton et attendre quelques instants pour démouler la sacro-sainte analyse de l’algorithme de service et obtenir imparablement le sentiment d’une communauté à un instant T sur un item donné.

Dans son numéro de novembre, le magazine professionnel PR Week s’est intelligemment interrogé sur les promesses intarissables de ces acteurs de la veille numérique. Pour tenter de démêler le bon grain de l’ivraie, la revue a décidé de solliciter 5 agences proposant de tels services d’exploration des conversations numériques. Objet du test proposé : analyser en live la teneur des discussions relatives à un match de football du championnat britannique opposant Tottenham Hotspur et Manchester City. Au grand étonnement de John Harrington, le journaliste en charge de l’enquête, 3 agences ont rapidement rebroussé chemin et décliné après avoir pourtant initialement accepté le principe de l’expérience. Une attitude troublante aux yeux du journaliste comme si cela témoignait « d’un manque de confiance dans les outils disponibles ».

Des écarts qui font réfléchir

Deux acteurs ont cependant relevé le défi : l’agence Manning Gottlieb OMD et l’éditeur de solutions Talkwalker. Les premiers ont choisi d’utiliser Radian 6, l’un des logiciels de veille les plus notoires du secteur pour effectuer leur surveillance en temps réel des échanges digitaux relatifs au match. Intérêt : Radian 6 scanne les flux de contenus sur Twitter, Facebook, les blogs et les fils de conversation non-payants. Les seconds ont quant à eux recouru à leur solution maison qui revendique 150 millions de sources indexées dont évidemment les incontournables que sont Twitter, Facebook, YouTube, les sites d’information, les blogs et les forums. L’arsenal de veille ainsi défini, le coup d’envoi a donc été donné.

Bien qu’il faille tenir compte des approches analytiques spécifiques aux deux opérateurs en lice, les résultats ont accouché de différences de lecture plutôt saisissantes. Ainsi, l’étude de l’agence Manning Gottlied OMD estime que 87% des posts publiés au sujet de la rencontre témoignent d’un sentiment positif. En revanche, Talkwalker ne décèle que … 20% de commentaires favorables ! Un écart que certains expliquent par l’inclusion ou non des contenus émis par des personnes qui ne sont supporters d’aucune des deux équipes. A contrario, les deux acteurs aboutissent à des scores similaires lorsqu’il s’agit d’évaluer le sentiment des conversations lorsqu’un penalty controversé a été attribué en faveur de l’équipe de Tottenham. Pour Manning, 70% des socionautes ont jugé négativement ce fait de jeu en expliquant que la faute a été commise en dehors de la surface de réparation et qu’elle ne justifiait par conséquent pas une telle sanction. Talkwalker obtient un résultat très proche avec 72% d’opinions négatives.

Que retenir au final de ces distorsions ?

Pour Nick Pritchard, responsable Social Media chez Manning Gottlieb OMD, un facteur explique notamment les écarts qui peuvent être enregistrés : les spammeurs qui ont l’art de détourner les mots clés des tendances du moment pour augmenter artificiellement les contenus dans un sens ou dans un autre. Chez Talkwalker, on insiste plus sur la difficulté qui existe pour traiter les distorsions d’interprétation sémantique. Pour eux, un même mot peut prendre une coloration radicalement différente selon le contexte culturel donné, le niveau de sarcasme ou d’ambiguïté exprimé, les expressions idiomatiques, voire les homonymies. Ce qui explique au final le niveau de variabilité des données recrachées par les logiciels sur la mesure du sentiment.

Dans son article, John Harrington a également interrogé Robin Riley, directeur de la transformation digitale pour le ministère de la Défense britannique. Ce dernier apporte une pondération très pertinente : « Le sentiment exprimé en ligne n’est pas nécessairement la mesure absolue du sentiment global. Les gens ont tendance à exprimer un sentiment relatif à leurs propres attentes. Autrement dit, quelque chose n’est pas aussi clairement « bon » ou « mauvais » mais plutôt quelque chose de l’ordre de « pourrait être mieux » ou « pourrait être pire ». Cela implique que lorsque nous utilisons ces outils, nous avons besoin d’avoir une compréhension de l’audience avant toute interprétation ».

L’humain est plus que jamais requis

Le facteur humain si crucial dans la restitution des analyses issues de la veille en ligne, est encore trop souvent minoré, voire occulté par nombre d’éditeurs de solutions. Lesquels préfèrent surfer avec force bagou commercial sur la toute-puissance algorithmique pour convaincre communicants et marketeurs qu’avec des tarifs très abordables (à partir de 400 à 500 € environ l’audit), on obtient une lecture quasi parfaite du sentiment de l’opinion publique ciblée. Il est franchement impératif que les discours commencent à évoluer et cessent de faire croire que la machine peut tout faire. Même les solutions plus pointues émanant de l’intelligence artificielle ne sont pas encore capables de capter les subtilités contextuelles et sémantiques qui imprègnent les conversations numériques.

Autant ces solutions peuvent constituer un énorme gain de temps et de puissance de collecte de feedback, autant l’intervention humaine est irremplaçable pour affiner et préciser les contours du sentiment observé. Au bémol près que cet apport humain n’implique effectivement plus les mêmes grilles tarifaires si alléchantes. Ce temps homme est nécessairement plus coûteux et plus long et modifie de fait la facture finale lorsqu’une veille en ligne est requise. Il n’en demeure pas moins qu’il faut absolument arrêter d’entretenir le mythe excessif autour des outils de veille. Jusqu’à preuve du contraire, un plan d’architecte n’a jamais garanti à lui seul la solidité finale d’un bâtiment. La truelle du maçon a encore toute sa place.

Sources

– John Harrington – « Sentiment analysis : does it work ? » – PR Week – 17 Novembre 2014