Bien avant la crise pandémique, l’impact de la technologie sur la qualité de notre discours, des campagnes de désinformation aux campagnes d’influence en passant par la polarisation, suscitait une grande inquiétude.

Il est vrai que la façon dont nous nous parlons et du monde a changé, tant dans la forme (grâce à la migration du discours vers les plateformes en ligne) que dans la nature, que ce soit la montée des éléments non verbaux dans notre discours écrit (emojis, memes , Art ASCII et émoticônes) ou les types de campagnes de harcèlement et de brigade en ligne qui se sont développés avec Internet.

Une explication courante du changement dans notre discours est que les plus grandes plates-formes technologiques utilisent la surveillance, la collecte de données et l’apprentissage automatique pour nous manipuler, soit pour augmenter « l’engagement » (et donc les pages vues et donc les revenus publicitaires) ou pour nous persuader des choses. ce n’est pas vrai, par exemple, pour nous convaincre d’acheter quelque chose que nous ne voulons pas ou de soutenir un politicien auquel nous nous opposerions autrement.

Il y a une histoire simple à propos de cette relation: en rassemblant beaucoup de données sur nous et en appliquant des algorithmes d’apprentissage automatique à ces données, la Big Tech peut nous cibler avec des messages qui échappent à nos facultés critiques, ne changeant pas d’avis avec raison, mais avec une sorte de mesmérisme technologique.

Cette histoire provient de Big Tech elle-même. Les revendications marketing pour la publicité programmatique et le marketing ciblé (y compris le marketing politique) promettent aux clients potentiels qu’ils peuvent acheter des audiences pour leurs idées via Big Tech, qui mélangera ses vastes référentiels de données avec l’apprentissage automatique et submergera nos défenses cognitives pour nous convertir en clients pour produits ou idées.

Nous devons toujours être sceptiques quant aux allégations marketing. Ce ne sont pas des articles de revues à comité de lecture, ce sont des publications commerciales. Le fait que les affirmations convainquent les spécialistes du marketing de donner des milliards de dollars à Big Tech n’est pas une garantie que les affirmations sont vraies. Après tout, les puissants décideurs en affaires ont une longue histoire de croyance qui s’est révélée fausse.

Il est clair que notre discours est en train de changer. Les idées qui étaient en marge depuis des années ont acquis une nouvelle centralité. Certaines de ces idées sont celles que nous aimons (l’inclusion des sexes, la justice raciale, le sentiment anti-monopolistique) et d’autres que nous n’aimons pas (la xénophobie, les théories du complot et le déni de la science du changement climatique et des vaccins).

Notre monde est également dominé par la technologie, donc tout changement dans notre monde implique probablement la technologie. Démêler les relations causales entre la technologie et le discours est un problème épineux, mais il est important.

Il est possible que Big Tech ait inventé une forme de mesmerisme de haute technologie, mais que vous y croyiez ou non, il existe de nombreuses façons moins controversées et plus évidentes dont la Big Tech influence (et déforme) notre discours.

Localiser des audiences précises

De toute évidence, Big Tech est incroyablement bon pour cibler des publics précis, ce qui est une proposition de valeur de l’ensemble de l’industrie de la technologie publicitaire. Avez-vous besoin de rejoindre des étudiants étrangers de la côte du Pacifique qui font des études supérieures en physique ou en chimie dans le Midwest? Aucun problème. Les annonceurs apprécient cette fonctionnalité, tout comme ceux qui souhaitent influencer notre discours.

La localisation de personnes va au-delà de « l’achat d’une audience » pour une annonce. Les militants qui souhaitent toucher des personnes soucieuses de leurs problèmes peuvent utiliser cette fonctionnalité pour les mobiliser en faveur de leurs causes. Les personnes queer qui ne connaissent personne ne peuvent trouver des communautés en ligne pour les aider à comprendre et à développer leur propre identité. Les personnes vivant avec des maladies chroniques peuvent parler de leur maladie avec d’autres personnes qui partagent leurs problèmes.

Cette précision est bonne pour quiconque a une opinion en dehors du courant dominant, y compris les personnes qui ont des opinions avec lesquelles nous ne sommes pas d’accord ou des causes auxquelles nous nous opposons. Big Tech peut vous aider à trouver des personnes pour coopérer avec vous dans des campagnes de harcèlement racistes ou sexistes, ou pour fomenter des mouvements politiques haineux.

Un discours requiert des participants: si vous ne trouvez personne intéressant à discuter avec vous d’un sujet ésotérique, vous ne pouvez pas en discuter. Big Tech a radicalement modifié notre discours en permettant aux personnes qui veulent parler de sujets obscurs de trouver facilement des présentateurs, permettant des conversations qui n’auraient jamais pu se produire autrement. Parfois c’est bien et parfois c’est terrible, mais c’est absolument différent de tout autre moment.

Secret

Certaines conversations sont risquées. Parler de votre sexualité queer dans une culture intolérante peut vous mettre à l’écart ou vous soumettre à du harcèlement et de la violence. Parler de votre affinité pour le cannabis dans un endroit où il n’est pas légal de consommer peut vous faire virer ou même emprisonner.

Le fait que de nombreuses conversations en ligne se déroulent dans des espaces privés signifie que les gens peuvent dire des choses qu’ils auraient autrement gardé pour eux par peur de représailles.

Toutes ces choses ne sont pas bonnes. Être surpris à produire des publicités politiques trompeuses peut vous causer des ennuis avec un régulateur électoral et également envoyer des partisans à vos adversaires. La publicité que votre entreprise discrimine sur la base de la race, du sexe ou de la sexualité peut vous faire boycotter ou poursuivre, mais si vous pouvez trouver des failles qui vous permettent de cibler certains groupes qui sont d’accord avec votre programme discriminatoire, vous pouvez gagner leur entreprise.

Le secret permet aux gens de dire des choses à la fois illégales et socialement inacceptables à ceux qui sont d’accord avec eux, ce qui réduit considérablement les conséquences d’un tel discours. C’est pourquoi le discours privé est essentiel au progrès social, et c’est pourquoi le discours privé est bénéfique pour les personnes fomentant la haine et la violence. Nous croyons au discours privé et nous nous battons pour lui depuis 30 ans parce que nous croyons en ses avantages, mais nous ne nions pas ses coûts.

Combiné au ciblage, le secret permet une forme de discours très persuasive, non seulement parce que vous pouvez commettre des actes immoraux en toute impunité, mais aussi parce que des minorités défavorisées peuvent chuchoter des idées trop dangereuses pour être dites à voix haute.

Mentir et / ou se tromper

La concentration de l’industrie technologique a produit une monoculture de réponses. Pour beaucoup de gens, Google est un oracle, et ses réponses – les meilleurs résultats de recherche – sont définitives.

Il y a une bonne raison à cela: Google a presque toujours raison. Tapez « Quelle est la longueur du pont de Brooklyn » dans la boîte de recherche et vous obtiendrez une réponse qui correspond à la fois à Wikipédia et à sa source sous-jacente, le rapport de 1967 de la Commission de préservation des monuments de New York.

Parfois, cependant, Google est trompé en mentant par des gens qui veulent pousser le mensonge sur le reste d’entre nous. En explorant systématiquement le système de classement des recherches de Google (un système baigné dans le secret et soumis à une analyse constante par l’industrie de l’optimisation des moteurs de recherche), les mauvais acteurs peuvent et changent les meilleurs résultats sur Google, incitant le système à renvoyer de la désinformation (et parfois, c’est juste une erreur stupide).

Cela peut être un moyen très efficace de déplacer notre discours. Les fausses réponses provenant d’une source fiable sont naturellement prises à leur valeur nominale, en particulier lorsque la fausse réponse est plausible (en ajoutant ou en supprimant quelques mètres de la longueur du pont de Brooklyn), ou lorsque le questionneur n’a pas vraiment la moindre idée de la réponse. (ajoutant des dizaines de milliers de kilomètres par seconde à la vitesse de la lumière).

Même lorsque Google n’est pas délibérément amené à donner de mauvaises réponses, il peut toujours donner de mauvaises réponses. Par exemple, lorsqu’un devis est largement mal attribué et corrigé par la suite, Google peut mettre des mois, voire des années, à cesser de diffuser la mauvaise attribution dans ses meilleurs résultats. En effet, parfois, Google ne réussit jamais dans de tels cas, car les personnes qui obtiennent la mauvaise réponse de Google la répètent sur leurs propres messages, augmentant le nombre de sources où Google trouve la mauvaise réponse.

Cela ne se limite pas à Google, non plus. Les secteurs de recherche étroits que Google ne contrôle pas – les sites de rencontres, les sites de réseautage professionnel, certains marchés en ligne – dominent généralement leurs domaines et sont également utilisés par les chercheurs qui les traitent comme infaillibles, même s’ils peuvent reconnaître qu’il est toujours sage de faites-le.

Le résultat est que ce dont nous parlons et comment nous en parlons dépend fortement de ce que Google nous dit lorsque nous lui posons des questions. Mais cela ne dépend pas du fait que Google change nos croyances existantes: si vous savez exactement quelle est la vitesse de la lumière, ou combien de temps le pont de Brooklyn est, un mauvais résultat de recherche Google ne changera pas d’avis. Il s’agit plutôt de Google comblant un vide dans nos connaissances.

Il existe un problème secondaire et connexe d ‘«idiomes distinctifs et disjoints». La recherche de «canular climatique» donne des résultats différents de la recherche de «crise climatique» et des résultats différents toujours de «changement climatique». Bien que tous les trois se réfèrent au même phénomène sous-jacent, ils reflètent des croyances très différentes à son sujet. Le terme que vous utilisez pour lancer votre recherche vous mènera vers une autre collection de ressources.

C’est un problème de longue date dans le discours, mais il est exacerbé par le monde numérique.

« Trier par controversé »

Les sites Web financés par la publicité tirent leur argent des pages vues. Plus elles vous servent de pages, plus elles peuvent vous montrer d’annonces et plus elles ont de chances de vous montrer une annonce sur laquelle vous cliquerez. Les annonces ne sont pas très efficaces, même lorsqu’elles sont très ciblées, et plus vous voyez d’annonces, plus vous devenez insensible à leurs emplacements, il faut donc beaucoup de pages vues pour générer un volume soutenu de clics et le nombre de les pages vues nécessaires pour maintenir des revenus stables ont tendance à augmenter avec le temps.

Augmenter le nombre de pages vues est difficile: les gens ont des budgets horaires fixes. Les plateformes peuvent augmenter votre « engagement » en vous donnant des suggestions de choses qui vous plairont, mais c’est difficile (pensez au moteur de recommandation de Netflix).

Mais les plateformes peuvent également augmenter l’engagement en vous mettant en colère, anxieux ou indigné, et ces émotions sont beaucoup plus faciles à engendrer avec des processus automatisés. Injecter des commentaires énervants, des images choquantes ou des réclamations bizarres dans vos sessions en ligne peut vous décourager à long terme, mais à court terme, ce sont une source fiable de clics excessifs.

Cela a un impact évident sur notre discours, amplifiant la tendance naturelle de l’homme à vouloir peser sur les controverses sur des sujets qui vous intéressent. Il encourage les discussions en colère et improductives. Ce n’est pas un contrôle mental – les gens peuvent choisir d’ignorer ces «recommandations» ou de s’éloigner de la controverse – mais les plateformes qui déploient cette tactique prennent souvent un caractère discordant et en colère.

Censure délibérée

La modération du contenu est très difficile. Quiconque a déjà tenté de créer des règles pour ce qui peut et ne peut pas être publié découvre rapidement que ces règles ne peuvent jamais être complètes. Par exemple, si vous classez certaines conduites comme du «harcèlement», vous découvrirez peut-être que ces conduites ne sont qu’un peu moins grave que vous l’avez spécifié est également vécu comme du harcèlement de la part de personnes de son côté récepteur.

Aussi difficile que cela soit, cela devient beaucoup plus difficile à l’échelle, en particulier lorsque les services transculturels et linguistiques: aussi difficile que de décider si quelqu’un franchit la ligne lorsque cette personne est de la même culture que vous et parle votre langue maternelle. langue, il est beaucoup plus difficile d’interpréter les contributions de personnes d’horizons différents, et les barrières linguistiques ajoutent une autre couche d’une complexité incroyable.

L’essor des plates-formes monolithiques avec des centaines de millions (voire des milliards) d’utilisateurs signifie qu’une partie substantielle de notre discours public est menée sous l’ombre de politiques de modération qui ne sont pas – et ne peuvent pas – être complètes ou bien administrées.

Même si ces politiques ont des taux d’erreur extrêmement faibles – même si seulement un sur mille commentaires ou publications supprimés est victime d’une application trop zélée – les systèmes avec des milliards d’utilisateurs génèrent des centaines de milliards de publications par jour, ce qui représente plusieurs millions de actes de censure quotidiens.

Bien sûr, toutes les politiques de modération ne sont pas bonnes, et parfois, les politiques de modération sont aggravées par de mauvais régimes juridiques. Par exemple, SESTA / FOSTA, un projet de loi visant théoriquement à mettre fin à la traite des êtres humains à des fins sexuelles, était trop large et vague pour commencer, et les politiques de modération qu’il a engendrées ont pratiquement mis fin à certains types de discussions sur la sexualité humaine dans les forums publics, y compris certains qui atteint l’objectif nominal de SESTA / FOSTA d’améliorer la sécurité des professionnel (le) s du sexe (par exemple, des forums où les professionnel (le) s du sexe tiennent des listes de clients potentiels dangereux). Ces sujets étaient toujours soumis à des normes de modération arbitraires, mais SESTA / FOSTA rendait pratiquement impossible la tâche déjà difficile de parler de sexualité.

De même, l’exigence de la Communications Decency Act concernant les listes noires de matériel pour adultes sur les connexions Internet subventionnées par le gouvernement fédéral (telles que celles dans les écoles publiques et les bibliothèques) a interdit l’accès à une multitude de documents légitimes, y compris des sites Web qui offrent des informations sur la santé et le bien-être sexuels, et sur le harcèlement et les agressions sexuelles.

Censure accidentelle

En plus des politiques de modération mal considérées, les plateformes sont également sujettes à des erreurs d’application mal exécutées, en d’autres termes. Célèbre, Tumblr a installé un filtre automatique destiné à bloquer tous les « contenus pour adultes » et ce filtre a bloqué d’innombrables images inoffensives, des images de légumes racines suggestifs aux propres exemples de Tumblr d’images qui contenaient de la nudité mais ne constituaient pas du contenu pour adultes et seraient donc ignorées par ses filtres. Les erreurs sont commises par des modérateurs de contenu humains et automatisés.

Parfois, les erreurs sont aléatoires et étranges, mais certains sujets sont plus susceptibles de donner lieu à une censure accidentelle que d’autres: la sexualité humaine, les discussions des survivants d’abus et de violence (en particulier la violence sexuelle), et même des personnes dont les noms ou les maisons sonnent ou ressemblent des mots qui ont été interdits par les filtres (les Vietnamiens du nom de Phuc étaient en proie aux filtres de discussion d’AOL, tout comme les Britanniques qui vivaient à Scunthorpe).

Le caractère systématique de cette censure accidentelle signifie que des champs de discours entiers sont difficiles voire impossibles à entreprendre sur les plateformes numériques. Ces sujets sont les victimes d’une sorte de superstition de la machine, un ordinateur détraqué qui les a interdits sans l’approbation ou l’intention de ses programmeurs humains, dont les oublis, les faiblesses et la myopie les ont amenés à programmer dans une mauvaise règle, après quoi ils ont tout simplement disparu de la scène, laissant la machine derrière pour répéter leur erreur à grande échelle.

Censure de tiers

Depuis les premiers jours des réseaux numériques, les gouvernements du monde ont du mal à déterminer quand et si les services en ligne devraient être tenus responsables de ce que font leurs utilisateurs. Selon le pays desservi par un fournisseur en ligne, on peut s’attendre à ce qu’il bloque, ou supprime de manière préventive, la violation du droit d’auteur, la nudité, le matériel sexuellement explicite, le matériel qui insulte la famille royale, la diffamation, le discours de haine, le harcèlement, les incitations au terrorisme ou sectaires violence, plans de commettre des crimes, blasphème, hérésie et une foule d’autres formes de communication difficiles à définir.

Ces politiques sont difficiles à appliquer de manière cohérente et correcte par les équipes de modération, mais ce travail est rendu beaucoup plus difficile par des tentatives délibérées de tiers de harceler ou de faire taire les autres en faisant de fausses déclarations à leur sujet.

Dans le cas le plus simple, les censeurs potentiels soumettent simplement de faux rapports aux plates-formes dans l’espoir de passer devant un modérateur paresseux ou fatigué ou confus afin d’obtenir l’interdiction de quelqu’un ou la suppression du discours.

Cependant, alors que les plates-formes instituent des règles toujours plus fines sur ce qui est ou n’est pas un motif de suppression ou de suppression, les trolls acquièrent une nouvelle arme: une connaissance encyclopédique de ces règles.

Les personnes qui souhaitent utiliser des plateformes pour des discussions de bonne foi sont désavantagées par rapport aux «avocats des règles» qui veulent perturber ce discours. Les premiers ont des intérêts et des emplois sur lesquels ils veulent communiquer. L’intérêt et le travail de ce dernier perturbent le discours.

Plus les règles deviennent complexes, plus il est facile pour les acteurs de mauvaise foi de trouver en eux une raison de signaler leurs adversaires, et plus il est difficile pour les acteurs de bonne foi d’éviter de franchir l’une des innombrables lignes de l’ensemble de règles.

Conclusion

L’idée que la Big Tech peut façonner le discours en contournant nos facultés critiques en nous espionnant et en nous analysant est à la fois égoïste (dans la mesure où elle aide la Big Tech à vendre des publicités et à influencer les services) et invraisemblable, et doit être considérée avec un scepticisme extrême.

Mais vous n’avez pas à accepter des affirmations extraordinaires pour trouver des moyens par lesquels la Big Tech déforme et dégrade notre discours public. L’échelle de la Big Tech la rend opaque et sujette aux erreurs, tout en rendant impossible le maintien d’un espace civil et productif de discussion et de débat.

Les monopoles de Big Tech, avec leurs mécanismes de verrouillage qui retiennent les données des utilisateurs et les relations sociales en otage, suppriment toute responsabilité qui pourrait découler de la crainte que des utilisateurs mécontents ne passent à des concurrents.

L’accent mis sur la limitation des tactiques de manipulation de Big Tech par le biais de mesures réglementaires a pour effet paradoxal de rendre plus cher et difficile l’accès au marché avec un concurrent Big Tech. Une réglementation conçue pour freiner la Big Tech entraînera des coûts que peu de technologies ne peuvent pas se permettre et devient une licence pour dominer le monde numérique déguisée en punition réglementaire pour des normes laxistes.

L’ampleur et la domination des entreprises technologiques se traduisent par un discours public sans équivoque, évident et toxique. La bonne nouvelle est que nous disposons d’outils pour y faire face: ruptures, contrôle des concentrations, limites de l’intégration verticale. Peut-être qu’après la réduction de la taille de Big Tech, nous trouverons toujours qu’il y a une sorte de hypnotisme d’apprentissage machine que nous devrons résoudre, mais si tel est le cas, notre travail sera infiniment plus facile lorsque Big Tech aura été dépouillé des loyers monopolistiques qu’il utilise pour se défendre contre les tentatives de modifier sa conduite par le biais de politiques et de lois.