Twitter vient de fermer le livre sur la recherche universitaire

Twitter était autrefois un pilier de la recherche universitaire – un moyen de prendre le pouls d’Internet. Mais alors que le nouveau propriétaire Elon Musk a tenté de monétiser le service, les chercheurs ont du mal à remplacer un outil autrefois crucial. À moins que Twitter ne fasse bientôt volte-face, cela pourrait clore le chapitre de toute une ère de recherche.

« La recherche utilisant les données des médias sociaux, c’était principalement la technologie Twitter », explique Gordon Pennycook, professeur agrégé de sciences du comportement à l’Université de Regina. “C’était la principale source que les gens utilisaient”,

Jusqu’à la prise de contrôle de Musk, l’API de Twitter – qui permet aux développeurs tiers de collecter des données – était considérée comme l’une des meilleures sur Internet. Il a permis des études sur tout, de comment les gens réagissent aux catastrophes météorologiques pour comment empêcher la désinformation de se propager en ligne. Les problèmes qu’ils ont abordés ne font qu’empirer, ce qui rend ce type de recherche plus important que jamais. Mais Twitter décidé mettre fin à l’accès gratuit à son API en février et lancé niveaux payés en mars. L’entreprise a dit il « cherchait de nouvelles façons de continuer à servir » le milieu universitaire, mais a néanmoins commencé à couper sans ménagement l’accès aux utilisateurs tiers qui ne payaient pas. Alors que la coupure a causé des problèmes à de nombreux types d’utilisateurs différentsy compris les agences de transport en commun et les intervenants d’urgence, les universitaires sont parmi les groupes les plus durement touchés.

Des chercheurs qui s’appuient sur Twitter depuis des années racontent Le bord ils ont dû arrêter de l’utiliser. Il est tout simplement trop cher de payer pour accéder à son API, qui aurait grimpé en flèche à 42 000 dollars par mois ou plus pour un compte d’entreprise. En conséquence, les scientifiques ont perdu un point de vue clé sur le comportement humain. Et pendant qu’ils se bousculent pour trouver de nouvelles sources, il n’y a pas encore d’alternative claire.

Twitter a donné aux chercheurs un moyen d’observer les réactions réelles des gens au lieu d’avoir à demander aux participants à l’étude comment ils penser ils pourraient réagir dans certains scénarios. Cela a été crucial pour Pennycook’s recherche dans des stratégies pour empêcher la désinformation de se propager en ligne, par exemple, en montrant aux gens un contenu qui leur demande de réfléchir à l’exactitude avant de partager un lien.

Sans pouvoir voir ce qu’un individu tweete réellement, des chercheurs comme Pennycook pourraient être limités à demander quelqu’un dans un sondage quel type de contenu il partagerait sur les réseaux sociaux. « C’est fondamentalement hypothétique », dit Pennycook. “Pour les entreprises technologiques qui seraient réellement en mesure de mettre en œuvre l’une de ces interventions, elles ne seraient pas impressionnées par cela… Nous avons dû faire des expériences quelque part pour montrer que cela peut réellement fonctionner dans la nature.”

En avril, un groupe d’universitaires, de journalistes et d’autres chercheurs appelé la Coalition for Independent Technology Research a envoyé un lettre à Twitter en lui demandant de les aider à maintenir l’accès. La coalition a interrogé des chercheurs et a constaté que les nouvelles restrictions de Twitter mettaient en péril plus de 250 projets différents. Cela signalerait également la fin d’au moins 76 “efforts à long terme”, indique la lettre, y compris des packages de code et des outils. L’application des nouvelles politiques de Twitter étant quelque peu aléatoire (certains utilisateurs ont été expulsés de la plate-forme avant d’autres), la coalition a mis en place un effort d’entraide. Les scientifiques se sont précipités pour récolter autant de données qu’ils le pouvaient avant de perdre leurs propres clés d’accès, et d’autres ont proposé de les aider à collecter ces données ou ont fait don de leur propre accès à l’API de Twitter aux chercheurs qui l’ont perdu.

Le niveau d’API le plus abordable de Twitter, à 100 $ par mois, ne permettrait à des tiers de collecter que 10 000 par mois. Cela ne représente que 0,3% de ce à quoi ils avaient auparavant accès gratuitement en une seule journée, selon la lettre. Et même son niveau d’entreprise “outrageusement cher”, selon la coalition, n’était pas suffisant pour mener des études ambitieuses ou maintenir des outils importants.

L’un de ces outils est Botometer, un système qui évalue la probabilité qu’un compte Twitter soit un bot. Alors que Musk a exprimé son scepticisme à l’égard de choses comme la recherche sur la désinformation, il est en fait Botomètre d’occasion publiquement – ​​pour estimer le nombre de bots présents sur la plate-forme lors de sa tentative de se retirer de l’accord qu’il a conclu pour acheter Twitter. Maintenant, sa décision de facturer l’accès à l’API pourrait entraîner la disparition de Botometer.

Un avis sur Botometer site Internet dit que l’outil cessera probablement de fonctionner bientôt. “Nous recherchons activement des solutions pour maintenir ce site Web vivant et gratuit pour nos utilisateurs, ce qui impliquera de former un nouveau modèle d’apprentissage automatique et de travailler avec les nouveaux plans d’API payants de Twitter”, indique-t-il. “Veuillez noter que même s’il est possible de créer une nouvelle version du site Web Botometer, elle aura des fonctionnalités et des quotas limités par rapport à la version actuelle en raison de l’API restreinte de Twitter.”

L’arrêt imminent est un coup dur pour le co-créateur de Botometer Kai-Cheng Yang, un chercheur étudiant la désinformation et les bots sur les réseaux sociaux qui a récemment obtenu son doctorat en informatique à l’Université de l’Indiana à Bloomington. “Tout mon doctorat, toute ma carrière, est à peu près basé sur les données de Twitter en ce moment. Il est probable qu’il ne soit plus disponible à l’avenir », a déclaré Yang Le bord. Lorsqu’on lui a demandé comment il pourrait avoir à aborder son travail différemment maintenant, il a répondu : “Je me suis constamment posé cette question.”

D’autres chercheurs sont également perplexes. “La plate-forme est passée de l’une des plus transparentes et accessibles de la planète à un véritable fond de baril”, déclare la signataire de la lettre Rebekah Tromble, directrice de l’Institute for Data, Democracy, and Politics (IDDP) de l’Université George Washington. Certains des travaux antérieurs de Tromble, étudiant les conversations politiques sur Twitter, ont en fait été financés par l’entreprise avant qu’elle ne modifie ses politiques d’API.

“L’API de Twitter a été absolument vitale pour la recherche que je fais depuis des années maintenant”, a déclaré Tromble. Le bord. Et comme Yang, elle doit pivoter en réponse aux nouveaux systèmes de tarification de la plate-forme. “Je n’étudie tout simplement pas Twitter en ce moment”, dit-elle.

Mais il n’y a pas beaucoup d’autres options pour collecter des données en masse à partir des médias sociaux. Bien que le grattage des données d’un site Web sans l’utilisation d’une API soit une option, c’est un travail plus fastidieux et peut comporter d’autres risques. Twitter et d’autres plates-formes ont tenté de limiter le scraping, en partie parce qu’il peut être difficile de discerner s’il est fait dans l’intérêt public ou à des fins malveillantes comme le phishing.

Pendant ce temps, d’autres géants des médias sociaux ont été encore plus restrictifs que Twitter avec un accès API, ce qui rend difficile le basculement vers une plate-forme différente. Et les restrictions semblent se durcir – le mois dernier, Reddit a également annoncé qu’il commencer à limiter l’accès des tiers à son API.

“Je me demande simplement si ce n’est pas le début des entreprises qui sont de moins en moins disposées à avoir l’API pour le partage de données”, déclare Hause Lin, chercheur postdoctoral au MIT et à l’Université de Regina, qui développe des moyens d’arrêter la propagation de discours de haine et désinformation en ligne. “Il semble que le paysage change totalement, donc nous ne savons pas où il se dirige en ce moment”, a déclaré Lin. Le bord.

Il y a des signes que les choses pourraient empirer encore plus. La semaine dernière, nouvelles signalé que Twitter avait dit à certains chercheurs qu’ils auraient besoin de supprimer les données qu’ils avaient déjà collectées via son décahose, qui fournit un échantillon aléatoire de 10% de tout le contenu de la plate-forme à moins qu’ils ne paient pour un compte d’entreprise pouvant coûter plus de 42 000 $ par mois . Cette décision équivaut à “l’équivalent du big data de la gravure de livres”, aurait déclaré un universitaire anonyme qui a reçu l’avis. nouvelles.

Le bord n’a pas été en mesure de vérifier cette nouvelle avec Twitter, qui répond désormais régulièrement aux demandes des journalistes avec un emoji caca. Aucun des chercheurs Le bord a parlé avait reçu un tel avis, et il semble jusqu’à présent être limité aux utilisateurs qui ont déjà payé pour utiliser le décahose (une seule utilisation de l’API de Twitter qui aurait auparavant été gratuite ou peu coûteuse pour les universitaires).

Tromble et Yang ont tous deux utilisé du décahose pour leur travail dans le passé. “Jamais auparavant Twitter n’était revenu aux chercheurs pour leur dire que maintenant que le contrat était terminé, vous deviez abandonner toutes les données”, déclare Tromble. « C’est une parodie complète. Cela va dévaster un tas de projets de recherche en cours très importants. »

D’autres universitaires racontent de la même manière Le bord que la pression signalée par Twitter pour que les chercheurs “effacent toutes les données Twitter stockées et mises en cache dans vos systèmes” sans abonnement d’entreprise serait dévastatrice. Cela pourrait empêcher les étudiants de terminer le travail dans lequel ils ont investi des années s’ils sont obligés de supprimer les données avant de publier leurs résultats. Même s’ils ont déjà publié leurs travaux, l’accès aux données brutes est ce qui permet à d’autres chercheurs de tester la force de l’étude en pouvant la reproduire.

“C’est vraiment important pour une science transparente”, déclare Yang. “Ce n’est qu’une préférence personnelle – j’irais probablement à l’encontre de la politique de Twitter et je partagerais toujours les données, les rendrais disponibles parce que je pense que la science est plus importante dans ce cas.”

Twitter était un endroit idéal pour les expériences numériques sur le terrain, en partie parce qu’il encourageait des personnes d’horizons différents à se rencontrer en un seul endroit en ligne. C’est différent de Facebook ou de Mastodon, qui ont tendance à avoir plus de frictions entre les cercles sociaux. Cette centralisation a parfois favorisé les conflits – mais pour les universitaires, elle était précieuse.

“Si la recherche n’est pas aussi bonne, nous ne pourrons pas en savoir autant sur le monde qu’avant”, déclare Pennycook. “Et donc peut-être que nous trouverons un moyen de combler cet écart, mais nous ne l’avons pas encore compris.”