Analüüs: Twitteri rahvapõhise faktide kontrollimise katse paljastab probleeme

Poynteri analüüs näitas, et vähem kui pooled Birdwatchi kasutajatest sisaldavad allikaid ja paljud faktikontrolli märkmed sisaldavad erakondlikku retoorikat.

14. veebruaril avaldatud Twitteri Birdwatch algoritmi versioon täiendas mõningaid märkmeid eksitava teabega.

5. veebruaril märkis Twitter vastuolulise YouTuberi Tim Pooli postitus see ütles, et 2020. aasta USA presidendivalimised olid võltsitud. Platvorm märkis, et väide vaidlustati ja keelas kihlumise 'vägivallaohu tõttu'.

Aga edasi Linnuvaatlus , sotsiaalmeedia platvorm eksperimenteerida rahvapõhise faktikontrolliga 14. veebruaril tehtud Twitteri andmete analüüsi kohaselt ütlesid kasutajad ülekaalukalt, et säuts ei olnud eksitav. Ja enamik Birdwatchi kasutajaid märkis tööriistas, et nende arvates olid need ümberlükatud väiteid toetavad märkmed kasulikud ja informatiivsed.

'Ajalehe TIME ametliku (sic) allika järgi oli hästi organiseeritud salajaste osalejate rühm variorganisatsioonis, mis kõlab nagu kabel, mis töötas koos, et valimisi Joe Bideni kasuks kallutada,' seisab ühes märkuses. Kuigi kasutaja lisab lingi ajalehe Time artikkel mis tõepoolest kasutab selliseid sõnu nagu 'kabal' ja 'vandenõu', on tüki kontekst – et võimsad rühmad töötasid kulisside taga, et kaitsta valimiste ausust – on kadunud.

The Linnuvaatlusalgoritm , mille eesmärk on tõsta esile kasulikke märkmeid, määras sellele faktikontrollile abivalmiduse skooriks 0,68 – kõrgeim säutsu märkmetest, mis jääb veidi alla 10% ülemistest märkmetest, mida algoritm hindas „abistavaks” seisuga 14. veebruar. Abistava hinnanguga märkmed moodustasid selles analüüsis 2695-st umbes 7% ja vähem kui kaks kolmandikku neist sisaldavad allika linki, mis ei ole teine ​​säuts.

17. veebruaril Twitter muutis oma algoritmi ja märkmeid basseini säutsu kohta ei hinnata enam kasulikuks, kuigi nad on on endiselt postituse all loetletud . Enne seda muudatust kehtis abistavaks lugemiseks madalam lävi – vaid 0,5 võrreldes uue 0,84-ga – ning märkmed vajasid vaid kolme hinnangut, et neid abistavaks lugeda, prioriteedijärjekorras ja sinise märkega tähistada.

Nüüd peab märkus koguma viis hinnangut, et säutsu sisestada uus vahekaart „Hinnatud kasulikuks” Birdwatchis . Ja nendest ligi 2700 märkmest platvormi andmebaasis täitis 126 uue läve – see on vähem kui 5%. Kolm neljandikku uutest 'abistavaks hinnatud' märkmetest sisaldasid allikat väljaspool Twitterit.

See on õigeaegne näide ühest probleemist, millega Birdwatchi mudel silmitsi seisab: kas pealtnäha juhusliku inimrühma toidetud algoritm suudab kunagi tõde täpselt hinnata?

Veidi enam kui 1000 kasutajaga pilootfaasis olev Birdwatch võimaldab osalejatel märkida säutsud eksitavateks ja lisada märkuse, mis viitab allikale ja/või selgitab konteksti, miks see võib olla eksitav. Seejärel saavad Birdwatchi kasutajad neid märkmeid abivalmiduse alusel järjestada (pärast seda võtab üle algoritm).

Lõpuks näevad kõik Twitteri kasutajad neid märkmeid otse säutsude all, kuid praegu piirduvad need saidi konkreetset jaotist . Linnuvaatluse kasutajad loovad lõpuks ka maineskoori, mis aitab kaasa abivalmidusalgoritmile.

'Meie eesmärk Birdwatchi piloodiga on luua süsteem, millesse igaüks saab oma panuse anda, ja see tõstab loomulikult teavet, mida inimesed peavad kasulikuks,' ütles Twitteri toote asepresident Keith Coleman meilis. 'Usume, et avatus selle osas, kes saavad panustada, on oluline ja mitmekesise rühma panuse kaudu saab tõsta kõige kasulikumad märkmed.'

Kuid vaadates süsteemi praegusel kujul, ilmnevad väljakutsed, mida faktikontrollijad on Birdwatchiga seoses tõstatanud: kasutajate puudulikud faktide kontrollimise teadmised, raskused sellise algoritmi loomisel, mis mingil moel tõstaks esile kõige mainekamate kasutajate kasulikud märkmed ja küsimused kasutajate erakondlike motivatsioonide kohta.

'Mind ei üllata need avastused, võttes arvesse sotsiaalmeedia platvormide polarisatsiooni ja tavakasutajate kõhklust platvormide pakutavatele päringutele tagasiside andmisel, samas kui motiveeritud kasutajad mõlemalt poolt vahekäiku näevad platvorme lahinguväljadena, kus oma narratiive reklaamida. teised,” ütles rahvusvahelise faktikontrolli võrgustiku direktor Baybars Örsek.

Enamik kõige viljakamate Birdwatchi kasutajate märkmetest märgib parempoolseid kriitilisi säutse 'eksitavatena' ja vasakpoolseid kritiseerivaid säutse kui 'mitteeksitavaid'. (Näiteks märkis kasutaja säutsu, mis ütleb ' Team Biden on Hiina suhtes pehme ” senaator Ted Cruz ja Pool säutsus kui „ei ole eksitav”; samas Newsweeki artikkel paremäärmuslastest ja GameStopi saagast ja säuts president Donald Trumpi sidumine Kapitooliumi mässuga märgiti 'eksitavaks' ja 'kahjulikuks'.) Ja vähem kui viiendik kasutaja 82 märkmetest sisaldab allikat, millest mitmed on muud säutsud. (See Birdwatchi kasutaja ei vastanud intervjuutaotlusele.)

Coleman ütles, et Birdwatchit saab motiveerida kaaluma märkmeid, mis pärinevad 'mitmekestelt kaasautoritelt'. Lisaks on reitingusüsteem platvormi peamine tõukejõud

'Usume, et need premeerivad ja stimuleerivad panust, mida paljud inimesed peavad väärtuslikuks, ning vähendavad ohtu, et üks konkreetne rühm või ideoloogia võtab Birdwatchi üle,' ütles Coleman. 'Selle kallal töötame aktiivselt kogu katseaja jooksul.'

Ja tõepoolest, märkmed, mille algoritm pidas pärast 17. veebruari muudatusi kõige kasulikumaks, näitavad kindlamat hankimist ja vähem erakondlikku retoorikat kui vaid päev varem tehtud iteratsioon. Algoritmi muutmine 1000 kasutajaga ja vähem kui 2700 sedeliga pilootprogrammi jaoks on aga üks asi, aga algoritmi muutmine, kui Birdwatch on kõigile kasutajatele kättesaadav, on teine ​​asi – ja kes teab, kas algoritmi tõhusus püsib, kui kasutajad hakkavad lisama. platvormile, korrates võib-olla mõne kõige viljakama piloodil osaleja käitumist.

'Meil ei ole praegu skaleerimiseks konkreetset ajakava, kuna töötame selle nimel, et õppida võimalikult palju ja itereerida, kuni piloot on väike,' ütles Coleman. 'Kavatseme laiendada, kui suudame seda ohutult teha ja millal see aitab õppimist parandada.'

Siiski, nagu ka Pooli säutsu all olevate märkmete puhul, on partisanide näited või eksitavat teavet endiselt nähtav tavaliste märkmetena.

Viiest kõige aktiivsemast kasutajast neljal, kelle arvele langeb üle 10% kõigist märkmetest, on samasugune tegevus kui kõige viljakamal kasutajal. Üks neist väidab, et Jeffrey Epsteini surma ei peetud kunagi enesetapuks. Ent teine ​​kõige viljakam Linnuvaatleja viitab igas märkuses allikale, sealhulgas lingid Maailma Terviseorganisatsioonilt ja FactCheck.org .

Ükski 10 parimast kasutajast ei ole nende Twitteri biosaadete järgi professionaalne faktide kontrollija ega ajakirjanik.

'Faktide kontrollimine on tegelikult raske töö, kuna see on vaimselt nõudlik,' ütles PolitiFacti peatoimetaja Angie Holan meilis. 'Sa pead tõesti keskenduma ja läbi suruma vaimse inertsuse, et tuvastada väited ja seejärel leida ajurünnakuid nende ümberlükkamiseks või kontrollimiseks. Seejärel peate otsima ja seejärel leidud üles kirjutama. See ei ole päev rannas, otse öeldes. Ja kui faktikontrollijal on erakondlik motivatsioon, muudab see põhjaliku ja tasavägise pingutuse veelgi raskemaks.

Vaatamata probleemidele märgib Birdwatch väärinformatsiooni, mida traditsioonilised faktikontrollijad võivad potentsiaalse kahju tõttu märkamata jätta või mitte kontrollida – see võib aidata täita mõningaid lünki digitaalses väärinfos. Jooksul mängupeatuse saaga , levis valeinformatsioon selle ettevõtte aktsiate kohta kiiresti platvormidele.

Snopes ja PolitiFact ei hinnanud GameStopi puudutavaid väiteid, samas Lead Stories hinnatud üks Redditi postitus. Kuid Birdwatchis tähistas kõrgeima hinnanguga märkus – abivalmiduse hindeks 1,00 – eksitava säutsu Redditi kohta, kus toimus vestlus aktsiate üle. Redditi, GameStopi ja Robinhoodi investeerimisrakenduse kohta oli umbes 50 märget, millega selle kuu alguses toimus suur kauplemine.

Ja Birdwatchi kasutajad märkisid pärast seda õigesti võltsina konto, mis väidetavalt kuulub Virginia senaatorile Amanda Chase'ile. säutsus , '... Meil ​​on Virginias narkoprobleem ja marihuaana legaliseerimine toob kaasa ainult rohkem marihuaana üledoose ja surmajuhtumeid ...'

Örsek ütles, et ühishange võib muuta professionaalsete faktikontrollijate elu lihtsamaks, tuvastades desinformatsiooni.

Coleman ütles, et Twitter on pühendunud läbipaistvuse säilitamisele – mis tegi selle analüüsi võimalikuks – ja kaasama ekspertide panuse platvormi tuleviku kohta.

'Töötamisest manustatud meeskonnaliikmega Chicago ülikooli RISC keskus , et korraldada tagasisidesessioone reporterite ja teadlastega, töötame selle nimel, et kasutada ära tohutul hulgal ekspertteadmisi ja teadmisi, mis on olemas väljaspool Twitterit,“ ütles ta.

Holan ja Örsek soovitavad Birdwatchi kasutajatele stiimuleid ja koolitusi, samuti professionaalsete faktikontrollijate palkamist kõrgetasemeliste märkmete kontrollimiseks.

'Kuid ma olen üsna kahtlane tehnoloogiaettevõtete suhtes, kes usuvad, et nende kasutajad modereerivad sisu nende jaoks tasuta,' ütles Holan. 'Enamik kasutajaid ei pea oma tööks aidata platvormidel oma ettevõtet juhtida.'