Onderzoek naar gebruikerservaringen ORES

Wikimedia Nederland heeft geen betrokkenheid bij dit onderzoek, noch is zij opdrachtgever: WMNL faciliteert voor dit onderzoek enkel bij het contact met de Nederlandstalige bewerkersgemeenschap.

Een internationale groep onafhankelijke onderzoekers wil graag inzicht krijgen in de waardering van gebruikers van de Nederlandstalige Wikipedia, van de inschattingen door ORES op het gebied van de kwaliteit van versies en het inschatten van vandalisme. Ze willen graag werken aan strategieën om de inschattingen beter aan te passen aan de behoeften van de Nederlandstalige gemeenschap. Voor dit onderzoek worden vrijwilligers gezocht.

Deelnemersprofiel

Voor een gesprek over de instellingen van ORES voor de Nederlandstalige Wikipedia zoeken we een aantal ervaren Wikipedia bewerkers die een beoordeling willen doen over de inschattingen van het systeem aan de hand van vooraf bepaalde model-kaarten, en die met elkaar in gesprek willen gaan over hun overwegingen. Het is belangrijk om kennis te hebben van Wikipedia, maar het is minder belangrijk om ervaring te hebben met het controleren van bewerkingen, bijvoorbeeld de zogenaamde 'anoniemencontrole', of om kennis te hebben van het systeem van ORES. Belangrijk voor het onderzoek is hoe je een willekeurige bewerking waardeert: is het goed, is het fout, of is het misschien een foute bewerking met goede bedoelingen.

Vorm van het onderzoek

Tijdens het onderzoek vul je een vragenlijst in over je kennis en verwachtingen van het systeem. Hierna gaan we aan de hand van 3 vooraf bepaalde model-kaarten in gesprek, en aan het einde van de bijeenkomst vul je nogmaals een vragenlijst in.

Het gesprek staat gepland op zaterdag 13 november 11-13 (CET) en zal worden gehouden via Zoom; eventueel mag je de camera uitzetten. Gesprekken zullen enkel voor de interne verslaglegging worden opgenomen, zodat dit later geanonimiseerd verwerkt kan worden.

Je totale tijdsinvestering voor dit onderzoek zal ongeveer twee en een half uur in beslag nemen, inclusief leesmateriaal vooraf.

Inschrijven

Geïnteresseerd, en maakte je in maart geen deel uit van de groep? Inschrijven voor deelname aan het onderzoek kan via dit formulier. Je ontvangt hierna een uitnodiging voor de Zoom-omgeving.

Bedankje

Als bedankje voor je deelname aan het onderzoek stellen de onderzoekers een digitale cadeaubon beschikbaar voor iedere deelnemer.

Paper gepubliceerd

In januari 2022 werd de uitkomst van het onderzoek gepubliceerd, en tijdens de conferentie FAccT22 in juni 2022 in Seoul gepresenteerd.
De uiteindelijke paper is hier online te vinden.

Meer lezen

• ORES (wp.nl)
• ORES (MediaWiki)
• Meer informatie over het onderzoek kunt u lezen op meta. (Engels)