Waarom vage definities een probleem zijn in de sociale wetenschappen

Amerikaanse millennials wijzen de buitenwijken af ​​en gaan terug naar de stad. Dat was een overheersende gedachte in 2019, toen ik begon als verslaggever sociale wetenschappen bij Wetenschapsnieuws. Maar toen ik begon te graven in een mogelijk verhaal over het fenomeen, stuitte ik op een onsamenhangende puinhoop. Sommige onderzoeken toonden aan dat voorsteden groeiden, andere dat voorsteden krimpen en weer andere toonden groei in zowel voorsteden als steden.

Omdat ik dat doolhof van bevindingen niet kon begrijpen, legde ik het verhaalidee op de plank. Enkele maanden later stuitte ik op een whitepaper van Harvard University waarin werd uitgelegd dat onenigheid in het veld voortkomt uit concurrerende definities van wat een stad onderscheidt van een buitenwijk. Sommige onderzoekers definiëren de buitenwijken als gebieden die buiten de door de volkstelling aangewezen steden vallen. Anderen zoeken alleen naar markeringen van suburbanisme, zoals een schat aan eengezinswoningen en woon-werkverkeer in de auto, schreven de onderzoekers.

Ik ben dit soort onduidelijkheid rond definities van allerlei termen en concepten tegengekomen in de jaren dat ik me bezighield met de sociale wetenschappen. Soms gaan onderzoekers er gewoon van uit dat hun definitie van een sleutelconcept is: de definitie. Of ze knikken kort naar andere definities, en gaan dan verder met welke ze ook kiezen, zonder veel uitleg waarom. Andere keren kiezen onderzoekers in het ene subveld één definitie, en onderzoekers in een ander subveld een andere – elk zonder ooit van het bestaan ​​van de ander te weten. Het is genoeg om een ​​verslaggever ertoe aan te zetten hun haren eruit te trekken.

„Als je kijkt … je vindt dit moeras van definities en metingen‘ in de sociale wetenschappen, zegt kwantitatief psycholoog Jessica Flake van de McGill University in Montreal. Mijn ervaring was een gewone, verzekerde ze me.

Definitie moerassen bestaan ​​ook in andere wetenschappelijke gebieden. Biologen zijn het vaak oneens over de beste definitie van het woord ’soort‘ (SN: 1/11/17). Virologen kibbelen over wat als „levend“ geldt als het om virussen gaat (SN: 1/11/21). En niet alle astronomen zijn blij met de beslissing om het woord ‚planeet‘ zo te definiëren dat Pluto als een dwergplaneet in de kou bleef staan ​​(SN: 8/24/21).

Maar de sociale wetenschappen hebben een aantal speciale uitdagingen, zegt Flake. Het veld is een jongere in vergelijking met een discipline als astronomie, dus heeft minder tijd gehad om de definities ervan uit te zoeken. En sociaalwetenschappelijke concepten zijn vaak inherent subjectief. Het beschrijven van abstracte ideeën zoals motivatie of gevoelens kan zachter zijn dan het beschrijven van bijvoorbeeld een meteoriet.

Het is verleidelijk om aan te nemen, zoals ik deed totdat ik deze column begon te onderzoeken, dat een enkele, onvolmaakte definitie van individuele concepten de voorkeur verdient boven deze definitie-kakofonie. En sommige onderzoekers moedigen deze aanpak aan. „Hoewel geen enkele voorstedelijke definitie perfect zal zijn, zou standaardisatie het begrip vergroten van hoe voorstedelijke studies zich tot elkaar verhouden“, schreven de Harvard-onderzoekers in dat voorstedelijke artikel.

Maar een recente studie die zich richtte op hoe we de middenklasse definiëren, liet me zien hoe alternatieve definities kunnen leiden tot een verschuiving in perspectief.

Terwijl de meeste onderzoekers inkomen gebruiken als maatstaf voor klasse, gebruikten deze onderzoekers het kooppatroon van mensen. Daaruit bleek dat een fractie van de mensen die qua inkomen tot de middenklasse behoren, moeite heeft om te betalen voor basisbehoeften, zoals huisvesting, kinderopvang en boodschappen, meldde het team in juli in Onderzoek naar sociale indicatoren. Dat wil zeggen, ze leven alsof ze tot de arbeidersklasse behoren.

Bovendien vertekent die kwetsbare groep Black en Hispanic, een ongelijkheid die deels ontstaat omdat deze gekleurde families vaak de generatierijke rijkdom van blanke families missen, zegt Melissa Haller, een geograaf aan de Binghamton University in New York. Dus wanneer een ramp toeslaat, kunnen gezinnen zonder dat financiële kussen moeite hebben om te herstellen. Toch zou een overheid of non-profitorganisatie die hulp wil verlenen aan de meest behoeftige gezinnen en die uitsluitend vertrouwt op inkomensgebaseerde statistieken, deze kwetsbare groep over het hoofd zien.

„Afhankelijk van de definitie waarmee je begint, zie je verschillende feiten“, zegt Anna Alexandrova, wetenschapsfilosoof aan de Universiteit van Cambridge. Een gestandaardiseerde definitie van middenklasse zou bijvoorbeeld enkele van die belangrijke feiten kunnen verdoezelen.

In de sociale wetenschappen is conceptuele helderheid nodig in plaats van conceptuele eenheid, zegt Alexandrova.

Hoewel sociale wetenschappers het oneens zijn over de manier waarop dit probleem van duidelijkheid moet worden opgelost, zegt Flake dat het niet aanpakken van het probleem het veld net zo in gevaar brengt als andere crises die de discipline opschudden (SN: 27-8-18). De manier waarop een onderwerp wordt gedefinieerd, bepaalt namelijk de schalen, enquêtes en andere instrumenten die worden gebruikt om dat concept te bestuderen. En dat bepaalt op zijn beurt hoe onderzoekers cijfers kraken en tot conclusies komen.

Het definiëren van de belangrijkste termen en het selecteren van de juiste tool is enigszins eenvoudig als je vertrouwt op grote, externe datasets. In plaats van bijvoorbeeld nationale inkomensdatabases te gebruiken, zoals gebruikelijk is in de studie van de middenklasse, wendden Haller en haar team zich tot de consumentenuitgavenenquêtes van de federale overheid om de dagelijkse en noodaankopen van mensen te begrijpen.

Maar vaak ontwikkelen sociale wetenschappers, met name psychologen, hun eigen schalen en onderzoeken om subjectieve concepten, zoals zelfrespect, stemming of welzijn, te kwantificeren. Definities van die termen – en de instrumenten die worden gebruikt om ze te bestuderen – kunnen een eigen leven gaan leiden, zegt Flake.

Zij en haar team hebben onlangs laten zien hoe dit proces verloopt in de periode mei-juni Amerikaanse psycholoog. Ze combineerden door de 100 originele onderzoeken en 100 replicaties die zijn opgenomen in een enorm reproduceerbaarheidsproject in de psychologie. De onderzoekers zoomden in op 97 schalen met meerdere items – het meten van concepten zoals dankbaarheid, motivatie en zelfrespect – die in de oorspronkelijke onderzoeken werden gebruikt, en ontdekten dat 54 van die schalen geen citaten hadden om aan te tonen waar de schalen vandaan kwamen. Dat suggereert dat de oorspronkelijke auteurs hun idee en de tool die werd gebruikt om dat idee te meten, on-the-fly hebben gedefinieerd, zegt Flake. Onderzoeksteams probeerden vervolgens 29 van die onderzoeken te repliceren zonder in de bronnen van de weegschaal te graven, waardoor de betekenis van hun resultaten in twijfel werd getrokken.

Voor Flake is de manier om conceptuele duidelijkheid te bereiken eenvoudig, zo onwaarschijnlijk. Onderzoekers moeten op de rem gaan staan ​​bij het genereren van nieuwe ideeën, of het repliceren van oude ideeën, en in plaats daarvan het moeras van oude ondervragen.

Ze wijst op een veelbelovende, zij het arbeidsintensieve, inspanning: de Psychological Science Accelerator, een samenwerking van meer dan 1.300 onderzoekers in 84 landen. Het project heeft tot doel grote ideeën in de psychologie te identificeren, zoals gezichtsperceptie en gendervooroordelen, en alle instrumenten en resulterende gegevens te verzamelen die worden gebruikt om die ideeën te begrijpen om bestaande definities en hulpmiddelen te negeren, te verfijnen of te combineren.

„Waarom gebruiken we niet in plaats van replicaties uit te voeren“ [this] Een enorm team van onderzoekers die veel perspectieven over de hele wereld vertegenwoordigen en concepten eerst beoordelen”, zegt Flake. „We moeten stoppen met het kopiëren van afval.“

Ik was het er niet meer mee eens.

Kommentar verfassen

Deine E-Mail-Adresse wird nicht veröffentlicht. Erforderliche Felder sind mit * markiert