Criza replicării

De la Wikipedia, enciclopedia liberă.
Salt la navigare Salt la căutare
Această intrare este orfană
Această intrare despre subiectele filozofiei și sociologiei este orfană , ceea ce înseamnă că nu există legături de intrare din alte intrări .
Introduceți cel puțin unul relevant și non-generic și eliminați avertismentul. Urmați sfaturile din desenele de referință 1 , 2 .
Ioannidis (2005), „De ce rezultatele celor mai publicate cercetări sunt false”. [1]

Criza replicării (numită și criza replicabilității și criza reproductibilității ) este o criză metodologică pentru care s-a constatat că multe studii științifice sunt dificile sau imposibil de replicat sau reprodus . Criza replicării afectează cel mai grav științele sociale și medicina [2] [3], în timp ce datele din sondaje indică cu tărie că toate științele naturii sunt, de asemenea, implicate. Fraza a fost inventată la începutul anilor 2010 [4] ca parte a unei conștientizări tot mai mari a problemei. Criza replicării reprezintă un corp important de cercetare în domeniul metoștiinței. [5]

Întrucât reproductibilitatea rezultatelor experimentale este o parte esențială a metodei științifice , [6] incapacitatea de a reproduce studiile altora are consecințe potențial grave pentru multe domenii ale științei în care teoriile semnificative se bazează pe o muncă experimentală iremediabilă. Criza replicării a fost discutată pe larg în domeniile medicale, unde s-au depus numeroase eforturi pentru a reexamina rezultatele clasice, pentru a determina atât fiabilitatea rezultatelor, cât și, dacă se consideră a fi de încredere, motivele eșecului replicării. [7] [8]

În științe

În general

Un sondaj realizat de Nature în 2016, realizat de Nature, a raportat că 70% dintre ei nu au reușit să reproducă cel puțin experimentul unui alt om de știință (inclusiv 87% dintre chimiști , 77% dintre biologi , 69% dintre fizicieni și ingineri , 67% dintre cercetătorii medicali , 64 % dintre oamenii de știință de pe pământ și mediu și 62% dintre toți ceilalți), în timp ce 50% nu au reușit să reproducă unul dintre experimentele lor și mai puțin de 20% au fost contactați vreodată de un alt cercetător incapabil să-și reproducă munca. Doar o minoritate a încercat să posteze o reluare și, în timp ce 24% au reușit să posteze o reluare reușită, doar 13% au postat o reluare nereușită , iar mai mulți respondenți care au postat reluări nereușite au remarcat că editorii și recenzorii au solicitat să reproducă comparația cu studiile originale. [9] [10] În 2009, 2% dintre oamenii de știință au recunoscut că au falsificat studii cel puțin o dată și 14% au recunoscut că au cunoscut personal pe cineva care a făcut-o. Potrivit unui studiu, o astfel de conduită necorespunzătoare a fost raportată mai frecvent de cercetătorii medicali decât de alții. [11]

În psihologie

Mai mulți factori combinați au contribuit la plasarea psihologiei în centrul controversei. [12] [13] Psihologia socială , [14] pe lângă psihologia clinică , [15] [16] psihologia dezvoltării , [17] și cercetarea educațională sunt implicate în mod special. [18] [19]

În primul rând, practicile de cercetare discutabile (PRD) au fost identificate ca fiind comune în industrie. Astfel de practici, deși nu sunt intenționat frauduloase, implică valorificarea zonei gri a practicilor științifice acceptabile sau exploatarea flexibilității în colectarea, analiza și raportarea datelor, adesea în încercarea de a obține rezultatul dorit. Exemple de QRP includ raportarea selectivă sau publicarea parțială a datelor (raportarea doar a unor condiții de studiu sau măsuri dependente colectate într-o publicație), întreruperea opțională (alegerea momentului de oprire a colectării datelor , adesea pe baza semnificației statistice a testului), încadrarea analizelor exploratorii cum ar fi analiza confirmării și manipularea valorilor anterioare (eliminarea valorilor aberante sau lăsarea valorilor aberante într-un set de date pentru a face un test statistic semnificativ). [20] [21] [22] [23] Un sondaj efectuat la peste 2.000 de psihologi a indicat faptul că majoritatea respondenților au recunoscut că folosesc cel puțin un PRD. Tendința de publicare duce la un număr mare de rezultate fals pozitive. Este sporită de presiunea de a publica , precum și de prejudecățile de confirmare ale autorului însuși și reprezintă un risc inerent în domeniu, care necesită un anumit grad de scepticism din partea cititorilor. [24]

În al doilea rând, psihologia și psihologia socială, în special, s-au aflat în centrul numeroaselor scandaluri care implică cercetări complet frauduloase, în special fabricarea admisă a datelor de către Diederik Stapel [25] și acuzațiile împotriva altora. Cu toate acestea, majoritatea cercetătorilor recunosc că frauda este, probabil, cel mai mic contribuitor la crizele de replicare.

În al treilea rând, mai multe efecte în știința psihologică s-au dovedit a fi dificil de reprodus chiar înainte de actuala criză de replicare. De exemplu, revista științifică Judgment and Decision Making a publicat de-a lungul anilor mai multe studii care nu reușesc să ofere suport pentru teoria gândirii inconștiente . Replicările par deosebit de dificile atunci când studiile de cercetare sunt preînregistrate și efectuate de grupuri de cercetare care nu sunt foarte implicate în teoria în discuție.

Aceste trei elemente împreună au condus la o concentrare reînnoită asupra replicării susținută de psihologul Daniel Kahneman . [26] Examinarea multor efecte a arătat că mai multe credințe stabilite sunt greu de reprodus. O ediție specială din 2014 a revistei Social Psychology s-a concentrat pe studii de replicare și a evidențiat modul în care un set de credințe susținute anterior erau dificil de reprodus. [27] O ediție specială din 2012 a revistei Perspectives on Psychological Science s-a concentrat, de asemenea, pe aspecte care variază de la prejudecățile publicării la aversiunea „nulă” care contribuie la crize de replicare în psihologie. [28] În 2015, a fost publicat primul studiu empiric deschis privind reproductibilitatea în psihologie, denumit Proiectul de reproductibilitate . Cercetători din întreaga lume au colaborat pentru a reproduce 100 de studii empirice din trei reviste de psihologie de vârf. Mai puțin de jumătate din încercările de replicare au reușit să producă rezultate semnificative statistic în direcțiile prevăzute, deși majoritatea încercărilor de replicare au produs tendințe în direcțiile prognozate. [29]

Multe studii de cercetare și meta-analize sunt compromise de o calitate slabă și de conflicte de interese care implică atât autorii, cât și organizațiile de advocacy profesionale, rezultând multe falsuri pozitive cu privire la eficacitatea unor tipuri de psihoterapie . [30]

Deși ziarul britanic The Independent a scris că rezultatele proiectului de reproductibilitate arată că o mare parte din cercetările publicate sunt doar „ psiho-babble ”, [31] criza replicării nu înseamnă neapărat că psihologia nu este științifică. [32] [33] [34] Mai degrabă acest proces face parte din procesul științific în care sunt tăiate ideile vechi sau cele care nu pot fi supuse controlului [35] [36], deși acest proces de tăiere nu este întotdeauna eficient. [37] [38] Consecința este că unele domenii ale psihologiei considerate cândva solide, cum ar fi pregătirea socială , au fost supuse unui control mai mare din cauza replicilor eșuate. [39]

Laureatul Nobel și profesor emerit de psihologie Daniel Kahneman a susținut că autorii originali ar trebui implicați în efortul de replicare, deoarece metodele publicate sunt adesea prea vagi. [40] Alții, precum Andrew Wilson, nu sunt de acord, argumentând că metodele ar trebui scrise în detaliu. Un sondaj din 2012 privind ratele de replicare în psihologie a indicat rate de succes ale replicării mai mari în studiile de replicare atunci când autorul a fost suprapus cu autorii originali ai unui studiu dat [41] (rate de succes de replicare de 91,7% în studiile cu autor suprapuse versus 64,6% rate de replicare de succes fără suprapunere a autorului).

Interesul pentru criza replicării a dus la alte eforturi reînnoite în cadrul disciplinei de reexaminare a constatărilor importante. [24] [42] Ca răspuns la îngrijorările cu privire la prejudecățile publicării și p- hacking , mai mult de 140 de reviste de psihologie au adoptat o evaluare inter pares a rezultatelor în care studiile sunt acceptate nu pe baza rezultatelor lor și după care studiile au fost finalizate, dar înainte de efectuarea studiilor și după baza rigorii metodologice a proiectelor lor experimentale și a justificărilor teoretice pentru tehnicile lor de analiză statistică înainte de colectarea sau analiza datelor. [43] Analiza inițială a acestei proceduri a estimat că 61 la sută din studiile privind rezultatele orbite au dat rezultate nule , spre deosebire de o estimare de 5 până la 20 la sută în căutările anterioare. [44] În plus, colaborările la scară largă între cercetătorii care lucrează în mai multe laboratoare din diferite țări și care pun datele lor la dispoziție în mod regulat pentru evaluare de către diferiți cercetători au devenit mult mai frecvente în domeniu. [45]

Ratele de replicare ale psihologiei

Un raport Open Science Collaboration din august 2015 coordonat de Brian Nosek a estimat reproductibilitatea a 100 de studii în științe psihologice din trei reviste de psihologie de top. [46] Per total, 36% dintre replici au produs rezultate semnificative ( valoarea p mai mică de 0,05) comparativ cu 97% din studiile inițiale care au avut efecte semnificative. Valoarea medie efect de dimensiune în replicile a fost de aproximativ jumătate din amploarea efectelor raportate în studiile originale.

Aceeași lucrare a examinat ratele de reproductibilitate și dimensiunile efectelor în funcție de jurnal ( Journal of Personality and Social Psychology , Journal of Experimental Psychology: Learning, Memory, and Cognition , Psychological Science ) și disciplină ( psihologia socială , psihologia dezvoltării ). Ratele de replicare ale studiului au fost de 23% pentru JPSP, 48% pentru JEP: LMC și 38% pentru PSCI. Studiile din domeniul psihologiei cognitive au avut o rată de replicare mai mare (50%) decât studiile din domeniul psihologiei sociale (25%). [47]

O analiză a publicațiilor din primele 100 de reviste de psihologie între 1900 și 2012 a constatat că aproximativ 1,6% din toate publicațiile de psihologie au fost încercări de replicare, ceea ce este mult prea scăzut. [41] Articolele au fost considerate o încercare de replicare numai dacă cuvântul „replică” a apărut în text. O parte din aceste studii (500 de studii) au fost selectate aleatoriu pentru teste ulterioare și au produs o rată de replicare mai mică de 1,07% (342 din cele 500 de studii au fost de fapt replici). În subsetul celor 500 de studii, analiza a indicat că 78,9% din încercările de replicare publicate au avut succes.

Un studiu publicat în 2018 în Nature Human Behavior a căutat să reproducă 21 de articole științifice sociale și comportamentale din Nature and Science , constatând că doar 13 ar putea fi reproduse cu succes. [48] [49] În mod similar, într-un studiu realizat de Centrul pentru Științe Deschise , o echipă de 186 de cercetători din 60 de laboratoare diferite (reprezentând 36 de naționalități diferite de pe 6 continente diferite) au realizat replici a 28 de descoperiri clasice. Și contemporani în psihologie. [50] Obiectivul studiului nu a fost doar dacă rezultatele documentelor originale au fost sau nu reproduse, ci și în măsura în care rezultatele au variat în funcție de variații în eșantioane și contexte. În general, 14 din cele 28 de rezultate nu au fost reproduse în ciuda dimensiunii uriașe a eșantionului. Cu toate acestea, dacă un rezultat s-a reprodus, acesta s-a reprodus în majoritatea eșantioanelor, în timp ce dacă un rezultat nu a fost replicat, nu a reușit să se reproducă cu puține variații între eșantioane și contexte. Această dovadă este incompatibilă cu o explicație populară conform căreia eșecurile de replicare în psihologie se datorează probabil modificărilor eșantionului între studiile originale și cele de replicare. [51]

O dilemă socială

Evidențiind structura socială care descurajează replicarea în psihologie, Brian D. Earp și Jim AC Everett au enumerat cinci puncte de ce încercările de replicare sunt rare:[52] [53]

  1. „Replicarea independentă și directă a rezultatelor altora poate dura mult timp pentru cercetătorul care replică”
  2. „Replicile riscă să fure energie și resurse direct din alte proiecte care reflectă gândirea lor originală”
  3. „Replicile sunt în general mai dificil de publicat (în mare parte pentru că sunt considerate neoriginale)”
  4. „Chiar dacă sunt publicate replici, este probabil ca acestea să fie văzute mai degrabă ca exerciții de„ fortificare ”decât ca contribuții importante la tabără.”
  5. „Relansările aduc autorilor lor mai puține recunoașteri și recompense și chiar încredere de bază în carieră” [54]

Din aceste motive, autorii au susținut că psihologia se confruntă cu o dilemă socială, în care interesele disciplinei sunt în contradicție cu interesele cercetătorului individual.

Controversă asupra „terorismului metodologic”

Odată ce criza replicării psihologiei a atras atenția, psihologul Universității Princeton, Susan Fiske, a stârnit controverse pentru că a criticat dur aceste studii de psihologie. [55] [56] [57] [58] El a etichetat acești „adversari” neidentificați cu nume precum „terorist metodologic” și „poliție de date autoproclamată” și a susținut că criticile psihologiei ar trebui exprimate numai în privat sau de către contactarea revistelor. Statisticianul și politologul Universității Columbia, Andrew Gelman, a răspuns lui Fiske, spunând că s-a trezit dispusă să tolereze „paradigma pe moarte” a statisticilor eronate și a refuzat să retragă publicațiile chiar și atunci când au fost raportate erori. [59] Ea a adăugat că slujba ei de editor a fost foarte proastă și că o serie de articole publicate de ea s-au bazat pe statistici extrem de slabe; unul dintre articolele publicate de Fiske conținea o eroare statistică gravă și concluzii „imposibile”.

În medicină

Din 49 de studii medicale din 1990 până în 2003 cu peste 1000 de contribuții, 45 au susținut că terapia studiată a fost eficientă. Dintre aceste studii, 16% au fost contrazise de studii ulterioare, 16% au găsit efecte mai puternice decât în ​​studiile ulterioare, 44% au fost reproduse și 24% au rămas în mare parte necontestate. [60] Administrația SUA pentru alimente și medicamente din 1977 - 1990 a constatat erori în 10-20% din studiile medicale. [61] Într-un articol publicat în 2012 , C. Glenn Begley , consultant în biotehnologie care lucrează la Amgen , și Lee Ellis, de la Universitatea din Texas, au descoperit că doar 11% din 53 de studii preclinice de cancer ar putea fi reproduse. [62] Studiile iremediabile au avut o serie de caracteristici comune, inclusiv faptul că studiile nu au fost efectuate de către anchetatori care nu știau de brațele experimentale față de brațele de control, incapacitatea de a repeta experimentele, lipsa controalelor. Pozitive și negative. , eșecul de a vizualiza toate datele, utilizarea necorespunzătoare a testelor statistice și utilizarea de reactivi validați inadecvat. [63]

Un sondaj realizat de cercetătorii în domeniul cancerului a constatat că jumătate dintre ei nu au reușit să reproducă un rezultat publicat. [64] Un sondaj de natură similar cu 1.576 de cercetători care au completat un scurt chestionar de reproductibilitate online a arătat că peste 70% dintre cercetători au încercat și nu au reușit să reproducă experimentele altui om de știință și mai mult de jumătate nu au reușit să-și reproducă propriile experimente. „Deși 52% dintre respondenți sunt de acord că există o„ criză ”de reproductibilitate semnificativă, mai puțin de 31% consideră că eșecul de a reproduce rezultatele publicate înseamnă că rezultatul este probabil greșit și majoritatea spun că au încredere în literatura publicată”. [65]

Un articol din 2016 al lui John Ioannidis , profesor de medicină, cercetare și politici de sănătate la Universitatea Stanford School of Medicine, precum și profesor de statistici la Universitatea Stanford School of Humanities and Sciences, a compus un articol despre „De ce majoritatea cercetarea clinică nu este utilă. " [66] În articol Ioannidis a expus unele probleme și a cerut reformă, caracterizând unele puncte, astfel încât cercetarea medicală să devină din nou utilă; un exemplu pe care l-a făcut a fost nevoia ca medicamentul să fie „centrat pe pacient” (de exemplu, sub forma institutului de cercetare a rezultatelor centrate pe pacient) în loc de practica actuală de îngrijire în primul rând pentru „nevoile medicilor, cercetătorilor sau sponsorului”.

În marketing

Marketingul este o altă disciplină care are nevoie extrem de mare de replicare. [67] Multe studii de marketing celebre nu se repetă după replicare, un exemplu notabil este efectul „prea multe alegeri ”, în care un număr mare de opțiuni de produs face un consumator mai puțin înclinat să cumpere. [68] subiecte menționate mai sus, studii de replicare în marketing sunt necesare pentru a examina aplicabilitatea teoriilor și modelelor între țări și culturi, ceea ce este deosebit de important datorită posibilelor influențe ale globalizării . [69]

În economie

Un studiu din 2016 publicat în revista Science a constatat că o treime din 18 studii experimentale din două jurnale de afaceri de nivel superior ( American Economic Review și Quarterly Journal of Economics ) nu au reușit să se reproducă cu succes. [70] [71] Un studiu din 2017 publicat în Economic Journal sugerează că „majoritatea efectelor medii din literatura economică empirică sunt exagerate de un factor de cel puțin 2 și cel puțin o treime sunt exagerate de un factor de 4 sau mai mult” . [72]

În știința sportului

Un studiu din 2018 a considerat domeniul științei exercițiilor fizice și a sportului pentru studii de replicare insuficiente, raportare limitată atât a rezultatelor nule cât și a rezultatelor banale și a transparenței insuficiente a cercetării. [73] Statisticienii au criticat știința sportului pentru utilizarea obișnuită a unei metode statistice controversate numită „ inferență bazată pe dimensiuni ”, care le-a permis oamenilor de știință sportivi să extragă rezultate aparent semnificative din date zgomotoase în care teste de ipoteză normală pe care nu le-ar găsi. [74]

În gestionarea resurselor de apă

Un studiu din 2019 publicat în Date științifice a sugerat că doar un număr mic de articole despre resurse de apă și jurnale de gestionare ar putea fi reproduse, în timp ce majoritatea articolelor nu au putut fi reproduse din cauza indisponibilității datelor. Studiul a estimat cu 95% certitudine că „rezultatele nu pot fi reproduse decât de la 0,6% la 6,8% din toate cele 1.989 de articole”. [75]

Repercusiuni politice și schimbări climatice

În Statele Unite , criza reproductibilității științei a devenit un subiect de dispută politică, legată de încercarea de diminuare a reglementărilor - de exemplu a emisiilor de poluanți, cu argumentul că aceste reglementări se bazează pe știința nereproductibilă. [76] [77] Încercările anterioare cu același obiectiv au acuzat studiile folosite de autoritățile de reglementare că nu sunt transparente. [78]

Conștientizarea și percepțiile publicului

Au fost exprimate îngrijorări în cadrul comunității științifice că publicul larg poate considera știința mai puțin credibilă din cauza reluărilor eșuate. [79] Cercetările care susțin această preocupare sunt rare, dar un sondaj național reprezentativ din Germania a arătat că peste 75% dintre germani nu au auzit de erori de replicare în știință. [80] De asemenea, studiul a constatat că majoritatea germanilor au o percepție pozitivă asupra eforturilor de replicare: doar 18% consideră că nerespectabilitatea dovedește că nu se poate avea încredere în știință, în timp ce 65% consideră că cercetările privind replicarea demonstrează că știința aplică controlul calității și 80% sunt de acord că erorile și corecțiile fac parte din știință.

Cauze

O cauză majoră a reproductibilității reduse este distorsiunea publicării și distorsiunea de selecție , la rândul ei cauzată de faptul că rezultatele nesemnificative statistic sunt rareori publicate sau discutate în publicații cu privire la efectele potențiale multiple. Dintre efectele potențiale care sunt inexistente (sau minuscule), testele statistice arată semnificație (la nivel normal) cu o probabilitate de 5%. Dacă un număr mare de astfel de efecte sunt cernute pentru rezultate semnificative, acestea semnificativ eronat inundă cele găsite în mod corespunzător și conduc la replici (din nou eronat) de succes nou, cu doar o șansă de 5%. O proporție tot mai mare de astfel de studii reduce, prin urmare, progresiv rata de replicare corespunzătoare studiilor cu efecte plauzibil de relevante. Rezultatele semnificativ înșelătoare pot proveni, de asemenea, din practicile îndoielnice în analiza datelor numite dragare de date sau P-hacking și HARKing .

C. Glenn Begley și John Ioannidis au propus aceste cauze:

  • Generarea de noi date / publicații la o rată fără precedent.
  • Majoritatea acestor descoperiri nu vor rezista testului timpului.
  • Nerespectarea bunei practici științifice.
  • Părți interesate multiple și variate.

Ei concluzionează că niciuna dintre părți nu este singura responsabilă și că nicio soluție unică nu va fi suficientă.

Aceste probleme pot duce la canonizarea faptelor false. [81]

Într-adevăr, unele previziuni ale unei crize iminente în mecanismul de control al calității științei pot fi urmărite în urmă cu câteva decenii, în special în rândul cercetătorilor în știință și tehnologie (STS).[82] Unele literaturi actuale par să pretindă această profeție „revărsată”, lamentând decăderea atât a atenției, cât și a calității. [83] [84]

Filosoful și istoricul științei Jerome R. Ravetz a prezis în cartea sa din 1971 Cunoașterea științifică și problemele sale sociale că știința - în progresul ei de la știința „mică” compusă din comunități izolate de cercetători, la știința „mare” sau „tehnologie” - suferă probleme majore în sistemul său intern de control al calității. Ravetz a recunoscut că structura de stimulare pentru oamenii de știință moderni ar putea deveni disfuncțională, cunoscută acum ca provocarea actuală „publică sau pier”, creând stimulente perverse pentru publicarea oricăror rezultate, oricât de dubioase ar fi. Potrivit lui Ravetz, calitatea științei este menținută numai atunci când există o comunitate de cărturari conectată printr-un set de norme și standarde comune, toți dispuși și capabili să se tragă la răspundere.

Istoricul Philip Mirowski a oferit un diagnostic similar în cartea sa din 2011 Science Mart (2011). [85] În titlu, cuvântul „Mart” se referă la gigantul cu amănuntul „Walmart”, folosit de Mirowski ca metaforă pentru comodificarea științei. În analiza lui Mirowski, calitatea științei se prăbușește atunci când devine o marfă comercializată pe o piață. Mirowski își susține cazul urmărind decăderea științei până la decizia marilor companii de a-și închide laboratoarele interne. Ei și-au externalizat munca către universități într-un efort de a reduce costurile și de a crește profiturile. Companiile și-au mutat ulterior cercetarea de la universități la o opțiune și mai ieftină: organizațiile de cercetare contractuale (CRO).

Criza sistemului de control al calității științei afectează utilizarea științei pentru politică. Aceasta este teza unei lucrări recente a unui grup de cercetători STS, care identifică un punct actual de tensiune în „politica bazată pe dovezi (sau informată)”. [77] [86] [87] Economistul Noah Smith sugerează că un factor al crizei a fost supraestimarea cercetării academice și subestimarea abilităților de predare, în special în domenii cu puține descoperiri majore recente. [88]

Teoria sistemului social, datorată sociologului german Niklas Luhmann [89] [90] oferă o altă lectură a crizei. Conform acestei teorii, fiecare dintre sisteme precum „economie”, „știință”, „religie”, „media” și așa mai departe comunică folosind propriul cod, adevărat / fals pentru știință, profit / pierdere pentru economie, nou / nu pentru știri pentru mass-media; potrivit unor sociologi, [91] mediatizarea științei, [92] comodificarea acesteia [93] și politizarea acesteia, [94] - ca urmare a cuplării structurale între sisteme, au dus la o confuzie a codurilor de sistem inițiale. Dacă codul științei adevărat / fals este înlocuit cu cel al altor sisteme, cum ar fi profitul / pierderea, știrile / fără știri, funcționarea științei intră într-o criză internă.

Ospitalitate

Replicarea a fost numită „piatra de temelie a științei”. [95] [96] Studiile de replicare încearcă să evalueze dacă rezultatele publicate reflectă rezultate pozitive adevărate sau false. Integritatea rezultatelor științifice și reproductibilitatea cercetării sunt importante, deoarece acestea constituie baza de cunoștințe pe care se construiesc studiile viitoare.

Metostiinta

Metiștiința este utilizarea metodologiei științifice pentru a studia însăși știința . Metiștiința urmărește creșterea calității cercetării științifice prin reducerea deșeurilor. Este, de asemenea, cunoscut sub numele de " cercetare de cercetare " și " știința științei ", deoarece folosește metode de cercetare pentru a studia modul în care se face cercetarea și unde pot fi făcute îmbunătățiri. Metiștiința acoperă toate domeniile de cercetare și a fost descrisă drept „o vedere de pasăre a științei”. [97] În cuvintele lui John Ioannidis , „Știința este cel mai bun lucru care sa întâmplat cu ființele umane ... dar o putem face mai bine”. [98]

Meta-cercetarea continuă să identifice rădăcinile crizei și să le abordeze. I metodi per affrontare la crisi includono la pre-registrazione di studi scientifici, nonché la fondazione di organizzazioni come CONSORT e la rete EQUATOR che emettono linee guida per la metodologia e la rendicontazione. Ci sono continui sforzi per riformare il sistema di incentivi accademici, per migliorare il processo di revisione tra pari , per ridurre l' uso improprio delle statistiche , per combattere i pregiudizi nella letteratura scientifica e per aumentare la qualità e l'efficienza complessive del processo scientifico.

Affrontare il bias di pubblicazione con la pre-registrazione degli studi

Una recente innovazione nell'editoria scientifica ideata per affrontare la crisi della replicazione è attraverso l'uso di rapporti preregistrati. [99] [100] In pratica, il modus operandi prevede che il formato del rapporto registrato richieda che gli autori presentino una descrizione dei metodi di studio e delle analisi solo prima della raccolta dei dati. Una volta che il metodo e il piano di analisi sono stati quindi verificati tramite peer-review, la pubblicazione dei risultati è inizlamnete e provvisoriamente garantita, a seconda che gli autori seguano o memno il protocollo proposto. Uno degli obiettivi dei rapporti registrati è quello di aggirare il bias di pubblicazione verso risultati significativi che possono portare all'implementazione di pratiche di ricerca discutibili e quindi di incoraggiare la pubblicazione di studi effettuati con metodi rigorosi e prettamente scientifici.

La rivista Psychological Science ha incoraggiato ed elogiato la preregistrazione degli studi e la segnalazione delle dimensioni degli effetti e degli intervalli di confidenza. [101] Il caporedattore della rivista ha anche osservato come la redazione chiederà la replica degli studi con risultati poco probabili o stupefacenti utilizzando campioni di piccole dimensioni, prima di consentire la pubblicazione degli studi.

Inoltre, solo una piccolissima percentuale di riviste accademiche di psicologia e neuroscienze ha dichiarato esplicitamente di accogliere con favore la presentazione di studi di replicazione nel loro scopo e scopo o istruzioni agli autori. [102] [103] Questo fenomeno non incoraggia la segnalazione o addirittura il tentativo di studi di replica.

Passaggio a un paradigma di sistemi complessi

È stato sostenuto che gli sforzi di ricerca che lavorano all'interno del paradigma lineare convenzionale finiscono necessariamente con difficoltà di replica. [104] I problemi sorgono se i processi causali nel sistema in esame sono "dominanti di interazione" anziché "dominante per componente", moltiplicativi anziché additivi e con molte piccole interazioni non lineari che producono fenomeni di livello macro, non riducibili al loro micro componenti di livello. Nel contesto di sistemi così complessi, i modelli lineari convenzionali producono risposte non ragionevoli, perché non è in linea di principio possibile scomporre la varianza come suggerito dal framework del General Linear Model (GLM) – mirare a riprodurre tale risultato è quindi evidentemente problematico. Le stesse domande vengono attualmente poste in molti campi della scienza, dove i ricercatori stanno iniziando a mettere in discussione le ipotesi alla base dei metodi statistici classici. [105]

Enfatizzare i tentativi di replica nell'insegnamento

Sulla base dei corsi sui metodi sperimentali presso il MIT, Stanford e l' Università di Washington , è stato suggerito che i corsi sui metodi in psicologia e altri campi enfatizzano i tentativi di replica piuttosto che gli studi originali. [106] [107] [108] Un tale approccio aiuterebbe gli studenti ad apprendere la metodologia scientifica e fornire numerose repliche indipendenti di scoperte scientifiche significative che metterebbero alla prova la replicabilità delle scoperte scientifiche. Alcuni hanno raccomandato che agli studenti laureati sia richiesto di pubblicare un tentativo di replica di alta qualità su un argomento relativo alla loro ricerca di dottorato prima della laurea. [53]

Ridurre il valore richiesto per rivendicare la significatività di nuovi risultati

Molte pubblicazioni richiedono un valore p di p < 0,05 per rivendicare la significatività statistica. Il documento "Ridefinire la significatività statistica", [109] firmato da un gran numero di scienziati e matematici, propone che nei "campi in cui la soglia per definire la significatività statistica per le nuove scoperte è p <0.05, proponiamo un cambiamento a p <0.005. Questo semplice passo migliorerebbe immediatamente la riproducibilità della ricerca scientifica in molti campi".

La loro logica è che "una delle principali cause di non riproducibilità (è che gli standard statistici di evidenza per rivendicare nuove scoperte in molti campi della scienza sono semplicemente troppo bassi. L'associazione di risultati "statisticamente significativi" con p < 0,05 si traduce in un alto tasso di falsi positivi anche in assenza di altri problemi sperimentali, procedurali e di segnalazione".

Questo invito è stato successivamente criticato da un altro grande gruppo, il quale ha sostenuto che "ridefinire" la soglia non risolverebbe i problemi attuali, ne porterebbe di nuovi e che alla fine, tutte le soglie dovevano essere giustificate caso per caso anziché seguenti convenzioni generali. [110]

Affrontare l'errata interpretazione dei valori p

Sebbene gli statistici siano unanimi sul fatto che l'uso del p < 0,05 fornisca prove più deboli di quanto generalmente ritenuto, c'è una mancanza di unanimità su ciò che dovrebbe essere fatto al riguardo. Alcuni hanno sostenuto che i metodi bayesiani dovrebbero sostituire i valori p. Ciò non è avvenuto su larga scala, in parte perché è complicato e in parte perché molti utenti diffidano delle specifiche delle distribuzioni precedenti in assenza di dati concreti. Una versione semplificata dell'argomento bayesiano, basata sulla verifica di un'ipotesi di punto nullo, è stata suggerita da Colquhoun (2014, 2017). [111] [112] I problemi logici dell'inferenza induttiva sono stati discussi in "The problem with p-values" (2016). [113]

I rischi della dipendenza dai valori di p sono stati enfatizzati sottolineando che anche l'osservazione di p = 0.001 non era necessariamente una prova forte contro l'ipotesi nulla. [112] Nonostante il fatto che il rapporto di verosimiglianza a favore dell'ipotesi alternativa sul nulla sia vicino a 100, se l'ipotesi non fosse plausibile, con una probabilità a priori di un effetto reale pari a 0,1, anche l'osservazione di p = 0,001 avrebbe un rischio di falsi positivi dell'8%. Non raggiungerebbe quindi nemmeno il livello del 5 percento.

È stato raccomandato [112] di utilizzare i termini "significativo" e "non significativo", oltre a suggerire che il modo migliore per farlo è calcolare la probabilità a priori che sarebbe necessario credere per ottenere un rischio falso positivo, ovvero, del 5%. I calcoli possono essere effettuati con gli script R forniti, o, più semplicemente, con un calcolatore web. [114] Questo cosiddetto approccio bayesiano inverso è stato suggerito da Matthews (2001). [115]

Incoraggiare campioni di dimensioni maggiori

Per migliorare la qualità delle repliche, sono spesso necessarie dimensioni del campione più grandi di quelle utilizzate nello studio originale. [116] Sono necessarie dimensioni del campione più grandi perché le stime delle dimensioni dell'effetto nel lavoro pubblicato sono spesso esagerate a causa della distorsione della pubblicazione e dell'ampia variabilità del campionamento associata a dimensioni del campione ridotte in uno studio originale. [117] [118] [119] Inoltre, l'utilizzo di soglie di significatività di solito porta a effetti gonfiati, perché in particolare con campioni di piccole dimensioni, solo gli effetti maggiori diventeranno significativi. [120]

Condivisione di dati parziali online

Gli archivi online in cui dati, protocolli e risultati possono essere archiviati e valutati dal pubblico cercano di migliorare l'integrità e la riproducibilità della ricerca. Esempi includono Open Science Framework , Registry of Research Data Repositories e Psychfiledrawer. Siti come Open Science Framework offrono badge per l'utilizzo di pratiche di scienza aperta nel tentativo di incentivare gli scienziati. Tuttavia, c'è stata la preoccupazione che coloro che hanno maggiori probabilità di fornire i loro dati e il codice per le analisi siano i ricercatori che sono probabilmente i più sofisticati. [121] John Ioannidis dell'Università di Stanford ha suggerito che "potrebbe sorgere il paradosso che i ricercatori più meticolosi e sofisticati, esperti di metodo e attenti possano diventare più suscettibili alle critiche e agli attacchi alla reputazione da parte di rianalizzatori che vanno a caccia di errori, non importa quanto trascurabili siano questi errori".

Finanziamenti per studi di replica

Nel luglio 2016 l' Organizzazione olandese per la ricerca scientifica ha messo a disposizione 3 milioni di euro per studi di replica. Il finanziamento è per la replica basata sulla rianalisi dei dati esistenti e la replica tramite la raccolta e l'analisi di nuovi dati. Sono disponibili finanziamenti nei settori delle scienze sociali, della ricerca sanitaria e dell'innovazione sanitaria. [122]

Nel 2013 la Laura e la John Arnold Foundation ha finanziato il lancio del Center for Open Science con una sovvenzione di $ 5,25 milioni e nel 2017 ha fornito ulteriori $ 10 milioni di finanziamenti. [123] Ha anche finanziato il lancio del Meta-Research Innovation Center a Stanford presso la Stanford University gestito da John Ioannidis e Steven Goodman per studiare modi per migliorare la ricerca scientifica. Ha inoltre fornito finanziamenti per l' iniziativa AllTrials guidata in parte da Ben Goldacre .

Aumentare gli standard generali di presentazione dei metodi

Alcuni autori hanno sostenuto che l'insufficiente comunicazione dei metodi sperimentali contribuisce in larga parte alla crisi della riproducibilità e che il miglioramento della qualità del modo in cui vengono riportati il disegno sperimentale e le analisi statistiche aiuterebbe a migliorare la situazione. [124] Questi autori tendono a citare sia un ampio cambiamento culturale nella comunità scientifica su come vengono considerate le statistiche sia una spinta più coercitiva da parte delle riviste scientifiche e degli organismi di finanziamento.

Implicazioni per l'industria farmaceutica

Le aziende farmaceutiche mantengono laboratori di ricerca o stipulano contratti con fornitori di servizi di ricerca privati il cui compito è replicare studi accademici, al fine di testare se sono accurati prima di investire o provare a sviluppare un nuovo farmaco basato su tale ricerca. La posta in gioco finanziaria è alta per l'azienda e gli investitori, quindi è conveniente per loro investire in repliche esatte. [125] Inoltre, eseguire una replica richiede non solo competenze generiche nella metodologia di ricerca, ma anche competenze specifiche nell'argomento di interesse spesso ristretto. A volte la ricerca richiede competenze e conoscenze tecniche specifiche e solo i ricercatori dedicati a un'area ristretta di ricerca potrebbero avere tali competenze. In questo momento, le agenzie di finanziamento sono raramente interessate a finanziare studi di replica e la maggior parte delle riviste scientifiche non è interessata a pubblicare tali risultati. I ricercatori sul cancro di Amgen Oncology sono stati in grado di replicare solo l'11% dei 53 studi innovativi che hanno scelto di perseguire in un periodo di 10 anni; [62] un'analisi del 2011 condotta da ricercatori con l'azienda farmaceutica Bayer ha rilevato che i risultati interni dell'azienda concordavano con i risultati originali solo un quarto delle volte, al massimo. [126] L'analisi ha anche rivelato che, quando gli scienziati erano in grado di riprodurre un risultato in un esperimento di replicazione diretta, tendeva a tradursi bene in applicazioni cliniche; il che significa che la riproducibilità è un utile indicatore del potenziale clinico.

Note

  1. ^ John PA Ioannidis, Why Most Published Research Findings Are False , in PLOS Medicine , vol. 2, n. 8, 1º agosto 2005, pp. e124, DOI : 10.1371/journal.pmed.0020124 , ISSN 1549-1277 ( WC · ACNP ) , PMID 16060722 .
  2. ^ JW Schooler, Metascience could rescue the 'replication crisis' , in Nature , vol. 515, n. 7525, 2014, p. 9, Bibcode : 2014Natur.515....9S , DOI : 10.1038/515009a , PMID 25373639 .
  3. ^ Bloomberg , https://www.bloomberg.com/view/articles/2017-11-02/why-statistical-significance-is-often-insignificant . URL consultato il 7 novembre 2017 .
  4. ^ Harold Pashler e Eric Jan Wagenmakers, Editors' Introduction to the Special Section on Replicability in Psychological Science: A Crisis of Confidence? , in Perspectives on Psychological Science , vol. 7, n. 6, 2012, pp. 528–530, DOI : 10.1177/1745691612465253 , PMID 26168108 .
  5. ^ The Stanford Encyclopedia of Philosophy , https://plato.stanford.edu/entries/scientific-reproducibility/#MetaScieEstaMoniEvalReprCris . URL consultato il 19 maggio 2019 .
  6. ^ Staddon, John (2017). Scientific Method: How Science Works, Fails to Work or Pretends to Work . Taylor and Francis.
  7. ^ ( EN ) The New Yorker , https://www.newyorker.com/magazine/2010/12/13/the-truth-wears-off . URL consultato il 30 gennaio 2020 .
  8. ^ ( EN ) The New Yorker , https://www.newyorker.com/tech/annals-of-technology/the-crisis-in-social-psychology-that-isnt . URL consultato il 30 gennaio 2020 .
  9. ^ Monya Baker, 1,500 scientists lift the lid on reproducibility , vol. 533, Springer Nature , 25 maggio 2016, pp. 452–454. URL consultato il 21 maggio 2021 .
  10. ^ ( EN ) Nature Video, Scientific American , https://www.scientificamerican.com/video/is-there-a-reproducibility-crisis-in-science/ . URL consultato il 15 agosto 2019 .
  11. ^ Daniele Fanelli, How Many Scientists Fabricate and Falsify Research? A Systematic Review and Meta-Analysis of Survey Data , in PLOS ONE , vol. 4, n. 5, 29 maggio 2009, pp. e5738, Bibcode : 2009PLoSO...4.5738F , DOI : 10.1371/journal.pone.0005738 , PMID 19478950 .
  12. ^ The Washington Post , https://www.washingtonpost.com/news/speaking-of-science/wp/2015/08/28/no-sciences-reproducibility-problem-is-not-limited-to-psychology/ . URL consultato il 10 settembre 2015 .
  13. ^ ( EN ) TD Stanley, Evan C. Carter e Hristos Doucouliagos, What meta-analyses reveal about the replicability of psychological research. , in Psychological Bulletin , vol. 144, n. 12, 2018, pp. 1325–1346, DOI : 10.1037/bul0000169 , ISSN 1939-1455 ( WC · ACNP ) , PMID 30321017 .
  14. ^ ( EN ) Susan Dominus, When the Revolution Came for Amy Cuddy , in The New York Times , 18 ottobre 2017, ISSN 0362-4331 ( WC · ACNP ) . URL consultato il 19 ottobre 2017 .
  15. ^ Falk Leichsenring, Allan Abbass e Mark J. Hilsenroth, Biases in research: risk factors for non-replicability in psychotherapy and pharmacotherapy research , in Psychological Medicine , vol. 47, n. 6, aprile 2017, pp. 1000–1011, DOI : 10.1017/S003329171600324X , PMID 27955715 .
  16. ^ Michael P. Hengartner, Raising Awareness for the Replication Crisis in Clinical Psychology by Focusing on Inconsistencies in Psychotherapy Research: How Much Can We Rely on Published Findings from Efficacy Trials? , in Frontiers in Psychology , vol. 9, Frontiers Media , 28 febbraio 2018, p. 256, DOI : 10.3389/fpsyg.2018.00256 , PMID 29541051 .
  17. ^ Michael C. Frank , Elika Bergelson e Christina Bergmann, A Collaborative Approach to Infant Research: Promoting Reproducibility, Best Practices, and Theory‐Building , in Infancy , vol. 22, n. 4, 9 marzo 2017, pp. 421–435, DOI : 10.1111/infa.12182 , PMID 31772509 .
  18. ^ Charlie Tyson, Failure to Replicate , in Inside Higher Ed , 14 agosto 2014. URL consultato il 19 dicembre 2018 .
  19. ^ Matthew C. Makel e Jonathan A. Plucker , Facts Are More Important Than Novelty: Replication in the Education Sciences , in Educational Researcher , vol. 43, n. 6, 1º agosto 2014, pp. 304–316, DOI : 10.3102/0013189X14545513 . URL consultato il 19 dicembre 2018 .
  20. ^ Leslie K. John, George Loewenstein e Drazen Prelec, Measuring the Prevalence of Questionable Research Practices With Incentives for Truth Telling ( PDF ), in Psychological Science , vol. 23, n. 5, 1º maggio 2012, pp. 524–532, DOI : 10.1177/0956797611430953 , ISSN 0956-7976 ( WC · ACNP ) , PMID 22508865 .
  21. ^ Neuroskeptic, The Nine Circles of Scientific Hell , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 643–644, DOI : 10.1177/1745691612459519 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168124 .
  22. ^ Copia archiviata , su www.vib.be . URL consultato il 13 novembre 2015 (archiviato dall' url originale il 31 ottobre 2014) .
  23. ^ Klaus Fiedler e Norbert Schwarz, Questionable Research Practices Revisited , in Social Psychological and Personality Science , vol. 7, 19 ottobre 2015, pp. 45–52, DOI : 10.1177/1948550615612150 , ISSN 1948-5506 ( WC · ACNP ) .
  24. ^ a b Joseph Simmons, Leif Nelson e Uri Simonsohn, False-Positive Psychology: Undisclosed Flexibility in Data Collection and Analysis Allows Presenting Anything as Significant , in Psychological Science , vol. 22, n. 11, novembre 2011, pp. 1359–1366, DOI : 10.1177/0956797611417632 , ISSN 0956-7976 ( WC · ACNP ) , PMID 22006061 .
  25. ^ Christopher Shea, Fraud Scandal Fuels Debate Over Practices of Social Psychology , in The Chronicle of Higher Education , 13 novembre 2011.
  26. ^ Daniel Kahneman, A New Etiquette for Replication , in Social Psychology , vol. 45, n. 4, 2014, pp. 310–311, DOI : 10.1027/1864-9335/a000202 .
  27. ^ Table of contents , in Social Psychology , vol. 45, n. 3, 2014, ISSN 1864-9335 ( WC · ACNP ) .
  28. ^ Table of contents , in Perspectives on Psychological Science , vol. 7, n. 6, 2012, ISSN 1745-6916 ( WC · ACNP ) .
  29. ^ Open Science Collaboration, Estimating the reproducibility of Psychological Science ( PDF ), in Science , vol. 349, n. 6251, 2015, pp. aac4716, DOI : 10.1126/science.aac4716 , PMID 26315443 .
  30. ^ Copia archiviata , su blogs.plos.org . URL consultato il 13 settembre 2016 (archiviato dall' url originale il 1º maggio 2016) .
  31. ^ Steve Connor, Study reveals that a lot of psychology research really is just 'psycho-babble' , in The Independent , London, 27 agosto 2015.
  32. ^ Slate , http://www.slate.com/articles/health_and_science/science/2014/07/replication_controversy_in_psychology_bullying_file_drawer_effect_blog_posts.single.html .
  33. ^ ( EN ) FiveThirtyEight , https://fivethirtyeight.com/features/science-isnt-broken/ . URL consultato il 30 gennaio 2020 .
  34. ^ ( EN ) FiveThirtyEight , https://fivethirtyeight.com/features/psychology-is-starting-to-deal-with-its-replication-problem/ . URL consultato il 30 gennaio 2020 .
  35. ^ Pete Etchells, Psychology's replication drive: it's not about you , in The Guardian , 28 maggio 2014.
  36. ^ Eric-Jan Wagenmakers, Ruud Wetzels e Denny Borsboom, An Agenda for Purely Confirmatory Research , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 632–638, DOI : 10.1177/1745691612463078 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168122 .
  37. ^ John PA Ioannidis, Why Science Is Not Necessarily Self-Correcting , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 645–654, DOI : 10.1177/1745691612464056 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168125 .
  38. ^ Harold Pashler e Christine R. Harris, Is the Replicability Crisis Overblown? Three Arguments Examined , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 531–536, DOI : 10.1177/1745691612463401 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168109 .
  39. ^ Tom Bartlett, Power of Suggestion , in The Chronicle of Higher Education , 30 gennaio 2013.
  40. ^ Chris Chambers, Physics envy: Do 'hard' sciences hold the solution to the replication crisis in psychology? , in The Guardian , 10 giugno 2014.
  41. ^ a b Matthew C. Makel, Jonathan A. Plucker e Boyd Hegarty, Replications in Psychology Research How Often Do They Really Occur? , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 537–542, DOI : 10.1177/1745691612460688 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168110 .
  42. ^ Wolfgang Stroebe e Fritz Strack, The Alleged Crisis and the Illusion of Exact Replication ( PDF ), in Perspectives on Psychological Science , vol. 9, n. 1, 2014, pp. 59–71, DOI : 10.1177/1745691613514450 , PMID 26173241 .
  43. ^ Christie Aschwanden, Psychology's Replication Crisis Has Made The Field Better , in FiveThirtyEight , 6 dicembre 2018. URL consultato il 19 dicembre 2018 .
  44. ^ Christopher P G. Allen e David Marc Anton Mehler, Open Science challenges, benefits and tips in early career and beyond , DOI : 10.31234/osf.io/3czyt .
  45. ^ vol. 31, https://www.psychologicalscience.org/observer/the-cooperative-revolution-is-making-psychological-science-better .
  46. ^ Open Science Collaboration, Estimating the reproducibility of psychological science ( PDF ), in Science , vol. 349, n. 6251, 28 agosto 2015, pp. aac4716, DOI : 10.1126/science.aac4716 , ISSN 0036-8075 ( WC · ACNP ) , PMID 26315443 .
  47. ^ mfr.osf.io , https://mfr.osf.io/render?url=https://osf.io/jq7v6/?action=download%26mode=render . URL consultato il 16 ottobre 2019 .
  48. ^ ( EN ) Adam Roger, The Science Behind Social Science Gets Shaken Up—Again , in Wired , 27 agosto 2018. URL consultato il 28 agosto 2018 .
  49. ^ Colin F. Camerer , Anna Dreber e Felix Holzmeister, Evaluating the replicability of social science experiments in Nature and Science between 2010 and 2015 ( PDF ), in Nature Human Behaviour , vol. 2, n. 9, 27 agosto 2018, pp. 637–644, DOI : 10.1038/s41562-018-0399-z , PMID 31346273 .
  50. ^ RA Klein, Many Labs 2: Investigating Variation in Replicability Across Samples and Settings , in Advances in Methods and Practices in Psychological Science , vol. 1, n. 4, 2018, pp. 443–490, DOI : 10.1177/2515245918810225 .
  51. ^ Tomasz Witkowski, Is the glass half empty or half full? Latest results in the replication crisis in Psychology ( PDF ), in Skeptical Inquirer , vol. 43, n. 2, 2019, pp. 5–6 (archiviato dall' url originale il 30 gennaio 2020) .
  52. ^ ( EN ) Brian D. Earp e David Trafimow, Replication, falsification, and the crisis of confidence in social psychology , in Frontiers in Psychology , vol. 6, 2015, p. 621, DOI : 10.3389/fpsyg.2015.00621 , ISSN 1664-1078 ( WC · ACNP ) , PMID 26042061 .
  53. ^ a b Jim Albert Charlton Everett e Brian D. Earp, A tragedy of the (academic) commons: interpreting the replication crisis in psychology as a social dilemma for early-career researchers , in Frontiers in Psychology , vol. 6, 1º gennaio 2015, p. 1152, DOI : 10.3389/fpsyg.2015.01152 , PMID 26300832 .
  54. ^ spsp.org , http://www.spsp.org/blog/resolving-replication-crisis-social-psychology . URL consultato il 18 novembre 2015 .
  55. ^ Business Insider , https://www.businessinsider.com/susan-fiske-methodological-terrorism-2016-9 . URL consultato il 30 gennaio 2020 .
  56. ^ ( EN ) Draft of Observer Column Sparks Strong Social Media Response , in Association for Psychological Science . URL consultato il 4 ottobre 2017 .
  57. ^ ( EN ) Susan T. Fiske, A Call to Change Science's Culture of Shaming , in APS Observer , vol. 29, n. 9, 31 ottobre 2016.
  58. ^ ( EN ) Jesse Singal, Inside Psychology's 'Methodological Terrorism' Debate , in NY Mag , 12 ottobre 2016. URL consultato il 4 ottobre 2017 .
  59. ^ ( EN ) BREAKING . . . . . . . PNAS updates its slogan! - Statistical Modeling, Causal Inference, and Social Science , in Statistical Modeling, Causal Inference, and Social Science , 4 ottobre 2017. URL consultato il 4 ottobre 2017 .
  60. ^ Ioannidis JA, Contradicted and initially stronger effects in highly cited clinical research , in JAMA , vol. 294, n. 2, 13 luglio 2005, pp. 218–228, DOI : 10.1001/jama.294.2.218 , PMID 16014596 .
  61. ^ J. Leslie Glick, Scientific data audit—A key management tool , in Accountability in Research , vol. 2, n. 3, 1992, pp. 153–168, DOI : 10.1080/08989629208573811 .
  62. ^ a b CG Begley e LM Ellis, Drug Development: Raise Standards for Preclinical Cancer Research , in Nature , vol. 483, n. 7391, 2012, pp. 531–533, Bibcode : 2012Natur.483..531B , DOI : 10.1038/483531a , PMID 22460880 .
  63. ^ CG Begley, Reproducibility: Six red flags for suspect work , in Nature , vol. 497, n. 7450, 2013, pp. 433–434, Bibcode : 2013Natur.497..433B , DOI : 10.1038/497433a , PMID 23698428 .
  64. ^ A. Mobley, SK Linder e R. Braeuer, A Survey on Data Reproducibility in Cancer Research Provides Insights into Our Limited Ability to Translate Findings from the Laboratory to the Clinic , in PLOS ONE , vol. 8, n. 5, 2013, p. e63221, Bibcode : 2013PLoSO...863221M , DOI : 10.1371/journal.pone.0063221 , PMID 23691000 .
  65. ^ Monya Baker, 1,500 scientists lift the lid on reproducibility , in Nature , vol. 533, n. 7604, 2016, pp. 452–454, Bibcode : 2016Natur.533..452B , DOI : 10.1038/533452a , PMID 27225100 .
  66. ^ JPA Ioannidis, Why Most Clinical Research Is Not Useful , in PLOS Med , vol. 13, n. 6, 2016, p. e1002049, DOI : 10.1371/journal.pmed.1002049 , PMID 27328301 .
  67. ^ John E. Hunter, The desperate need for replications , in Journal of Consumer Research , vol. 28, n. 1, 1º giugno 2001, pp. 149–158, DOI : 10.1086/321953 .
  68. ^ J. Armstrong e Kesten Green, Guidelines for Science: Evidence and Checklists , in Marketing Papers , 24 gennaio 2017.
  69. ^ Thomas Aichner, Paolo Coletti e Cipriano Forza, Effects of Subcultural Differences on Country and Product Evaluations: A Replication Study , in Journal of Global Marketing , vol. 29, n. 3, 22 marzo 2016, pp. 115–127, DOI : 10.1080/08911762.2015.1138012 .
  70. ^ ( EN ) Colin F. Camerer, Anna Dreber e Eskil Forsell, Evaluating replicability of laboratory experiments in economics , in Science , vol. 351, n. 6280, 25 marzo 2016, pp. 1433–1436, Bibcode : 2016Sci...351.1433C , DOI : 10.1126/science.aaf0918 , ISSN 0036-8075 ( WC · ACNP ) , PMID 26940865 .
  71. ^ ( EN ) Science , https://www.sciencemag.org/news/2016/03/about-40-economics-experiments-fail-replication-survey . URL consultato il 25 ottobre 2017 .
  72. ^ ( EN ) John PA Ioannidis, TD Stanley e Hristos Doucouliagos, The Power of Bias in Economics Research , in The Economic Journal , vol. 127, n. 605, 1º ottobre 2017, pp. F236–F265, DOI : 10.1111/ecoj.12461 , ISSN 1468-0297 ( WC · ACNP ) .
  73. ^ Israel Halperin, Andrew D. Vigotsky e Carl Foster, Strengthening the Practice of Exercise and Sport-Science Research , in International Journal of Sports Physiology and Performance , vol. 13, n. 2, 1º febbraio 2018, pp. 127–134, DOI : 10.1123/ijspp.2017-0322 , ISSN 1555-0273 ( WC · ACNP ) , PMID 28787228 .
  74. ^ ( EN ) FiveThirtyEight , https://fivethirtyeight.com/features/how-shoddy-statistics-found-a-home-in-sports-research/ . URL consultato il 16 maggio 2018 .
  75. ^ ( EN ) James H. Stagge, David E. Rosenberg e Adel M. Abdallah, Assessing data availability and research reproducibility in hydrology and water resources , in Scientific Data , vol. 6, 26 febbraio 2019, p. 190030, Bibcode : 2019NatSD...690030S , DOI : 10.1038/sdata.2019.30 , ISSN 2052-4463 ( WC · ACNP ) , PMID 30806638 .
  76. ^ N. Oreskes, Beware: Transparency rule is a trojan horse , in Nature , vol. 557, n. 7706, 2018, p. 469, Bibcode : 2018Natur.557..469O , DOI : 10.1038/d41586-018-05207-9 , PMID 29789751 .
  77. ^ a b Andrea Saltelli, Why science's crisis should not become a political battling ground , in Futures , vol. 104, dicembre 2018, pp. 85–90, DOI : 10.1016/j.futures.2018.07.006 .
  78. ^ D. Michaels, Doubt is their product: How industry's assault on science threatens your health , Oxford University Press, 2008, ISBN 9780195300673 .
  79. ^ ( EN ) Michał Białek, Replications can cause distorted belief in scientific progress , in Behavioral and Brain Sciences , vol. 41, 2018, pp. e122, DOI : 10.1017/S0140525X18000584 , ISSN 0140-525X ( WC · ACNP ) , PMID 31064528 .
  80. ^ ( EN ) Niels G. Mede, Mike S. Schäfer e Ricarda Ziegler, The "replication crisis" in the public eye: Germans' awareness and perceptions of the (ir)reproducibility of scientific research , in Public Understanding of Science , vol. 30, n. 1, 2020, pp. 91–102, DOI : 10.1177/0963662520954370 , PMID 32924865 .
  81. ^ Silas Boye Nissen, Tali Magidson e Kevin Gross, Research: Publication bias and the canonization of false facts , in eLife , vol. 5, 20 dicembre 2016, pp. e21451, DOI : 10.7554/eLife.21451 , PMID 27995896 , arXiv : 1609.00494 .
  82. ^ De Solla Price e Derek J.,Little science big science , Columbia University Press, 1963.
  83. ^ Siebert, S., Machesky, LM e Insall, RH, Overflow in science and its implications for trust , in eLife , vol. 4, 2015, p. e10825, DOI : 10.7554/eLife.10825 , PMID 26365552 .
  84. ^ Della Briotta Parolo, P., Kumar Pan e R. Ghosh, Attention decay in science , in Journal of Informetrics , vol. 9, n. 4, 2015, pp. 734–745, Bibcode : 2015arXiv150301881D , DOI : 10.1016/j.joi.2015.07.006 , arXiv : 1503.01881 .
  85. ^ Mirowski, P., Science-Mart: Privatizing American Science , Harvard University Press, 2011.
  86. ^ A. Saltelli e S. Funtowicz, What is science's crisis really about? , in Futures , vol. 91, 2017, pp. 5–11, DOI : 10.1016/j.futures.2017.05.010 .
  87. ^ A. Benessia, S. Funtowicz e M. Giampietro, The Rightful Place of Science: Science on the Verge , Consortium for Science, Policy and Outcomes at Arizona State University, 2016.
  88. ^ Noahpinion , http://noahpinionblog.blogspot.co.uk/2016/12/academic-signaling-and-post-truth-world.html . URL consultato il 5 novembre 2017 .
  89. ^ HG Moeller, Luhmann explained. Open Court Publishing Company, 2006.
  90. ^ N. Luhmann, Social System. Stanford University Press, 1995.
  91. ^ A. Saltelli and P.-M. Boulanger , "Technoscience, policy and the new media. Nexus or vortex?", Futures , vol. 115, p. 102491, November 2019.
  92. ^ DA Scheufele, "Science communication as political communication", Proceedings of the National Academy of Sciences of the United States of America , vol. 111 Suppl, no. Supplement 4, pp. 13585–13592, September 2014.
  93. ^ P. Mirowski. Science-Mart: Privatizing American Science . Harvard University Press, 2011.
  94. ^ RA Pielke, Jr. The Honest Broker . Cambridge University Press, 2007.
  95. ^ Ramal Moonesinghe, Muin J. Khoury e A. Cecile JW Janssens, Most Published Research Findings Are False—But a Little Replication Goes a Long Way , in PLOS Med , vol. 4, n. 2, 27 febbraio 2007, pp. e28, DOI : 10.1371/journal.pmed.0040028 , PMID 17326704 .
  96. ^ Daniel J. Simons, The Value of Direct Replication , in Perspectives on Psychological Science , vol. 9, n. 1, 1º gennaio 2014, pp. 76–80, DOI : 10.1177/1745691613514755 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26173243 .
  97. ^ John PA Ioannidis, Daniele Fanelli e Debbie Drake Dunne, Meta-research: Evaluation and Improvement of Research Methods and Practices , in PLOS Biology , vol. 13, n. 10, 2 ottobre 2015, pp. –1002264, DOI : 10.1371/journal.pbio.1002264 , ISSN 1545-7885 ( WC · ACNP ) , PMID 26431313 .
  98. ^ Scope , https://scopeblog.stanford.edu/2015/12/08/on-communicating-science-and-uncertainty-a-podcast-with-john-ioannidis/ . URL consultato il 20 maggio 2019 .
  99. ^ psychologicalscience.org , http://www.psychologicalscience.org/index.php/replication . URL consultato il 13 novembre 2015 .
  100. ^ Chris Chambers, Psychology's 'registration revolution' , in The Guardian , 20 maggio 2014. URL consultato il 13 novembre 2015 .
  101. ^ D. Stephen Lindsay, Replication in Psychological Science , in Psychological Science , vol. 26, n. 12, 9 novembre 2015, pp. 1827–32, DOI : 10.1177/0956797615616374 , ISSN 0956-7976 ( WC · ACNP ) , PMID 26553013 .
  102. ^ ( EN ) Andy WK Yeung, Do Neuroscience Journals Accept Replications? A Survey of Literature , in Frontiers in Human Neuroscience , vol. 11, 2017, p. 468, DOI : 10.3389/fnhum.2017.00468 , ISSN 1662-5161 ( WC · ACNP ) , PMID 28979201 .
  103. ^ ( EN ) GN Martin e Richard M. Clarke, Are Psychology Journals Anti-replication? A Snapshot of Editorial Practices , in Frontiers in Psychology , vol. 8, 2017, p. 523, DOI : 10.3389/fpsyg.2017.00523 , ISSN 1664-1078 ( WC · ACNP ) , PMID 28443044 .
  104. ^ ( EN ) Sebastian Wallot e Damian G. Kelty-Stephen, Interaction-Dominant Causation in Mind and Brain, and Its Implication for Questions of Generalization and Replication , in Minds and Machines , vol. 28, n. 2, 1º giugno 2018, pp. 353–374, DOI : 10.1007/s11023-017-9455-0 , ISSN 1572-8641 ( WC · ACNP ) .
  105. ^ Alexander F. Siegenfeld e Yaneer Bar-Yam, An Introduction to Complex Systems Science and Its Applications , in Complexity , vol. 2020, 2020, pp. 1–16, DOI : 10.1155/2020/6105872 , arXiv : 1912.05088 .
  106. ^ Michael C. Frank e Rebecca Saxe, Teaching Replication , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 600–604, DOI : 10.1177/1745691612460686 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168118 .
  107. ^ Jon E. Grahe, Alan Reifman e Anthony D. Hermann, Harnessing the Undiscovered Resource of Student Research Projects , in Perspectives on Psychological Science , vol. 7, n. 6, 1º novembre 2012, pp. 605–607, DOI : 10.1177/1745691612459057 , ISSN 1745-6916 ( WC · ACNP ) , PMID 26168119 .
  108. ^ Ben Marwick, Li-Ying Wang e Ryan Robinson, How to Use Replication Assignments for Teaching Integrity in Empirical Archaeology , in Advances in Archaeological Practice , vol. 8, 22 ottobre 2019, pp. 78–86, DOI : 10.1017/aap.2019.38 .
  109. ^ Daniel J. Benjamin e James O. Berger, Redefine statistical significance , in Nature Human Behaviour , vol. 2, n. 1, 2018, pp. 6–10, DOI : 10.1038/s41562-017-0189-z , PMID 30980045 .
  110. ^ ( EN ) Daniel Lakens, Federico G. Adolfi e Casper J. Albers, Justify your alpha , in Nature Human Behaviour , vol. 2, n. 3, marzo 2018, pp. 168–171, DOI : 10.1038/s41562-018-0311-x , ISSN 2397-3374 ( WC · ACNP ) .
  111. ^ David Colquhoun, An investigation of the false discovery rate and the misinterpretation of p -values , in Royal Society Open Science , vol. 1, n. 3, 2015, p. 140216, Bibcode : 2014RSOS....140216C , DOI : 10.1098/rsos.140216 , PMID 26064558 , arXiv : 1407.5296 .
  112. ^ a b c David Colquhoun, The reproducibility of research and the misinterpretation of p-values , in Royal Society Open Science , vol. 4, n. 12, 2017, p. 171085, DOI : 10.1098/rsos.171085 , PMID 29308247 .
  113. ^ aeon.co , https://aeon.co/essays/it-s-time-for-science-to-abandon-the-term-statistically-significant . URL consultato l'11 dicembre 2016 .
  114. ^ fpr-calc.ucl.ac.uk , http://fpr-calc.ucl.ac.uk/ .
  115. ^ RAJ Matthews, Why should clinicians care about Bayesian methods? , in Journal of Statistical Planning and Inference , vol. 94, 2001, pp. 43–58, DOI : 10.1016/S0378-3758(00)00232-9 .
  116. ^ Scott E. Maxwell, Michael Y. Lau e George S. Howard, Is psychology suffering from a replication crisis? What does "failure to replicate" really mean? , in American Psychologist , vol. 70, n. 6, 2015, pp. 487–498, DOI : 10.1037/a0039400 , PMID 26348332 .
  117. ^ Joanna IntHout, John PA Ioannidis e George F. Borm, Small studies are more heterogeneous than large ones: a meta-meta-analysis , in Journal of Clinical Epidemiology , vol. 68, n. 8, 2015, pp. 860–869, DOI : 10.1016/j.jclinepi.2015.03.017 , PMID 25959635 .
  118. ^ Katherine S. Button, John PA Ioannidis e Claire Mokrysz, Power failure: why small sample size undermines the reliability of neuroscience , in Nature Reviews Neuroscience , vol. 14, n. 5, 1º maggio 2013, pp. 365–376, DOI : 10.1038/nrn3475 , ISSN 1471-003X ( WC · ACNP ) , PMID 23571845 .
  119. ^ ( EN ) Anthony G. Greenwald, Consequences of prejudice against the null hypothesis ( PDF ), in Psychological Bulletin , vol. 82, n. 1, 1975, pp. 1–20, DOI : 10.1037/h0076157 .
  120. ^ Valentin Amrhein, Fränzi Korner-Nievergelt e Tobias Roth, The earth is flat (p > 0.05): significance thresholds and the crisis of unreplicable research , in PeerJ , vol. 5, 2017, p. e3544, DOI : 10.7717/peerj.3544 , PMID 28698825 .
  121. ^ John PA Ioannidis, Anticipating consequences of sharing raw data and code and of awarding badges for sharing , in Journal of Clinical Epidemiology , vol. 70, 2016, pp. 258–260, DOI : 10.1016/j.jclinepi.2015.04.015 , PMID 26163123 .
  122. ^ NWO , http://www.nwo.nl/en/news-and-events/news/2016/nwo-makes-3-million-available-for-replication-studies-pilot.html . URL consultato il 2 agosto 2016 .
  123. ^ Sam Apple, The Young Billionaire Behind the War on Bad Science , in Wired , 22 gennaio 2017.
  124. ^ Romain D. Gosselin, Statistical Analysis Must Improve to Address the Reproducibility Crisis: The ACcess to Transparent Statistics (ACTS) Call to Action , in BioEssays , vol. 42, n. 1, 2019, p. 1900189, DOI : 10.1002/bies.201900189 , PMID 31755115 .
  125. ^ ( EN ) Pacific Standard , https://psmag.com/news/big-pharma-reveals-a-biomedical-replication-crisis . URL consultato il 30 gennaio 2020 . Updated on June 14, 2017.
  126. ^ Florian Prinz, Believe it or not: how much can we rely on published data on potential drug targets , in Nature Reviews Drug Discovery , vol. 10, n. 712, 31 agosto 2011, p. 712, DOI : 10.1038/nrd3439-c1 , PMID 21892149 .

Bibliografia

Voci correlate

Estratto da " https://it.wikipedia.org/w/index.php?title=Crisi_della_replicazione&oldid=122485487 "