پیامدهای ناخواسته: خطرات سوگیری انتشار و سوگیری استناد

… یک آمار شناس هلندی، مقاله‌ای را که بیش از ۴۰۰ بار مورد استناد قرار گرفته بود، کشف کرد، مقاله‌ای که وجود خارجی نداشت!

این چندساله کیفیت مقالات چاپ شده در جامعه دانشگاهی ایران به شدت زیر سئوال رفته. جالب اینکه اخیرا تحقیقات جامعه علمی بین‌المللی هم با بررسی کیفیت شواهد در ادبیات علمی، چگونگی استفاده از این شواهد و نحوه انتشارشون، کیفیت مقالات اونور آب رو زیر سئوال بردن.

امروز در MIT Press مقاله‌ای دیدم با همین موضوع، کمی که خوندم ازش خوشم و بنابراین خلاصه و ترجمه‌اش کردم.

«سوگیری انتشار» (Publication Bias)

در سال ۱۹۷۹، روانشناس رابرت روزنتال اصطلاح «مشکل پرونده توی کشو» (file drawer problem) رو ابداع کرد، مسئله این است که محققان نتایج تحقیقاتی رو که فرضیه‌هاشون رو پشتیبانی نمی‌کنه، چاپ نمی‌کنند و دور از چشم بقیه نگه میدارند. در اواخر دهه ۱۹۸۰، سوگیری انتشار به دلیل تأثیر زیانبارش بر مشاوره پزشکی مشهور شد. این نوع سوگیری به سه صورت خودش رو نشون میده:

• سوگیری تاخیر زمانی (Time-lag bias)، که در آن آزمایشاتی با نتایج مثبت چشمگیر (اندازه اثر زیاد، اهمیت آماری) با سرعت بیشتری نسبت به آزمایشات با نتایج منفی یا مبهم منتشر می شوند.
• سوگیری گزارش نتایج (Outcome reporting bias)، گزارش دادن فقط نتایج قابل توجه آماری یا نتایج مطلوب ادعای خاص در حالی که سایر نتایج اندازه گیری شده‌اند اما گزارش نشده اند.
• سوگیری مکان (Location bias)، انتشار یافته‌های بی اهمیت، مبهم یا بدون پشتوانه در ژورنال های با اعتبار کمتر، در حالی که مطالعات گزارش یافته‌های مثبت، از نظر آماری تمایل دارند به ژورنال های معروف تری ارسال شود.

«سوگیری استناد» (Citation Bias)

در دهه ۱۹۸۰ محققان خاطرنشان کردند که مطالعات گزارش شده از یافته های مثبت و معنی دار بیشتر از مطالعات با یافته های ناچیز و منفی استناد شده اند. اولین مطالعه سیستماتیک در این مورد در سال ۱۹۸۷ انچام شد. مقاله آقای Gøtzsche در مورد آزمایشات بالینی داروهای ضد التهاب در درمان آرتریت روماتوئید بود. ایشون در ادبیات تحقیق جستجو کرد تا همه آزمایشات منتشر شده را پیدا کنه و مقالات رو اینجوری طبقه بندی کرد: نویسندگان مقاله نتیجه دارو رو “مثبت” یا “غیر-مثبت” تفسیر کرده. بعدش ایشون به دنبال شواهدی از سوگیری در استنادها بود. اگر لیست مرجع به طور نامتناسبی به آزمایش‌های دارای نتایج مثبت استناد کند، سوگیری مثبت اتفاق افتاده است. از ۷۶ مقاله ای که چنین سوگیری به طور بالقوه می تواند رخ دهد، ۴۴ مقاله سوگیری مثبت نشان داد. بسیاری از نویسندگان ترجیحاً شواهدی را ذکر کرده بودند که نتیجه مثبتی را برای داروی مورد آزمایش نشان داده بود. تصمیمات دانشمندان برای استناد به برخی مقالات خاص می تواند عواقب پیش بینی نشده ای داشته باشد که در ادبیات موج می زند، و آنچه را که سایر دانشمندان برای استناد انتخاب می کنند شکل می‌دهد.

تحریف استناد (Citation Distortion)

در سال ۲۰۱۰، آندریاس استنگ انتقادی از مقیاس نیوکاسل-اتاوا را منتشر کرد، مقیاسی که در فراتحلیل برای ارزیابی کیفیت مطالعات مشاهده ای استفاده می شود. او به صراحت به یک نتیجه انتقادی رسید:

استفاده از این مقیاس در بررسی ها و متاآنالیزهای مبتنی بر شواهد ممکن است نتایج بسیار دلبخواهی (arbitrary، مطابق تفسیر شخصی محقق و نه مبتنی بر شواهد عینی) را به همراه داشته باشد.

هشت سال بعد، استانگ متوجه شد که بیش از ۱۰۰۰ مقاله به مقاله اش استناد کردند، اما تقریباً همه شون به طور نادرست به آن ارجاع می‌دادند، انگار مقاله آقای استنگ از مقیاس نیوکاسل – اتووا پشتیبانی می کنه!

ایشون یه مقاله دیگه نوشتن و این فاجع رو گوشزد کردند. نتیجه چی شد؟  تا سپتامبر ۲۰۲۰، به مقاله ۲۰۱۰ ایشون با همون بی دقتی سابق ۵،۰۸۸ بار استناد شده. بنابراین تذکر ایشون برای مقابله با این تحریف گوش ناشنوا نداشته. و مقاله دومشون (که تحریف استناد رو متذکر شده بود) فقط پنج بار استناد شده بود.

بعضی اوقات منابع خیلی راحت از مقاله‌ای به مقاله دیگر کپی می شوند. دانستن این که این کار چقدر متداوله، کار دشواریه، اما پیتر کروننبرگ، آماری هلندی، مقاله ای را کشف کرد که بیش از ۴۰۰ بار مورد استناد قرار گرفته بود. مقاله خیالی مورد استناد اینه:

Van der Geer, J., Hanraads, J. A. J., Lupton, R. A. 2010. The art of writing a scientific article. J Sci. Commun. 163 (2) 51–۵۹.

این مقاله به عنوان یه مثال فرضی در راهنمای نگارش مقالات الزویر (Elsevier) برای نشان دادن چگونگی استناد در یک مجله خاص به کار رفته بود. با جستجو در Web of Science مشخص شد که این مقاله تا سال ۲۰۱۹ بیش از ۴۸۰ بار مورد استناد قرار گرفته! البته بیشتر این موارد مربوطه به خلاصه مقالات کنفرانس‌ها (proceedings) بوده، اما این مرجع در ۷۹ مقاله مجله هم آمده است. از این تعداد، ۱۳ مورد از طریق مراجع به هم متصل شدند و در این موارد به طرز عجیبی برای حمایت از این ادعا که ترکیبی به نام روتین می تواند خون را رقیق کرده، نفوذپذیری مویرگها را کاهش داده و فشار خون را کاهش دهد، مورد استفاده قرار گرفت. در اینجا، به نظر می رسد، این مرجع به سادگی از مقاله ای به مقاله دیگر کپی می شد.

عدم استفاده از شواهد

برای درک میزان استفاده از شواهد موجود، کارن رابینسون و استیون گودمن بررسی کردند که چند بار آزمایشات بالینی توسط نویسندگان آزمایش های مشابه بعدی گزارش می شود. آنها ۱۵۲۳ آزمایش را شناسایی و پیگیری کردند که چگونه این افراد به دیگران در همان موضوع استناد کرده اند. نتیجه: فقط حدود یک چهارم از آزمایشات مربوطه ذکر شده است. عجیب این بود که به طور میانگین، فارغ از اینکه قبلش چند آزمایش انجام شده، فقط به دو آزمایش استناد شده. مثل معروفی هست که میگه: «اگر فاصله دورتری را دیده‌ام با ایستادن بر شانه‌های غول‌ها بوده است»، ظاهر محققان این آزمایشات به دو شانه بسنده کردند، در حالیکه شانه‌های بیشتری هم در دسترس بوده 😊

رابینشون و گودمن نتیجه گرفتند:

پیامدهای احتمالی شامل آزمایش های غیرقابل توجیه اخلاقی، اتلاف منابع، نتیجه گیری نادرست و خطرات غیرضروری برای شرکت کنندگان در آزمایش است.

نتیجه

به نظر می رسه سیستم ارتباطات علمی شکننده تر از آن است که زمانی تصور می شد. این امر تحت تأثیر تصمیمات محققان در مورد انتشار و استناد به موارد دیگر قرار دارد. تصمیماتی که توسط افراد گرفته می‌شود – افرادی با اهداف تحقیقاتی خاص، تخصص، حافظه محدود و تمایل ذاتی به خطا – می توانند بر باور دیگران از طریق روش هایی که ما هنوز کاملاً درک نمی کنیم تأثیر بگذارند.

پی نوشت

1. این مقاله دو نویسنده داره که تخصص یکیشون جالبه: تجزیه و تحلیل شبکه استناد (citation network analysis).
2. دست گوگل ترنسلیت درد نکنه، اول متن مقاله رو انداختم گوگل ترنسلیت، و بعد تو یکی دو ساعت ویرایش و خلاصه اش کردم.
3. حالا که بحث پیدا کردن واکسن کرونا داغه، بهتره مقالاتی که واکنسها با استناد به اونها ساخته میشن، با دقت بیشتری نوشته و خوانده شن.