books المأزق

لا يُمكن الّتنبؤ بنتائج دِراسيّة كبيرة واحدة عن طريق التحليل التلوي لِعدّة دِراسات صغيرة. البعض جادل أنّ نُقطة ضعف هذه الّطريقة هي أنّها لا تتحكّم بِمصادِر التحيُّز. إنّ التحليل التلوي الجيِّد الّتابع للدّراسات المصمّمة بشكِل سيّء سيُعطينا إحصاءات سيّئة. و هذا يعني أنّه يَجب إدراج دراسات سليمة منهجيّاً فقط في التحليل التلوي، و هي مُمارسة تسمى “تجميع أفضل الأدلّة". محللون آخرون يمكن أن يستخدموا دراسات ضعيفة، ثم يقوموأ بإضافة متغير يتنبأ بدرجة الدراسة و الذي يعكس الجودة المنهجيّة للدّراسات لفَحص أثر نوعيّة الّدراسة على حجم الأثر. و لكن آخرون قالوا أنّ أفضل نهج هو الحِفاظ على المعلومات حول التبايُن في عيّنة الدراسة، كشبكة على أوسع نِطاق مُمكن، و أنّ معايير اختيار المنهجيّة تَدخل فرديّة، غير مرغوب فيها و بالتالي هي هزيمة لهدف الّنهج.

التحيُّز للنشر: مُشكلة الملف-الدرج

هناك مأزق مُحتمَل آخر و هو الاعتماد على الدراسات المنشورة المتوافِرة، و بالّتالي من المُمكن أنّ تَخلِق نتائج مُبالَغ فيها نتيجة التحيُّز للنشر، فمثلا الدراسات التي تَعرِض نتائج سلبيّة أو نتائج غير مُهمّة غالباً لا يتم نشرها. وعلى سبيل المِثال، من المُمكِن أن يكون شخصا قد تغاضى عن دِراسات أطروحة علميّة أو دِراسات لم تُنشَر أبداً. هذه المشكلة ليست سهلة الحل، لأنَّ الّشخص لا يمكنه معرفة عدد الّدراسات التي لم يتم الإبلاغ عنها. تنتج مشكلة الملف-الّدرج هذه في توزيع أحجام الأثر التي هي متحيِّزة، مُنحرِفة أو مقطوعة تماماً، و التي تؤدي إلى إيجاد مُعدّل أساسي خاطِئ بشكلٍ جَديّ، بالتالي تكون أهميّة الّدراسات المنشورة مُبالغ في تقديرها، حيثُ أنّ الّدراسات الأخرى لم تقدِّم للنشر أو تمّ رفضها. و هذا يَجِب أن يؤخَذ بجديّة عند تفسير نتائج الّتحليل الّتلوي. يمكن تصوّر أحجام الأثَر باستِخدام مُخطّط على شكل قمُع و هو مُخطّط مُبعثَر لحجم العيِّنة و حجم الأثر. في الواقع، للحصول على مستوى معيّن للأثر، كلما قل حجم الّدراسة، كانت الاحتماليّة أعلى للحصول عليه عن طريق الّصدفة. في الوقت نفسُّه، كلّما كان مُستوى الأثر أعلى، كانت الاحتماليّة أقل بأنّ الّدراسة الأكبر حجما ستُعطي نتائج إيجابيّة عن طريق الّصدفة. إذا لم تنشر العديد من الّدراسات الّسلبيّة، فإنّ بقيّة الّدراسات الإيجابيّة ستؤدي لمُخَطّط قمُع بحيث يتناسب حجم الأثر فيه عكسياً مع حجم العيِّنة، و ذلك يعني: أنّه كلّما ارتفع حجم الأثر، صَغُر حجم العيِّنة. هناك جُزء مُهم للأثَر المُوَضّح و هو يرجِع إلى فُرصة لم تظهر في المُخطط بسبب غياب البيانات الّسلبية الغير المنشورة. في المُقابِل، عندما تُنشَر أغلب الّدراسات، حينها لا يوجد أيّ سبب لجعل الأثر المُوَضّح مُتحيِّزاً بحجم الّدراسة، بالّتالي سوف يُنتِج مُخطّط قَمع مُتماثِل. فعند عدم وجود تحيُّز للنشر، يُمكن أن يَتوقّع المرء أنّه لا يوجد عِلاقة بين حجم العيّنة و حجم الأثر. وجود علاقة سَلبيّة بين حجم العيّنة و حجم الأثر يعني ضِمناً أنّ الّدراسات التي وَجَدت آثاراً مهمةً من المُرجّح أكثر أن تُنشر أو أن يَتِم تقديمُها للنشر. هناك العديد من الإجراءات المُتاحة التي تُحاول حل مُشكلة الملف-الّدرج، و حُدِّدَت مرّة، مِثل الّتخمين بِمكان القطع لتوزيع آثار الدراسة. إنّطُرُق الكَشف عن التحيُّز للنشر مُثيرة للجدَل بحيث أنّها تمتلك طاقة مُنخفِضة للكشف عن التحيّز للنشر، و لكن أيضاً قد تحدث بعض الأخطاء في ظل بعض الظروف. على سبيل المثال، آثار الّدراسة التي تكون صغيرة، و التي توجد فيها الاختلافات المنهجيّة بين الّدراسات الأصغر و الأكبر، قد تُسبِّب الاختلافات في أحجام الأثر بين الّدراسات التي تُمثِّل التحيُّز للنشر.]بحاجة لتوضيح[على أيّ حال، إنّ آثار الّدراسة الّصغيرة من الُممكِن أن تُسبِّب مُشكِلة في تفسير الّتحليل الّتلوي، و يَلزَم على مؤلِّفي التحليل التلوي الّتحقق في المصادِر المُحتَملة للتحيُّز. و قد اقترح أسلوب الّترادُف في تحليل التحيُّز للنشر من أجل خفض مشاكل الأخطاء الإيجابيّة الكاذِبة. أسلوب الّترادف هذا يتكوَّن من ثلاث مراحِل: أولاً، يجب حساب فشل-أمن حجم العيِّنة الخاصَّة بأوروين، للتحقُّق من عدد الّدراسات التي يجب إضافتها لِخفض مقياس الاختبار لحجم تافه. إذا كان هذا العدد من الّدراسات أكبر من عدد الّدراسات المستخدمة في التحليل التلوي، فإذاً هذه إشارة لِعدم وجود تحيُّز للنشر، و كما هو الحال في هذه القضيّة، يحتاج الّشخص إلى الكثير من الّدراسات لِخفض حجم الأثر. ثانياً، يُمكن القيام باختبار انحدار ايغر، الذي يَختبِر إذا كان مُخطَّط القمع مُتماثِلاً. و كما ذُكِر سابقاً: وجود مخطَّط قمع مُتماثِل يُعَدّ إشارة إلى عدم وجود تحيُّز للنشر، لأنحجم الأثر و حجم العيِّنة مُستقلاّن. ثالثاً، يُمكن القيام بطريقة الّتقليم و التعبِئة، و التي تُنسب البيانات في حالة عدم تماثل مُخطَّط القمع. و هذه مُجرَّد بعض الّطرق للاستخدام، و لكن توجد الكثير من الّطرق الأخرى. و مع ذلك، يُرَجَّحأنَّ 25% من التحليل التلوي في مجال عِلم الّنفس قد يتعرَّض للتحيُّز للنشر. و ما تزال مشاكل القوَّة الّضعيفة مُستَمِرّة، و الّتقديرات لتحيُّز الّنشر تبقى أقل من القيمة الحقيقيّة.

مُعظم الِّنقاشات المُتعلِّقة بالّتحيُّز للنشر تُركِّز على مُمارَسات المجلّة التي تقوم بالّنشر بحيث تُفضِّل نشر اكتشافات إحصائيّة مُهمَّة. و لكن المُمارسات المشكوك فيها للبحث، مثل إعادة صياغة الّنماذج الإحصائيّة إلى أن يتحقّق الهدف، يُمكن أيضاً أن تُفضِّل الاكتشافات الإحصائيّة المهمّة دعماً لفرضيّات الباحثين. إنّمُمارسات الباحثين المشكوك فيها لا تعتمد بالّضرورة على حجم العيِّنة، و لهذا الّسببفمِن غير المُحتمَل أن تكون واضحة على مُخطَّط القمع و من المُمكن عدم اكتشافها باستخدام طُرق كشف التحيُّز للنشر المُستخدَمة حالياً. من مواطنِ الّضعف الأخرى، مُفارقة سيمبسون(دراستان صغيرتان قد تُشيران إلى اتجاهٍ واحد، والّدراسة التي تجمع بينَهما تُشير إلى الاتجاه المُعاكِس) والفرديّة في ترميز الأثر أو اتخاذ القرارات المتعلِّقة بقبول الّدراسات أو رفضها. هناك طريقتان مُختلِفتان لقياس الأثر: الّترابُط أو اختلاف المتوسِّط المُوَحَّد. إنّ تفسير حجم الأثر اعتباطي، و لا توجد مُوافقة عالميّة على طريقة الموازنة بين المخاطر. و لم يُحدَّد بعد إذا كانت الّطريقة الإحصائيّة الأكثر دِقَّة لجمع النّتائج هي نماذج الأثر الّثابتة، العشوائية أم الّنوعيّة.]يلزم مرجع[

التحيُّز لتحقيق الهدف

أشد خطر في التحليل التلوي غالباً ما يحدُث عندما يكون الّشخص أو الأشخاص الذين يقومون بالّتحليل الّتلوي لديهم خُطّة سياسيّة أو اجتماعيّة أو اقتصاديّة، مثل إقرار أو هزيمة الّتشريع. الّناس الذين يَملكون هذا الّنوع من الخُطَط قد يقومون بإساءة استخدام الّتحليل الّتلوي أكثر من غيرهم بِسبب الّتحيُّز الّشخصي. على سبيل المِثال، يتم اختيار الّدراسات الّتابعة للباحثين المُفضّلين لِدى مُؤلِّف الخطّة و غير ذلك من الّدراسات يتم رفضها أو وصفها بأنّها غير جديرة الّثقة. بالإضافة، قد يكون المؤلفون أنفسهم متحيّزون أو يدفع لهم لإعطاء نتائج تَدعم الأهداف الّسياسية أو الاجتماعية أو الاقتصادية عن طريق تحديد مجموعات بيانات صغيرة مفضّلة و عدم استخدام مجموعات البيانات الكبيرة الغير مفضّلة. تأثير مثل هذه التحيُّزات على نتائِج الّتحليل الّتلوي مُمكِنة بسبب مُرونة منهجيّة الّتحليل الّتلوي. في عام 2011 أُجريَت دِراسة للكشف عن تضارب المصالِح في دراسات البحوث المُستخدَمة في التحليل التلوي الّطبي حيث تمّ استعراض 29 تحليل تلوي و وُجِدَت صعوبة في الكشف عن تضارب المصالح في الّدراسات المُستخدَمة فيها. و ال29 تحليل تلوي اشتملوا على 11 من مجلات الّطب العام، و 15 من مجالات الّطب الّتخصُّصي و ثلاث من قاعِدة بيانات كوكرين للمُراجعات المنهجيّة. و تمّت مُراجعة 509 تجربة عشوائيّة تحت الّسيّطرة(RCTs)من خِلال ال 29 تحليل تلوي. و قد أفادت 318(RCTs) وجود مصادِر للتمويل، فكانت 219 منها (69%) تتلقّى الّتمويل من الّصناعة.(بحاجة لتوضيح)و من ال509(RCTs)، كَشفت 132عن تضارب المصالِح للمؤلِّفين، و كانت 91 دراسة(69%) تكشف عن واحد أو أكثر من المؤلّفين الذين تربُطُهم علاقات ماليّة مع الّصناعة. و لكن نادرا ما كانت هذه المعلومات تنعكس في التحليل التلوي. فقد أفادت اثنتان فقط (7%) من ال RCTs عن مصادر تمويليّة و لم تقر أيّ منها بوجود عِلاقات بين المُؤلِّف و الّصناعة. و استنتج المؤلّفون أنّ"من دون اعتراف هيئة الّنزاهة بسبب الّتمويل من الّصناعة أو العلاقات الماليّة للمؤلِّف و الّصناعة للRCTsالتي تستخدم في التحليل التلوي، فإنّ فهم القُرَّاء و تقيّيمهم للأدلّة من التّحليل التلوي لن يكن دقيقاً و صحيحا".