مستوى المؤشر
صياغة المؤشر
الغرض من المؤشر
كيفية جمع البيانات المطلوبة وتحليلها
حدد قيمة المؤشر باستخدام المنهجية التالية:
1)حدد مجالات المعرفة و/أو المهارات الرئيسية التي يهدف المشروع إلى تعزيزها. وينبغي أن تتوافقهذه المجالات مع الأهداف التعليمية للتدخل وأن يتم تحديدها بوضوح قبل جمع البيانات. تأكد من أن الفريق يطبق باستمرار التمييز بين المعرفة (تحسين الفهم أو الوعي بالمفاهيم أو السياسات أو الإجراءات) والمهارات (القدرة على تطبيق هذه المعرفة بفعالية).
2)صمم نهج قياس مناسبًا يراعي جمهورك المستهدف لتقييم التغير في المعرفة و/أو المهارات. ويتطلب ذلك عادةً قياس الفرق بين خط الأساس (الوضع قبل تقديم الدعم) والوضع بعد التدخل (الوضع بعد تقديم الدعم). وتشمل الخيارات الأكثر شيوعًا ما يلي:
اختبار المعرفة و/أو المهارات المعياري: إجراء الاختبار نفسه أو ما يعادله قبل التدخل وبعده، ومقارنة درجات كل مشارك على حدة.
التقييم الذاتي: اطلب من المشاركين تقييم مستوى معرفتهم و/أو مهاراتهم فيما يتعلق بكل مجال من المجالات الخاضعة للتقييم قبل التدخل وبعده، باستخدام مقياس قياسي (على سبيل المثال، 1 = منخفض جدًّا، 5 = مرتفع جدًّا).
المراقبة أو تقييم الأداء العملي: مراقبة المشاركين مباشرةً أثناء قيامهم بالمهام ذات الصلة أو إظهار مهاراتهم في بيئات حقيقية أو محاكاة، وتسجيل مدى جودة أدائهم باستخدام نموذج مراقبة منظم.
إذا كان المؤشر يشمل المهارات، فيجب استخدام طريقة واحدة على الأقل تقيس التطبيق العملي. ويمكن أن تكون هذه الطريقة عبارة عن الملاحظة المباشرة، أو المهام العملية، أو مؤشرات بديلة قائمة على الأدلة تُقيّم العمل المنجز (مثل تقييم مخرجات العمل باستخدام معايير جودة محددة مسبقًا، أو التقييم المنظم لأداء المهام من قِبل مدرب أو مرشد استنادًا إلى التطبيق الملاحظ، أو عمليات المحاكاة القائمة على المهام التي يتم تقييمها وفقًا لمعايير واضحة).
3)تحديد حد أدنى للتحسن يُعرِّف «زيادة المعرفة و/أو المهارة». أمثلة:
نسبة مئوية دنيا للتحسن بين درجات الاختبار الأولي والاختبار النهائي (على سبيل المثال، زيادة بنسبة 20٪ على الأقل).
ارتفاع بمقدار نقطة واحدة على الأقل على مقياس التقييم الذاتي المكون من 5 نقاط.
تحسن مؤكد في أداء المهام وفقًا للمعايير المحددة.
تجنب وضع متطلبات عالية بشكل غير واقعي أو منخفضة دون داعٍ من خلال التحقق من مستوى صعوبة طريقة التقييم عن طريقاختبارها مسبقًاعلى ما لا يقل عن 10 أشخاص.
4)جمع البيانات السابقة للتدخل إما من مجمل السكان المستهدفين أو من عينة تمثيلية، حسب الاقتضاء.
5)جمع البيانات بعد التدخل. يُفضلتكرار عملية جمع البيانات مباشرة بعد التدخل، وإذا أمكن، مرة أخرى في مرحلة لاحقة لتقييم مدى استيعاب المشاركين للمعلومات. تأكد من أن المشاركين قد أتيح لهم الوقت الكافي لاستيعاب أو تطبيق ما تعلموه. يجب تقييم نفس الأفراد في جميع نقاط القياس للسماح بإجراء مقارنة على المستوى الفردي بين نتائج ما قبل التدخل وما بعده.
6)تقييم النتائج على مستوى المشاركين. حساب عدد المشاركين الذين بلغوا الحد الأدنى المطلوب لزيادة المعرفة و/أو المهارات المحددة في الخطوة 3.
7) لحساب قيمة المؤشر، يُقسم عدد المشاركين الذين يستوفون الحد الأدنى المحدد لزيادة المعرفة/المهارة على إجمالي عدد المشاركين الذين خضعوا للتقييم. ثم تُضرب النتيجة في 100 لتحويلها إلى نسبة مئوية.
التفصيل حسب
يمكن تصنيف البيانات تصنيفها حسب الجنس، والفئة العمرية، والمنطقة الجغرافية، و/أو الخصائص الأخرى ذات الصلة (مثل نوع التدريب أو موضوعه، والمنظمات المستهدفة)، اعتمادًا على سياق مشروعك ومجاله.
ملاحظات مهمة
1) عند إجراء المسح على عينة بدلاً من المجموعة المستهدفة بأكملها، تأكد من أن حجم العينة كبير بما يكفي لمراعاة التناقص في مرحلة التقييم النهائي، حيث قد لا يكون جميع المستجيبين في مرحلة التقييم الأولي متاحين في تلك المرحلة. وهذا يساعد على ضمان أن يظل التقييم اللاحق للتدخل ممثلاً (بحيث يظل حجم العينة كبيرًا بما يكفي)، كما يتيح جمع البيانات من نفس المستجيبين في كل من قياسات المرحلة الأولية والمرحلة النهائية.
2) إذا كنت تنوي قياس كل من المعرفة والمهارات، فقد لا يكون الاعتماد على الاختبارات التمهيدية والنهائية وحده كافياً. وقد يكون من الضروري اللجوء إلى أساليب إضافية، مثل الملاحظة أو تقييم الأداء العملي، من أجل قياس الزيادة في المهارات بشكل ملائم.
3) توصي الخطوات المنهجية المذكورة أعلاهبجمع بيانات ما قبل التدخل وما بعده لتحديد مدى تحسن (أو عدم تحسن) معرفة و/أو مهارات المستجيبين. ومع ذلك، في الحالات التي يكون فيها جمع البيانات الأساسية غير ممكن أو يكون إجراء الاختبارات قبل وبعد التدخل غير مناسب للفئة المستهدفة، يمكن استخدام استمارة تقييم قائمة على الذاكرة كبديل. وقد تتضمن هذه الاستمارات أسئلة افتراضية أو أسئلة تتعلق بالخط الأساسي، على سبيل المثال:
إلى أي مدى ترى أن الدعم الذي قدمته [ حدد المنظمة/الجهة الفاعلة] قد أثر على معرفتك بـ [ حدد الموضوع]؟
هل اكتسبت أي مهارات أو معارف لم تكن تمتلكها من قبل؟
يمكن استخدام مجموع النقاط المستمد من عدة أسئلة من هذا النوع لتعريف «زيادة المعرفة و/أو المهارة». كما أن نموذج التقييم هذا مفيد أيضًا في جمع الملاحظات من أجل تحسين التدخلات.
ينبغي التعامل مع المناهج القائمة على الذاكرة باعتبارها الخيار الثاني الأفضل، ولا ينبغي استخدامها إلا عندما يتعذر جمع البيانات الأساسية، حيث إن التحيز الناتج عن الذاكرة والتحيز الناجم عن الرغبة في إرضاء المجتمع يمكن أن يؤدي إلى تضخيم النتائج، لا سيما في سياقات التدريب الممولة من الجهات المانحة. ولذلك، ينبغي تفسير النتائج المستمدة من الأساليب القائمة على الذاكرة على أنها تغيير متصور، وليس تغييرًا مقاسًا.
4) إذا كان مشروعك يهدف إلى قياس ما إذا كانت الفئة المستهدفة تتمتع بمستوى معين من المعرفة و/أو المهارات — بدلاً من قياس مدى تحسنها بمرور الوقت — فاستخدم المؤشر النسبة المئوية لـ [حدد الفئة المستهدفة] التي تمتلك المعرفة/المهارات المطلوبة في [حدد الموضوع] بدلاً من ذلك. وتتمثل ميزة هذا النهج في أنك لست بحاجة إلى جمع بيانات خط الأساس والمتابعة من نفس المستجيبين.
5) حدد ما إذا كنت تريد قياس الأثر المباشر لنشاط يتم مرة واحدة (مثل مظاهرة) أم الأثر الناجم عن عملية تعليمية أطول (مثل سلسلة من عدة دورات تدريبية على مدى فترة زمنية معينة).
6)في حالة استخدام التقييم الذاتي، يجب التحقق من صحتها من خلال مراجعة خارجية للحد من التحيز. اطلب من المدربين أو الزملاء مراجعة ما إذا كان المشاركون قادرين على إثبات المعرفة أو المهارات التي قاموا بتقييم أنفسهم بناءً عليها. تضمن خطوة التحقق هذه أن تعكس النتائج التعلم الفعلي بدلاً من التصورات الذاتية.
7) إن أمكن،قم بإجراء «التقييم اللاحق» مرتين: مرة واحدة فور الانتهاء من نشاط «تعزيز القدرات» (لإظهار ما تم تعلمه على الفور)؛ ثم بعد ذلك بشهر إلى شهرين (لإظهار المعرفة و/أو المهارات التي يتذكرها المشاركون فعليًّا وقد يستخدمونها). ومع ذلك،لا يلزم أن تقتصر التقييمات على نشاط واحد فقط(مثل التدريب) —بليمكن إجراؤها خلال المسوحات الأولية والنهائية، لتقييم التغيير الإجمالي في المعرفة و/أو المهارات المحددة لدى الفئة المستهدفة.
8) استنادًا إلى تحليلكم المتعلق بإمكانية الوصول والمنظور الجنساني، قوموا بتقييم ما إذا كانت هناك حاجة إلى تدابير إضافية لضمان إجراء تقييم عادل ودقيق لجميع المشاركين في الاستطلاع، واتخاذ هذه التدابير عند الضرورة. وقد تشمل هذه التدابير توفير صيغ متعددة لجمع البيانات (مكتوبة أو شفوية أو رقمية) لتلبية احتياجات ذوي القدرات المختلفة؛ وضمان خلو أماكن التقييم من العوائق؛ والسماح بمرونة في المواعيد للمشاركين الذين يحتاجون إلى ذلك؛ والسماح باستخدام التطبيقات أو البرامج المساعدة؛ وتوفير مواد داعمة مثل النصوص المطبوعة بخط كبير أو الوسائل البصرية. استخدم لغة وأمثلة محايدة جنسانياً في جميع الأسئلة، وقم بتصنيف النتائج وتفسيرها حسب النوع الاجتماعي لتحديد ما إذا كانت الفتيات/الشابات، أو الفتيان/الشبان، أو الشباب غير الثنائيي النوع الاجتماعي يواجهون نتائج تعليمية مختلفة أو عوائق مختلفة.
9) إذا كان ذلك مناسبًا، فكر في سؤال المشاركين عن المكان الذي اكتسبوا فيه تلك المعرفة/المهارات. فقد يساعدك ذلك على فهم مدى مساهمة تدخلك.
10) إن أمكن، أضف أسئلة لجمع تعليقات حول فائدة برنامج تعزيز القدرات ومدى ملاءمته. واستخدم النتائج لتحسين التدخلات.
11) تعزيز التعلم والمساءلة، ومشاركة نتائج التقييم مع المشاركين حيثما أمكن ذلك وحيثما كان ذلك مناسبًا، واستخدامها لتحسين مبادرات تنمية القدرات في المستقبل.