دکتر محمدرضا عاطفی

عضو هیات علمی دانشگاه 
مشاور استراتژی 

آزمون و صحه‌گذاری 

• آزمون‌های ساختار مدل

1. آزمون تصدیق ساختار
2. آزمون تصدیق پارامتر
3. آزمون شرایط حدی
4. آزمون کفایت مرزی
5. آزمون سازگاری ابعاد 

• آزمون‌های رفتار مدل

1. آزمون بازتولید رفتار
2. آزمون ناهنجاری رفتاری
3. آزمون حساسیت رفتاری
4.  آزمون خطای انتگرال گیری
5. آزمون اعضای خانواده
6. آزمون رفتار غافلگیرکننده

• آزمون‌های پیامد سیاست و استراتژی

1. آزمون پیش بینی رفتار تغییر یافته
2. آزمون حساسیت سیاست

• مراجع

آزمون‌ کفایت مرزی

مقدمه

آزمون کفایت مرزی مناسب بودن مرز مدل را با هدف مورد نظر ارزیابی می‌کند. اولین قدم این است که تعیین کنید مرز چیست. ابزارهای مفید برای این منظور شامل نمودارهای مرزی مدل و نمودارهای زیرسیستم است. اگر مدلساز اینها را ارائه نمی‌کند، باید مدل خود را با بازرسی مستقیم معادلات بسازد. معادلات مدل را برای ورودی‌های برون زا تحلیل کنید تا تأیید کنید که لیست متغیرهای برون زا کامل است. به یاد داشته باشید که همه ثابت‌ها برونزا هستند اما در واقع ممکن است در طول افق زمانی متغیر باشند. شما باید نمودارهای مدل را بررسی کنید، یا نمودارهای علی را از معادلات مدل بسازید تا ثابت‌هایی را که به درستی ممکن است متغیر باشند در مدل از ثابت به متغیر تبدیل کنید.

هنگامی که مرز مدل مشخص شد، بررسی کنید که آیا حلقه‌های بازخوردی بالقوه مهمی از مدل حذف شده است یا خیر. البته لیست مفاهیم و متغیرهای حذف شده بی نهایت است. نگرانی شما باید این باشد که آیا حلقه‌های بازخوردی حذف شده از مدل، ممکن است با توجه به هدف مدل مهم باشد یا خیر. مصاحبه با کارشناسان کلیدی و کارشناسان خارجی، بررسی ادبیات و مطالب آرشیوی مربوطه، و تجربه مستقیم ممکن است برخی از فرآیندهایی را نشان دهد که شاید باید درونزا شوند. یک فرضیه پویا بسازید که نشان دهد چگونه گنجاندن حلقه بازخوردی کاندید ممکن است پویایی یا پیامدهای خط مشی مدل را تغییر دهد. اگر بررسی داده‌ها نشان می‌دهد که ساختار جدید ممکن است مهم باشد، باید آن را به مدل اضافه کنید و تأثیرات آن را بر رفتار بررسی کنید (نه تنها برای حالت پایه، بلکه برای طیف گسترده‌ای از آزمون‌های حساسیت).

اگر یک ساختار اضافی تأثیر قابل توجهی بر رفتار یا پیامدهای سیاست یا استراتژی مدل داشته باشد، باید به مدل اضافه شود. اگر تاثیری نداشته باشد، می‌توانید آن را حذف کنید تا مدل شما کوچک‌تر و راحت‌تر توضیح داده شود یا اگر اعتماد تصمیم گیرندگان به مدل با وجود آن ممکن است بیشتر شود، آن را حفظ کنید.

در نهایت آزمون کفایت مرزی می‌پرسد که آیا تجمیع و کلیت مدل مناسب است یا نه و آیا یک مدل شامل تمام ساختارهای مربوطه است یا خیر.

هنگامی که مرز مدل ایجاد شد، لازم است بررسی شود که آیا تمام حلقه‌های بازخوردی دیده شده است یا خیر. اگر حلقه بازخوردی از قلم افتاده است که تأثیر قابل توجهی بر سیستم دارد باید به آن اضافه شود. در اصل، مدل باید شامل تمام متغیرها و حلقه‌های بازخوردی باشد که بر پویایی یا پیامدهای سیاست و استراتژی مدل تأثیر می‌گذارد و بخشی از کل سیستم مورد مطالعه می‌باشد.

هدف مدل

• آیا مفاهیم مهم برای پرداختن به مسئله در قالب عوامل درون زا در مدل تعریف شده اند؟
• آیا وقتی مفروضات مرزی حذف می‌شوند، رفتار مدل به طور قابل توجهی تغییر می‌کند؟
• با گسترش مرز مدل، آیا سیاست‌ها و استراتژی‌ها تغییر می‌کنند؟

ابزارها و روش‌های اجرایی

• از نمودارهای زیر استفاده کنید:
  • مرزی مدل،
  • نمودارهای زیرسیستم،
  • نمودارهای علّی،
  • نقشه‌های حالت و جریان
  • بررسی مستقیم معادلات
• از روش‌های زیر در فرآیندهای سیستم و غیره استفاده کنید:
  • مصاحبه‌ها،
  • کارگاه‌های آموزشی برای جلب نظر کارشناسان،
  • مطالب بایگانی شده،
  • بررسی ادبیات،
• مدل را برای گنجاندن ساختار اضافی قابل قبول اصلاح کنید. ثابت‌ها و متغیرهای درون زا را برون زا کنید، سپس حساسیت و تحلیل سیاست را تکرار کنید.

مثال: مدل فرضیات مرزی در بحث نفتا

یک مثال کلاسیک که استرمن آن را مطرح می‌کند می‌تواند به خوبی اثر این آزمون را نشان دهد.

در طول بحثهای نمایندگان کنگره در مورد توافقنامه تجارت آزاد آمریکای شمالی (NAFTA)،  حامیان نفتا استدلال می‌کردند که تجارت آزاد درآمد و استاندارد زندگی همه شرکای تجاری را افزایش می‌دهد. تئوری سنتی مزیت نسبی اقتصادی مطرح می‌کند که هر دو طرف منافع تجاری دارند، زیرا هر کدام می‌توانند به جای تولید همه کالاها و خدماتی که مصرف می‌کنند که ممکن است حتی در بعضی از آنها کارایی پایین‌تری داشته باشند، آنچه را که در آن بهترین هستند را تولید کنند و با بقیه تجارت کنند. با این حال، مخالفان نفتا استدلال می‌کردند که شرکت‌ها، سرمایه‌ها را از ایالات متحده، با دستمزدهای بالا و مقررات زیست‌محیطی نسبتاً سخت‌گیرانه، به مکزیک منتقل می‌کنند و مشاغل ایالات متحده را از بین می‌برند و به محیط زیست آسیب می‌رسانند. آنها استدلال می‌کردند که جابجایی سرمایه منجر به “مسابقه‌ای به سمت دسمتزد پایین” می‌شود که در نهایت باعث کاهش دستمزدها، استانداردهای ایمنی و کیفیت زیست محیطی می‌شود زیرا کشورهای مختلف برای تصاحب کارخانه‌ها و مشاغل با هم رقابت می‌کنند.

ده‌ها مدل اقتصادسنجی و سری زمانی برای پیش‌بینی اثرات نفتا بر سلامت اقتصادهای ایالات متحده، کانادا و مکزیک و نتایج آن‌ها برای بررسی استدلال‌های موجود استفاده شد. اکثریت قریب به اتفاق این مدل‌ها بیان می‌کنند که نفتا برای هر سه اقتصاد، با هزینه‌های کم یا بدون هزینه، یک موهبت خواهد بود. این مدل‌ها برای بحث در مورد اینکه نگرانی‌ها در مورد فرار سرمایه از ایالات متحده نابجا بود، استفاده شد.

دفتر بودجه کنگره (1993) 19 مدل مورد استفاده برای پیش بینی تاثیر نفتا را بررسی کرد. از 19 مدل، 14 مدل اصلاً جریان‌های سرمایه گذاری را در نظر نگرفتند. از پنج نفری که این کار را کردند، چهار نفر فرض کردند که هیچ تاثیری بر سرمایه گذاری ایالات متحده نخواهد داشت. تلویحاً، آنها فرض کردند که تمام سرمایه گذاری‌های ناشی از نفتا در مکزیک از کشورهایی غیر از ایالات متحده انجام می‌شود. مطالعه‌ای که سرمایه‌گذاری را به‌طور درون‌زا بررسی می‌کرد به این نتیجه رسید که نفتا 2.5 میلیارد دلار در سال سرمایه‌گذاری را از ایالات متحده به مکزیک منتقل می‌کند و در نتیجه حدود 375000 شغل در ایالات متحده را طی 5 سال از بین می‌برد.

با پیروی از روش‌های استاندارد از زمان اسمیت و ریکاردو، اکثر مدل‌سازان نفتا تصور می‌کردند که سرمایه و نیروی کار ثابت و بی‌تحرک هستند. کالاها بین کشورها از طریق تجارت جریان داشت اما این تصور سنتی وجود داشت که سرمایه و نیروی کار نمی‌توانند منتقل شوند. تئوری مزیت نسبی با این مفروضات کار می‌کند. اما وقتی سرمایه متحرک باشد، مزیت نسبی دیگر عمل نمی‌کند زیرا کسب و کارها در مکانی قرار می‌گیرند که بیشترین مزیت مطلق را دارد. با فرض اینکه سرمایه غیرمتحرک است مدل‌های آنها، بازخوردهای مهمی را از مرز مدل حذف کرد، بازخوردهایی که نتیجه تحلیل سیاست را تغییر داد.

این بحث به این دلیل نیست که نفتا یک اشتباه بوده است. نکته این است که نتایج مدل‌ها به مفروضات مرزی بستگی دارد که حداقل مشکوک بوده و قطعاً توسط مدل‌سازان به صراحت بیان نشده است. هیچ یک از مدل‌ها به طور درونزا تأثیر بر مهاجرت غیرقانونی و قانونی، تأثیرات توسعه مرزها بر کیفیت محیط زیست، تقاضای آب، الگوهای جمعیتی و غیره را تحلیل نکردند. پارتیزان‌ها (از هر دو طرف) مدل‌هایی را توسعه دادند که با دیدگاه‌های سیاسی خود سازگار بود و فرضیات خود را برای بررسی در دسترس قرار ندادند. در بحث بر سر نفتا، مانند اغلب کارها در سیاست‌های عمومی و دولتی، مدل‌ها صادقانه به‌عنوان ابزار تحقیق برای ایجاد تفاهم مشترک مورد استفاده قرار نگرفتند، بلکه به‌عنوان ابزاری برای شکست طرف مقابل مورد استفاده قرار گرفتند.

مقدمه

دومین آزمون تصدیق ساختار، آزمون تأیید پارامتر است و به معنای ارزیابی پارامترهای ثابت در برابر دانش سیستم‌های واقعی از نظر مفهومی و عددی است. هر ثابت (و متغیر) باید معنا و مصداق واقعی داشته باشد. برای این کار می‌توان از تخمین آماری استفاده کرد و یا از تخمین قضاوتی بهره برد. ممکن است برای تخمین پارامترها از اقتصادسنجی، سری زمانی یا روش‌های دیگر نیز استفاده کرد.

انتخاب مقادیر اولیه مناسب برای معادلات متغیر حالت، مقادیر ثابت‌ها و توابع جدول ارتباط مستقیمی با منطق مدل دارد و مقادیر باید بر اساس داده‌های منتشر شده از منابع معتبر باشد. نرم‌افزارهای کامپیوتری اکنون برای تخمین و توجیه مقادیر دقیق پارامترها به گونه‌ای که بتوانند رفتار مورد انتظار سیستم را تولید کنند در دسترس هستند. راستی‌آزمایی یا تصدیق ساختار و تصدیق پارامتر به هم مرتبط هستند و هر دو آزمون هدف اصلی یکسانی دارند.

هدف مدل

• آیا مقادیر پارامترها با دانش توصیفی و عددی مربوط به سیستم سازگار است؟
• آیا همه پارامترها مشابه دنیای واقعی دارند؟

ابزارها و روش‌های اجرایی

• از روش‌های آماری برای تخمین پارامترها استفاده کنید (گستره وسیعی از روش‌های موجود).
• از آزمون‌های مدل جزئی برای کالیبره کردن زیرسیستم‌ها استفاده کنید.
• از روش‌های قضاوتی مبتنی بر مصاحبه، نظر متخصص، گروه‌های متمرکز، مطالب آرشیوی، تجربه مستقیم و غیره استفاده کنید.
• برای تخمین روابط در مدل‌های بزرگتر ، زیرمدل‌های تفکیک‌شده را توسعه دهید.

قبل از تصمیم گیری در مورد اینکه یک پارامتر چگونه باید تخمین زده شود یا اینکه آیا مقدار آن معقول است، مطمئن شوید که هر ثابت (و متغیر) معنای واقعی و واضحی دارد. سپس باید تصمیم بگیرید که چگونه مقادیر هر پارامتر را تخمین بزنید. روش اصلی عبارت است ازتخمین آماری از داده‌های عددی یا تخمین قضاوتی است.

برآورد مقادیر پارامترها از داده‌های عددی به‌ویژه  از روش اقتصادسنجی بسیار رایج است. به مدل‌سازان دینامیک سیستم توصیه می‌شود که اقتصادسنجی و سایر رویکردهای تخمین پارامترها را مطالعه کنند. دانستن اینکه تکنیک‌های رگرسیون چگونه کار می‌کنند، فرضیه‌ها و محدودیت‌های آنها چیست و این که هر ابزاری چه زمانی مناسب است برای مدلسازان دینامیک امری ضروری است. فرضیه‌ها، مفروضاتی در مورد داده‌ها و مدل هستند که برای استفاده از تکنیک برآورد جهت ارائه نتایج قابل اعتماد و دقیق نیاز می‌باشد. رایج ترین روش، رگرسیون چندگانه با حداقل مربعات معمولی (OLS)، اغلب در مدل‌های دینامیکی مناسب نیست. برآوردهای OLS در حضور همخطی (جایی که متغیرهای سمت راست به طور متقابل همبستگی دارند)، خودهمبستگی (که متغیر وابسته به مقادیر گذشته خودش بستگی دارد، یعنی جایی که بازخورد وجود دارد) و ناهمسانی (جایی که در آن واریانس متغیرها در سراسر نمونه ثابت نیست) دقیق نیستند. ما برای این کار از سایر روش‌های برآورد ساده تر و قوی‌تر در دسترس استفاده می‌کنیم مانند حداکثر احتمال maximum likelihood و GLS (حداقل مربعات تعمیم‌یافته) تا روش‌های پیچیده‌ای مانند فیلتر کالمن. هر روشی نقاط قوت و ضعف خود را دارد. باید ساده‌ترین روشی را انتخاب کرد که با ساختار بازخورد مدل و ویژگی‌های آماری داده‌ها مناسب باشد. در عین حال، محدودیت‌های موجود بر روی داده‌های عددی به این معنی است که اغلب غیرممکن است که بتوان همه پارامترهای یک مدل را تخمین زد.

همچنین برای تخمین قضاوتی پارامترها باید استفاده از نظرات متخصصین، مطالب بایگانی، تجربه مستقیم، و روش‌های دیگر را توسعه داد.  پارامترها را نیز می‌توان با ایجاد یک مدل فرعی تفکیک شده تخمین زد. در عمل، روش‌های آماری و قضاوتی با هم استفاده می‌شوند. دانش واقعی سیستم، محدوده قابل قبول را برای بسیاری از پارامترها محدود می‌کند. تخمین آماری روشی برای کنترل و چک کردن برآوردهای قضاوتی فراهم می‌کند.

در یک مدل بزرگ معمولاً برآورد همه پارامترهای بحرانی به طور همزمان غیرعملی است. حتی در صورت امکان، تخمین همزمان می‌تواند منجر به مشکلاتی شود، زیرا مدل‌های بزرگ اغلب کمتر از حد تصور امکان تعریف جزییات را دارند (به این معنی که حتی یک مجموعه از مقادیر پارامترها نمی‌تواند به شکل مناسبی نماینده تمام داده‌های جامعه باشد. در این موارد برآوردهای قضاوتی مبتنی بر دانش سیستم در انتخاب پارامترها معقول است.

برای تخمین پارامترها می‌توان در سطح جزئی از مدل یا در سطح زیر سیستم نیز استفاده کرد. همانند آزمون مدل جزئی برای بررسی منطقی بودن، مدل ساز یک ساختار کلیدی یا قانون تصمیم را به صورت مجزا تحلیل کرده و حلقه‌های بازخوردی آن را به کل مدل تعمیم می‌دهد. در این رویکرد ورودی‌های هر قاعده تصمیم‌گیری یا فرمول‌بندی براساس داده‌های تاریخی واقعی تعریف می‌شوند و پارامترها (به صورت قضاوتی یا رسمی) تعیین می‌شوند تا خروجی زیرسیستم به بهترین وجه با داده‌های تاریخی مطابقت پیدا کند.

نکته مهم آن است که معنا دار بودن آماری پارامترها، تایید کننده صحت رابطه نیست. معنا دار بودن آماری نشان می‌دهد که یک معادله چقدر با داده‌های مشاهده شده مطابقت دارد. این نشان نمی‌دهد که آیا روابط علی مطابق با واقعیات دنیای واقعی وجود دارد یا خیر. یک رابطه آماری معنی دار بین متغیرها فقط نشان می‌دهد که آنها همبستگی بالایی دارند و احتمالاً همبستگی ظاهری نتیجه تصادفی نیست. ادعای علّی بودن یک رابطه، یک قضاوت ارزشی است که باید با در نظر گرفتن تمام شواهد، عددی و کیفی انجام شود.

معنادار بودن آماری به عنوان آزمون صحه گذاری مدل در رد معادلات توصیف کننده روابط هم کاربرد دارد. اگرچه دلایل مختلفی وجود دارد که ممکن است یک رابطه از نظر آماری معنا دار نباشد، برای مثال داده‌های بسیار کمی وجود داشته باشد یا تنوع داده‌ها کافی نباشد. هنگامی که دانش مستقیم از سیستم نشان می‌دهد که یک رابطه واقعی و مهم است، باید آن را به رسمیت شناخت و برای تخمین مقادیر از قضاوت استفاده کرد.

مثال: برآورد آماری متغیرهای نرم

فرض کنید در یک سیستم خدماتی به دنبال تعیین پارامترهای کیفیت خدمات هستیم. می‌توانیم زمان اختصاص داده شده به هر مشتری را از طریق داده‌های گذشته و به شکل آماری برآورد کنیم. طبیعی است که این زمان یک متغیر تصادفی است. و زمان صرف شده برای هر مشتری دقیقا یکسان نیست. طبیعتا زمان صرف شده با هر مشتری با قضاوت مشتریان در مورد کیفیت خدمات ارتباط زیادی دارد. اما نکته قابل تامل این است که زمانی که بار کاری بالا می‌رود زمان صرف شده و در نتیجه کیفیت خدمات کاهش می‌یابد و این تبدیل به عادت می‌شود در نتیجه هنگامی که حجم کاری هم کم می‌شود ممکن است زمان صرف شده برای مشتری افزایش نیابد. بنابراین این داده‌ها نامتقارن هستند. تحلیل بیشتر ممکن است نشان دهد که سازمان هیچ ابزاری برای نظارت بر رضایت مشتری و بازخورد آن به مدیران ندارد. هر زمان که بار کاری زیاد می‌شد، کارگران زمان صرف شده با هر مشتری را کاهش می‌دادند تا کارهای عقب مانده را جبران کنند. در این صورت مدیران بدون داشتن روشی برای اندازه گیری کاهش رضایت مشتران ممکن است کاهش زمان و در نتیجه افت کیفیت را به عنوان بهبود بهره وری تفسیر کنند. بنابراین برآورد آماری ترکیبی از روش‌های تخمین پارامترهای به شیوه آماری و قضاوتی، کار میدانی و تجزیه و تحلیل داده‌های تاریخی، درک دقیق تر و مطمئن تری از پویایی سازمان نسبت به هر روش به تنهایی است.

مثال: توسعه یک زیرمدل

گاهی تخمین پارامترهای مدل کار بسیار سختی خواهد بود. هم به این دلیل که به دلیل گستردگی فعالیت‌ها جمع آوری داده‌ها ممکن است غیر ممکن باشد و یا پیشینه تاریخی از آن پارامتر وجود نداشته باشد. بنابراین می‌توانیم مدل را در یک سطح کوچک که می‌تواند محدودیت جغرافیایی، دامنه فعالیت، کارهای محدودتر، مشتریان هدف و یا غیره باشد طراحی می‌کنیم و پارامترهای مدل را برآورد می‌کنیم و سپس با توجه به خطها آن را به کل تعمیم می‌دهیم.