دکتر محمدرضا عاطفی

عضو هیات علمی دانشگاه 
مشاور استراتژی 

آزمون و صحه‌گذاری 

• آزمون‌های ساختار مدل

1. آزمون تصدیق ساختار
2. آزمون تصدیق پارامتر
3. آزمون شرایط حدی
4. آزمون کفایت مرزی
5. آزمون سازگاری ابعاد 

• آزمون‌های رفتار مدل

1. آزمون بازتولید رفتار
2. آزمون ناهنجاری رفتاری
3. آزمون حساسیت رفتاری
4.  آزمون خطای انتگرال گیری
5. آزمون اعضای خانواده
6. آزمون رفتار غافلگیرکننده

• آزمون‌های پیامد سیاست و استراتژی

1. آزمون پیش بینی رفتار تغییر یافته

2. آزمون حساسیت سیاست

• مراجع

آزمون‌ حساسیت سیاست

مقدمه

محققان و تصمیم گیرندگان باید تصمیم خود را در مورد اینکه کجا باید تلاش خود را برای بهبود سیاست‌ها متمرکز کنند، تصمیم بگیرند. هنگامی که بهبود سیاست هدف مورد نظر باشد، مسئله حساسیت سیاست مطرح می‌شود، اگرچه ممکن است به عنوان چنین موضوعی شناخته نشود. چه نوع محققی باید درگیر باشد؟ چه مکانیسم‌هایی را باید در مدل‌های رسمی و ذهنی گنجاند یا کنار گذاشت؟ برای کدام روابط و پارامترها باید به دنبال داده‌های بهتر و برآوردهای با کیفیت بالاتر بود؟ بهترین پاسخ به این سوالات با تحلیل حساسیت سیاستی است.

شکل سنتی و متداول تحلیل حساسیت در دینامیک سیستم، تغییر مفروضات مدل و مشاهده چگونگی تغییر رفتار است. در شاخه تحقیق در عملیات با استفاده از بهینه‌سازی، تحلیل حساسیت برای تغییر مفروضات مدل و مشاهده چگونگی تغییر سیاست‌های بهینه است. برای جلوگیری از سردرگمی بین این دو نوع حساسیت، از اصطلاحات حساسیت رفتاری و حساسیت سیاست استفاده می‌شود که مورد دوم در اینجا مورد توجه قرار می‌گیرد. حساسیت سیاست زمانی وجود دارد که تغییر در مفروضات تأثیرات یا مطلوبیت یک سیاست پیشنهادی را معکوس کند. به عنوان مثال، زمانی که یک مجموعه از مفروضات باعث عرضه پایدار روغن پالم می‌شود، در حالی که دیگری این کار را نمی کند، مدل حساسیت سیاستی را نشان می‌دهد. اگر یک تغییر سیاست خاص بدون توجه به تغییر در یک پارامتر حساس همیشه باعث بهبود می‌شود، توصیه سیاست تحت تأثیر قرار نمی گیرد. به عنوان مثال، زمانی که هر دو مجموعه از مفروضات سیاست باعث بهبود امنیت غذایی می‌شوند، مدل عدم حساسیت سیاست را نشان می‌دهد. این دو بیانیه به وضوح از حساسیت نتیجه سیاست‌های خاص به پارامترهای نامشخص حمایت و تأکید می‌کنند. برای تمایز دو نوع تحلیل حساسیت، حساسیت نتیجه سیاست دوم را مشخص می‌کنیم.

تحلیل حساسیت پیامد سیاست زمانی مناسب ترین نوع تحلیل است که عدم قطعیت در مورد مفروضات پارامتر وجود دارد. این نوع تجزیه و تحلیل را می‌توان به گونه‌ای گسترش داد که ریسک را نیز شامل شود. حساسیت سیاستی که ما در اینجا روی آن تمرکز می‌کنیم، مناسب ترین برای هدف ساختن مدل است. چه پارامترهایی برای توصیه‌های سیاست مهم هستند و نیاز به تجزیه و تحلیل کامل دارند؟ چه ساده سازی‌ها و تجمیع‌هایی برای سیاست‌ها مهم است؟

از منظر عملی تر، اگر سیاست ساده شده بهترین کاری باشد که می‌توان انجام داد، یا نوع سیاستی است که در عمل استفاده می‌شود، در این صورت سوگیری کمتر مورد توجه قرار می‌گیرد. سپس به خودی خود جالب است که ببینیم چگونه سیاست عملی بهینه شده با تغییرات در مفروضات مدل متفاوت است. از آنجایی که نشان داده می‌شود که یک مشکل به پارامترهای نامشخص حساس نیست، اعتماد تصمیم‌گیرندگان به فرمول‌بندی مشکل افزایش می‌یابد و به همین ترتیب احتمال اجرای برخی اقدامات اولیه سیاست افزایش می‌یابد. که این نوع تحلیل در مدیریت منابع تجدیدپذیر مورد نیاز است، به عنوان مثال. شیلات، با تأخیرهای طولانی در اجرای سیاست‌های مناسب و آزمایش‌های آزمایشگاهی نشان‌دهنده گرایش به سمت درک نادرست است.

ما با مشکل اعتبارسنجی مدل شروع می‌کنیم، جایی که یک چالش اصلی انتخاب بین تعداد بالقوه زیادی از مدل‌هایی است که آزمون‌های جعل را پشت سر می‌گذارند. تحلیل حساسیت سیاست کمک مستقیمی به این انتخاب نمی کند. با این حال، می‌توان از آن برای یافتن اینکه آیا انتخاب مدل پیامدهای سیاستی دارد یا خیر، استفاده کرد. اگر اینطور نیست، عدم قطعیت باقیمانده بیشتر مورد علاقه دانشگاهی است.

این یک بینش بالقوه مهم است زیرا یک بحث داغ «آکادمیک» در مورد درستی مدل‌ها می‌تواند بحث سیاست‌گذاری را سردرگم کند. در اصل، تحلیل حساسیت سیاست حتی می‌تواند برای بررسی اهمیت مفروضات پیشینی اجتناب‌ناپذیر رشته‌های مختلف مورد استفاده قرار گیرد. اگر رشته‌های مختلف خط‌مشی‌های متفاوتی را تجویز می‌کنند، می‌توان از تحلیل‌های حساسیت خط‌مشی برای شناسایی علل اختلاف نظر و هدایت تلاش‌های اعتبارسنجی بیشتر به سمت علل شناسایی‌شده استفاده کرد.

بعد، ما تجمیع مدل را در نظر می‌گیریم. در اصل، تجمیع یک مشکل بسیار چالش برانگیز است. اکثر مدل‌های پویایی سیستم به تجمیع افراد، منابع، ادراکات و غیره متوسل می‌شوند. از سوی دیگر، در مدل‌های دینامیکی غیرخطی، تجمیع به جز در موارد بسیار خاص منجر به خطاهای مدل می‌شود. به همین دلیل، کریسیاک و کریسیاک استدلال می‌کنند که «اقتصاد زیست‌محیطی و همچنین سایر زمینه‌های اقتصاد ممکن است از استفاده از مدل‌های پیچیده‌تر سود ببرند». از سوی دیگر، افزایش پیچیدگی از نظر تلاش برای اعتبارسنجی، تحلیل و توضیح مدل‌ها هزینه دارد. تجزیه و تحلیل حساسیت سیاست می‌تواند برای شناسایی سطح تجمیع مناسب برای سیاست‌ها استفاده شود.

در نهایت، آزمون حساسیت سیاست میزان استحکام رفتار مدل و توصیه‌های سیاست را نشان می‌دهد. چنین آزمایشی می‌تواند به نشان دادن عدم قطعیت در مقادیر پارامتر کمک کند. در بدترین حالت، تغییر پارامتر می‌تواند سیاست‌های توصیه شده ارائه شده را باطل کند. با این حال، توصیه‌های سیاست احتمالاً تحت تأثیر عدم قطعیت در پارامترها قرار نمی گیرند.

به طور خلاصه، آزمایش‌های ایجاد اطمینان در مدل‌های دینامیک سیستم باید در چند توالی منطقی انجام شود و تنها در صورتی باید یک مرحله را به مرحله بعدی منتقل کنیم که بتوانیم اطمینان کافی را در مرحله فعلی ایجاد کنیم. توالی منطقی مراحل رسمی اعتبارسنجی مدل که توسط بارلاس (1996) پیشنهاد شده است، اصول اعتبارسنجی مدل‌های دینامیک سیستم را برای ایجاد اعتماد در مدل‌های دینامیک سیستم در بر می‌گیرد. زمانی که مدل از آزمون‌های ساختاری عبور کرد، باید آزمایش‌های الگوی رفتاری را شروع کنیم. اگر مدل از آزمون‌های ساختاری مستقیم و غیرمستقیم عبور کند، اما در آزمون‌های الگوی رفتاری شکست بخورد، باید پارامتر و/یا تابع ورودی مشخصی را مجدداً برآورد کنیم.

هدف مدل

• آیا پیامدهای خط مشی به طور قابل توجهی تغییر می کند؟ . . . .
• چه زمانی مفروضات در مورد پارامترها، مرز و تجمیع در محدوده قابل قبول تغییر می کند؟

ابزارها و روش‌های اجرایی

• از روش‌های بهینه‌سازی برای یافتن ترکیبات پارامترهایی که نتایج غیرقابل قبولی ایجاد می‌کنند یا نتایج سیاست معکوس می‌کنند، استفاده کنید.

مثال

مقدمه

دومین آزمون تصدیق ساختار، آزمون تأیید پارامتر است و به معنای ارزیابی پارامترهای ثابت در برابر دانش سیستم‌های واقعی از نظر مفهومی و عددی است. هر ثابت (و متغیر) باید معنا و مصداق واقعی داشته باشد. برای این کار می‌توان از تخمین آماری استفاده کرد و یا از تخمین قضاوتی بهره برد. ممکن است برای تخمین پارامترها از اقتصادسنجی، سری زمانی یا روش‌های دیگر نیز استفاده کرد.

انتخاب مقادیر اولیه مناسب برای معادلات متغیر حالت، مقادیر ثابت‌ها و توابع جدول ارتباط مستقیمی با منطق مدل دارد و مقادیر باید بر اساس داده‌های منتشر شده از منابع معتبر باشد. نرم‌افزارهای کامپیوتری اکنون برای تخمین و توجیه مقادیر دقیق پارامترها به گونه‌ای که بتوانند رفتار مورد انتظار سیستم را تولید کنند در دسترس هستند. راستی‌آزمایی یا تصدیق ساختار و تصدیق پارامتر به هم مرتبط هستند و هر دو آزمون هدف اصلی یکسانی دارند.

هدف مدل

• آیا مقادیر پارامترها با دانش توصیفی و عددی مربوط به سیستم سازگار است؟
• آیا همه پارامترها مشابه دنیای واقعی دارند؟

ابزارها و روش‌های اجرایی

• از روش‌های آماری برای تخمین پارامترها استفاده کنید (گستره وسیعی از روش‌های موجود).
• از آزمون‌های مدل جزئی برای کالیبره کردن زیرسیستم‌ها استفاده کنید.
• از روش‌های قضاوتی مبتنی بر مصاحبه، نظر متخصص، گروه‌های متمرکز، مطالب آرشیوی، تجربه مستقیم و غیره استفاده کنید.
• برای تخمین روابط در مدل‌های بزرگتر ، زیرمدل‌های تفکیک‌شده را توسعه دهید.

قبل از تصمیم گیری در مورد اینکه یک پارامتر چگونه باید تخمین زده شود یا اینکه آیا مقدار آن معقول است، مطمئن شوید که هر ثابت (و متغیر) معنای واقعی و واضحی دارد. سپس باید تصمیم بگیرید که چگونه مقادیر هر پارامتر را تخمین بزنید. روش اصلی عبارت است ازتخمین آماری از داده‌های عددی یا تخمین قضاوتی است.

برآورد مقادیر پارامترها از داده‌های عددی به‌ویژه  از روش اقتصادسنجی بسیار رایج است. به مدل‌سازان دینامیک سیستم توصیه می‌شود که اقتصادسنجی و سایر رویکردهای تخمین پارامترها را مطالعه کنند. دانستن اینکه تکنیک‌های رگرسیون چگونه کار می‌کنند، فرضیه‌ها و محدودیت‌های آنها چیست و این که هر ابزاری چه زمانی مناسب است برای مدلسازان دینامیک امری ضروری است. فرضیه‌ها، مفروضاتی در مورد داده‌ها و مدل هستند که برای استفاده از تکنیک برآورد جهت ارائه نتایج قابل اعتماد و دقیق نیاز می‌باشد. رایج ترین روش، رگرسیون چندگانه با حداقل مربعات معمولی (OLS)، اغلب در مدل‌های دینامیکی مناسب نیست. برآوردهای OLS در حضور همخطی (جایی که متغیرهای سمت راست به طور متقابل همبستگی دارند)، خودهمبستگی (که متغیر وابسته به مقادیر گذشته خودش بستگی دارد، یعنی جایی که بازخورد وجود دارد) و ناهمسانی (جایی که در آن واریانس متغیرها در سراسر نمونه ثابت نیست) دقیق نیستند. ما برای این کار از سایر روش‌های برآورد ساده تر و قوی‌تر در دسترس استفاده می‌کنیم مانند حداکثر احتمال maximum likelihood و GLS (حداقل مربعات تعمیم‌یافته) تا روش‌های پیچیده‌ای مانند فیلتر کالمن. هر روشی نقاط قوت و ضعف خود را دارد. باید ساده‌ترین روشی را انتخاب کرد که با ساختار بازخورد مدل و ویژگی‌های آماری داده‌ها مناسب باشد. در عین حال، محدودیت‌های موجود بر روی داده‌های عددی به این معنی است که اغلب غیرممکن است که بتوان همه پارامترهای یک مدل را تخمین زد.

همچنین برای تخمین قضاوتی پارامترها باید استفاده از نظرات متخصصین، مطالب بایگانی، تجربه مستقیم، و روش‌های دیگر را توسعه داد.  پارامترها را نیز می‌توان با ایجاد یک مدل فرعی تفکیک شده تخمین زد. در عمل، روش‌های آماری و قضاوتی با هم استفاده می‌شوند. دانش واقعی سیستم، محدوده قابل قبول را برای بسیاری از پارامترها محدود می‌کند. تخمین آماری روشی برای کنترل و چک کردن برآوردهای قضاوتی فراهم می‌کند.

در یک مدل بزرگ معمولاً برآورد همه پارامترهای بحرانی به طور همزمان غیرعملی است. حتی در صورت امکان، تخمین همزمان می‌تواند منجر به مشکلاتی شود، زیرا مدل‌های بزرگ اغلب کمتر از حد تصور امکان تعریف جزییات را دارند (به این معنی که حتی یک مجموعه از مقادیر پارامترها نمی‌تواند به شکل مناسبی نماینده تمام داده‌های جامعه باشد. در این موارد برآوردهای قضاوتی مبتنی بر دانش سیستم در انتخاب پارامترها معقول است.

برای تخمین پارامترها می‌توان در سطح جزئی از مدل یا در سطح زیر سیستم نیز استفاده کرد. همانند آزمون مدل جزئی برای بررسی منطقی بودن، مدل ساز یک ساختار کلیدی یا قانون تصمیم را به صورت مجزا تحلیل کرده و حلقه‌های بازخوردی آن را به کل مدل تعمیم می‌دهد. در این رویکرد ورودی‌های هر قاعده تصمیم‌گیری یا فرمول‌بندی براساس داده‌های تاریخی واقعی تعریف می‌شوند و پارامترها (به صورت قضاوتی یا رسمی) تعیین می‌شوند تا خروجی زیرسیستم به بهترین وجه با داده‌های تاریخی مطابقت پیدا کند.

نکته مهم آن است که معنا دار بودن آماری پارامترها، تایید کننده صحت رابطه نیست. معنا دار بودن آماری نشان می‌دهد که یک معادله چقدر با داده‌های مشاهده شده مطابقت دارد. این نشان نمی‌دهد که آیا روابط علی مطابق با واقعیات دنیای واقعی وجود دارد یا خیر. یک رابطه آماری معنی دار بین متغیرها فقط نشان می‌دهد که آنها همبستگی بالایی دارند و احتمالاً همبستگی ظاهری نتیجه تصادفی نیست. ادعای علّی بودن یک رابطه، یک قضاوت ارزشی است که باید با در نظر گرفتن تمام شواهد، عددی و کیفی انجام شود.

معنادار بودن آماری به عنوان آزمون صحه گذاری مدل در رد معادلات توصیف کننده روابط هم کاربرد دارد. اگرچه دلایل مختلفی وجود دارد که ممکن است یک رابطه از نظر آماری معنا دار نباشد، برای مثال داده‌های بسیار کمی وجود داشته باشد یا تنوع داده‌ها کافی نباشد. هنگامی که دانش مستقیم از سیستم نشان می‌دهد که یک رابطه واقعی و مهم است، باید آن را به رسمیت شناخت و برای تخمین مقادیر از قضاوت استفاده کرد.

مثال: برآورد آماری متغیرهای نرم

فرض کنید در یک سیستم خدماتی به دنبال تعیین پارامترهای کیفیت خدمات هستیم. می‌توانیم زمان اختصاص داده شده به هر مشتری را از طریق داده‌های گذشته و به شکل آماری برآورد کنیم. طبیعی است که این زمان یک متغیر تصادفی است. و زمان صرف شده برای هر مشتری دقیقا یکسان نیست. طبیعتا زمان صرف شده با هر مشتری با قضاوت مشتریان در مورد کیفیت خدمات ارتباط زیادی دارد. اما نکته قابل تامل این است که زمانی که بار کاری بالا می‌رود زمان صرف شده و در نتیجه کیفیت خدمات کاهش می‌یابد و این تبدیل به عادت می‌شود در نتیجه هنگامی که حجم کاری هم کم می‌شود ممکن است زمان صرف شده برای مشتری افزایش نیابد. بنابراین این داده‌ها نامتقارن هستند. تحلیل بیشتر ممکن است نشان دهد که سازمان هیچ ابزاری برای نظارت بر رضایت مشتری و بازخورد آن به مدیران ندارد. هر زمان که بار کاری زیاد می‌شد، کارگران زمان صرف شده با هر مشتری را کاهش می‌دادند تا کارهای عقب مانده را جبران کنند. در این صورت مدیران بدون داشتن روشی برای اندازه گیری کاهش رضایت مشتران ممکن است کاهش زمان و در نتیجه افت کیفیت را به عنوان بهبود بهره وری تفسیر کنند. بنابراین برآورد آماری ترکیبی از روش‌های تخمین پارامترهای به شیوه آماری و قضاوتی، کار میدانی و تجزیه و تحلیل داده‌های تاریخی، درک دقیق تر و مطمئن تری از پویایی سازمان نسبت به هر روش به تنهایی است.

مثال: توسعه یک زیرمدل

گاهی تخمین پارامترهای مدل کار بسیار سختی خواهد بود. هم به این دلیل که به دلیل گستردگی فعالیت‌ها جمع آوری داده‌ها ممکن است غیر ممکن باشد و یا پیشینه تاریخی از آن پارامتر وجود نداشته باشد. بنابراین می‌توانیم مدل را در یک سطح کوچک که می‌تواند محدودیت جغرافیایی، دامنه فعالیت، کارهای محدودتر، مشتریان هدف و یا غیره باشد طراحی می‌کنیم و پارامترهای مدل را برآورد می‌کنیم و سپس با توجه به خطها آن را به کل تعمیم می‌دهیم.