دکتر محمدرضا عاطفی

عضو هیات علمی دانشگاه 
مشاور استراتژی 

آزمون و صحه‌گذاری 

• آزمون‌های ساختار مدل

1. آزمون تصدیق ساختار
2. آزمون تصدیق پارامتر
3. آزمون شرایط حدی
4. آزمون کفایت مرزی
5. آزمون سازگاری ابعاد 

• آزمون‌های رفتار مدل

1. آزمون بازتولید رفتار
2. آزمون ناهنجاری رفتاری

3. آزمون حساسیت رفتاری

4.  آزمون خطای انتگرال گیری
5. آزمون اعضای خانواده
6. آزمون رفتار غافلگیرکننده

• آزمون‌های پیامد سیاست و استراتژی

1. آزمون پیش بینی رفتار تغییر یافته
2. آزمون حساسیت سیاست

• مراجع

آزمون‌ تحلیل حساسیت رفتاری

مقدمه

آزمون حساسیت رفتاری، حساسیت رفتار مدل را به تغییرات مقادیر پارامتر نشان می‌دهد. آزمون حساسیت پارامتر مشخص می‌کند که آیا تغییرات محتمل در مقادیر پارامتر باعث می‌شود یک مدل در آزمون‌های رفتاری که قبلاً گذرانده شده است شکست بخورد یا خیر.

آزمون حساسیت رفتاری معمولاً با آزمایش مقادیر پارامترهای مختلف و تجزیه و تحلیل تأثیر آنها بر رفتار انجام می‌شود. به طور معمول، رفتار مدل‌های دینامیک سیستم نسبت به تغییرات قابل قبول در بیشتر مقادیر پارامتر حساس نیست. به نظر می‌رسد که سیستم‌ها حساس نیستند. از طرف دیگر، هم سیستم‌ها و مدل‌های واقعی و هم سیستم‌های واقعی به چند پارامتر حساس هستند. پیدا کردن یک پارامتر حساس لزوماً مدل را باطل نمی کند. حتی اگر تأثیر قابل توجهی بر رفتار دارد، تغییرات قابل قبول ممکن است منجر به شکست سایر آزمون‌های رفتاری نشود.

مدل زنجیره تامین سیستم‌های آسیاب برنج برای پرداختن به اثرات بهره وری برنج بر عملکرد زنجیره تامین شبیه سازی شد. در اینجا بهره وری برنج، عملکرد برنج در هکتار است. بهره وری برنج ممکن است از آسیب به محصول به دلیل سیل یا آلودگی به آفات کاهش یابد و همچنین می‌توان با توسعه برنج هیبریدی با عملکرد بالاتر از طریق تحقیق و توسعه آن را افزایش داد. بهره وری برنج برای این سیاست به صورت تعریف شده است.

از آنجایی که همه مدل‌ها با عدم قطعیت همراه هستند، باید استحکام نتایج مدل با توجه به عدم قطعیت در مفروضات آزمون شود. تجزیه و تحلیل حساسیت می پرسد که زمانی که مفروضات در محدوده قابل قبول عدم قطعیت تغییر می کند آیا نتیجه گیری تغییر می کند یا خیر.

انواع تحلیل حساسیت

سه نوع تحلیل حساسیت وجود دارد:

الف)‌حساسیت عددی

حساسیت عددی زمانی وجود دارد که تغییر در مفروضات، مقادیر عددی نتایج را تغییر دهد. برای مثال، تغییر قدرت بازخورد دهان به دهان در یک مدل انتشار نوآوری، نرخ رشد محصول جدید را تغییر خواهد داد. همه مدل ها حساسیت عددی را نشان می دهند.

ب) حساسیت رفتاری

حساسیت حالت رفتار زمانی وجود دارد که تغییر در مفروضات، الگوهای رفتار تولید شده توسط مدل را تغییر دهد. برای مثال، اگر مفروضات جایگزین قابل قبول، رفتار یک مدل را از شکل مسطح به نوسان یا از رشد s شکل به صعود و نزول و فروپاشی تغییر دهند، مدل حساسیت حالت رفتاری را نشان می‌دهد.

ح) حساسیت سیاست و استراتژی

حساسیت سیاست زمانی وجود دارد که تغییر در مفروضات، تأثیرات یا مطلوبیت یک سیاست یا استراتژی پیشنهادی را معکوس کند. اگر کاهش قیمت‌ها، سهم بازار و سودآوری را تحت یک مجموعه از مفروضات افزایش دهد، اما تحت یک مجموعه فرضیات دیگر منجر به جنگ‌های ویرانگر قیمت و ورشکستگی شود، این مدل حساسیت سیاستی را نشان می‌دهد.

انواع حساسیت به هدف و فلسفه وجودی هر مدل بستگی دارد. حساسیت عددی در مدل‌هایی که ناسا برای برنامه‌ریزی مسیر شاتل فضایی استفاده می‌کند، اهمیت زیادی دارد. هدف این مدل‌ها دقت فوق‌العاده‌ای می‌طلبد، و عدم قطعیت کمی در ساختار مدل یا قوانین فیزیک حاکم بر دینامیک وجود دارد. با این حال، در مدل‌های سیستم‌های انسانی، حساسیت عددی ممکن است اهمیت چندانی نداشته باشد. هدف بیشتر مدل‌های کسب‌وکار پیش‌بینی زمان رکود بعدی فروش نیست، بلکه طراحی مجدد زنجیره تامین یا فروش پایدارتر است. این کار نه برای پیش بینی سود در سه ماهه آینده، بلکه برای طراحی سیاست هایی برای کمک به سودآور شدن شرکت صورت می گیرد. در بیشتر مدل ها، آنچه اهمیت دارد حساسیت حالت رفتار و به ویژه حساسیت سیاست و استراتژی است.

تجزیه و تحلیل حساسیت نه تنها باید با توجه به پارامترهای مختلف بلکه به مفروضات مربوط به مرز مدل، تغییرات در متغیر سطح، و تغییرات در روشی که افراد برای تصمیم گیری در نظر می گیرند، تعریف می شود. عدم قطعیت در مقادیر پارامتر مهم است و باید آزمون شود. اما مدل‌ها معمولاً به مفروضات مربوط به مرز و فرمول‌بندی حساس‌تر از عدم قطعیت در مقادیر عددی هستند.

در ارزیابی حساسیت به پارامترها، ابتدا باید محدوده قابل قبول عدم قطعیت هر پارامتر یا رابطه غیرخطی را شناسایی کنید. سپس باید حساسیت به آن پارامترها را در محدوده بسیار وسیع تری آزمایش کنید. مردم تمایل دارند بیش از حد به قضاوت های خود اعتماد داشته باشند. تخمین‌های پارامترها به شکل قضاوتی احتمالاً نامطمئن‌تر از حد اطمینان شهودی افراد است. همچنین زمانی که پارامترها به صورت آماری تخمین زده می شوند، اعتماد بیش از حد به وجود می آید. روش های تخمین رسمی مانند رگرسیون، فاصله اطمینان را حول بهترین تخمین به دست می‌دهد. مقدار تخمینی کشش قیمتی تقاضا ممکن است 0.5- باشد، با فاصله اطمینان 95% که از 0.4- تا 0.6- متغیر است، که نشان می دهد تنها احتمال 5٪ وجود دارد که مقدار واقعی خارج از این محدوده باشد. این فاصله اطمینان احتمالاً عدم قطعیت واقعی در پارامتر را دست کم می گیرند زیرا آنها فقط یک منبع خطای نمونه گیری از عدم قطعیت هستند. فاصله اطمینان برآورد شده در روش رگرسیون شامل اثرات خطای اندازه گیری، نقص در مدل، یا نقض فرضیه ها نمی شود. این منابع خطا احتمالاً بسیار بزرگتر از خطاهای استاندارد تخمینی گزارش شده برای ضرایب رگرسیون هستند، اما به دلیل دشوار یا غیرممکن بودن تعیین کمیت آنها اغلب نادیده گرفته می شوند. یک قانون سرانگشتی خوب این است که در محدوده‌ای حداقل دو برابر وسیع‌تر از آنچه ملاحظات آماری و قضاوتی نشان می‌دهند، آزمایش شود، اگرچه در نظر گرفتن منابع عدم قطعیت در موارد خاص ممکن است دامنه بسیار گسترده‌تری را نشان دهد.

اکثر بسته‌های نرم‌افزاری شبیه‌سازی و دینامیک سیستم شامل ابزارهای تحلیل حساسیت خودکار هستند. ابتدا مشخص می‌کنید که کدام پارامترها تغییر کنند، سپس محدوده‌ای از مقادیر را برای هر کدام ارائه می‌کنید. سپس نرم افزار مدل را هر چند بار که دوست دارید اجرا می کند، با استفاده از مقادیر مشخص شده برای هر پارامتر، یا یک بار آزمایش) یا همه به طور همزمان (تست چند متغیره).

هدف مدل

• حساسیت عددی: این کار را به میزان قابل توجهی انجام دهید. . .
• حساسیت رفتاری: آیا حالت های رفتاری ایجاد شده توسط مدل به طور قابل توجهی تغییر می کند؟ . .
• حساسیت سیاست: آیا پیامدهای خط مشی به طور قابل توجهی تغییر می کند؟ . .
• . . . چه زمانی  مفروضات در مورد پارامترها، مرز و تجمع در محدوده قابل قبول عدم قطعیت تغییر می‌کند؟

ابزارها و روش‌های اجرایی

• تجزیه و تحلیل حساسیت تک متغیره و چند متغیره را انجام دهید.
• از روش های تحلیلی (خطی سازی، تحلیل پایداری محلی و جهانی و …) استفاده کنید.
• تست های مرزبندی و تجمیع مدل ذکر شده در (1) و (2) بالا را انجام دهید.
• از روش های بهینه سازی برای یافتن بهترین پارامترها و سیاست ها استفاده کنید.
• از روش‌های بهینه‌سازی برای یافتن ترکیبات پارامترهایی که نتایج غیرقابل قبولی ایجاد می‌کنند یا نتایج سیاست معکوس می‌کنند، استفاده کنید.

مثال

مقدمه

دومین آزمون تصدیق ساختار، آزمون تأیید پارامتر است و به معنای ارزیابی پارامترهای ثابت در برابر دانش سیستم‌های واقعی از نظر مفهومی و عددی است. هر ثابت (و متغیر) باید معنا و مصداق واقعی داشته باشد. برای این کار می‌توان از تخمین آماری استفاده کرد و یا از تخمین قضاوتی بهره برد. ممکن است برای تخمین پارامترها از اقتصادسنجی، سری زمانی یا روش‌های دیگر نیز استفاده کرد.

انتخاب مقادیر اولیه مناسب برای معادلات متغیر حالت، مقادیر ثابت‌ها و توابع جدول ارتباط مستقیمی با منطق مدل دارد و مقادیر باید بر اساس داده‌های منتشر شده از منابع معتبر باشد. نرم‌افزارهای کامپیوتری اکنون برای تخمین و توجیه مقادیر دقیق پارامترها به گونه‌ای که بتوانند رفتار مورد انتظار سیستم را تولید کنند در دسترس هستند. راستی‌آزمایی یا تصدیق ساختار و تصدیق پارامتر به هم مرتبط هستند و هر دو آزمون هدف اصلی یکسانی دارند.

هدف مدل

• آیا مقادیر پارامترها با دانش توصیفی و عددی مربوط به سیستم سازگار است؟
• آیا همه پارامترها مشابه دنیای واقعی دارند؟

ابزارها و روش‌های اجرایی

• از روش‌های آماری برای تخمین پارامترها استفاده کنید (گستره وسیعی از روش‌های موجود).
• از آزمون‌های مدل جزئی برای کالیبره کردن زیرسیستم‌ها استفاده کنید.
• از روش‌های قضاوتی مبتنی بر مصاحبه، نظر متخصص، گروه‌های متمرکز، مطالب آرشیوی، تجربه مستقیم و غیره استفاده کنید.
• برای تخمین روابط در مدل‌های بزرگتر ، زیرمدل‌های تفکیک‌شده را توسعه دهید.

قبل از تصمیم گیری در مورد اینکه یک پارامتر چگونه باید تخمین زده شود یا اینکه آیا مقدار آن معقول است، مطمئن شوید که هر ثابت (و متغیر) معنای واقعی و واضحی دارد. سپس باید تصمیم بگیرید که چگونه مقادیر هر پارامتر را تخمین بزنید. روش اصلی عبارت است ازتخمین آماری از داده‌های عددی یا تخمین قضاوتی است.

برآورد مقادیر پارامترها از داده‌های عددی به‌ویژه  از روش اقتصادسنجی بسیار رایج است. به مدل‌سازان دینامیک سیستم توصیه می‌شود که اقتصادسنجی و سایر رویکردهای تخمین پارامترها را مطالعه کنند. دانستن اینکه تکنیک‌های رگرسیون چگونه کار می‌کنند، فرضیه‌ها و محدودیت‌های آنها چیست و این که هر ابزاری چه زمانی مناسب است برای مدلسازان دینامیک امری ضروری است. فرضیه‌ها، مفروضاتی در مورد داده‌ها و مدل هستند که برای استفاده از تکنیک برآورد جهت ارائه نتایج قابل اعتماد و دقیق نیاز می‌باشد. رایج ترین روش، رگرسیون چندگانه با حداقل مربعات معمولی (OLS)، اغلب در مدل‌های دینامیکی مناسب نیست. برآوردهای OLS در حضور همخطی (جایی که متغیرهای سمت راست به طور متقابل همبستگی دارند)، خودهمبستگی (که متغیر وابسته به مقادیر گذشته خودش بستگی دارد، یعنی جایی که بازخورد وجود دارد) و ناهمسانی (جایی که در آن واریانس متغیرها در سراسر نمونه ثابت نیست) دقیق نیستند. ما برای این کار از سایر روش‌های برآورد ساده تر و قوی‌تر در دسترس استفاده می‌کنیم مانند حداکثر احتمال maximum likelihood و GLS (حداقل مربعات تعمیم‌یافته) تا روش‌های پیچیده‌ای مانند فیلتر کالمن. هر روشی نقاط قوت و ضعف خود را دارد. باید ساده‌ترین روشی را انتخاب کرد که با ساختار بازخورد مدل و ویژگی‌های آماری داده‌ها مناسب باشد. در عین حال، محدودیت‌های موجود بر روی داده‌های عددی به این معنی است که اغلب غیرممکن است که بتوان همه پارامترهای یک مدل را تخمین زد.

همچنین برای تخمین قضاوتی پارامترها باید استفاده از نظرات متخصصین، مطالب بایگانی، تجربه مستقیم، و روش‌های دیگر را توسعه داد.  پارامترها را نیز می‌توان با ایجاد یک مدل فرعی تفکیک شده تخمین زد. در عمل، روش‌های آماری و قضاوتی با هم استفاده می‌شوند. دانش واقعی سیستم، محدوده قابل قبول را برای بسیاری از پارامترها محدود می‌کند. تخمین آماری روشی برای کنترل و چک کردن برآوردهای قضاوتی فراهم می‌کند.

در یک مدل بزرگ معمولاً برآورد همه پارامترهای بحرانی به طور همزمان غیرعملی است. حتی در صورت امکان، تخمین همزمان می‌تواند منجر به مشکلاتی شود، زیرا مدل‌های بزرگ اغلب کمتر از حد تصور امکان تعریف جزییات را دارند (به این معنی که حتی یک مجموعه از مقادیر پارامترها نمی‌تواند به شکل مناسبی نماینده تمام داده‌های جامعه باشد. در این موارد برآوردهای قضاوتی مبتنی بر دانش سیستم در انتخاب پارامترها معقول است.

برای تخمین پارامترها می‌توان در سطح جزئی از مدل یا در سطح زیر سیستم نیز استفاده کرد. همانند آزمون مدل جزئی برای بررسی منطقی بودن، مدل ساز یک ساختار کلیدی یا قانون تصمیم را به صورت مجزا تحلیل کرده و حلقه‌های بازخوردی آن را به کل مدل تعمیم می‌دهد. در این رویکرد ورودی‌های هر قاعده تصمیم‌گیری یا فرمول‌بندی براساس داده‌های تاریخی واقعی تعریف می‌شوند و پارامترها (به صورت قضاوتی یا رسمی) تعیین می‌شوند تا خروجی زیرسیستم به بهترین وجه با داده‌های تاریخی مطابقت پیدا کند.

نکته مهم آن است که معنا دار بودن آماری پارامترها، تایید کننده صحت رابطه نیست. معنا دار بودن آماری نشان می‌دهد که یک معادله چقدر با داده‌های مشاهده شده مطابقت دارد. این نشان نمی‌دهد که آیا روابط علی مطابق با واقعیات دنیای واقعی وجود دارد یا خیر. یک رابطه آماری معنی دار بین متغیرها فقط نشان می‌دهد که آنها همبستگی بالایی دارند و احتمالاً همبستگی ظاهری نتیجه تصادفی نیست. ادعای علّی بودن یک رابطه، یک قضاوت ارزشی است که باید با در نظر گرفتن تمام شواهد، عددی و کیفی انجام شود.

معنادار بودن آماری به عنوان آزمون صحه گذاری مدل در رد معادلات توصیف کننده روابط هم کاربرد دارد. اگرچه دلایل مختلفی وجود دارد که ممکن است یک رابطه از نظر آماری معنا دار نباشد، برای مثال داده‌های بسیار کمی وجود داشته باشد یا تنوع داده‌ها کافی نباشد. هنگامی که دانش مستقیم از سیستم نشان می‌دهد که یک رابطه واقعی و مهم است، باید آن را به رسمیت شناخت و برای تخمین مقادیر از قضاوت استفاده کرد.

مثال: برآورد آماری متغیرهای نرم

فرض کنید در یک سیستم خدماتی به دنبال تعیین پارامترهای کیفیت خدمات هستیم. می‌توانیم زمان اختصاص داده شده به هر مشتری را از طریق داده‌های گذشته و به شکل آماری برآورد کنیم. طبیعی است که این زمان یک متغیر تصادفی است. و زمان صرف شده برای هر مشتری دقیقا یکسان نیست. طبیعتا زمان صرف شده با هر مشتری با قضاوت مشتریان در مورد کیفیت خدمات ارتباط زیادی دارد. اما نکته قابل تامل این است که زمانی که بار کاری بالا می‌رود زمان صرف شده و در نتیجه کیفیت خدمات کاهش می‌یابد و این تبدیل به عادت می‌شود در نتیجه هنگامی که حجم کاری هم کم می‌شود ممکن است زمان صرف شده برای مشتری افزایش نیابد. بنابراین این داده‌ها نامتقارن هستند. تحلیل بیشتر ممکن است نشان دهد که سازمان هیچ ابزاری برای نظارت بر رضایت مشتری و بازخورد آن به مدیران ندارد. هر زمان که بار کاری زیاد می‌شد، کارگران زمان صرف شده با هر مشتری را کاهش می‌دادند تا کارهای عقب مانده را جبران کنند. در این صورت مدیران بدون داشتن روشی برای اندازه گیری کاهش رضایت مشتران ممکن است کاهش زمان و در نتیجه افت کیفیت را به عنوان بهبود بهره وری تفسیر کنند. بنابراین برآورد آماری ترکیبی از روش‌های تخمین پارامترهای به شیوه آماری و قضاوتی، کار میدانی و تجزیه و تحلیل داده‌های تاریخی، درک دقیق تر و مطمئن تری از پویایی سازمان نسبت به هر روش به تنهایی است.

مثال: توسعه یک زیرمدل

گاهی تخمین پارامترهای مدل کار بسیار سختی خواهد بود. هم به این دلیل که به دلیل گستردگی فعالیت‌ها جمع آوری داده‌ها ممکن است غیر ممکن باشد و یا پیشینه تاریخی از آن پارامتر وجود نداشته باشد. بنابراین می‌توانیم مدل را در یک سطح کوچک که می‌تواند محدودیت جغرافیایی، دامنه فعالیت، کارهای محدودتر، مشتریان هدف و یا غیره باشد طراحی می‌کنیم و پارامترهای مدل را برآورد می‌کنیم و سپس با توجه به خطها آن را به کل تعمیم می‌دهیم.