دکتر محمدرضا عاطفی

عضو هیات علمی دانشگاه 
مشاور استراتژی 

آزمون و صحه‌گذاری 

• آزمون‌های ساختار مدل

1. آزمون تایید ساختار

2. آزمون تایید پارامتر
3. آزمون شرایط حدی
4. آزمون کفایت مرزی
5. آزمون سازگاری ابعاد 

• آزمون‌های رفتار مدل

1. آزمون بازتولید رفتار
2. آزمون ناهنجاری رفتاری
3. آزمون حساسیت رفتاری
4.  آزمون خطای انتگرال گیری
5. آزمون اعضای خانواده
6. آزمون رفتار غافلگیرکننده

• آزمون‌های پیامد سیاست و استراتژی

1. آزمون پیش بینی رفتار تغییر یافته
2. آزمون حساسیت سیاست

• مراجع

آزمون‌ تایید (تصدیق) ساختار 

مقدمه

آزمون‌های ارزیابی ساختار می‌پرسند که آیا مدل با دانش سیستم واقعی مرتبط با هدف سازگار است یا خیر. ارزیابی ساختار بر سطح تجمیع، انطباق مدل با واقعیت‌های فیزیکی اساسی، و واقع گرایی قوانین تصمیم گیری برای عوامل تمرکز دارد.

آزمون تأیید ساختار به عنوان ابزاری تجربی برای مقایسه معادلات مدل با روابطی که در سیستم‌های واقعی وجود دارد، اعمال می‌شود. ساختار مدل که از طریق روابط موجود در معادلات مشخص می‌شود باید با دانش متعارف سیستم مطابقت داشته باشد. برای مثال اگر درحال مدلسازی اقتصاد هستیم برای نوشتن معادلات مرتبط با تورم حتما باید از روش‌های علمی و فرمولهای موجود در دانش اقتصادی برای محاسبه تورم و تئوریهای موجود در علم اقتصاد استفاده شده باشد.

همچنین ممکن است با مقایسه معادلات مدل با دانش عمومی سیستم مورد مطالعه که در متون علمی و کلاسیک (کتاب، مقالات، گزارشات و …) قابل دسترس است، به‌عنوان آزمون‌های محاسبه نظری انجام شود. تمام معادلات باید به خوبی بر اساس مستندات موجود باشد. ساختار مدل باید با اهداف، و محدودیت‌های قابل مشاهده و ملموس حال حاضر سیستم مطابقت داشته باشد. تأیید ساختار مدل کار ساده‌تری است و مهارت کمتری نسبت به سایر آزمون‌ها می‌طلبد.

 هم در آزمون کفایت مرزی و هم در تست ارزیابی ساختار، باید به دنبال تناقضات، و فرضیات نامناسب در مورد در دسترس بودن، انعطاف پذیری و هزینه منابع مورد نیاز برای انجام فعالیت باشید. عوامل خارجی و عوارض جانبی را که باید به صورت درون زا شناسایی شوند، شناسایی کنید. مطمئن شوید که تمام هزینه‌ها و مزایای اقدامات در نظر گرفته شده است. در صورت لزوم، ساختار مدل جدیدی برای محاسبه این هزینه‌ها ایجاد کنید، حتی اگر سیستم‌های حسابداری در سیستم واقعی این کار را نکنند.

نقض قوانین فیزیکی مانند بقای ماده یا انرژی معمولاً به این دلیل رخ می‌دهد که مدل به درستی ساختار حالت و جریان سیستم را نشان نمی‌دهد. سایر موارد نقض رایج قوانین فیزیکی شامل متغیر حالتی است که می‌توانند منفی شوند. مقادیر واقعی مانند موجودی‌ها، جمعیت‌ها و مانده‌های نقدی نمی‌توانند منفی باشند. بنابراین، با نزدیک شدن متغیر حالت به صفر، جریان خروجی از همه این حالت‌ها باید به صفر نزدیک شود. این بدان معناست که باید یک حلقه بازخورد منفی مرتبه اول وجود داشته باشد که تمام جریان‌های خروجی از متغیر حالت واقعی را محدود می‌کند تا زمانی که متغیر حالت صفر است، جریان صفر شود. این حلقه‌ها باید مرتبه اول باشند، زیرا هر تأخیر زمانی در حلقه می‌تواند باعث شود که نرخ حتی پس از رسیدن متغیر حالت به صفر ادامه یابد، که یک غیرممکن فیزیکی است. با بررسی مستقیم معادلات می‌توانید وجود کنترل مرتبه اول را بررسی کنید.

آزمون‌های ارزیابی ساختار با استفاده از بسیاری از ابزارهای مفید در ارزیابی حدود مرزی انجام می‌شوند. نمودارهای زیرسیستم و نقشه‌های حالت و جریان به آشکار شدن سطح تجمع کمک می‌کنند. ساختار خط مشی و نمودارهای علی، نشانه‌های اطلاعاتی مورد استفاده در هر تصمیم را نشان می‌دهد. بازرسی مستقیم، معادلات اکتشافی فرض شده در هر نقطه تصمیم را نشان می‌دهد. آزمون‌های مدل جزئی می‌توانند عقلانیت مورد نظر قواعد تصمیم گیری فردی را نشان دهند. به‌علاوه، آزمایش‌های آزمایشگاهی می‌توانند نشان دهند که چگونه مردم واقعاً در موقعیت‌هایی مشابه آنچه در مدل رخ می‌دهد، تصمیم می‌گیرند. یکی دیگر از تکنیک‌های آزمایش تناسب مفروضات تجمیع، توسعه یک مدل فرعی دقیق‌تر، سپس مقایسه رفتار آن با فرمول‌بندی کل‌تر است. همانطور که در تست کفایت مرزی، تفکیک یک ساختار مشکوک ممکن است نشان دهد که جزئیات اضافی مهم است. هنگامی که تفکیک به طور قابل توجهی بر نتایج مدل و پیامدهای سیاست و استراتژی تأثیر نمی‌گذارد (مثل همیشه نسبت به هدف) آنگاه می‌توان مدل اصلی و ساده تر را حفظ کرد.

مثال‌ها

مثال: آب در سربالایی جاری است

رودخانه پکوس، از نیومکزیکو سرچشمه می‌گیرد و از تگزاس می‌گذرد. از آغاز دهه 1940 هر دو ایالت ادعای حق آبه آن را داشتند. این اختلاف منجر به یک سری پرونده‌های حقوقی در مورد حقوق آب شد. مطالعات مهندسی و هیدرولوژیکی حوضه مربوط به سال 1949 توسط هر دو ایالت برای طرح دعوای خود در دادگاه‌های مختلف مورد استفاده قرار گرفت.

همانطور که در سال ۱۹۹۴ توسط آلیسون و همکاران توضیح داده شد. یک بررسی در دهه 1980 نشان داد که مدل مورد استفاده نیومکزیکو “روابط جریان فیزیکی اساسی آب را نقض می‌کند… برای برخی از نواحی رودخانه… باید برای برآوردن الزامات تعادل جرم هیدرولوژیکی، آب به بالادست جریان داشته باشد. توسعه دهندگان مدل نتوانستند آزمایش‌های اساسی را برای انطباق با قوانین فیزیکی انجام دهند. حتی قابل توجه تر، این خطا علیرغم بررسی دقیقی که در مورد شهادت کارشناس در یک دادرسی انجام شد، برای سال‌ها کشف نشد. هنگامی که خطا کشف شد، بخش مهمی از مدارک پرونده تگزاس را تشکیل داد. در نهایت دادگاه عالی ایالات متحده به نفع منطقه لون استار رای داد.

مثال: معکوس کردن تصمیمات برگشت ناپذیر

یک مدل برنامه ریزی خطی بازار چرم به طور مداوم عملکرد را بهتر از بازار واقعی تحلیل می‌کرد. با بررسی اینکه چرا این مدل بسیار بهتر از شرایط واقعی عمل می‌کند، توسعه دهندگان دریافتند که این مدل به خوبی از معادلات خود در توصیف عرضه چرم استفاده می‌کند. در طول دوره‌های رکود اقتصادی، این مدل به سادگی چرم را دوباره به گاو تبدیل می‌کرد که این یک خطای طراحی مدل است.

مثال: متغیر حالت منفی

اندرسن و استوریس (1988) مدلی از یک شرکت تولیدی را برای بررسی پویایی‌های آشفته در یک محیط مدیریت پیشنهاد کردند. این مدل شامل ساختار زیر برای نرخ حمل و نقل است:

  موجودی = نرخ – نرخ حمل و نقل،

نرخ حمل و نقل = مشتریان * میانگین فروش به ازای هر مشتری

که در آن میانگین فروش به ازای هر مشتری ثابت بود. موجودی مشتریان با استخدام ناشی از تلاش فروش افزایش یافت و با فرار مشتریان به سایر تامین کنندگان کاهش یافت.

مشتریان = انتگرال ( مشتریان جذب شده – مشتریان از دست رفته،)

نرخ از دست دادن مشتری هر زمان که موجودی به زیر سطح مورد نظر می‌رسد، به‌طور چشمگیری افزایش می‌یابد، زیرا مشتریان به در دسترس نبودن محصول واکنش نشان می‌دهند:

مشتریان از دست رفته = (مشتریان / عمر نرمال مشتریان)*اثر عدم در دسترس بودن موجودی

اثر عدم در دسترس بودن موجودی = (موجودی هدف – موجودی) / موجودی هدف

بررسی معادلات نشان می‌دهد که مدل فاقد کنترل بازخورد منفی مرتبه اول بر روی نرخ حمل و نقل است (تنظیم موجودی بر روی صفر، محموله‌ها را فوراً به صفر نمی‌رساند). اگرچه موجودی صفر باعث می‌شود متغیر حالت مشتریان به سرعت کاهش یابد، اما این افت آنی نیست و باعث می‌شود موجودی به زیر صفر برسد. حالتی را تصور کنید که یک شب آتش سوزی تمام موجودی را از بین می‌برد. صبح روز بعد، هنوز هیچ تغییری در موجودی مشتریان ایجاد نشده است، بنابراین با وجود اینکه محصولی برای ارسال وجود ندارد، ارسال‌ها همچنان ادامه دارد. فرمول بندی مجدد مدل برای اصلاح این نقص و سایر ایرادات به طور قابل توجهی پویایی و پایداری آن را تغییر می‌دهد.

مثال: بازیابی اقتصاد ایالات متحده از جنگ هسته ای

در طول جنگ سرد، دولت ایالات متحده مطالعاتی را برای ارزیابی تأثیر اقتصادی جنگ هسته‌ای سفارش داد. یکی از این مدل‌ها، به نام “مدل بازیابی اقتصادی” (درش و باوم 1973) برای ارزیابی اثرات حملات مختلف شوروی به ایالات متحده، از جمله حمله 500 مگاتنی استفاده شد. برای در نظر گرفتن این موضوع، بمبی ۱۴ کیلوتنی که هیروشیما را ویران کرد 36000 برابر کمتر بازده داشت. این مدل نشان می‌دهد که تولید ناخالص ملی (GNP) ایالات متحده تنها پس از 9 سال به 80 درصد از تولید قبل از حمله بازمی‌گردد – و این کل GNP است، نه GNP سرانه. آنها همچنین تأثیرات حمله‌ای را که به بخش نفت صورت می‌گرفت را بررسی کردند. دولتمردان می‌ترسیدند که چند موشک، با از بین بردن بخش نفت و ایجاد کمبودهای گسترده سوخت، کل اقتصاد را فلج کند. بلافاصله پس از حمله 250 مگاتنی به بخش نفت، کل تولید ناخالص داخلی به 22 درصد قبل از حمله کاهش یافت. اما پس از 1 سال، GNP به 61% تولید قبلی رسید و پس از 5 سال به 94% تولید قبل از حمله رسید.

پتانسیل بازیابی شگفت‌انگیز پیشنهاد شده توسط این نتایج به این معنی است که هم ایالات متحده و هم اتحاد جماهیر شوروی به زرادخانه‌های بسیار بزرگی از سلاح‌های هسته‌ای نیاز داشتند تا اطمینان حاصل کنند که می‌توانند در یک جنگ هسته‌ای “برنده” شوند و در نتیجه به عنوان یک عامل بازدارنده عمل کنند. نتایجی از این دست، توسط جنگ سالاران عصر جنگ سرد به عنوان شاهدی بر این که ایالات متحده به سلاح‌های هسته‌ای بیشتری نیاز دارد، استفاده شد.

ساستری، روم و تسیپیس (1987) آزمایش‌های ارزیابی مرز و ساختار را بر روی مدل انجام دادند و تعدادی از مفروضات غیر منطقی را یافتند. اگرچه ظاهراً پویا بود، اما در واقع یک مدل تعادل عمومی بود که در آن کل اقتصاد در همه زمان‌ها در تعادل فرض می‌شد. این مدل ذخایر مواد، انرژی و سایر منابع را به عنوان کمیت‌های پویا نشان نمی‌دهد که می‌تواند بر توانایی صنایع برای عملکرد تأثیر بگذارد. در حالت تعادل، متغیرهای حالت ثابت هستند، بنابراین معمولاً از تعادل عمومی و مدل‌هایی حذف می‌شوند که فقط جریان‌های حالت پایدار کالاها و خدمات را از طریق اقتصاد بررسی می‌کنند. اینکه آیا تعادل در شرایط عادی یک فرض معقول برای اقتصاد است یا نه، می‌تواند مورد بحث قرار گیرد. اما این تصور که اقتصاد بلافاصله پس از جنگ هسته‌ای به تعادل بازمی‌گردد، بدون هیچ کمبودی در مواد، انرژی، نیروی کار و سایر منابعی که تولید به آنها وابسته است، باور را به خود جلب می‌کند.

درش و باوم با اشاره به ایرادات مدل خود، اظهار داشتند که افزایش تقریباً سه برابری تولید ناخالص ملی در یک سال «عمدتاً نتیجه تأخیر سالی است که فرض می‌شود برای جایگزینی سرمایه لازم است». در مدل آنها، ذخایر سرمایه همیشه در مدت 2 سال به سطوح بهینه می‌رسید، مستقل از ظرفیت صنایع تولید کننده سرمایه، توانایی آنها در دستیابی به مواد اولیه و انرژی لازم، در دسترس بودن سوخت مایع برای بهره برداری از تجهیزات ساختمانی و ارسال محصول به مشتریان، در دسترس بودن کارگران، و توانایی دولت برای حفظ نظم به طور خلاصه، بدون توجه به تأثیرات حمله، مدل آنها برای ارزیابی طراحی شده است.

ساستری و همکاران (1987) یک مدل پویایی سیستم را که برای آژانس مدیریت اضطراری فدرال ایجاد شده بود اصلاح کرد تا این مفروضات تعادل را حذف کند. در مدل تجدید نظر شده، حملات کوچک متمرکز بر پالایشگاه‌های نفت می‌تواند اقتصاد را از طریق زنجیره‌ای از کمبود سوخت فلج کند که تولید صنایع کلیدی مانند حمل‌ونقل، ساخت‌وساز و تولید را متوقف کند، تلاش‌ها برای بازسازی بخش انرژی را خنثی کند و باعث کمبود مواد غذایی شود. منجر به گرسنگی و هرج و مرج شود. نتایج حاکی از آن بود که یک زرادخانه استراتژیک بسیار کوچک قابلیت بازدارندگی کافی را فراهم می‌کند و سیستم دفاع موشکی استراتژیک (به اصطلاح جنگ‌ ستارگان) که در آن زمان توسط دولت ریگان حمایت می‌شد، باید برای محافظت از ایالات متحده تقریباً عالی باشد.

هدف مدل

• آیا ساختار مدل با دانش توصیفی مربوط به سیستم سازگار است؟
• آیا سطح تجمیع مناسب است؟
• آیا مدل با قوانین فیزیکی اساسی مانند قوانین حفاظت مطابقت دارد؟
• آیا قوانین تصمیم گیری رفتار بازیگران در سیستم را نشان می‌دهد؟

ابزارها و روش‌های اجرایی

• از نمودارهای ساختار خط مشی، نمودارهای علّی، نقشه‌های حالت و جریان و بازرسی مستقیم معادلات مدل استفاده کنید.
• از مصاحبه‌ها، کارگاه‌های آموزشی برای جلب نظر متخصصان، مطالب بایگانی شده، ارزیابی مستقیم یا مشارکت در فرآیندهای توسعه سیستم، استفاده کنید.
• آزمون‌ها را برای جزئی از مدل انجام دهید تا عقلانیت مورد نظر در قواعد تصمیم گیری را ارزیابی کنید.
• آزمایش‌های آزمایشگاهی برای استخراج مدل‌های ذهنی و قوانین تصمیم گیری شرکت کنندگان در سیستم انجام دهید.
• مدل‌های فرعی تفکیک‌شده را توسعه دهید و رفتار را با فرمول‌بندی‌های کل مقایسه کنید.
• ساختارهای مشکوک را جدا کنید، سپس تحلیل حساسیت و تحلیل سیاست را تکرار کنید.