الگوریتم CLASSIT؛ خوشه‌بندی مفهومی افزایشی برای داده‌های عددی:بخش دوم

۱۰. تحلیل رفتاری و تبیین علمی

۱۰.۱ تفسیر هندسی

اگرچه CLASSIT به‌طور صریح فاصله اقلیدسی را کمینه نمی‌کند، فرض نرمال تک‌متغیره و جمع معکوس پراکندگی‌ها نوعی ترجیح برای خوشه‌های فشرده در راستای محورهای ویژگی ایجاد می‌کند. در فضای دوبعدی، گره‌ای با دو پراکندگی جداگانه عملاً یک توصیف محوری دارد. اگر خوشه واقعی بیضی چرخیده باشد و ساختار اصلی آن از همبستگی دو ویژگی ناشی شود، مدل قطری CLASSIT این چرخش را مستقیماً ثبت نمی‌کند.

۱۰.۲ تفسیر احتمالاتی

هر گره مجموعه‌ای از چگالی‌های نرمال تک‌متغیره دارد. می‌توان آن را خلاصه‌ای احتمالاتی برای تکمیل الگو دانست. بااین‌حال، معیار تصمیم، درست‌نمایی مشترک کامل داده تحت مدل مخلوط نیست. احتمال‌های پیشین فرزندان از فراوانی نسبی و کیفیت آن‌ها از کاهش پراکندگی به دست می‌آید. ازاین‌رو تفسیر احتمالاتی الگوریتم معتبر اما محدود است.

۱۰.۳ تفسیر اطلاعاتی

در COBWEB گسسته، مطلوبیت رده با افزایش قابلیت پیش‌بینی مقادیر ویژگی ارتباط دارد و گاهی از زاویه اطلاعاتی تفسیر می‌شود. در CLASSIT نیز کاهش عدم‌قطعیت شهودی مطرح است، ولی فرمول مبتنی بر 1بر σرا نباید بدون شرایط اضافی عین اطلاعات متقابل دانست. رابطه با اطلاعات، تفسیری و ساختاری است، نه یک همانی عمومی.

۱۰.۴ رفتار در داده کم

در گره‌های کم‌نمونه، برآورد پراکندگی ناپایدار است. acuity نقش غالب پیدا می‌کند و تفاوت بین یک و چند نمونه ممکن است بیش از شواهد واقعی تحت تأثیر کف پراکندگی باشد. در این وضعیت، درخت به ترتیب ورود بسیار حساس است و هر نتیجه باید با چند جایگشت بررسی شود.

۱۰.۵ رفتار در داده زیاد

با افزایش داده، آمار هر مفهوم پایدارتر می‌شود، اما تعداد گره‌ها نیز می‌تواند رشد کند. اگر cutoff کوچک و acuity بسیار کم باشد، الگوریتم ممکن است جزئیات فراوانی حفظ کند. نبود بازبهینه‌سازی سراسری به این معناست که افزایش داده الزاماً اثر تصمیم‌های اولیه را به‌طور کامل حذف نمی‌کند.

۱۰.۶ نویز اندازه‌گیری

نویز، انحراف معیار گره‌ها را افزایش می‌دهد و تفاوت میان والد و فرزندان را کاهش می‌دهد. اگر acuity از سطح نویز بسیار کوچک‌تر باشد، الگوریتم ممکن است نوسان‌های تصادفی را به مفهوم‌های مستقل تبدیل کند. اگر acuity بیش از حد بزرگ باشد، ساختار واقعی نیز محو می‌شود. بنابراین این پارامتر باید تا حد امکان با دقت ابزار اندازه‌گیری یا برآورد نویز مرتبط شود.

۱۰.۷ داده پرت

میانگین و واریانس نسبت به داده پرت مقاوم نیستند. یک مقدار دورافتاده می‌تواند هم میانگین را جابه‌جا و هم پراکندگی را افزایش دهد. الگوریتم ممکن است برای آن برگ جداگانه بسازد یا ساختار موجود را به‌طور گسترده بازسازمان‌دهی کند. انتخاب بین این دو رفتار به اندازه خوشه، ترتیب ورود و acuity بستگی دارد.

۱۰.۸ داده نامتوازن

احتمال پیشین فرزند برابر نسبت اندازه آن است. در نتیجه، فرزند بزرگ‌تر در بخش وزن‌دار معیار سهم بیشتری دارد. خوشه کوچک اما بسیار فشرده ممکن است به علت سهم پیشین کم نادیده گرفته شود، یا برعکس به علت پراکندگی بسیار کم ارزش بالایی کسب کند. اثر نهایی حاصل تعامل اندازه، پراکندگی و تعداد فرزندان است.

۱۰.۹ ابعاد بالا

در ابعاد زیاد، سهم ویژگی‌های نامرتبط روی هم جمع می‌شود. اگر بسیاری از ویژگی‌ها پراکندگی‌های مشابهی در همه فرزندان داشته باشند، سیگنال ویژگی‌های معدود مفید ممکن است تضعیف شود. CLASSIT پایه سازوکار انتخاب ویژگی یا وزن‌دهی تطبیقی ندارد. CLASSIT-2 و برخی امتدادهای بعدی مسئله توجه به ویژگی را هدف قرار داده‌اند، اما این قابلیت نباید به نسخه پایه نسبت داده شود.

۱۰.۱۰ داده ناقص

برای نمونه دارای مقدار مفقود، می‌توان فقط ویژگی‌های مشاهده‌شده را در محاسبه دخالت داد و سپس ویژگی مفقود را از مفهوم منتخب پیش‌بینی کرد. چالش اصلی این است که تعداد ویژگی‌های مشاهده‌شده میان نمونه‌ها متفاوت است. اگر نرمال‌سازی مناسبی انجام نشود، مقایسه امتیازها ناعادلانه خواهد شد. جزئیات مدیریت داده ناقص باید به‌عنوان ویژگی پیاده‌سازی گزارش شود.

۱۰.۱۱ همبستگی ویژگی‌ها

دو ویژگی ممکن است به‌تنهایی پراکندگی مشابهی داشته باشند، اما رابطه خطی میان آن‌ها خوشه‌ها را متمایز کند. چون معیار CLASSIT مجموع سهم‌های تک‌متغیره است، جهت همبستگی را ثبت نمی‌کند. تبدیل ویژگی، کاهش بعد یا استفاده از مدل دارای کوواریانس می‌تواند در چنین دامنه‌ای مناسب‌تر باشد.

۱۰.۱۲ حساسیت به ترتیب

CLASSIT یک الگوریتم افزایشی حریصانه است؛ ساختاری که در مراحل اولیه شکل می‌گیرد، فضای تصمیم‌های بعدی را تغییر می‌دهد. merge و split امکان اصلاح محدود می‌دهند، اما تضمین استقلال از ترتیب وجود ندارد. ارزیابی معتبر باید نتیجه چند ترتیب تصادفی را با میانگین، انحراف معیار و پایداری ساختار گزارش کند.

.

۱۱. تحلیل پیچیدگی و مقیاس‌پذیری

۱۱.۱ نمادگذاری تحلیل

فرض کنید:

•  تعداد نمونه‌ها؛
•  تعداد ویژگی‌ها؛
•  عمق مسیر پیموده‌شده برای یک نمونه؛
•  تعداد فرزندان گره در سطح ؛
•  میانگین عامل شاخه‌بندی در مسیر؛
•  تعداد کل گره‌های درخت.

مقاله اصلی یک قضیه جامع برای پیچیدگی مجانبی ساخت کامل ارائه نمی‌کند. روابط این بخش تحلیل ساختاری الگوریتم‌اند و باید به‌عنوان کران‌های وابسته به شکل درخت تفسیر شوند.

۱۱.۲ هزینه درج یک نمونه

در هر سطح، لازم است اثر افزودن نمونه به فرزندان موجود و برخی بازسازمان‌دهی‌ها ارزیابی شود. اگر محاسبه هر امتیاز برای  ویژگی هزینه خطی داشته باشد، هزینه درج تقریبی برابر است با:

با عامل شاخه‌بندی میانگین :

۱۱.۳ حالت‌های ساختاری مساعد و متوازن

اگر عمق و عامل شاخه‌بندی نسبت به N محدود باشند، هزینه هر نمونه تقریباً O(d) و هزینه کل O(Nd) است. اگر درخت نسبتاً متوازن و عامل شاخه‌بندی محدود باشد، عمق می‌تواند در مرتبه logN قرار گیرد:

این رابطه تضمین عمومی نیست؛ فقط رفتار یک ساختار متوازن با شاخه‌بندی کنترل‌شده را نشان می‌دهد.

۱۱.۴ بدترین حالت

در ساختار بسیار نامتوازن یا گرهی با تعداد فرزند خطی، درج یک نمونه ممکن است بخش بزرگی از گره‌های موجود را بررسی کند:

در نتیجه، ساخت کامل در کران محافظه‌کارانه می‌تواند به:

برسد. هزینه ایجاد نسخه‌های موقت برای merge و split و مدیریت حافظه ممکن است ضریب ثابت قابل‌توجهی به این کران بیفزاید.

۱۱.۵ پیچیدگی حافظه

اگر هر گره برای هر ویژگی شمارش، مجموع و مجموع مربعات نگه دارد، حافظه لازم برابر است با:

چون در بدترین حالت تعداد گره‌ها می‌تواند متناسب با تعداد نمونه‌ها باشد:

اگر داده خام نیز در برگ‌ها نگهداری شود، هزینه حافظه افزایش می‌یابد. cutoff بزرگ‌تر معمولاً عمق و تعداد گره‌ها را کاهش می‌دهد، اما رابطه دقیق آن با M به توزیع داده و ترتیب ورود وابسته است.

۱۱.۶ اشیای مرکب

برای شیئی با m مؤلفه، جست‌وجوی همه نگاشت‌های ممکن میان مؤلفه‌های نمونه و مفهوم هزینه فاکتوریل دارد:

روش حریصانه مقاله تقریباً هزینه درجه دوم دارد:

اگر تطبیق به مسئله انتساب استاندارد تبدیل و با الگوریتم مجارستانی حل شود، هزینه معمولاً:

است. این هزینه در هر مقایسه مفهوم تکرار می‌شود و می‌تواند بر هزینه ویژگی‌ها غالب شود.

۱۱.۷ هزینه پیش‌بینی

برای انتساب نمونه جدید بدون تغییر ساختار، اگر در هر سطح بهترین فرزند با مقایسه همه فرزندان انتخاب شود، هزینه مشابه یک پیمایش بدون عملگرهای بازسازمان‌دهی است:

پیش‌بینی یک ویژگی مفقود پس از انتخاب گره، با استفاده از میانگین یا توزیع گره هزینه ناچیزی نسبت به پیمایش دارد.

۱۱.۸ ملاحظات مقیاس بزرگ

• شاخه‌بندی نامحدود باید با cutoff، pruning یا سیاست ظرفیت کنترل شود.
• محاسبه امتیازها برای ویژگی‌های بسیار زیاد ممکن است به انتخاب یا فشرده‌سازی ویژگی نیاز داشته باشد.
• پردازش موازی مستقیم دشوار است، زیرا هر درج ساختار مورد استفاده نمونه بعدی را تغییر می‌دهد.
• مدل برای جریان داده مناسب است، اما «برخط بودن» به‌تنهایی مساوی مقیاس‌پذیری نامحدود یا سازگاری با رانش نیست.

,

۱۲. ابرپارامترها و تنظیم

۱۲.۱ acuity

• تعریف: کف انحراف معیار مؤثر.
• اثر: کنترل تفکیک‌پذیری و جلوگیری از امتیاز نامتناهی برگ‌ها.
• حساسیت: بسیار بالا و وابسته به مقیاس ویژگی.
• راهبرد تنظیم: ابتدا مقیاس ویژگی‌ها تعیین شود؛ سپس مقادیر در شبکه لگاریتمی آزموده و پایداری درخت، اندازه ساختار و کیفیت پیش‌بینی ویژگی سنجیده شود. اگر خطای اندازه‌گیری معلوم است، acuity می‌تواند با آن مرتبط شود.

مقاله اصلی مقادیری مانند 0.5 و 1.0 را در آزمایش‌های خود بررسی کرد و WEKA مقدار پیش‌فرض 1.0 ارائه می‌کند. این اعداد مقادیر جهانی بهینه نیستند. در صورت استفاده از acuity ویژگی‌ویژه، باید صریحاً اعلام شود که پیاده‌سازی از صورت تعمیم‌یافته a_i و نه پارامتر اسکالر نسخه اصلی استفاده می‌کند (گناری و همکاران، ۱۹۸۹؛ دانشگاه وایکاتو، بی‌تا).

۱۲.۲ cutoff

• تعریف: حداقل مقدار مطلوبیت رده مجاز برای حفظ یا ادامه تفکیک محلی.
• اثر: کنترل عمق درخت و بیش‌جزئی‌شدن؛ هرچه  بزرگ‌تر باشد، ساختارهای محلی بیشتری به علت مطلوبیت ناکافی رد می‌شوند.
• حساسیت: بالا و وابسته به مقیاس عددی تعریف CU؛ به‌ویژه وجود یا نبود عامل میانگین‌گیری بر تعداد ویژگی‌ها مقدار قابل‌مقایسه cutoff را تغییر می‌دهد.
• راهبرد تنظیم: بررسی هم‌زمان خطای تکمیل ویژگی، پایداری بین ترتیب‌ها و تعداد گره‌ها. استفاده از تنها یک معیار داخلی می‌تواند به ساختار نامناسب منجر شود.

مقاله اصلی مقادیر صفر و 0.2 را بررسی می‌کند و مستندات WEKA مقدار پیش‌فرض 0.002 را گزارش می‌کنند. این اعداد مستقیماً قابل مقایسه نیستند، مگر آنکه فرمول مطلوبیت رده، نرمال‌سازی ویژگی‌ها و محل اعمال آستانه در دو پیاده‌سازی یکسان باشد (گناری و همکاران، ۱۹۸۹؛ دانشگاه وایکاتو، بی‌تا).

.

۱۲.۳ ترتیب ورود و بذر تصادفی

ترتیب داده یک ابرپارامتر رسمی مدل نیست، اما عملاً عامل تعیین‌کننده است. برای ارزیابی باید چند بذر تصادفی استفاده شود. گزارش فقط بهترین ترتیب، برآورد خوش‌بینانه و غیرقابل بازتولید ایجاد می‌کند.

۱۲.۴ اولویت عملگرها و تساوی‌شکنی

در امتیازهای برابر یا بسیار نزدیک، ترتیب بررسی عملگرها می‌تواند ساختار را تغییر دهد. پیاده‌سازی باید اولویت و تلرانس مقایسه اعشاری را مشخص کند. این تنظیم بیشتر یک انتخاب الگوریتمی است تا ابرپارامتر داده‌ای، اما اثر آن می‌تواند محسوس باشد.

۱۲.۵ روش تطبیق مؤلفه‌ها

در نسخه ساخت‌یافته، انتخاب روش حریصانه، کامل یا انتساب به مصالحه دقت و هزینه مربوط است. روش کامل فقط برای تعداد مؤلفه بسیار کم عملی است. روش حریصانه سریع‌تر اما ممکن است نگاشت زیر‌بهینه ایجاد کند.

۱۲.۶ استانداردسازی

استانداردسازی در مقاله به‌عنوان ابرپارامتر ذاتی تعریف نشده است. برای مقایسه منصفانه سهم ویژگی‌ها معمولاً مقیاس‌بندی لازم است، مگر آنکه واحدها، وزن‌ها و acuity عمداً و با توجیه علمی کالیبره شده باشند. انتخاب میان z-score، مقیاس مقاوم یا مقیاس مبتنی بر دامنه باید با نوع داده، داده پرت و ماهیت جریان سازگار باشد. در پردازش برخط، استفاده از میانگین و واریانس کل داده پیش از آموزش باعث نشت اطلاعات آینده می‌شود.

.

۱۳. مزایا

• یادگیری افزایشی واقعی: مدل پس از هر نمونه قابل استفاده است و نیاز به بازآموزی کامل ندارد.
• خروجی سلسله‌مراتبی: مفهوم‌های کلی و اختصاصی را هم‌زمان ارائه می‌کند.
• عدم نیاز مستقیم به تعیین تعداد خوشه‌ها: تعداد گره‌ها از تعامل داده و معیار تصمیم پدید می‌آید.
• توصیف آماری قابل تفسیر: میانگین و پراکندگی هر ویژگی در هر گره قابل بررسی است.
• پیوند خوشه‌بندی و استنتاج: مفهوم‌ها برای تکمیل ویژگی‌های مفقود نیز قابل استفاده‌اند.
• استفاده از آمار کافی: در نسخه ساده نیازی به نگهداری همه داده‌های خام نیست.
• بازنگری محدود تصمیم‌های گذشته: merge و split امکان اصلاح محلی ساختار را فراهم می‌کنند.
• ارزش آموزشی: تأثیر فرض توزیع، مقیاس، ترتیب و تنظیم پیچیدگی را به‌صورت شفاف نشان می‌دهد.
• ارزش تاریخی: یکی از نمونه‌های مهم پیوند میان هوش مصنوعی نمادین، مدل احتمالاتی و یادگیری مفهوم است.

.

۱۴. محدودیت‌ها و معایب

• فرض نرمال تک‌متغیره برای هر ویژگی در هر مفهوم ممکن است با داده واقعی سازگار نباشد.
• وابستگی ویژگی‌ها و کوواریانس کامل مستقیماً مدل نمی‌شود.
• نتیجه به واحد و مقیاس ویژگی‌ها حساس است.
• میانگین و واریانس نسبت به داده پرت مقاوم نیستند.
• جست‌وجوی حریصانه تضمین بهینه سراسری ندارد.
• وابستگی به ترتیب ورود حتی با وجود merge و split باقی می‌ماند.
• نسخه پایه فاقد سازوکار فراموشی، پنجره لغزان یا تشخیص رانش مفهوم است.
• انتخاب acuity و cutoff نظریه عمومی و مستقل از داده ندارد.
• ویژگی‌های نامرتبط در ابعاد زیاد می‌توانند معیار را مخدوش کنند.
• جزئیات ترتیب عملگرها و تساوی‌شکنی در منابع تاریخی کاملاً یکسان نیست.
• اشیای دارای تعداد مؤلفه متغیر یا تطبیق جزئی برای نسخه پایه دشوارند.
• رشد تعداد گره‌ها در حالت نامناسب می‌تواند حافظه و زمان را تا مرتبه خطی و درجه دوم نسبت به نمونه‌ها افزایش دهد.
• پیاده‌سازی مرجع واحدی که همه جزئیات مقاله را بدون انتخاب تفسیری تثبیت کند، وجود ندارد.
• نتایج تجربی کلاسیک روی داده‌ها و تعداد اجراهای محدود انجام شده‌اند و با استانداردهای بنچمارک امروزی قابل قیاس مستقیم نیستند.

.

۱۵. کاربردها و موارد استفاده

۱۵.۱ شکل‌گیری مفهوم و مدل‌سازی شناختی

کاربرد تاریخی اصلی CLASSIT مطالعه چگونگی ساخت مفهوم از مشاهده‌های پیوسته است. ساختار درخت و قابلیت پیش‌بینی ویژگی، آن را برای پژوهش در سازمان‌دهی شناختی رده‌ها جذاب کرده است.

۱۵.۲ خوشه‌بندی برخط داده‌های عددی

در جریان تقریباً ایستا و با ابعاد متوسط، CLASSIT می‌تواند بدون ذخیره کامل داده، سلسله‌مراتبی از الگوهای عددی بسازد. استفاده عملی نیازمند استانداردسازی، تحلیل ترتیب و کنترل اندازه درخت است.

۱۵.۳ تکمیل الگو

پس از یافتن مفهوم مناسب، میانگین یا توزیع یک ویژگی در گره می‌تواند برای پیش‌بینی مقدار مفقود استفاده شود. این قابلیت در مقاله اصلی بخشی از انگیزه معیار مطلوبیت رده است.

۱۵.۴ داده‌های پزشکی اکتشافی

مقاله اصلی داده بیماری قلبی را برای بررسی ساخت مفهوم‌های عددی به کار برد. درصدهای تطابق گزارش‌شده نباید به‌عنوان صحت یک طبقه‌بند نظارت‌شده روی مجموعه آزمون مستقل تفسیر شوند؛ برچسب‌ها پس از خوشه‌بندی برای تفسیر مفهوم‌ها استفاده شدند.

۱۵.۵ اشیای مرکب

نسخه مقاله برای اشیایی با مؤلفه‌های متعدد، مانند توصیف ساختاری جانوران، سازوکار تطبیق مؤلفه ارائه کرد. هزینه تطبیق و مشکل مؤلفه‌های مفقود یا متغیر، دامنه کاربرد این نسخه را محدود می‌کند.

۱۵.۶ اسناد و داده‌های شمارشی

نسخه‌های اصلاح‌شده برای خوشه‌بندی افزایشی متن بررسی شده‌اند. استفاده مستقیم از فرض نرمال CLASSIT برای فراوانی واژه‌ها از نظر توزیعی مناسب نیست و پژوهش‌های متن، مدل شمارشی یا معیار تخصصی را جایگزین کرده‌اند (Sahoo et al., 2006).

۱۵.۷ جایگاه در کاربرد معاصر

شواهد گزارش پژوهشی نشان می‌دهد استفاده مستقیم CLASSIT پایه در سامانه‌های صنعتی جدید گسترده نیست. در داده‌های بسیار بزرگ، دارای رانش، چگالی‌محور یا با ساختار پیچیده، روش‌هایی مانند BIRCH، DenStream، HDBSCAN یا مدل‌های مخلوط معمولاً ابزار و ارزیابی جدیدتری دارند. CLASSIT بیشتر به‌عنوان الگوریتم مرجع تاریخی، چارچوب مفهومی یا پایه توسعه‌های ساخت‌یافته ارزش دارد.

.

۱۶. مقایسه با الگوریتم‌های مشابه

روش	نوع داده و مدل	ساختار خروجی	یادگیری	نکته ترجیح
COBWEB	اسمی و گسسته؛ احتمال مقادیر	درخت مفهوم	افزایشی	برای داده اسمی و آموزش منشأ مطلوبیت رده
CLASSIT	عددی؛ نرمال تک‌متغیره	درخت مفهوم	افزایشی	داده عددی کم‌تا‌متوسط و تحلیل مفهومی
COBWEB/3	داده مختلط با اصلاحات عددی	درخت مفهوم	افزایشی	جایگزین عملی‌تر برای داده‌های مختلط
TRESTLE	عددی، اسمی، روابط و مؤلفه‌ها	درخت مفهوم ساخت‌یافته	افزایشی	اشیای ساخت‌یافته و تطبیق جزئی
GMM/EM	نرمال چندمتغیره و مخلوط احتمالاتی	افراز نرم یا مدل چگالی	غالباً دسته‌ای	درست‌نمایی صریح و کوواریانس کامل
BIRCH	بردار عددی و CF-tree	ساختار فشرده و خوشه تخت	افزایشی/بزرگ‌مقیاس	داده عددی بسیار بزرگ
خوشه‌بندی تجمعی	فاصله یا پیوند عمومی	دندروگرام	دسته‌ای	دندروگرام استاندارد و فاصله‌های انعطاف‌پذیر
HDBSCAN	چگالی و فاصله	خوشه‌های چندشکلی و نویز	دسته‌ای	شکل‌های نامنظم و تشخیص نقاط نویزی

۱۶.۱ CLASSIT و COBWEB

تفاوت بنیادی در نوع نمایش ویژگی است. COBWEB احتمال مقادیر اسمی و CLASSIT میانگین و انحراف معیار ویژگی عددی را نگه می‌دارد. ساختار درخت، عملگرها و منطق مطلوبیت رده مشترک‌اند. نسبت‌دادن قابلیت داده مختلط COBWEB/3 به CLASSIT پایه نادرست است.

۱۶.۲ CLASSIT و GMM

هر دو از توزیع نرمال بهره می‌برند، اما هدف و روش متفاوت است. GMM پارامترهای یک مخلوط را با تابع درست‌نمایی مشخص و معمولاً EM برآورد می‌کند؛ تخصیص می‌تواند نرم باشد و کوواریانس کامل یا ساختارمند استفاده شود. CLASSIT ساختاری سلسله‌مراتبی، افزایشی و مبتنی بر معیار محلی می‌سازد و تخصیص درختی دارد. GMM برای مدل‌سازی آماری صریح و CLASSIT برای سازمان‌دهی مفهومی برخط مناسب‌تر است.

۱۶.۳ CLASSIT و BIRCH

هر دو افزایشی و درختی‌اند و از خلاصه‌های آماری استفاده می‌کنند. BIRCH با CF-tree برای فشرده‌سازی خوشه‌های عددی بزرگ طراحی شده و مقیاس‌پذیری محور اصلی آن است. CLASSIT کیفیت را با پیش‌بینی‌پذیری ویژگی و بازسازمان‌دهی مفهومی می‌سنجد. برای مجموعه‌های بسیار بزرگ، BIRCH معمولاً گزینه عملی‌تر است.

۱۶.۴ CLASSIT و خوشه‌بندی سلسله‌مراتبی تجمعی

روش تجمعی همه نمونه‌ها را در اختیار دارد و از برگ‌های منفرد به‌سمت ادغام بالا می‌رود. CLASSIT نمونه‌به‌نمونه و از ریشه به پایین سازمان می‌دهد و می‌تواند هم ادغام و هم شکافتن محلی انجام دهد. دندروگرام روش تجمعی به تابع فاصله و linkage وابسته است؛ درخت CLASSIT به ترتیب ورود، مدل ویژگی و مطلوبیت رده وابسته است.

.

۱۷. گونه‌ها، توسعه‌ها و نوآوری‌ها

۱۷.۱ CLASSIT پایه برای صفات عددی

نسخه اصلی، صفات عددی را با نرمال تک‌متغیره مدل می‌کند و چهار عملگر COBWEB را حفظ می‌نماید. acuity و cutoff از اجزای محوری کنترل ساختارند.

۱۷.۲ اشیای مرکب

مقاله اصلی ساخت مفهوم برای اشیایی متشکل از چند جزء را بررسی کرد. قبل از ارزیابی مفهوم، جزءهای نمونه و مفهوم باید متناظر شوند. روش حریصانه هزینه را کاهش می‌دهد، اما نگاشت ممکن است بهینه نباشد و تعداد متغیر جزءها مسئله‌ای باز باقی می‌گذارد.

۱۷.۳ CLASSIT-2 و توجه به ویژگی

CLASSIT-2 به مسئله توجه و تمرکز بر ویژگی‌های مؤثر می‌پردازد. انگیزه آن این است که نسخه پایه همه ویژگی‌ها را به‌طور جمعی وارد معیار می‌کند و در حضور ویژگی‌های نامرتبط آسیب‌پذیر است. پوشش کامل فرمول و ارزیابی CLASSIT-2 در بانک دانش مرحله قبل محدود است؛ جزئیات این نسخه نیازمند تکمیل پژوهشی است.

۱۷.۴ LABYRINTH و OXBOW

LABYRINTH و OXBOW در تبار الگوریتم‌های شکل‌گیری مفهوم ساخت‌یافته قرار دارند و محدودیت بردار ویژگی ساده را هدف قرار می‌دهند. تمرکز آن‌ها بر روابط میان مؤلفه‌ها، سازمان ساختار و تعداد متغیر اجزاست. این روش‌ها امتدادهای نزدیک‌اند، اما نباید به‌عنوان نام‌های مترادف CLASSIT معرفی شوند.

۱۷.۵ COBWEB/3

COBWEB/3 یک جانشین مهم برای داده‌های مختلط است. پیاده‌سازی‌های جدید آن از اصلاح برآورد پراکندگی، نویز پایه و نرمال‌سازی برخط بهره می‌برند. برای کاربرد امروزی، زمانی که داده هم ویژگی اسمی و هم عددی دارد، COBWEB/3 اغلب از CLASSIT پایه مناسب‌تر است.

۱۷.۶ TRESTLE

TRESTLE ساخت مفهوم در دامنه‌های ساخت‌یافته را توسعه می‌دهد و صفات اسمی، عددی، مؤلفه‌ها و روابط را در یک چارچوب ترکیب می‌کند (MacLellan et al., 2016). تطبیق جزئی ساختارها و کاربرد در حالت نظارت‌شده و بدون نظارت، آن را به امتدادی غنی‌تر تبدیل کرده است. ثبت نسخه‌ای از این کار در arXiv در سال ۲۰۲۴ نباید به‌عنوان تاریخ معرفی الگوریتم تلقی شود؛ انتشار اصلی به سال ۲۰۱۶ مربوط است.

۱۷.۷ نسخه‌های متن‌محور

در خوشه‌بندی اسناد، فراوانی واژه‌ها از نرمال تک‌متغیره ساده پیروی نمی‌کند. نسخه‌های اصلاح‌شده‌ای مانند رویکردهای Katz-Classit معیار توزیعی را با ماهیت شمارشی متن سازگار کرده‌اند. یافته کلیدی این خط پژوهش، ضرورت تطبیق مدل ویژگی با نوع داده است (Sahoo et al., 2006).

۱۷.۸ پژوهش‌های ۲۰۲۲ تا ۲۰۲۶

در جست‌وجوی هدفمند انجام‌شده برای این فصل تا تاریخ مرجع، توسعه مستقیم و پرنفوذی از CLASSIT پایه در کنفرانس‌های اصلی یادگیری ماشین طی سال‌های ۲۰۲۲ تا ۲۰۲۶ یافت نشد. این گزاره گزارش نتیجه جست‌وجو است، نه ادعای عدم وجود مطلق هر اثر مرتبط، و باید در آستانه انتشار نهایی دوباره بررسی شود. نمونه‌های جدید بیشتر یکی از سه حالت را دارند:

• استفاده از CLASSIT یا پیاده‌سازی Cobweb/ClassIt در یک مقایسه کاربردی، مانند مطالعه رخساره‌های کربناته در سال ۲۰۲۲؛
• ارجاع تاریخی به CLASSIT در مرورهای خوشه‌بندی سلسله‌مراتبی یا جریانی؛
• توسعه ایده‌های نزدیک در چارچوب‌هایی مانند TRESTLE یا انتخاب ویژگی برای خوشه‌بندی مفهومی (Shkaberina et al., 2025).

در مطالعه Glover و همکاران، پیاده‌سازی Cobweb/ClassIt همراه چند روش دیگر برای خوشه‌بندی رخساره‌ها ارزیابی شد و در مسئله مورد بررسی، EM و k-means عملکرد بهتری نشان دادند (Glover et al., 2022). این نتیجه شاهد کاربرد معاصر است، نه شاهد برتری CLASSIT.

۱۷.۹ جهت‌گیری‌های آینده

امتداد علمی معنادار CLASSIT باید دست‌کم چند محدودیت زیر را هدف قرار دهد:

• مدل توزیعی تطبیقی برای داده نرمال، شمارشی و سنگین‌دُم؛
• کوواریانس کم‌رتبه یا ساختاریافته؛
• نرمال‌سازی برخط ناوردا نسبت به واحد؛
• فراموشی و تشخیص رانش مفهوم؛
• ensemble چندترتیبی برای کاهش حساسیت به جایگشت؛
• برآورد عدم‌قطعیت و سنجش پایداری گره‌ها؛
• تابع هدف سراسری یا کران نظری برای کیفیت تصمیم‌های محلی؛
• پیاده‌سازی بازتولیدپذیر با تعریف صریح ترتیب عملگرها.

.

۱۸. جمع‌بندی، نکات کلیدی و سنجش یادگیری

۱۸.۱ جمع‌بندی فصل

CLASSIT امتداد عددی COBWEB و یکی از الگوریتم‌های کلاسیک شکل‌گیری افزایشی مفهوم است. هر گره با آمار کافی ویژگی‌های عددی و توزیع‌های نرمال تک‌متغیره توصیف می‌شود. معیار مطلوبیت رده پیوسته بررسی می‌کند که تقسیم والد به فرزندان تا چه اندازه پراکندگی مورد انتظار ویژگی‌ها را کاهش و قابلیت پیش‌بینی را افزایش می‌دهد. در هر درج، الگوریتم چهار گزینه افزودن، ایجاد، ادغام و شکافتن را به‌صورت محلی مقایسه می‌کند.

قدرت اصلی CLASSIT در یکپارچه‌سازی خوشه‌بندی، سلسله‌مراتب، یادگیری برخط و تکمیل الگوست. محدودیت‌های اصلی آن به فرض نرمال محوری، حساسیت به مقیاس و ترتیب، آسیب‌پذیری در برابر داده پرت، نادیده‌گرفتن همبستگی و نبود فراموشی مربوط می‌شوند. بنابراین CLASSIT در کتاب مرجع باید هم به‌عنوان الگوریتمی قابل مطالعه و هم به‌عنوان نمونه‌ای برای نقد سوگیری‌های طراحی الگوریتم ارائه شود. استفاده مستقیم آن در مسئله مدرن باید پس از مقایسه با جانشین‌هایی مانند COBWEB/3، TRESTLE، BIRCH و مدل‌های مخلوط صورت گیرد.

۱۸.۲ نکات کلیدی برای مرور سریع

• CLASSIT در سال ۱۹۸۹ معرفی شد و نسخه عددی خانواده COBWEB است.
• هر گره برای هر ویژگی میانگین و انحراف معیار نگه می‌دارد.
• معیار تصمیم با معکوس انحراف معیار ارتباط دارد.
• acuity کف پراکندگی است و cutoff حداقل مطلوبیت رده مجاز برای حفظ یا ادامه تفکیک محلی را تعیین می‌کند.
• چهار عملگر اصلی: افزودن، ایجاد، ادغام و شکافتن.
• الگوریتم افزایشی است، اما به ترتیب ورود وابسته می‌ماند.
• برخط بودن به معنای سازگاری با رانش مفهوم نیست.
• مدل ویژگی‌ها قطری است و کوواریانس کامل را ثبت نمی‌کند.
• مقیاس‌بندی سازگار ویژگی‌ها ــ مگر در صورت کالیبراسیون علمی واحدها و وزن‌ها ــ و گزارش چند ترتیب برای ارزیابی معتبر لازم‌اند.
• ارزش امروزی CLASSIT بیشتر تاریخی، آموزشی و الهام‌بخش توسعه‌های مفهومی است.

۱۸.۳ پرسش‌های مفهومی

1. چرا CLASSIT را نمی‌توان صرفاً نسخه برخط k-means دانست؟
2. چه رابطه‌ای میان کاهش انحراف معیار و افزایش قابلیت پیش‌بینی وجود دارد؟
3. چرا حذف عامل 1برK می‌تواند به افزایش کنترل‌نشده تعداد فرزندان منجر شود؟
4. تفاوت نقش acuity و cutoff چیست؟
5. چرا merge و split حساسیت به ترتیب را فقط کاهش می‌دهند و حذف نمی‌کنند؟
6. در چه شرایطی فرض نرمال تک‌متغیره گمراه‌کننده است؟
7. چرا نتیجه مطالعه قلب مقاله اصلی، صحت طبقه‌بندی نظارت‌شده محسوب نمی‌شود؟
8. چه تفاوتی میان مدل‌مبنا بودن CLASSIT و GMM وجود دارد؟

۱۸.۴ تمرین‌های محاسباتی و تحلیلی

1. برای داده {1,2,3,10,11,12} مطلوبیت دو افراز طبیعی و درهم‌آمیخته را با a=0.5 محاسبه کنید.
2. یک مجموعه دوبعدی طراحی کنید که تغییر واحد ویژگی دوم، انتخاب افراز را عوض کند.
3. اثر افزودن یک داده پرت به مجموعه {0,1,2,3} را بر میانگین، انحراف معیار و مطلوبیت محاسبه کنید.
4. کران زمانی درج را برای درختی با عمق h=8، عامل شاخه‌بندی b=5 و d=20 ویژگی تحلیل کنید.
5. شرایطی بسازید که ایجاد فرزند جدید بر افزودن به بهترین فرزند برتری یابد.
6. مزایا و معایب جایگزینی نرمال با Student-t را تحلیل کنید.
7. نشان دهید چرا استانداردسازی با استفاده از کل جریان پیش از یادگیری، در سناریوی برخط نشت اطلاعات ایجاد می‌کند.

۱۸.۵ پروژه پیشنهادی

یک مطالعه بازتولیدپذیری طراحی کنید که CLASSIT را روی سه مجموعه عددی با ویژگی‌های زیر ارزیابی کند: خوشه‌های کروی، خوشه‌های بیضوی هم‌بسته و داده دارای نویز و نقاط پرت. برای هر مجموعه:

• دست‌کم ۳۰ ترتیب تصادفی اجرا کنید؛
• شبکه‌ای از acuity و cutoff را بررسی کنید؛
• اندازه درخت، پایداری انتساب و خطای تکمیل ویژگی را گزارش کنید؛
• نتیجه را با GMM، BIRCH و خوشه‌بندی تجمعی مقایسه کنید؛
• تمام انتخاب‌های اجرایی مانند ترتیب عملگر و تساوی‌شکنی را مستند کنید.

۱۹. منابع اصلی فصل

Ackerman, M., & Dasgupta, S. (2014). Incremental clustering: The case for extra clusters. Advances in Neural Information Processing Systems, 27.

Aggarwal, C. C., & Reddy, C. K. (Eds.). (2014). Data clustering: Algorithms and applications. CRC Press.

Biswas, G., Weinberg, J. B., & Fisher, D. H. (1998). ITERATE: A conceptual clustering algorithm for data mining. IEEE Transactions on Systems, Man, and Cybernetics—Part C: Applications and Reviews, 28(2), 219–230. https://doi.org/10.1109/5326.669556

Corter, J. E., & Gluck, M. A. (1992). Explaining basic categories: Feature predictability and information. Psychological Bulletin, 111(2), 291–303.

Ezugwu, A. E., Ikotun, A. M., Oyelade, O. O., Abualigah, L., Agushaka, J. O., Eke, C. I., & Akinyelu, A. A. (2022). A comprehensive survey of clustering algorithms: State-of-the-art machine learning applications, taxonomy, challenges, and future research prospects. Engineering Applications of Artificial Intelligence, 110, 104743. https://doi.org/10.1016/j.engappai.2022.104743

Fisher, D. H. (1987). Knowledge acquisition via incremental conceptual clustering. Machine Learning, 2, 139–172. https://doi.org/10.1023/A:1022852608280

Fisher, D. H. (1996). Iterative optimization and simplification of hierarchical clusterings. Journal of Artificial Intelligence Research, 4, 147–178. https://doi.org/10.1613/jair.276

Fisher, D. H., Pazzani, M. J., & Langley, P. (Eds.). (1991). Concept formation: Knowledge and experience in unsupervised learning. Morgan Kaufmann.

Gennari, J. H. (1989). Focused concept formation. In Proceedings of the Sixth International Workshop on Machine Learning (pp. 379–382). Morgan Kaufmann.

Gennari, J. H., Langley, P., & Fisher, D. H. (1989). Models of incremental concept formation. Artificial Intelligence, 40(1–3), 11–61. https://doi.org/10.1016/0004-3702(89)90046-5

Gluck, M. A., & Corter, J. E. (1985). Information, uncertainty, and the utility of categories. In Proceedings of the Seventh Annual Conference of the Cognitive Science Society (pp. 283–287).

Glover, P. W. J., Mohammed-Sajed, O. K., Akyüz, C., Lorinczi, P., & Collier, R. (2022). Clustering of facies in tight carbonates using machine learning. Marine and Petroleum Geology, 144, 105828. https://doi.org/10.1016/j.marpetgeo.2022.105828

.

Godin, R., Missaoui, R., & Alaoui, H. (1995). Incremental concept formation algorithms based on Galois lattices. Computational Intelligence, 11(2), 246–267. https://doi.org/10.1111/j.1467-8640.1995.tb00031.x

Han, J., Kamber, M., & Pei, J. (2012). Data mining: Concepts and techniques (3rd ed.). Morgan Kaufmann.

Hanson, S. J., & Bauer, M. (1989). Conceptual clustering, categorization, and polymorphy. Machine Learning, 3, 343–372. https://doi.org/10.1007/BF00116838

Lebowitz, M. (1987). Experiments with incremental concept formation: UNIMEM. Machine Learning, 2, 103–138. https://doi.org/10.1023/A:1022800624210

Li, C., & Biswas, G. (2002). Unsupervised learning with mixed numeric and nominal data. IEEE Transactions on Knowledge and Data Engineering, 14(4), 673–690. https://doi.org/10.1109/TKDE.2002.1019208

MacLellan, C. J., Harpstead, E., Aleven, V., & Koedinger, K. R. (2016). TRESTLE: A model of concept formation in structured domains. Advances in Cognitive Systems, 4, 131–150.

Maimon, O., & Rokach, L. (Eds.). (2010). Data mining and knowledge discovery handbook (2nd ed.). Springer.

Michalski, R. S., & Stepp, R. E. (1983). Learning from observation: Conceptual clustering. In R. S. Michalski, J. G. Carbonell, & T. M. Mitchell (Eds.), Machine learning: An artificial intelligence approach. Tioga.

Murphy, K. P. (2022). Probabilistic machine learning: An introduction. MIT Press.

Ran, X., Xi, Y., Lu, Y., Wang, X., & Lu, Z. (2023). Comprehensive survey on hierarchical clustering algorithms and the recent developments. Artificial Intelligence Review, 56, 8219–8264. https://doi.org/10.1007/s10462-022-10366-3

Sahoo, N., Callan, J., Krishnan, R., Duncan, G. T., & Padman, R. (2006). Incremental hierarchical clustering of text documents. In Proceedings of the 15th ACM International Conference on Information and Knowledge Management (pp. 357–366). Association for Computing Machinery. https://doi.org/10.1145/1183614.1183667

Shkaberina, G., Masich, I., Markushin, E., & Kraeva, E. (2025). Unsupervised feature selection in binarization of real attributes for conceptual clustering. ITM Web of Conferences, 72, 04004. https://doi.org/10.1051/itmconf/20257204004

Tan, P.-N., Steinbach, M., Karpatne, A., & Kumar, V. (2019). Introduction to data mining (2nd ed.). Pearson.