خوشه‌بندی سلسله‌مراتبی (Hierarchical Clustering) چیست؟

1.مقدمه

خوشه‌بندی سلسله‌مراتبی، رویکردی بنیادین در یادگیری بدون‌ناظر است که ساختارهای پنهان و چندسطحی میان داده‌ها را کشف می‌کند. برخلاف روش‌های افرازی، داده‌ها را به گروه‌های هم‌سطح تقسیم نمی‌کند، بلکه روابط را به صورت درختی به نام دندروگرام نمایش می‌دهد. این ساختار نشان می‌دهد داده‌ها در چه سطوحی از شباهت به هم متصل یا جدا می‌شوند.

فلسفه اصلی آن بر پایه ماهیت لایه‌ای و تودرتوی بسیاری از داده‌ها در حوزه‌هایی مانند زیست‌شناسی، پزشکی، متن‌کاوی، علوم اجتماعی، بازاریابی و داده‌های مکانی است. برای نمونه، در تحلیل مشتریان می‌توان ابتدا گروه‌های کلی (فعال، نیمه‌فعال، غیرفعال) و سپس زیرگروه‌های دقیق‌تر را شناسایی کرد.

مزیت مهم این روش نسبت به K-Means آن است که نیازی به تعیین قطعی تعداد خوشه‌ها از ابتدا ندارد؛ تحلیل‌گر پس از تولید دندروگرام با برش درخت، تعداد خوشه‌ها را انتخاب می‌کند. این ویژگی برای تحلیل‌های اکتشافی بسیار ارزشمند است.از نظر مکانیزم، دو دسته اصلی وجود دارد: روش‌های تجمعی (پایین به بالا) که هر نمونه را یک خوشه فرض کرده و نزدیک‌ترین‌ها را ادغام می‌کنند، و روش‌های تقسیمی (بالا به پایین) که همه داده‌ها را در یک خوشه قرار داده و آن را به زیرخوشه‌ها تقسیم می‌کنند.
اهمیت این خوشه‌بندی تنها به نمایش درختی محدود نمی‌شود؛ امکان استفاده از معیارهای فاصله متنوع، روش‌های پیوند، ساختارهای گرافی، مدل‌های مبتنی بر چگالی و تکنیک‌های مقاوم به نویز را فراهم می‌کند. الگوریتم‌های کلاسیک مانند AGNES و DIANA تا پیشرفته‌هایی چون BIRCH، CURE، ROCK، Chameleon و Echidna در این حوزه قرار دارند.

.

2.رویکرد های خوشه‌بندی سلسله‌مراتبی (Hierarchical Clustering)

فلسفه محاسباتی و مکانیزم عملکرد

این رویکرد به جای خرد کردن فضا در یک گام، یک ساختار درختی شیاردار از روابط داده‌ها بنا می‌کند. در این رویکرد، هیچ حدس اولیه‌ای برای تعداد خوشه‌ها نیاز نیست و تحلیل‌گر می‌تواند با برش دادن درخت دندروگرام (Dendrogram) در سطوح مختلف، به کلاسترهای دلخواه برسد.

2.۱. الگوریتم (Agglomerative Nesting) Agnes

یک الگوریتم سلسله‌مراتبی تجمعی (Bottom-Up) است که کار خود را با فرض اینکه هر نقطه داده یک کلاستر مستقل و منزوی است آغاز می‌کند و سپس به صورت گام‌به‌گام و بر اساس معیارهای پیوند، شبیه‌ترین خوشه‌ها را ترکیب می‌کند تا یک درخت واحد شکل گیرد.

AGNES یکی از معروف‌ترین الگوریتم‌های خوشه‌بندی سلسله‌مراتبی تجمعی است. این الگوریتم از پایین به بالا عمل می‌کند؛ یعنی ابتدا هر نمونه داده را به‌عنوان یک خوشه مستقل در نظر می‌گیرد و سپس در هر مرحله، دو خوشه‌ای را که بیشترین شباهت یا کمترین فاصله را دارند با یکدیگر ادغام می‌کند.

گام‌های اجرایی

1. کلاسترهای تک‌عضوی: تخصیص هر نقطه داده به یک خوشه مستقل مجزا.
2. محاسبه ماتریس فاصله: سنجش فواصل زوجی بین تمام خوشه‌ها بر اساس یک معیار فاصله مبنا (مانند اقلیدسی).
3. ادغام حریصانه: یافتن دو کلاستر با کمترین فاصله (بیشترین شباهت) بر اساس معیار پیوند (Linkage) و ادغام آن‌ها با یکدیگر.
4. به‌روزرسانی ماتریس: نوسازی فواصل بین کلاستر تازه متولد شده با سایر خوشه‌های باقی‌مانده فضا.
5. ارضای شرط توقف: تکرار مراحل ۳ و ۴ تا زمانی که تمام نقاط داده درون یک ابرخوشه واحد زنجیره شوند.

تابع هدف ریاضی

بهینه‌سازی پویا و مینیمم‌سازی فواصل متقابل کلاسترها در هر سطح از ماتریس پیوند (L)

معرفی متغیرها

• n: تعداد کل نقاط داده در فضای مسئله.
• C_A , C_B: دو خوشه کاندید جهت ادغام یا بررسی در فضا.
• d(x, y): ماتریس فاصله مبنا بین دو نقطه داده منفرد.

مزایا و نقاط قوت

• عدم نیاز به دانش قبلی یا تعیین پارامتر تعداد خوشه‌ها (K).
• درک شهودی فوق‌العاده قوی ساختار داده‌ها با ترسیم نمودار درختی دندروگرام.
• انعطاف‌پذیری بالا به دلیل امکان تغییر و تعویض معیارهای محاسباتی پیوند.

معایب و محدودیت‌ها

• پیچیدگی زمانی بسیار سنگین O(n^3) و پیچیدگی فضایی O(n^2) برای نگهداری فواصل.
• عدم کارایی و سرعت در مواجهه با مجموعه‌داده‌های مقیاس‌بزرگ.
• غیرقابل بازگشت بودن ادغام‌ها (اگر دو نقطه در گام‌های اول اشتباه ادغام شوند، تا پایان قابل اصلاح نیست).

 کاربردهای واقعی

AGNES معمولاً با روش‌های مختلف پیوند مانند Single Linkage، Complete Linkage، Average Linkage و Ward’s Method اجرا می‌شود. خروجی آن یک دندروگرام کامل است که می‌توان با برش آن در سطوح مختلف، تعداد خوشه‌های دلخواه را استخراج کرد.

• زیست‌شناسی تکاملی، ژنتیک و ساخت درخت‌های فیلوژنتیک (تصویر روابط گونه‌ها).
• دسته‌بندی اسناد خبری و ساختاربندی سلسله‌مراتبی متون در وب‌سایت‌ها.

.

2.۲. الگوریتم (Divisive Analysis) Diana

DIANA یکی از مهم‌ترین الگوریتم‌های خوشه‌بندی سلسله‌مراتبی تقسیمی است. برخلاف AGNES، این الگوریتم از بالا به پایین حرکت می‌کند. در ابتدا همه داده‌ها در یک خوشه واحد قرار می‌گیرند و سپس این خوشه بزرگ به‌تدریج به زیرخوشه‌های کوچک‌تر تقسیم می‌شود. این الگوریتم کار خود را با فرض اینکه تمام نقاط داده درون یک ابرخوشه واحد قرار دارند آغاز می‌کند و سپس در هر گام، به صورت متوالی و بر اساس معیارهای عدم‌شباهت، خوشه‌ها را به زیرمجموعه‌های کوچک‌تر خرد می‌کند تا زمانی که هر نقطه به یک کلاستر انحصاری تبدیل شود.

گام‌های اجرایی

1. ابرخوشه اولیه: قرار دادن تمام نقاط داده موجود در فضای مسئله درون یک کلاستر واحد.
2. یافتن نقطه آسیب‌پذیر (Splinter Group): در هر کلاستر، نقطه‌ای که بیشترین میانگین فاصله (عدم‌شباهت) را نسبت به سایر اعضای همان کلاستر دارد، انتخاب شده و هسته اولیه یک گروه مجزا را تشکیل می‌دهد.
3. بازتخصیص رقابتی: تک‌تک نقاط باقی‌مانده در کلاستر اصلی ارزیابی می‌شوند؛ اگر به گروه مجزای جدید نزدیک‌تر از کلاستر قبلی خود باشند، به گروه جدید منتقل می‌شوند.
4. تقسیم صلب: این فاز جابه‌جایی تا زمان عدم تغییر اعضا ادامه می‌یابد تا کلاستر رسماً به دو بخش مستقل تقسیم شود.
5. تکرار چرخه‌ای: در گام‌های بعدی، کلاستری که بالاترین قطر هندسی (بیشترین عدم‌شباهت درونی) را دارد برای تقسیم مجدد انتخاب می‌شود و فرآیند تا رسیدن به کلاسترهای تک‌عضوی ادامه می‌یابد.

تابع هدف ریاضی

بیشینه‌سازی تمایز و فواصل بین دو زیرخوشه ایجاد شده (A و B) از طریق کمینه‌سازی همگنی درونی کلاستر مادر:

معرفی متغیرها

• d(x, y): معیار سنجش فاصله جفتی (عدم‌شباهت) بین نقاط.
• Splinter Group: گروه انشعابی یا مجزای جدید که در هر گام از کلاستر مادر جدا می‌شود.
• قطر کلاستر (Diameter): حداکثر فاصله بین هر دو نقطه درون یک کلاستر که معیار انتخاب کلاستر بعدی برای تقسیم است.

مزایا و نقاط قوت

• عدم نیاز به تعیین پیش‌فرض تعداد خوشه‌ها (K).
• کارایی و دقت بسیار بالاتر در گام‌های اولیه تقسیم (بالای درخت دندروگرام) نسبت به روش‌های تجمعی.
• ارائه دید کلان و ساختاریافته از بالا به پایین نسبت به کل توپولوژی داده‌ها.

معایب و محدودیت‌ها

• پیچیدگی زمانی بسیار سنگین و تصاعدی  O (2^n) در حالت محاسبات کامل، که آن را برای داده‌های متوسط و بزرگ کاملاً غیرقابل استفاده می‌کند.
• صلبیت در تصمیم‌گیری؛ اگر یک تقسیم در مراحل اولیه به اشتباه صورت گیرد، در گام‌های بعدی قابل جبران و اصلاح نیست.

کاربردهای واقعی

DIANA برای تحلیل‌هایی مناسب است که در آن‌ها هدف، شناخت ساختار کلان داده‌ها و سپس حرکت به سمت جزئیات است. این الگوریتم در گام‌های ابتدایی می‌تواند تصویر خوبی از تقسیمات اصلی داده ارائه دهد، اما از نظر محاسباتی معمولاً سنگین‌تر از بسیاری از روش‌های تجمعی است.

• تحلیل رفتارهای کلان تجاری و تقسیم بازارهای هدف بزرگ به لایه‌های فرعی منسجم.
• تحلیل ساختارهای سازمانی پیچیده و خوشه‌بندی سلسله‌مراتبی داده‌های کلان مدیریتی.

2.۳. الگوریتم BIRCH

یک الگوریتم خوشه‌بندی سلسله‌مراتبی تجمعی، بسیار مقیاس‌پذیر و حافظه‌محور است که منحصراً برای پردازش مجموعه‌داده‌های بسیار بزرگ و کلان‌داده‌ها (Big Data) طراحی شده است. این الگوریتم با معرفی یک ساختار درختی فشرده، نیاز به بارگذاری هم‌زمان تمام داده‌ها در حافظه موقت (RAM) را از بین می‌برد و با یک بار پویش کامل دیتابیس، کلاسترینگ را انجام می‌دهد. ایده اصلی آن، فشرده‌سازی داده‌ها در قالب یک ساختار درختی به نام CF-Tree است. این درخت، داده‌ها را با استفاده از خلاصه‌های آماری مانند تعداد نقاط، مجموع خطی و مجموع مربعات ذخیره می‌کند.

گام‌های اجرایی

1. ساخت درخت CF (فاز ۱): الگوریتم تک‌تک نقاط داده را به صورت جریانی می‌خواند و آن‌ها را در قالب بردار‌های مَکنده آماری به نام «ویژگی خوشه‌بندی» (Clustering Feature – CF) فشرده کرده و درون لایه‌های یک درختی پویا به نام درخت CF (مخفف CF-Tree) سازمان‌دهی می‌کند.
2. متراکم‌سازی درخت (فاز ۲ – اختیاری): کل درخت CF اسکن شده و کلاسترهای فرعی و بسیار کوچک حذف یا ادغام می‌شوند تا یک درخت کوچک‌تر و منسجم‌تر برای فاز بعدی به دست آید.
3. خوشه‌بندی جهانی (فاز ۳): یک الگوریتم کلاسترینگ سلسله‌مراتبی سنتی )مانند AGNES یا K-Means) منحصراً روی گره‌های برگ درخت CF (و نه نقاط واقعی داده‌ها) اجرا می‌شود تا ابرخوشه‌ها را شکل دهد.
4. اصلاح نهایی (فاز ۴ – اختیاری): جهت بهبود مرزها، مراکز خوشه‌های حاصل از فاز ۳ به عنوان نقاط مبنا قرار گرفته و کل داده‌های اصلی برای اصلاح چیدمان، یک‌بار دیگر ارزیابی و بازتخصیص می‌شوند.

تابع هدف ریاضی

ساختار یک گره یا بردارCF  برای یک خوشه حاوی N نقطه داده، بر پایه سه شاخص آماری خلاصه می‌شود که ویژگی‌های افزایشی (Additive) دارند:

معرفی متغیرها

• N: تعداد کل نقاط داده موجود درون آن کلاستر فرعی.
• LS (Linear Sum): مجموع خطی یا برداری مختصات تمام نقاط درون خوشه .
• SS (Square Sum): مجموع مجذورات مختصات تمام نقاط درون خوشه.
• B (Branching Factor): حداکثر تعداد فرزندانی که هر گره غیربرگ در درخت CF می‌تواند داشته باشد.

مزایا و نقاط قوت

• عملکرد مستقل از حجم حافظه RAM به دلیل بهره‌گیری از خلاصه آماری گره‌های CF.
• توانایی ذاتی در شناسایی و فیلتر کردن داده‌های پرت و نویزها در طول ساخت درخت.
• حجم زیادی از داده را با مصرف حافظه کمتر پردازش کند و برای کاربردهای کلان‌داده، داده‌های جریانی و پیش‌پردازش مجموعه‌داده‌های بزرگ مناسب است.

معایب و محدودیت‌ها

• ناتوانی در کشف خوشه‌های با اشکال نامنظم و هندسه پیچیده (صرفاً تمایل به ایجاد خوشه‌های کروی شکل دارد).
• حساسیت خروجی به ترتیب ورود و خوانده شدن داده‌ها از دیتابیس.
• ناتوانی ذاتی در پردازش متغیرها و داده‌های کیفی (صرفاً با داده‌های عددی کار می‌کند).

کاربردهای واقعی

• پیش‌پردازش و فشرده‌سازی دیتابیس‌های مگا-سایز قبل از اعمال الگوریتم‌های سنگین یادگیری ماشین.
• کلاسترینگ داده‌های جریانی (Stream Data) مانند تحلیل آنلاین ترافیک شبکه‌های مخابراتی یا حسگرهای اینترنت اشیاء (IoT).

.

2.۴. الگوریتم (Clustering Using Representatives) CURE

یک الگوریتم خوشه‌بندی سلسله‌مراتبی تجمعی (Agglomerative) پیشرفته است که برای غلبه بر محدودیت‌های روش‌های سنتی در مواجهه با خوشه‌های غیرکروی و مهار داده‌های پرت طراحی شده است. این متد به جای اتکا به یک مرکز ثقل واحد (مانند K-Means) یا کل نقاط (مانند متدهای پیوند کامل)، از مجموعه‌ای از نقاط نماینده (Representative Points) با توزیع هندسی مناسب برای توصیف هر خوشه استفاده می‌کند.

گام‌های اجرایی

1. انتخاب نقاط نماینده: در هر کلاستر، تعداد مشخصی از نقاط داده که بیشترین فاصله را از یکدیگر دارند به عنوان نمایندگان اولیه انتخاب می‌شوند تا هندسه و شکل خوشه را پوشش دهند.
2. انقباض به سمت مرکز (Shrinkage): نقاط نماینده منتخب با اعمال یک ضریب انقباض (α) به اندازه مشخصی به سمت مرکز ثقل خوشه جابه‌جا و فشرده می‌شوند؛ این کار اثر مخرب داده‌های پرت مرزی را خنثی می‌کند.
3. ادغام سلسله‌مراتبی: در هر گام، دو خوشه‌ای که نزدیک‌ترین جفت نقاط نماینده (پس از جابه‌جایی) را دارند، شناسایی شده و به صورت تجمعی با یکدیگر ادغام می‌شوند.
4. تجدید نمایندگان: پس از ادغام، نقاط نماینده جدید برای خوشه حاصله مجدداً محاسبه، انتخاب و منقبض می‌شوند.
5. شرط توقف: این فرآیند تا رسیدن به تعداد خوشه‌های هدف (K) ادامه می‌یابد.

تابع هدف ریاضی

تابع هدف بر پایه محاسبه کمترین فاصله اقلیدسی میان تمام جفت‌های ممکن از نقاط نماینده منقبض‌شده (P) متعلق به دو خوشه مجزا تعریف می‌شود:

معرفی متغیرها و پارامترها

• c: تعداد نقاط نماینده تعیین‌شده برای هر خوشه (پارامتر کنترلی شکل کلاستر).
• α: ضریب یا فاکتور انقباض (Shrinking Factor) در بازه [0, 1] که میزان جابه‌جایی نقاط به سمت مرکز را تنظیم می‌کند.
• P_A , P_B: مجموعه نقاط نماینده منقبض‌شده خوشه‌های A و B.

مزایا و نقاط قوت

• توانایی فوق‌العاده در کشف خوشه‌ها با اشکال هندسی نامنظم، کشیده و اندازه‌های بسیار متفاوت.
• مقاومت بسیار بالا در برابر داده‌های پرت (Outliers) به دلیل مکانیزم انقباض نقاط نماینده.

معایب و محدودیت‌ها

• حساسیت شدید کیفیت کلاسترینگ به تنظیم دقیق دو پارامتر کلیدی ضریب انقباض  و تعداد نمایندگان (c).
• بار محاسباتی سنگین‌تر در مقایسه با روش‌های سلسله‌مراتبی ساده در صورت عدم استفاده از بهینه‌سازی نمونه‌برداری.

کاربردهای واقعی

• دسته‌بندی داده‌های مکانی ساختارنیافته و نقشه‌برداری‌های عارضه نگاری با اشکال طبیعی نامنظم (مانند مسیر رودخانه‌ها یا مرز جنگل‌ها).
• تحلیل رفتارهای پیچیده و غیرخطی مشتریان در کلان‌داده‌های تجاری.

.

2.۵. الگوریتم (Robust Clustering using Links) ROCK

یک الگوریتم خوشه‌بندی سلسله‌مراتبی تجمعی (Bottom-Up) و بسیار مستحکم است که منحصراً برای پردازش داده‌های کیفی، اسمی و تراکنشی (Categorical & Transactional Data) طراحی شده است. این متد به جای اتکا به معیارهای فاصله هندسی سنتی (که در فضاهای اسمی کارایی ندارند)، از مفهوم نوین «پیوند» (Link) بر پایه تعداد همسایگان مشترک برای سنجش شباهت میان نقاط استفاده می‌کند.

گام‌های اجرایی

1. محاسبه همسایگی (Neighbors): ابتدا با تعریف یک آستانه شباهت (θ)، مشخص می‌شود که کدام جفت از داده‌ها با یکدیگر همسایه هستند.
2. استخراج ماتریس پیوند (Links): برای هر دو نقطه داده، تعداد همسایگان مشترک آن‌ها محاسبه شده و به عنوان تعداد پیوندهای متقابل در یک ماتریس ثبت می‌شود. هرقدر تعداد پیوندهای مشترک بیشتر باشد، احتمال قرارگیری آن‌ها در یک خوشه افزایش می‌یابد.
3. ادغام سلسله‌مراتبی: با استفاده از یک تابع بهینگی حریصانه، در هر مرحله دو خوشه‌ای که بالاترین میزان پیوند متقابل و منسجم را دارند، انتخاب و با یکدیگر ادغام می‌شوند.
4. شرط توقف: فرآیند ترکیب تجمعی خوشه‌ها تا رسیدن به تعداد کلاسترهای مورد نظر کاربر (K) ادامه پیدا می‌کند.

تابع هدف ریاضی

بیشینه‌سازی درون‌خوشه‌ای معیار پیوندها با اعمال یک تابع جریمه (f(θ)) جهت کنترل و متعادل‌سازی حجم کلاسترها:

معرفی متغیرها

• K: تعداد خوشه‌های نهایی هدف.
• θ: آستانه یا فاکتور شباهت (Similary Threshold) در بازه [0, 1] برای تعیین همسایگی اولیه نقاط.
• link(x, y): تعداد همسایگان مشترک بین دو نقطه داده x و y.
• n_i , n_j: تعداد اعضا یا حجم خوشه‌های C_i و C_j.

مزایا و نقاط قوت

• عملکرد بسیار دقیق و بومی در فضاهای داده‌ای اسمی، باینری و تراکنشی.
• پایداری و مقاومت فوق‌العاده بالا در برابر داده‌های پرت و نویزها به دلیل اتکا به سیستم پیوندهای مشترک.
• در فضاهایی که فاصله اقلیدسی معنا و کارایی ندارد، عملکرد قابل قبولی ارائه می‌دهد.

معایب و محدودیت‌ها

• پیچیدگی محاسباتی و زمانی سنگین به صورت O(n^2 log n) که استفاده از آن را برای دیتابیس‌های مگا-سایز محدود می‌کند.
• حساسیت خروجی به تنظیم دقیق پارامتر آستانه همسایگی .

کاربردهای واقعی

• تحلیل سبد خرید مشتریان (Market Basket Analysis) و خوشه‌بندی داده‌های تراکنشی فروشگاهی.
• تحلیل داده‌های متنی، دسته‌بندی اسناد و سیستم‌های داده‌کاوی هویت‌های دیجیتال.
• تحلیل داده‌های باینری، علایق کاربران،

.

2.۶. الگوریتم Chameleon

این یک الگوریتم خوشه‌بندی سلسله‌مراتبی از پایین به بالای مبتنی بر گراف است که برای شناسایی خوشه‌هایی با شکل، اندازه و چگالی متفاوت طراحی شده است. این الگوریتم ابتدا داده‌ها را به گراف k نزدیک‌ترین همسایه (k-NN Graph) تبدیل می‌کند و سپس با افرازبندی گراف، زیرخوشه‌های اولیه را می‌سازد.

در مرحله بعد، Chameleon خوشه‌ها را بر اساس دو معیار مهم ادغام می‌کند: اتصال متقابل نسبی (Relative Interconnectivity) و قرابت نسبی (Relative Closeness). این رویکرد باعث می‌شود تصمیمات ادغام نسبت به ساختار واقعی داده‌ها حساس‌تر و هوشمندتر باشد.

گام‌های اجرایی

1. ساخت گراف همسایگی (فاز ۱.الف): ابتدا مجموعه‌داده به یک گراف کی-نزدیک‌ترین همسایه (k-Nearest Neighbor Graph) تبدیل می‌شود که در آن داده‌ها گره‌ها را شکل می‌دهند و یال‌ها نشان‌دهنده روابط همسایگی نزدیک هستند.
2. افرازبندی اولیه گراف (فاز ۱.ب): با استفاده از یک الگوریتم تقسیم گراف (مانند METIS)، گراف بزرگ به تعداد زیادی زیرخوشه کوچک، بسیار متراکم و کاملاً مجزا (Sub-clusters) خرد می‌شود.
3. ارزیابی دوشاخصه (فاز ۲.الف): برای هر جفت از زیرخوشه‌های کاندید، میزان «اتصال متقابل نسبی» (Relative Interconnectivity) و «قرابت نسبی» (Relative Closeness) به طور هم‌زمان محاسبه می‌شود.
4. ادغام سلسله‌مراتبی حریصانه (فاز ۲.ب): زیرخوشه‌هایی که هر دو شاخص محاسباتی آن‌ها از آستانه بهینگی تعریف‌شده بالاتر باشد، با یکدیگر ترکیب می‌شوند.
5. شرط توقف: این فرآیند تجمعی فاز دوم تا زمانی ادامه می‌یابد که دیگر هیچ جفتی شرایط ادغام را نداشته باشد یا تعداد خوشه‌ها به عدد مدنظر کاربر (K) برسد.

تابع هدف ریاضی

بیشینه‌سازی حاصل‌ضرب توان‌دار دو شاخص اتصال متقابل نسبی (RI) و قرابت نسبی (RC) برای انتخاب بهینه‌ترین جفت خوشه‌ها (C_i و C_j) جهت ادغام:

معرفی متغیرها

• k: تعداد همسایگان در فاز اولیه ساخت گراف k-NN.
• RI(C_i, C_j): اتصال متقابل نسبی؛ نسبت ظرفیت یال‌های مشترک بین دو خوشه به کل یال‌های درونی آن‌ها.
• RC(C_i, C_j): قرابت نسبی؛ میزان نزدیکی و شباهت هندسی جفت نقاط مرزی دو خوشه نسبت به پایداری درونی کلاسترها.

مزایا و نقاط قوت

• توانایی بی‌نظیر در کشف خوشه‌هایی با اشکال هندسی بسیار نامنظم، مارپیچ، حلقوی و چندبعدی.
• عملکرد بسیار پایدار در مواجهه با مجموعه‌داده‌هایی با چگالی‌های موضعی کاملاً متغیر.

معایب و محدودیت‌ها

• پیچیدگی محاسباتی و زمانی بسیار سنگین به صورت حداقل  O(n^2) که کارایی آن را در پردازش کلان‌داده‌ها به شدت کاهش می‌دهد.
• وابستگی شدید خروجی مدل به تنظیم دقیق پارامترهای فاز اول (مانند تعداد همسایگان  k و الگوریتم افراز گراف).

کاربردهای واقعی

• تحلیل و کلاسترینگ داده‌های مکان‌مبنا (Spatial Data) با مرزهای طبیعی پیچیده و دانسیته متغیر.
• بازشناسی الگو (Pattern Recognition)، بینایی ماشین و بخش‌بندی تصاویر با بافت‌های نامنظم.

.

2.۷. الگوریتم Echidna

این یک الگوریتم سلسله‌مراتبی مفهوم‌محور برای داده‌های کیفی و اسمی است. این روش با استفاده از ساختاری به نام درخت مفهوم، روابط میان ویژگی‌های دسته‌ای را مدل‌سازی و فشرده می‌کند. سپس بر اساس معیارهای اطلاعاتی و وابستگی آماری، گره‌های مشابه در ساختار درخت ادغام می‌شوند.

یک الگوریتم خوشه‌بندی سلسله‌مراتبی تجمعی (Bottom-Up) و مفهوم‌محور است که منحصراً برای کلان‌داده‌های حاوی متغیرهای کیفی و اسمی (Categorical) طراحی شده است. این متد برخلاف روش‌های سنتی که مکرراً کل دیتابیس را برای یافتن فواصل ارزیابی می‌کنند، با تکیه بر یک ساختار درختی هوشمند به نام «درخت مفهوم»، فضا را خلاصه کرده و روابط وابستگی متغیرها را استخراج می‌نماید.

گام‌های اجرایی

1. ساخت درخت مفهوم: پویش اولیه داده‌ها و نگاشت ترکیبات مختلف متغیرهای اسمی به گره‌های یک ساختار درختی جهت فشرده‌سازی اطلاعات.
2. محاسبه شاخص اطلاعاتی: ارزیابی میزان اشتراک و وابستگی مفاهیم در لایه‌های مختلف درخت بر اساس معیارهای اطلاعات آماری.
3. ادغام سلسله‌مراتبی: ترکیب گام‌به‌گام و تجمعی گره‌های برگ درخت که بیشترین همبستگی و تشابه مفهومی را با یکدیگر دارند.
4. برش پویا: توقف فرآیند ادغام یا برش درخت در سطحی که تعادل بهینه میان تعداد خوشه‌ها و ناهمگنی درون‌گروهی برقرار شود.

تابع هدف ریاضی

بیشینه‌سازی بهره اطلاعاتی (Information Gain) یا شاخص پیرسون برای سنجش اتصال و همبستگی متغیرهای اسمی درون گره‌های ادغام‌شده درخت مفهوم:

معرفی متغیرها

• A , B: دو گره یا خوشه مفهومی کاندید جهت ادغام در درخت.
• P(i): توزیع فراوانی واقعی ترکیب ویژگی‌های کیفی در داده‌ها.
•  P_expected (i): توزیع احتمالی فرضی ویژگی‌ها در صورت استقلال کامل متغیرها از یکدیگر.

مزایا و نقاط قوت

• مقیاس‌پذیری و سرعت بالا در پردازش دیتابیس‌های کیفی مگا-سایز.
• ساختار تفکیک‌پذیری بسیار قوی در ایجاد خوشه‌های لایه‌ای و مفهومی.

معایب و محدودیت‌ها

• ناتوانی در پردازش مستقیم متغیرهای عددی و پیوسته.
• حساسیت خروجی و شکل درخت به ترتیب ورود داده‌های کیفی از دیتابیس.

کاربردهای واقعی

• تحلیل سبد خرید تراکنشی و کشف قوانین انجمنی وفاداری مشتریان.
• متن‌کاوی، تحلیل ساختار معنایی عبارات (Ontology) و دسته‌بندی سلسله‌مراتبی اسناد.

.

3.کاربرد خوشه‌بندی سلسله‌مراتبی

زیست‌شناسی، ژنتیک و تحلیل فیلوژنتیک

یکی از کلاسیک‌ترین کاربردهای خوشه‌بندی سلسله‌مراتبی در زیست‌شناسی و ژنتیک است. در این حوزه، پژوهشگران از این روش برای بررسی شباهت میان ژن‌ها، پروتئین‌ها، گونه‌ها یا نمونه‌های زیستی استفاده می‌کنند.

برای مثال، در تحلیل بیان ژن، می‌توان ژن‌هایی را که الگوهای فعالیت مشابهی دارند در خوشه‌های نزدیک قرار داد. همچنین در مطالعات تکاملی، خوشه‌بندی سلسله‌مراتبی می‌تواند برای ساخت درخت‌های فیلوژنتیک و نمایش روابط تکاملی میان گونه‌ها به کار رود.

پزشکی و تحلیل زیرگروه‌های بیماری

در پزشکی داده‌محور، بیماران اغلب دارای ویژگی‌های متنوع و پیچیده‌ای هستند؛ از علائم بالینی و نتایج آزمایشگاهی گرفته تا داده‌های ژنتیکی و تصویربرداری پزشکی. خوشه‌بندی سلسله‌مراتبی می‌تواند بیماران را بر اساس شباهت‌های چندبعدی در گروه‌های مختلف قرار دهد.

برای نمونه، در سرطان‌شناسی، این روش می‌تواند به شناسایی زیرگونه‌های بیماری بر اساس الگوهای ژنتیکی یا مولکولی کمک کند. همچنین در بیماری‌های مزمن مانند دیابت یا بیماری‌های قلبی، می‌توان بیماران را به گروه‌هایی با سطح خطر، پاسخ درمانی یا الگوی پیشرفت بیماری متفاوت تقسیم کرد.

متن‌کاوی، دسته‌بندی اسناد و تحلیل محتوا

در پردازش زبان طبیعی و متن‌کاوی، اسناد معمولاً ساختاری موضوعی و سلسله‌مراتبی دارند. خوشه‌بندی سلسله‌مراتبی می‌تواند مقالات، اخبار، صفحات وب، پایان‌نامه‌ها یا نظرات کاربران را بر اساس شباهت معنایی یا واژگانی گروه‌بندی کند.

برای مثال، مجموعه‌ای از مقالات علمی ابتدا ممکن است به حوزه‌های کلی مانند هوش مصنوعی، شبکه، امنیت و پایگاه داده تقسیم شوند؛ سپس هر حوزه به زیرموضوع‌هایی مانند یادگیری عمیق، یادگیری تقویتی، پردازش زبان طبیعی یا بینایی ماشین تفکیک شود.

بخش‌بندی مشتریان و تحلیل بازار

در بازاریابی هوشمند، شناخت لایه‌های مختلف رفتار مشتریان اهمیت زیادی دارد. خوشه‌بندی سلسله‌مراتبی امکان ایجاد یک نمای چندسطحی از بازار را فراهم می‌کند؛ به‌گونه‌ای که ابتدا مشتریان در گروه‌های کلی و سپس در زیرگروه‌های دقیق‌تر قرار گیرند.

برای مثال، یک فروشگاه آنلاین می‌تواند ابتدا مشتریان را به گروه‌های پرخرید، متوسط و کم‌خرید تقسیم کند و سپس در هر گروه، زیرگروه‌هایی مانند مشتریان حساس به تخفیف، مشتریان وفادار، مشتریان فصلی یا مشتریان علاقه‌مند به برندهای خاص را شناسایی کند.

تحلیل داده‌های مکانی و جغرافیایی

در داده‌های مکانی، ساختار خوشه‌ها اغلب منظم و کروی نیست. پدیده‌هایی مانند پراکندگی جمعیت، الگوهای ترافیکی، مناطق زیست‌محیطی، پوشش گیاهی یا الگوهای اقلیمی می‌توانند ساختارهای پیچیده، کشیده یا نامنظم داشته باشند.

الگوریتم‌هایی مانند CURE و Chameleon برای چنین داده‌هایی بسیار مفیدند، زیرا می‌توانند خوشه‌هایی با شکل‌های هندسی پیچیده و چگالی‌های متفاوت را بهتر از روش‌های ساده شناسایی کنند.

تحلیل شبکه‌های اجتماعی و داده‌های ارتباطی

در شبکه‌های اجتماعی، کاربران بر اساس تعاملات، علایق، روابط، دنبال‌کردن‌ها یا الگوهای ارتباطی به جوامع مختلف تقسیم می‌شوند. خوشه‌بندی سلسله‌مراتبی می‌تواند ساختار گروه‌ها و زیرگروه‌های اجتماعی را آشکار کند.

برای نمونه، یک شبکه اجتماعی ممکن است ابتدا کاربران را به جوامع بزرگ سیاسی، ورزشی، علمی یا سرگرمی تقسیم کند و سپس در هر جامعه، زیرگروه‌هایی با علایق تخصصی‌تر را شناسایی کند.

تحلیل تراکنش‌ها و داده‌های کیفی

بسیاری از داده‌های واقعی، عددی نیستند؛ بلکه به‌صورت اسمی، دسته‌ای، باینری یا تراکنشی ذخیره می‌شوند. برای مثال، داده‌های سبد خرید، علایق کاربران، دسته‌بندی محصولات، ویژگی‌های جمعیت‌شناختی یا پاسخ‌های پرسشنامه‌ای از این نوع هستند.

الگوریتم‌هایی مانند ROCK و Echidna برای چنین داده‌هایی طراحی شده‌اند. این روش‌ها به‌جای اتکا به فاصله‌های هندسی، از معیارهایی مانند همسایگان مشترک، پیوندها، وابستگی مفهومی یا شاخص‌های اطلاعاتی استفاده می‌کنند.

پیش‌پردازش داده‌های بزرگ و فشرده‌سازی اطلاعات

در کلان‌داده‌ها، اجرای مستقیم الگوریتم‌های سنگین خوشه‌بندی ممکن است پرهزینه یا غیرممکن باشد. الگوریتم‌هایی مانند BIRCH با استفاده از ساختارهای خلاصه‌ساز مانند CF-Tree، داده‌ها را به شکل فشرده نمایش می‌دهند و امکان خوشه‌بندی کارآمدتر را فراهم می‌کنند.

این کاربرد به‌ویژه در داده‌های جریانی، تحلیل لاگ‌های سامانه، داده‌های اینترنت اشیا، پایش شبکه و سامانه‌های نظارت صنعتی اهمیت دارد.

.

4.معایب خوشه‌بندی سلسله‌مراتبی

با وجود مزایای فراوان، خوشه‌بندی سلسله‌مراتبی دارای محدودیت‌هایی است که باید در انتخاب و پیاده‌سازی آن مورد توجه قرار گیرد.

پیچیدگی محاسباتی بالا

بسیاری از الگوریتم‌های سلسله‌مراتبی کلاسیک، به‌ویژه روش‌های تجمعی مانند AGNES، نیازمند محاسبه و ذخیره ماتریس فاصله میان نمونه‌ها هستند. این موضوع باعث افزایش هزینه زمانی و فضایی می‌شود. در بسیاری از پیاده‌سازی‌ها، پیچیدگی فضایی در حدO(n^2) و پیچیدگی زمانی می‌تواند تا O(n^3) افزایش یابد.

به همین دلیل، اجرای مستقیم این الگوریتم‌ها روی مجموعه‌داده‌های بسیار بزرگ معمولاً دشوار است و نیاز به روش‌های بهینه، نمونه‌برداری، فشرده‌سازی یا الگوریتم‌های مقیاس‌پذیر مانند BIRCH وجود دارد.

غیرقابل بازگشت بودن تصمیمات

در بسیاری از روش‌های سلسله‌مراتبی، تصمیمات ادغام یا تقسیم در مراحل بعدی قابل اصلاح نیستند. برای مثال، اگر در AGNES دو خوشه در مراحل ابتدایی به‌اشتباه با یکدیگر ادغام شوند، این ادغام تا پایان حفظ می‌شود. به همین ترتیب، در DIANA نیز یک تقسیم نادرست در سطوح بالای درخت می‌تواند کل ساختار بعدی را تحت تأثیر قرار دهد.

این ویژگی باعث می‌شود کیفیت نهایی به تصمیمات اولیه بسیار وابسته باشد.

حساسیت به معیار فاصله و روش پیوند

نتیجه خوشه‌بندی سلسله‌مراتبی به‌شدت به معیار فاصله و روش پیوند انتخاب‌شده وابسته است. استفاده از فاصله اقلیدسی، منهتن، کسینوسی، جاکارد یا معیارهای مبتنی بر شباهت می‌تواند نتایج متفاوتی تولید کند.

همچنین روش‌های مختلف پیوند مانند Single Linkage، Complete Linkage، Average Linkage و Ward رفتارهای متفاوتی دارند. برای مثال، Single Linkage ممکن است دچار پدیده زنجیره‌ای‌شدن شود، در حالی که Complete Linkage معمولاً خوشه‌های فشرده‌تری ایجاد می‌کند.

حساسیت به نویز و داده‌های پرت

برخی روش‌های سلسله‌مراتبی نسبت به داده‌های پرت حساس‌اند. یک نمونه پرت می‌تواند باعث تغییر در فاصله میان خوشه‌ها، ایجاد شاخه‌های غیرطبیعی در دندروگرام یا ادغام‌های نامناسب شود. هرچند الگوریتم‌هایی مانند CURE، ROCK و Chameleon تا حدی برای کاهش این مشکل طراحی شده‌اند، اما در روش‌های کلاسیک این مسئله همچنان یک چالش مهم است.

دشواری در تعیین سطح برش دندروگرام

هرچند دندروگرام یکی از نقاط قوت این روش است، اما انتخاب سطح مناسب برای برش آن همیشه ساده نیست. در برخی داده‌ها، مرز میان خوشه‌ها واضح است؛ اما در بسیاری از مسائل واقعی، ساختار داده‌ها پیوسته، نویزی یا چندمقیاسی است و تعیین تعداد نهایی خوشه‌ها نیازمند دانش دامنه‌ای، معیارهای اعتبارسنجی یا تحلیل تجربی است.

محدودیت در داده‌های بسیار بزرگ

روش‌های سلسله‌مراتبی کلاسیک برای داده‌های کوچک و متوسط بسیار مفیدند، اما در داده‌های حجیم ممکن است از نظر زمان اجرا و حافظه مصرفی ناکارآمد باشند. هرچند الگوریتم‌هایی مانند BIRCH برای حل این مشکل توسعه یافته‌اند، اما همچنان بسیاری از روش‌های دقیق سلسله‌مراتبی در مقیاس کلان نیازمند بهینه‌سازی جدی هستند.

وابستگی به نوع داده

همه الگوریتم‌های سلسله‌مراتبی برای همه انواع داده مناسب نیستند. برای مثال، BIRCH عمدتاً برای داده‌های عددی طراحی شده است، در حالی که ROCK و Echidna برای داده‌های اسمی و تراکنشی مناسب‌ترند. بنابراین، انتخاب الگوریتم باید با توجه به ماهیت داده انجام شود.

.

5.مزایا خوشه‌بندی سلسله‌مراتبی

خوشه‌بندی سلسله‌مراتبی به دلیل ساختار تفسیرپذیر و قابلیت نمایش روابط چندسطحی، یکی از ارزشمندترین رویکردهای خوشه‌بندی در تحلیل داده محسوب می‌شود.

عدم نیاز قطعی به تعیین تعداد خوشه‌ها از ابتدا

یکی از مهم‌ترین مزایای این روش آن است که در بسیاری از الگوریتم‌های سلسله‌مراتبی، نیازی نیست تعداد خوشه‌ها از ابتدا به‌صورت دقیق تعیین شود. ابتدا ساختار درختی داده‌ها ساخته می‌شود و سپس تحلیل‌گر می‌تواند با برش دندروگرام در سطح مناسب، تعداد خوشه‌های نهایی را انتخاب کند.

این ویژگی در تحلیل‌های اکتشافی بسیار مفید است، زیرا در بسیاری از مسائل واقعی، تعداد طبیعی گروه‌ها از قبل مشخص نیست.

تولید دندروگرام و نمایش بصری ساختار داده

دندروگرام یک ابزار قدرتمند برای فهم روابط میان داده‌هاست. این نمودار نشان می‌دهد که کدام نمونه‌ها یا خوشه‌ها به یکدیگر نزدیک‌ترند، در چه سطحی با هم ادغام یا از هم جدا می‌شوند و ساختار کلی داده‌ها چگونه شکل می‌گیرد.

به همین دلیل، خوشه‌بندی سلسله‌مراتبی از نظر تفسیرپذیری نسبت به بسیاری از روش‌های خوشه‌بندی دیگر برتری دارد.

قابلیت کشف ساختارهای تودرتو و چندسطحی

بسیاری از پدیده‌های واقعی ساختاری سلسله‌مراتبی دارند. برای مثال، گونه‌های زیستی، موضوعات علمی، گروه‌های مشتریان، اسناد متنی و شبکه‌های اجتماعی همگی می‌توانند در چند سطح سازمان‌دهی شوند.

خوشه‌بندی سلسله‌مراتبی می‌تواند این روابط تودرتو را آشکار کند و تصویری غنی‌تر از ساختار داده‌ها ارائه دهد.

انعطاف‌پذیری در انتخاب معیار شباهت

در این رویکرد می‌توان از معیارهای مختلف فاصله و شباهت استفاده کرد؛ از جمله فاصله اقلیدسی، منهتن، کسینوسی، جاکارد، همبستگی و معیارهای اختصاصی دامنه. این انعطاف باعث می‌شود خوشه‌بندی سلسله‌مراتبی برای داده‌های عددی، متنی، زیستی، تراکنشی و حتی گرافی قابل تطبیق باشد.

امکان استفاده در داده‌های عددی و کیفی

اگرچه برخی الگوریتم‌های سلسله‌مراتبی کلاسیک بیشتر برای داده‌های عددی مناسب‌اند، اما الگوریتم‌های توسعه‌یافته‌ای مانند ROCK و Echidna برای داده‌های اسمی، باینری و تراکنشی طراحی شده‌اند. بنابراین این خانواده از روش‌ها می‌تواند طیف وسیعی از انواع داده را پوشش دهد.

مناسب برای تحلیل اکتشافی و مطالعات علمی

در پژوهش‌های علمی، هدف همیشه ساخت یک مدل پیش‌بینی نیست؛ گاهی هدف، کشف روابط، شناخت ساختار پنهان و تولید فرضیه‌های جدید است. خوشه‌بندی سلسله‌مراتبی به دلیل خروجی قابل تفسیر و ساختار درختی، ابزاری بسیار مناسب برای چنین تحلیل‌هایی است.

امکان توسعه به نسخه‌های مقیاس‌پذیر و مقاوم

الگوریتم‌های جدیدتر مانند BIRCH، CURE، ROCK، Chameleon و Echidna نشان می‌دهند که خوشه‌بندی سلسله‌مراتبی صرفاً به روش‌های کلاسیک محدود نیست. این حوزه با استفاده از ساختارهای درختی، گراف‌ها، نقاط نماینده، معیارهای پیوند و شاخص‌های اطلاعاتی توسعه یافته و برای مسائل پیچیده‌تر و داده‌های بزرگ‌تر قابل استفاده شده است.

.

6.نوآوری‌های جدید در حوزه خوشه‌بندی سلسله‌مراتبی(Hierarchical Clustering Innovations)

خوشه‌بندی سلسله‌مراتبی در سال‌های اخیر از یک روش کلاسیک مبتنی بر دندروگرام و ماتریس فاصله فراتر رفته و به مجموعه‌ای از رویکردهای پیشرفته برای تحلیل داده‌های پیچیده، حجیم، پویا، گرافی و چندمنبعی تبدیل شده است. اگرچه روش‌های کلاسیکی مانند AGNES و DIANA همچنان از نظر تفسیرپذیری و تحلیل اکتشافی اهمیت دارند، اما محدودیت‌هایی مانند پیچیدگی محاسباتی بالا، حساسیت به نویز، دشواری مقیاس‌پذیری و وابستگی به معیار فاصله باعث شده‌اند پژوهش‌های جدید به سمت نسخه‌های سریع‌تر، مقاوم‌تر، عمیق‌تر و هوشمندتر حرکت کنند.

در ادامه، مهم‌ترین نوآوری‌های جدید در حوزه خوشه‌بندی سلسله‌مراتبی معرفی می‌شوند.

.

6.1 خوشه‌بندی سلسله‌مراتبی مقیاس‌پذیر برای کلان‌داده‌ها

یکی از مهم‌ترین چالش‌های روش‌های سلسله‌مراتبی کلاسیک، نیاز به محاسبه ماتریس فاصله میان همه نمونه‌هاست. این موضوع باعث می‌شود بسیاری از روش‌های سنتی برای داده‌های بسیار بزرگ ناکارآمد باشند؛ زیرا پیچیدگی حافظه آن‌ها معمولاً در حد O(n^2) است.

نوآوری‌های جدید در این حوزه تلاش می‌کنند خوشه‌بندی سلسله‌مراتبی را برای میلیون‌ها یا حتی میلیاردها نمونه قابل اجرا کنند.

ایده‌های اصلی

• استفاده از نمونه‌برداری هوشمند
• فشرده‌سازی داده‌ها پیش از خوشه‌بندی
• ساختارهای درختی خلاصه‌ساز مانند CF-Tree
• اجرای موازی روی GPU یا سامانه‌های توزیع‌شده
• استفاده از روش‌های تقریبی به‌جای محاسبه دقیق همه فاصله‌ها

الگوریتم‌هایی مانند BIRCH مسیر اولیه این نوآوری را فراهم کردند. در نسخه‌های جدیدتر، ایده‌هایی مانند خوشه‌بندی سلسله‌مراتبی توزیع‌شده، خوشه‌بندی روی داده‌های فشرده، و استفاده از معماری‌هایی مانند Spark و MapReduce برای افزایش مقیاس‌پذیری توسعه یافته‌اند.

اهمیت کاربردی

این رویکردها در تحلیل لاگ‌های سامانه، داده‌های اینترنت اشیا، داده‌های شهر هوشمند، شبکه‌های اجتماعی، پایگاه‌های داده مشتریان و داده‌های علمی بزرگ‌مقیاس بسیار ارزشمند هستند.

.

6.2. خوشه‌بندی سلسله‌مراتبی مبتنی بر گراف

در بسیاری از داده‌های واقعی، روابط میان نمونه‌ها به‌صورت ساده و اقلیدسی قابل نمایش نیست. برای مثال، در شبکه‌های اجتماعی، اسناد پیوندخورده، داده‌های زیستی، شبکه‌های حمل‌ونقل و سامانه‌های توصیه‌گر، ساختار ارتباطی میان نمونه‌ها اهمیت زیادی دارد.

در خوشه‌بندی سلسله‌مراتبی مبتنی بر گراف، داده‌ها ابتدا به شکل یک گراف مدل می‌شوند. در این گراف، گره‌ها نشان‌دهنده نمونه‌ها و یال‌ها بیانگر شباهت یا ارتباط میان آن‌ها هستند.

تکنیک‌های رایج

• ساخت گراف k نزدیک‌ترین همسایه یا kkk-NN Graph
• استفاده از وزن یال‌ها برای نمایش شدت شباهت
• افرازبندی اولیه گراف
• ادغام سلسله‌مراتبی خوشه‌ها بر اساس معیارهای اتصال
• تحلیل اجتماع‌ها در شبکه‌های پیچیده

الگوریتم Chameleon یکی از نمونه‌های مهم این رویکرد است. این الگوریتم به‌جای توجه صرف به فاصله میان مراکز خوشه‌ها، از معیارهایی مانند اتصال متقابل نسبی و قرابت نسبی استفاده می‌کند. این ویژگی باعث می‌شود بتواند خوشه‌هایی با شکل، اندازه و چگالی متفاوت را بهتر شناسایی کند.

مزیت اصلی

روش‌های گراف‌محور نسبت به روش‌های کلاسیک در شناسایی خوشه‌های غیرکروی، نامنظم و دارای ساختار ارتباطی پیچیده عملکرد بهتری دارند.

.

6.3. ترکیب خوشه‌بندی سلسله‌مراتبی با یادگیری عمیق

یکی از مهم‌ترین روندهای جدید، ترکیب خوشه‌بندی سلسله‌مراتبی با یادگیری عمیق است. در این رویکرد، داده خام مستقیماً خوشه‌بندی نمی‌شود؛ بلکه ابتدا یک مدل عمیق، نمایش نهفته و معناداری از داده‌ها یاد می‌گیرد و سپس خوشه‌بندی سلسله‌مراتبی روی این نمایش انجام می‌شود.

برای مثال، در داده‌های تصویری، شبکه‌های کانولوشنی می‌توانند ویژگی‌های سطح بالا را استخراج کنند. در داده‌های متنی، مدل‌های زبانی مانند Transformerها می‌توانند embeddingهای معنایی تولید کنند. سپس روش‌های سلسله‌مراتبی روی این embeddingها اجرا می‌شوند.

معماری کلی این رویکرد

1. دریافت داده خام
2. استخراج ویژگی با شبکه عصبی
3. تولید فضای نهفته یا embedding
4. محاسبه شباهت میان نمونه‌ها
5. ساخت دندروگرام یا ساختار سلسله‌مراتبی
6. استخراج خوشه‌ها در سطوح مختلف

مزیت اصلی

این روش باعث می‌شود خوشه‌بندی سلسله‌مراتبی از محدودیت ویژگی‌های خام عبور کند و بتواند ساختارهای معنایی عمیق‌تری را در داده‌هایی مانند تصویر، متن، صوت، ویدئو و داده‌های زیستی شناسایی کند.

.

6.4.خوشه‌بندی سلسله‌مراتبی خودنظارتی

یادگیری خودنظارتی یکی از نوآوری‌های بسیار مهم در یادگیری ماشین مدرن است که در سال‌های اخیر بر خوشه‌بندی نیز اثر جدی گذاشته است. در این رویکرد، مدل بدون نیاز به برچسب‌های انسانی، از خود داده‌ها سیگنال آموزشی استخراج می‌کند و بازنمایی‌هایی می‌آموزد که ساختار درونی داده را بهتر آشکار می‌سازند. وقتی این بازنمایی‌ها با خوشه‌بندی سلسله‌مراتبی ترکیب شوند، امکان کشف ساختارهای چندسطحی و معنادارتر فراهم می‌شود.

در این چارچوب، ابتدا مدل با یک وظیفه خودنظارتی آموزش می‌بیند؛ برای مثال:

• پیش‌بینی بخش حذف‌شده‌ای از داده
• تشخیص دو نمای مختلف از یک نمونه
• یادگیری تقابلی میان نمونه‌های مشابه و نامشابه
• بازسازی داده پس از اعمال اغتشاش یا تبدیل

پس از این مرحله، داده‌ها در یک فضای نهفته نمایش داده می‌شوند که در آن نمونه‌های مرتبط به یکدیگر نزدیک‌تر هستند. سپس روی این بازنمایی جدید، خوشه‌بندی سلسله‌مراتبی اعمال می‌شود.

مزایا

• کاهش وابستگی به ویژگی‌های دستی
• بهبود کیفیت شباهت‌سنجی میان نمونه‌ها
• کشف ساختارهای معنایی در سطوح مختلف
• مناسب برای داده‌های بدون برچسب در مقیاس بزرگ
• عملکرد بهتر در داده‌های تصویری، متنی و چندرسانه‌ای

نمونه‌های کاربردی

این رویکرد در خوشه‌بندی اسناد علمی، گروه‌بندی تصاویر پزشکی، تحلیل داده‌های ژنومی و ساخت تاکسونومی مفهومی در داده‌های متنی بسیار مؤثر بوده است. در عمل، مدل ابتدا بازنمایی‌هایی تولید می‌کند که روابط معنایی را بهتر حفظ می‌کنند و سپس خوشه‌بندی سلسله‌مراتبی می‌تواند در سطوح مختلف، از گروه‌های کلی تا زیرگروه‌های تخصصی، ساختار مناسبی استخراج کند.

.

6.5. خوشه‌بندی سلسله‌مراتبی مقاوم به نویز و داده‌های پرت

یکی از ضعف‌های روش‌های سلسله‌مراتبی کلاسیک این است که داده‌های پرت، نویز و نقاط غیرنماینده می‌توانند ساختار دندروگرام را به‌شدت تغییر دهند. از آنجا که در بسیاری از نسخه‌های کلاسیک، ادغام یا تفکیک خوشه‌ها برگشت‌ناپذیر است، یک تصمیم نادرست در مراحل اولیه می‌تواند بر کل ساختار نهایی اثر منفی بگذارد.

نوآوری‌های جدید در این حوزه بر توسعه روش‌هایی متمرکز هستند که:

• نسبت به نقاط پرت حساسیت کمتری داشته باشند
• برآورد شباهت را با معیارهای مقاوم انجام دهند
• خوشه‌های کوچک و نویزی را از خوشه‌های اصلی تفکیک کنند
• از اطلاعات چگالی یا ساختار محلی استفاده کنند

راهبردهای رایج

• استفاده از معیارهای فاصله مقاوم
• حذف یا وزن‌دهی کمتر به نقاط پرت پیش از خوشه‌بندی
• ترکیب خوشه‌بندی سلسله‌مراتبی با روش‌های چگالی‌محور
• استفاده از گراف‌های محلی به‌جای فاصله‌های سراسری
• بازبینی تصمیم‌های اولیه از طریق معیارهای بهینه‌سازی ثانویه

یکی از روندهای مهم، ترکیب مفاهیم سلسله‌مراتبی با ایده‌های چگالی‌محور است؛ به‌گونه‌ای که ساختار خوشه‌ها نه فقط بر اساس فاصله، بلکه بر اساس ناحیه‌های پرتراکم و مرزهای کم‌تراکم تعیین شود. این موضوع در داده‌هایی با خوشه‌های نامنظم و نویز زیاد اهمیت ویژه‌ای دارد.

کاربردهای کلیدی

• تحلیل داده‌های حسگر که دارای نویز اندازه‌گیری هستند
• داده‌های مالی با تراکنش‌های غیرعادی
• داده‌های زیستی با نمونه‌های پرت
• داده‌های امنیتی و تشخیص نفوذ
• داده‌های صنعتی در محیط‌های عملیاتی ناپایدار

.

6.6. خوشه‌بندی سلسله‌مراتبی چندنمایی و چندمنبعی

در بسیاری از مسائل واقعی، داده‌ها تنها از یک منبع یا یک نوع ویژگی تشکیل نشده‌اند. برای مثال، در تحلیل بیماران ممکن است هم داده‌های آزمایشگاهی، هم تصاویر پزشکی و هم سوابق متنی وجود داشته باشد. در سیستم‌های توصیه‌گر نیز اطلاعات کاربر، محتوای آیتم و الگوهای تعامل هم‌زمان در دسترس هستند. این وضعیت، نیاز به خوشه‌بندی چندنمایی یا چندمنبعی را ایجاد می‌کند.

در خوشه‌بندی سلسله‌مراتبی چندنمایی، هدف آن است که ساختار سلسله‌مراتبی داده با استفاده از چند نمایش مکمل ساخته شود؛ نه صرفاً با تکیه بر یک فضای ویژگی واحد.

ایده‌های محوری

• ساخت ماتریس شباهت جداگانه برای هر نما
• ادغام شباهت‌ها در سطح ویژگی، شباهت یا تصمیم
• وزن‌دهی تطبیقی به نماهای مختلف
• استخراج سلسله‌مراتب مشترک یا سلسله‌مراتب وابسته
• یادگیری بازنمایی مشترک پیش از خوشه‌بندی

مزایای اصلی

• استفاده هم‌زمان از اطلاعات مکمل
• کاهش خطای ناشی از ناقص بودن یک منبع داده
• افزایش پایداری خوشه‌ها
• امکان تحلیل چندسطحی برای داده‌های پیچیده

نمونه کاربرد

در زیست‌اطلاعات، داده‌های بیان ژن، داده‌های پروتئومی و داده‌های اپی‌ژنتیک می‌توانند به‌صورت هم‌زمان برای ساخت خوشه‌های سلسله‌مراتبی بیماران یا ژن‌ها به کار روند. در آموزش نیز می‌توان داده‌های عملکرد تحصیلی، تعاملات سامانه یادگیری و الگوهای رفتاری را با هم ترکیب کرد تا گروه‌بندی چندلایه‌تری از فراگیران به دست آید.

.

6.7. خوشه‌بندی سلسله‌مراتبی پویا و جریانی

در بسیاری از محیط‌های واقعی، داده‌ها به‌صورت ایستا در دسترس نیستند؛ بلکه به شکل پیوسته و جریانی وارد سیستم می‌شوند. برای نمونه، داده‌های شبکه، حسگرها، تراکنش‌های مالی، رفتار کاربران آنلاین و سامانه‌های مانیتورینگ صنعتی همگی ماهیتی پویا دارند. در چنین شرایطی، اجرای مجدد کامل خوشه‌بندی سلسله‌مراتبی پس از ورود هر دسته داده، از نظر زمانی و محاسباتی عملی نیست.

خوشه‌بندی سلسله‌مراتبی جریانی با هدف حل این مسئله طراحی شده است. در این رویکرد، ساختار خوشه‌ها به‌صورت تدریجی و برخط به‌روزرسانی می‌شود.

ویژگی‌های کلیدی

• به‌روزرسانی تدریجی ساختار خوشه‌ها
• امکان ادغام یا شکستن خوشه‌ها با ورود داده جدید
• استفاده از خلاصه‌سازی آماری به‌جای نگهداری همه داده‌ها
• انطباق با تغییر مفهوم یا Concept Drift
• پاسخ‌گویی سریع در محیط‌های بلادرنگ

چالش‌های اصلی

• حفظ توازن میان دقت و سرعت
• مدیریت تغییرات شدید در توزیع داده
• جلوگیری از انباشت خطا در به‌روزرسانی‌های متوالی
• تصمیم‌گیری درباره حذف یا کم‌اثر کردن داده‌های قدیمی

مثال‌های کاربردی

• پایش بلادرنگ ترافیک شبکه
• تحلیل پیوسته رفتار مشتریان در تجارت الکترونیک
• تشخیص وضعیت ماشین‌آلات در سامانه‌های نگهداشت پیش‌بینانه
• خوشه‌بندی رویدادهای امنیتی در مراکز عملیات امنیت

.

6.8. خودکارسازی برش دندروگرام و تعیین تعداد خوشه‌ها

یکی از مسائل عملی در خوشه‌بندی سلسله‌مراتبی این است که ساخت دندروگرام به‌تنهایی کافی نیست؛ بلکه باید مشخص شود در چه سطحی از درخت، خوشه‌ها استخراج شوند. در روش‌های سنتی، این تصمیم اغلب به قضاوت انسانی یا مشاهده بصری وابسته است، اما در کاربردهای مدرن نیاز به روش‌های خودکار و قابل اتکا وجود دارد.

نوآوری‌های اخیر در این حوزه بر توسعه معیارهایی متمرکز هستند که بتوانند به‌طور خودکار نقطه یا نقاط مناسب برای برش دندروگرام را تعیین کنند.

معیارهای مورد استفاده

• شاخص سیلوئت
• شاخص Davies-Bouldin
• شاخص Calinski-Harabasz
• معیارهای مبتنی بر پایداری خوشه
• آزمون‌های آماری برای اعتبار خوشه‌ها
• معیارهای مبتنی بر جهش فاصله در سطوح ادغام

مزیت

• کاهش وابستگی به تنظیم دستی
• افزایش تکرارپذیری تحلیل
• مناسب‌تر شدن روش برای سامانه‌های خودکار
• تسهیل کاربرد در داده‌های حجیم و پیچیده

در پژوهش‌های جدید، گاهی تعیین تعداد خوشه‌ها با یادگیری عمیق، بهینه‌سازی چندهدفه یا تحلیل پایداری همراه می‌شود تا ساختار استخراج‌شده هم از نظر آماری معتبر باشد و هم از منظر کاربردی معنا داشته باشد.

.

6.9. خوشه‌بندی سلسله‌مراتبی قابل تفسیر

با گسترش کاربرد خوشه‌بندی در حوزه‌های حساس مانند پزشکی، مالی، آموزش و سیاست‌گذاری سازمانی، تنها دستیابی به خوشه‌های دقیق کافی نیست؛ بلکه باید بتوان توضیح داد که چرا نمونه‌ها در یک خوشه قرار گرفته‌اند و چه ویژگی‌هایی سبب تشکیل زیرخوشه‌ها در سطوح مختلف شده‌اند.

در نتیجه، یکی از جریان‌های جدید پژوهشی به سمت خوشه‌بندی سلسله‌مراتبی قابل تفسیر حرکت کرده است. در این رویکرد، هدف آن است که ساختار دندروگرام علاوه بر دقت، از نظر انسانی نیز قابل فهم باشد.

مؤلفه‌های تفسیرپذیری

• شناسایی ویژگی‌های غالب در هر سطح از سلسله‌مراتب
• تولید قواعد توصیفی برای خوشه‌ها
• نمایش تفاوت میان خوشه‌های والد و فرزند
• استفاده از مدل‌های نمادین یا مبتنی بر قاعده
• توضیح تصمیم‌های ادغام یا جداسازی

اهمیت کاربردی

برای مثال، در تحلیل بیماران، یک دندروگرام قابل تفسیر می‌تواند نشان دهد که در سطح اول بیماران بر اساس شدت بیماری تفکیک شده‌اند، در سطح دوم بر اساس پاسخ به درمان، و در سطح سوم بر اساس ویژگی‌های ژنتیکی. چنین ساختاری برای پزشک یا پژوهشگر بسیار ارزشمندتر از یک خوشه‌بندی صرفاً عددی است.

.

6.10. ادغام خوشه‌بندی سلسله‌مراتبی با بهینه‌سازی و یادگیری احتمالاتی

در رویکردهای مدرن، خوشه‌بندی سلسله‌مراتبی صرفاً یک فرآیند حریصانه مبتنی بر فاصله نیست، بلکه گاهی در قالب یک مسئله بهینه‌سازی یا مدل احتمالاتی فرمول‌بندی می‌شود. این تحول امکان می‌دهد ساختار سلسله‌مراتبی نه فقط بر اساس یک تصمیم محلی، بلکه با در نظر گرفتن کیفیت کلی مدل تعیین شود.

نمونه ایده‌ها

• فرمول‌بندی تابع هدف برای کل ساختار درخت
• استفاده از بهینه‌سازی ترکیبیاتی
• مدل‌سازی بیزی برای ساخت سلسله‌مراتب
• برآورد عدم قطعیت در عضویت یا ساختار خوشه‌ها
• یادگیری پارامترهای شباهت به‌صورت داده‌محور

دستاوردها

• کاهش خطاهای ناشی از تصمیم‌های زودهنگام
• مدل‌سازی بهتر ابهام و عدم قطعیت
• انعطاف‌پذیری بیشتر در داده‌های پیچیده
• امکان ترکیب دانش پیشین با داده

این دسته از روش‌ها برای حوزه‌هایی مانند زیست‌پزشکی، پردازش زبان طبیعی و تحلیل داده‌های علمی بسیار مهم هستند؛ زیرا ساختار داده‌ها معمولاً پیچیده، چندلایه و همراه با عدم قطعیت است.

.

جمع‌بندی

خوشه‌بندی سلسله‌مراتبی رویکردی قدرتمند، تفسیرپذیر و انعطاف‌پذیر برای کشف ساختارهای پنهان در داده‌هاست. این روش به‌جای ارائه یک تقسیم‌بندی ساده و تک‌سطحی، روابط میان داده‌ها را در قالب یک ساختار درختی نمایش می‌دهد و به تحلیل‌گر امکان می‌دهد داده‌ها را در سطوح مختلف جزئیات بررسی کند.

این خانواده از روش‌ها، از الگوریتم‌های کلاسیک مانند AGNES و DIANA تا الگوریتم‌های پیشرفته‌ای مانند BIRCH، CURE، ROCK، Chameleon و Echidna را دربرمی‌گیرد. هر یک از این الگوریتم‌ها برای نوع خاصی از داده و نیاز تحلیلی طراحی شده‌اند؛ برخی برای داده‌های عددی، برخی برای داده‌های کیفی، برخی برای کلان‌داده‌ها و برخی برای خوشه‌های نامنظم یا چگالی‌های متغیر مناسب‌ترند.

در مجموع، اگر هدف تحلیل‌گر تنها تقسیم داده‌ها به چند خوشه نهایی نباشد، بلکه بخواهد روابط چندسطحی، ساختارهای تودرتو، شباهت‌های تدریجی و الگوهای سلسله‌مراتبی را نیز بررسی کند، خوشه‌بندی سلسله‌مراتبی یکی از مناسب‌ترین و ارزشمندترین گزینه‌ها خواهد بود.