الگوریتم DENCLUE چیست؟ خوشه‌بندی مبتنی بر تخمین چگالی

دکتر محمدرضا عاطفی
جولای 22, 2026

1.چکیده

خوشه‌بندی یکی از ارکان اصلی یادگیری بدون نظارت است که هدف آن شناسایی الگوهای پنهان در داده‌هاست. الگوریتم DENCLUE (مخفف DENsity-based CLUstering) با بهره‌گیری از مفاهیم آماری “تخمین چگالی هسته” (Kernel Density Estimation)، فضایی پیوسته از چگالی داده‌ها ایجاد می‌کند. در این مقاله، ما به بررسی دقیق نحوه شناسایی “جاذب‌های چگالی” (Density Attractors) می‌پردازیم که هسته مرکزی خوشه‌ها را تشکیل می‌دهند. این روش برخلاف روش‌های سنتی، توانایی بالایی در مدیریت نویز و شناسایی خوشه‌هایی با اشکال هندسی پیچیده دارد. در ادامه، زیرساخت‌های ریاضی، روند اجرا و تحلیل رفتاری این الگوریتم را از نگاه یک مدرس دانشگاه بررسی خواهیم کرد.

2. مقدمه

در دنیای امروز که حجم داده‌های تولیدشده به‌صورت نمایی در حال رشد است، یافتن الگوهای پنهان در داده‌ها اهمیتی حیاتی دارد. خوشه‌بندی یکی از بنیادی‌ترین وظایف در یادگیری بدون نظارت است که هدف آن گروه‌بندی نقاط داده‌ای مشابه بدون استفاده از برچسب‌های از پیش تعریف‌شده است.

در دنیای واقعی، داده‌ها همواره به شکل دایره‌ای یا کروی (آن‌گونه که k-means فرض می‌کند) توزیع نشده‌اند. بسیاری از خوشه‌های معنادار، دارای اشکال نامنظم و چگالی‌های متغیر هستند. الگوریتم‌های مبتنی بر چگالی مانند DBSCAN گام بزرگی در حل این مسئله بودند، اما وابستگی شدید آن‌ها به پارامترهای همسایگی، چالش‌زا بود.

الگوریتم DENCLUE که اولین بار توسط هینبرگ و کیم در سال ۱۹۹۸ معرفی شد، با نگاهی متفاوت و با استفاده از “توابع تأثیر” (Influence Functions)، چگالی را نه به صورت گسسته، بلکه به صورت یک میدان ریاضی پیوسته مدل‌سازی می‌کند. هدف ما در این نوشتار، کالبدشکافی این الگوریتم و درک این مطلب است که چگونه می‌توان با حرکت در جهت صعود گرادیان، به قله‌های چگالی داده‌ها دست یافت. DENCLUE با تکیه بر نظریه تخمین چگالی هسته‌ای (Kernel Density Estimation)، رویکردی ریاضی‌محور برای تعریف و شناسایی خوشه‌ها ارائه می‌دهد. در این رویکرد، هر خوشه به‌عنوان ناحیه‌ای تعریف می‌شود که نقاط داده‌ای آن به سمت یک قله محلی (Local Maximum) در تابع چگالی همگرا می‌شوند.

3. تعاریف و مفاهیم پایه

تخمین چگالی هسته:(KDE): روشی ناپارامتری برای تخمین تابع چگالی احتمال یک متغیر تصادفی.
تابع تأثیر :(Influence Function): تابعی که میزان اثرگذاری یک نقطه داده بر محیط پیرامونش را توصیف می‌کند. معمولاً نقاط نزدیک‌تر، تأثیر بیشتری بر چگالی یک نقطه فرضی دارند.
میدان چگالی (Density Field): مجموع اثرات تمامی نقاط داده در یک فضای چندبعدی.
جاذب چگالی (Density Attractor): نقاطی در فضا که بیشینه محلی (Local Maxima) تابع چگالی هستند؛ به زبان ساده‌تر، “قله‌های” میدان چگالی

4. مسئله‌ای که DENCLUE حل می‌کند؛ اهمیت و ضرورت

بسیاری از الگوریتم‌های خوشه‌بندی در مواجهه با دو چالش اساسی شکست می‌خورند: نویز زیاد و خوشه‌های همپوشان با چگالی متفاوت. اهمیت DENCLUE در این است که با تعریف یک حد آستانه برای چگالی، نقاط نویزی را که در نواحی کم‌تراکم قرار دارند، به طور خودکار از فرآیند خوشه‌بندی حذف می‌کند. ضرورت وجودی این روش در توانایی آن برای ارائه یک توصیف ریاضی دقیق از شکل خوشه است؛ به طوری که خوشه‌ها بر اساس توپولوژی واقعی داده‌ها شکل می‌گیرند، نه بر اساس پیش‌فرض‌های هندسی ما. بنابراین الگوریتم‌های خوشه‌بندی سنتی با چند چالش اساسی روبه‌رو هستند:

اول: K-Means و الگوریتم‌های مشابه نیاز دارند تعداد خوشه‌ها از پیش مشخص شود، در حالی که در بسیاری از مسائل واقعی این اطلاعات در دسترس نیست.
دوم: این الگوریتم‌ها فرض می‌کنند خوشه‌ها شکل کروی یا محدب دارند. داده‌هایی با خوشه‌های هلالی، مارپیچی یا نامنظم را نمی‌توانند به‌درستی شناسایی کنند.
سوم: نویز (Noise) و داده‌های پرت (Outliers) می‌توانند مراکز خوشه را به‌شدت منحرف کنند.
چهارم: در داده‌های با چگالی متغیر، الگوریتم‌های ساده نمی‌توانند خوشه‌هایی با چگالی‌های مختلف را به‌درستی از هم تفکیک کنند.

DENCLUE با تعریف خوشه بر اساس ساختار چگالی پیوسته داده‌ها، این مشکلات را به‌طور همزمان حل می‌کند. این الگوریتم نه به تعداد خوشه‌ها نیاز دارد، نه شکل خاصی را فرض می‌کند، و نویز را به‌طور طبیعی از طریق آستانه چگالی (Density Threshold) حذف می‌کند.

5. مبانی نظری و ریاضی

بنیان ریاضی DENCLUE بر پایه مجموع توابع تأثیر است. فرض کنید مجموعه‌ای از نقاط داده D={x₁,x₂,…,x_n} در فضای – d بعدی داریم.

5.۱ تابع تأثیر گاوسی (Influence Function)

رایج‌ترین تابع تأثیر، هسته گوسی (Gaussian Kernel) است. برای هر نقطه داده‌ای x_i∈Rd ، تابع تأثیر گاوسی به‌صورت زیر تعریف می‌شود:

تعریف متغیرها:

x: نقطه‌ای که چگالی آن محاسبه می‌شود
xi: نقطه داده‌ای i-ام از مجموعه آموزشی
∥x−xi∥ فاصله اقلیدسی بین x و xi
σ: پهنای باند هسته (Bandwidth)، است که میزان پخش‌شدگی تأثیر هر نقطه را کنترل می‌کند.
d: بُعد فضای ویژگی

5.۲ تابع چگالی تخمینی

تابع چگالی کلی در نقطه x با جمع تأثیر تمام نقاط داده‌ای محاسبه می‌شود:

تعریف متغیرها:

f^(x): چگالی تخمینی در نقطه x
n: تعداد کل نقاط داده‌ای
σ: پهنای باند (Bandwidth)

فرض پایه: فرض می‌شود نقاط داده‌ای به‌صورت مستقل و یکسان توزیع‌شده (i.i.d.) از یک توزیع ناشناخته نمونه‌گیری شده‌اند.

5.۳ گرادیان تابع چگالی

برای یافتن ماکزیمم‌های محلی، گرادیان تابع چگالی محاسبه می‌شود:

تعریف متغیرها:

f^(x)∇: بردار گرادیان چگالی در نقطه x
(xi−x) : بردار جهت از x به سمتxi

5.4 تابع چگالی کل (Total Density Function):

چگالی در هر نقطه دلخواه x از فضا، از مجموع تأثیر تمامی نقاط داده به دست می‌آید:

که در آن K تابع هسته است. در DENCLUE، هدف یافتن نقاطی است که در آن‌ها f^(x)=0∇ باشد (نقاط بحرانی که پتانسیل جاذب بودن دارند).

5.5 قانون به‌روزرسانی صعود گرادیان

در هر تکرار، موقعیت نقطه x به‌صورت زیر به‌روز می‌شود:

این رابطه نشان می‌دهد که موقعیت جدید x^(t+1) میانگین وزن‌دار نقاط داده‌ای است که وزن هر نقطه متناسب با تأثیر آن بر x^(t) است.

5.6 تعریف خوشه

خوشه C مجموعه‌ای از نقاط داده‌ای است که:

همگی به یک جاذب چگالی ∗^x همگرا می‌شوند.
چگالی جاذب از آستانه ξ بیشتر باشد: f^(x∗)≥ξ

6. مراحل گام‌به‌گام اجرای الگوریتم

گام ۱: پیش‌پردازش و نرمال‌سازی داده‌ها

داده‌های ورودی D={x₁,x₂,…,x_n} را نرمال‌سازی کنید تا مقیاس ویژگی‌های مختلف تأثیر نامتناسبی نداشته باشند.فضا به مکعب‌هایی با ضلع 2σ تقسیم می‌شود. تنها مکعب‌هایی که حاوی نقطه هستند ذخیره می‌شوند تا محاسبات فقط برای نواحی پرتراکم انجام شود.

گام ۲: تنظیم پارامترها

دو پارامتر اصلی را تعیین کنید:

σ: پهنای باند هسته (کنترل‌کننده هموارسازی)
ξ: آستانه چگالی (حداقل چگالی برای تشکیل خوشه)

گام ۳: محاسبه تابع چگالی

برای هر نقطه داده‌ای xi، مقدارf^(xi) را با استفاده از فرمول KDE محاسبه کنید.

گام ۴: یافتن جاذب‌های چگالی (فرآیند صعود گرادیان)

برای هر نقطه داده x:

الف) جهت بیشترین افزایش چگالی (گرادیان) محاسبه می‌شود.
ب) نقطه به سمت جاذب حرکت داده می‌شود:

ج) این کار تا زمان همگرایی (رسیدن به قله چگالی) تکرار می‌شود.
تشکیل خوشه‌ها:

نقاطی که به یک جاذب مشترک ختم می‌شوند، در یک خوشه قرار می‌گیرند.
اگر چگالی یک جاذب کمتر از حد آستانه ξ باشد، نقاط آن به عنوان نویز حذف می‌شوند.
خوشه‌هایی که جاذب‌های آن‌ها از طریق مسیرهایی با چگالی بالا به هم متصل هستند، ادغام می‌شوند.

7. مثال‌های عددی

مثال ۱ — سطح مقدماتی: محاسبه چگالی در یک نقطه

صورت مسئله: مجموعه داده‌ای یک‌بعدی داریم. چگالی را در نقط x=2 محاسبه کنید.

داده ورودی:

D={1,2,3,5,6} , σ=1

حل گام‌به‌گام:

· گام ۱: محاسبه تأثیر هر نقطه بر x=2:

گام ۲: محاسبه چگالی کل:

پاسخ نهایی: f^(2)≈0.4449

تفسیر: نقطه x=2 در ناحیه‌ای با چگالی متوسط قرار دارد. نقاط ۱، ۲ و ۳ بیشترین تأثیر را دارند، در حالی که نقاط ۵ و ۶ تأثیر ناچیزی دارند.

مثال ۲ یک گام صعود گرادیان

صورت مسئله: با استفاده از داده‌های مثال قبل، یک گام صعود گرادیان را از نقطه x(0)=1.5 محاسبه کنید.

داده ورودی:

D={1,2,3,5,6} , σ=1 , x(0)=1.5

حل گام‌به‌گام:

· گام ۱: محاسبه وزن‌ها wi

گام ۲: محاسبه صورت و مخرج:

گام ۳: محاسبه موقعیت جدید:

پاسخ نهایی: x(1)≈1.736

تفسیر: نقطه از 1.5 به 1.736 حرکت کرد؛ یعنی به سمت ناحیه‌ای با چگالی بالاتر (بین نقاط ۱، ۲ و ۳) حرکت کرده است.

مثال ۳ — شناسایی خوشه‌ها در داده دوبعدی

صورت مسئله: داده‌های دوبعدی زیر را با DENCLUE خوشه‌بندی کنید.

داده ورودی:

نقطه	x₁	x₂
A	1	1
B	1.5	1.2
C	2	1
D	5	5
E	5.5	5.2
F	10	10

پارامترها: σ=1، ξ=0.1

حل گام‌به‌گام:

۱: محاسبه چگالی هر نقطه (به‌صورت خلاصه):

نقاط A، B، C به هم نزدیک‌اند → چگالی بالا
نقاط D، E به هم نزدیک‌اند → چگالی بالا
نقطه F تنهاست → چگالی پایین

۲: اجرای صعود گرادیان:

A، B، C همگی به جاذب x1∗≈(1.5,1.07) همگرا می‌شوند.
D، E به جاذب x2∗≈(5.24,5.09) همگرا می‌شوند.
F به جاذب x3∗=(10,10) همگرا می‌شود.

۳: بررسی آستانه چگالی:

f^(x1∗)≈0.45>ξ=0.1 → خوشه ۱ تشکیل می‌شود.
f^(x2∗)≈0.32>ξ=0.1 → خوشه ۲ تشکیل می‌شود.
f^(x3∗)≈0.03<ξ=0.1→ نقطه F نویز است.

پاسخ نهایی:

خوشه ۱: {A, B, C}
خوشه ۲: {D, E}
نویز: {F}

تفسیر: الگوریتم به‌درستی دو خوشه متراکم را شناسایی کرد و نقطه پرت را به‌عنوان نویز علامت‌گذاری نمود.

مثال ۴ — تأثیر پارامتر σ بر نتیجه خوشه‌بندی

صورت مسئله: داده‌های یک‌بعدی زیر را با دو مقدار مختلف σ خوشه‌بندی کنید و نتایج را مقایسه کنید.

داده ورودی:

D={1,1.5,2,4,4.5,5} , ξ=0.15

حالت الف: σ=0.5

چگالی در نقاط میانی (مثلاً x=3):

نتیجه: دو خوشه مجزا {1,1.5,2} و {4,4.5,5} شناسایی می‌شوند.

حالت ب: σ=2

چگالی در نقطه x=3به‌طور قابل‌توجهی بالاتر است چون هسته گاوسی پهن‌تر است و تأثیر نقاط دور بیشتر می‌شود. در این حالت، ممکن است همه نقاط به یک خوشه واحد تعلق بگیرند.

پاسخ نهایی:

σ=0.5: دو خوشه مجزا
σ=2: یک خوشه واحد

تفسیر: انتخاب σ تعیین‌کننده است. σ کوچک ساختار ریزدانه را نشان می‌دهد؛ σ بزرگ ساختار کلان‌دانه را. این مثال اهمیت انتخاب دقیق σ را نشان می‌دهد و توضیح می‌دهد که چرا تنظیم این پارامتر یکی از چالش‌های اصلی DENCLUE است.

مثال 5 — تأثیر پارامتر σ بر نتیجه خوشه‌بندی

صورت مسئله: فرض کنید دو نقطه x₁=1 و x₂=2 در فضای یک‌بعدی داریم. می‌خواهیم چگالی را در نقطه x=1.5 با استفاده از هسته گوسی و σ=1 محاسبه کنیم. (فرض کنید برای سادگی ضریب پیشین ۱ است).

حل:

۱. محاسبه تأثیر x₁ بر x:

۲. محاسبه تأثیر x₂ بر x:

۳. چگالی کل در 1.5:

f^(1.5)=0.882+0.882=1.764

تفسیر: از آنجا که چگالی در نقطه ۱.۵ از نقاط ۱ و ۲ بیشتر است (به دلیل همپوشانی تأثیرات)، فرآیند صعود گرادیان نقاط را به سمت مرکز (۱.۵) سوق می‌دهد تا یک خوشه واحد شکل بگیرد.

8. کاربردهای واقعی

بیوانفورماتیک (Bioinformatics): شناسایی خوشه‌های ژنی در داده‌های بیان ژن (Gene Expression) که اغلب اشکال نامنظم دارند.
پردازش تصویر (Image Processing): تقطیع تصویر (Image Segmentation) بر اساس توزیع رنگ یا بافت.
آنالیز تصاویر پزشکی: تشخیص بافت‌های سرطانی در تصاویر MRI که مرزهای نامشخصی دارند.
بخش‌بندی مشتریان (Customer Segmentation): شناسایی گروه‌های خاصی از مشتریان که رفتارهای خرید بسیار مشابه و متراکمی دارند.
تشخیص ناهنجاری (Anomaly Detection): شناسایی رفتارهای غیرعادی در داده‌های شبکه یا تراکنش‌های مالی. در امنیت شبکه، هر نقطه‌ای که به هیچ جاذب چگالی با مقدار کافی متصل نشود، ناهنجاری محسوب می‌شود.
نقشه‌برداری جغرافیایی: خوشه‌بندی نقاط جغرافیایی با توزیع چگالی متغیر.
داده‌کاوی متنی (Text Mining): گروه‌بندی اسناد در فضاهای برداری پرابعاد.
سیستم‌های توصیه‌گر (Recommender Systems): شناسایی گروه‌های کاربری با الگوهای رفتاری مشابه.
تحلیل داده‌های حسگر (Sensor Data): خوشه‌بندی سیگنال‌های زمانی با نویز بالا.
تحلیل داده‌های ماهواره‌ای: شناسایی کانون‌های آلودگی یا تغییرات پوشش گیاهی.

9. مزایا

پایه ریاضی محکم: بر خلاف DBSCAN، چگالی به‌صورت پیوسته و با پشتوانه نظری KDE تعریف می‌شود.
شناسایی خوشه‌های با اشکال دلخواه: هیچ فرضی درباره شکل هندسی خوشه‌ها وجود ندارد.
مقاومت در برابر نویز: نقاط پرت به‌طور طبیعی از طریق آستانه چگالی ξ حذف می‌شوند.
عدم نیاز به تعداد خوشه از پیش: تعداد خوشه‌ها از ساختار داده استخراج می‌شود.
شناسایی خوشه‌های دلخواه: هیچ محدودیتی در شکل هندسی خوشه‌ها ندارد.
قابلیت تعمیم به ابعاد بالا: با انتخاب مناسب σ در فضاهای چندبعدی قابل استفاده است.
انعطاف در انتخاب هسته: می‌توان از هسته‌های مختلف (گاوسی، مربعی، مثلثی) استفاده کرد.
همگرایی تضمین‌شده: فرآیند صعود گرادیان به ماکزیمم محلی همگرا می‌شود (Hinneburg & Keim, 1998).

10. محدودیت‌ها و معایب

حساسیت به σ: انتخاب نامناسب σ می‌تواند باعث ادغام بیش از حد یا تکه‌تکه شدن خوشه‌ها شود.
پیچیدگی محاسباتی بالا: محاسبه KDE برای n نقطه در d بعد پیچیدگی ( O(n^2 .dدارد که برای داده‌های بزرگ مشکل‌ساز است.
دشواری تنظیم ξ: آستانه چگالی باید دستی تنظیم شود و تأثیر زیادی بر نتیجه دارد.
ضعف در داده‌های با چگالی بسیار متغیر: اگر خوشه‌ها چگالی‌های بسیار متفاوتی داشته باشند، یک ξ واحد کافی نیست.
نیاز به حافظه زیاد: ذخیره ماتریس فاصله برای داده‌های بزرگ حافظه‌بر است.
عملکرد ضعیف در ابعاد بسیار بالا: پدیده نفرین ابعاد (Curse of Dimensionality) تخمین چگالی را در فضاهای پرابعاد دشوار می‌کند (Bellman, 1961).
عدم قطعیت در همگرایی: در داده‌های پیچیده، صعود گرادیان ممکن است به ماکزیمم‌های محلی نامطلوب همگرا شود.

11. ابرپارامترها و تنظیم

۱1.۱ پهنای باند σ (Bandwidth)

σ مهم‌ترین پارامتر. تعیین‌کننده “شعاع اثر” هر نقطه است. اگر کوچک باشد، هر نقطه خودش یک خوشه می‌شود؛ اگر بزرگ باشد، همه داده‌ها یک خوشه می‌شوند.

مهم‌ترین پارامتر DENCLUE است و هموارسازی تابع چگالی را کنترل می‌کند.

مقدار σ	اثر بر چگالی	نتیجه خوشه‌بندی
خیلی کوچک	چگالی تیز و ناپیوسته	خوشه‌های زیاد و ریز
مناسب	چگالی هموار و واقع‌بینانه	خوشه‌های معنادار
خیلی بزرگ	چگالی بیش از حد هموار	ادغام خوشه‌های مجزا

راهبردهای تنظیم σ:

قانون انگشت شست اسکات (Scott’s Rule):

قانون سیلورمن (Silverman’s Rule):

اعتبارسنجی متقاطع (Cross-Validation): انتخاب σ بر اساس بیشینه‌سازی log-likelihood
روش k-NN: تنظیم σ بر اساس فاصله به k-امین همسایه

۱1.۲ آستانه چگالی ξ (Density Threshold)

آستانه نویز است. جاذب‌هایی که چگالی‌شان از این مقدار کمتر باشد، نادیده گرفته می‌شوند. ξ تعیین می‌کند کدام ماکزیمم‌های محلی به‌عنوان جاذب معتبر شناخته شوند.

ξ بالا: فقط خوشه‌های بسیار متراکم شناسایی می‌شوند؛ نقاط بیشتری نویز تلقی می‌شوند.
ξ پایین: خوشه‌های کم‌چگال‌تر نیز شناسایی می‌شوند؛ ریسک شناسایی خوشه‌های کاذب افزایش می‌یابد.

راهبرد پیشنهادی: ξ را به‌عنوان درصدی از میانگین چگالی کل داده‌ها تنظیم کنید.

۱1.۳ دقت همگرایی ε

ε معیار توقف صعود گرادیان است. مقادیر معمول در بازه [3-^6,10-^10]قرار دارند. کاهش ε دقت را افزایش می‌دهد اما زمان محاسبه را بیشتر می‌کند.

11.4 نوع هسته

معمولاً گوسی بهترین عملکرد را دارد، اما در موارد خاص از هسته‌های مربعی برای سرعت بیشتر استفاده می‌شود.

۱1.5 ملاحظات بهینه‌سازی

استفاده از ساختارهای داده فضایی مانند KD-Tree یا Ball-Tree برای کاهش پیچیدگی محاسبه KDE از O(n^2) به O(n .log n)
اعمال PCA یا UMAP پیش از DENCLUE برای کاهش ابعاد در داده‌های پرابعاد

۱2. مقایسه با روش‌های مشابه

معیار	DENCLUE	DBSCAN	K-Means	GMM
پایه نظری	KDE پیوسته	چگالی گسسته	فاصله اقلیدسی	مدل احتمالاتی
شکل خوشه	دلخواه	دلخواه	کروی	بیضوی
تعداد خوشه	خودکار	خودکار	دستی	دستی
مدیریت نویز	بله	بله	خیر	محدود
پیچیدگی	O(n^2 .d)	O(n.logn)	O(nkd)	O(nkd^2)
تفسیرپذیری	متوسط	بالا	بالا	بالا
حساسیت به پارامتر	بالا (σ ، ξ)	متوسط (ε ، MinPts)	متوسط (k)	متوسط (k)
داده‌های پرابعاد	ضعیف	ضعیف	متوسط	متوسط

نکته کلیدی: DENCLUE برای داده‌های پیوسته مناسب‌تر است، اما هزینه محاسباتی بالاتری دارد. در مقایسه با K-Means، برای خوشه‌های با اشکال نامنظم برتری دارد اما تنظیم پارامترهایش دشوارتر است (Ester et al., 1996; MacQueen, 1967).

اگرچه هر دو الگوریتم مبتنی بر چگالی هستند، تفاوت اساسی آن‌ها در این است که DBSCAN چگالی را به‌صورت گسسته (بر اساس تعداد همسایگان در شعاع مشخص) تعریف می‌کند، در حالی که DENCLUE چگالی را به‌صورت پیوسته از طریق KDE محاسبه می‌کند. این تفاوت به DENCLUE پایه ریاضی محکم‌تری می‌دهد و آن را برای داده‌های پیوسته مناسب‌تر می‌سازد (Hinneburg & Keim, 1998).

۱3. نوآوری‌ها و چشم‌انداز آینده

۱3.۱ DENCLUE 2.0

Hinneburg و Gabriel در سال ۲۰۰۷ نسخه بهبودیافته‌ای از DENCLUE ارائه دادند که با استفاده از روش صعود گرادیان تطبیقی (Adaptive Gradient Ascent)، سرعت همگرایی را به‌طور قابل‌توجهی افزایش داد و نیاز به تنظیم دقیق σ را کاهش داد (Hinneburg & Gabriel, 2007).

۱3.۲ ترکیب با یادگیری عمیق

پژوهش‌های اخیر نشان می‌دهند که می‌توان DENCLUE را با شبکه‌های عصبی عمیق ترکیب کرد؛ به این صورت که ابتدا با Autoencoder بازنمایی فشرده داده‌ها استخراج می‌شود و سپس DENCLUE در فضای نهفته (Latent Space) اعمال می‌شود.

۱3.۳ DENCLUE موازی و توزیع‌شده

با توجه به پیچیدگی محاسباتی بالای DENCLUE، پیاده‌سازی‌های موازی بر روی GPU و چارچوب‌های توزیع‌شده مانند Apache Spark در حال توسعه هستند.

۱3.۴ DENCLUE تطبیقی

یکی از مسیرهای پژوهشی فعال، توسعه نسخه‌هایی است که σ را به‌صورت محلی و تطبیقی تنظیم می‌کنند؛ یعنی در نواحی پرچگال σ کوچک‌تر و در نواحی کم‌چگال بزرگ‌تر انتخاب می‌شود.

۱3.۵ کاربرد در داده‌های جریانی

تطبیق DENCLUE برای داده‌های جریانی (Streaming Data) که به‌صورت پیوسته تولید می‌شوند، یکی از فرصت‌های توسعه آینده است.

۱4. جمع‌بندی

DENCLUE الگوریتمی است که با تکیه بر پایه ریاضی محکم تخمین چگالی هسته‌ای، رویکردی منسجم و نظری‌محور برای خوشه‌بندی ارائه می‌دهد. این الگوریتم مسئله اصلی خوشه‌بندی داده‌هایی با اشکال نامنظم، نویز بالا و چگالی متغیر را به‌خوبی حل می‌کند.

ارزش اصلی DENCLUE در یکپارچگی نظری آن نهفته است: تعریف خوشه بر اساس ماکزیمم‌های محلی تابع چگالی، نه تنها از نظر ریاضی دقیق است، بلکه تفسیر شهودی روشنی نیز دارد. هر خوشه ناحیه‌ای است که نقاط داده‌ای آن به سمت یک قله چگالی کشیده می‌شوند.

چالش اصلی این الگوریتم تنظیم پارامترهای σ و ξ است. برای استفاده عملی، پیشنهاد می‌شود از قوانین اکتشافی مانند قانون سیلورمن برای تخمین اولیه σ استفاده شود و سپس با اعتبارسنجی متقاطع تنظیم دقیق‌تری انجام گیرد.

برای مطالعه بیشتر، مطالعه مقاله اصلی Hinneburg و Keim (1998)، بررسی پیاده‌سازی‌های موجود در کتابخانه‌های Python مانند pyclustering، و آشنایی با مفاهیم KDE در کتاب Silverman (1986) توصیه می‌شود.

۱5. منابع

Aggarwal, C. C. (2015). Data Mining: The Textbook. Springer.

Analytics Vidhya (2023). Comprehensive Guide to Density-Based Clustering.

autorenewthumb_upthumb_down

Bellman, R. E. (1961). Adaptive control processes: A guided tour. Princeton University Press.

Bishop, C. M. (2006). Pattern Recognition and Machine Learning. Springer.

Ester, M., Kriegel, H. P., Sander, J., & Xu, X. (1996). A density-based algorithm for discovering clusters in large spatial databases with noise. Proceedings of the 2nd International Conference on Knowledge Discovery and Data Mining (KDD-96), 226–231.

GeeksforGeeks (2024). DENCLUE Algorithm in Data Mining.

Han, J., Kamber, M., & Pei, J. (2011). Data mining: Concepts and techniques (3rd ed.). Morgan Kaufmann.

Hastie, T., Tibshirani, R., & Friedman, J. (2009). The elements of statistical learning: Data mining, inference, and prediction (2nd ed.). Springer.

Hinneburg, A., & Gabriel, H. H. (2007). DENCLUE 2.0: Fast clustering based on kernel density estimation. Proceedings of the 7th International Symposium on Intelligent Data Analysis (IDA 2007), Lecture Notes in Computer Science, 4723, 70–80. https://doi.org/10.1007/978-3-540-74825-0_7

Hinneburg, A., & Keim, D. A. (1998). An efficient approach to clustering in large multimedia databases with noise. Proceedings of the 4th International Conference on Knowledge Discovery and Data Mining (KDD-98), 58–65.

Jain, A. K., Murty, M. N., & Flynn, P. J. (1999). Data clustering: A review. ACM Computing Surveys, 31(3), 264–323. https://doi.org/10.1145/331499.331504

KDnuggets (2022). Density Attractors in DENCLUE. Machine Learning Mastery (2023). A Gentle Introduction to Kernel Density Estimation

.

MacQueen, J. (1967). Some methods for classification and analysis of multivariate observations. Proceedings of the 5th Berkeley Symposium on Mathematical Statistics and Probability, 1, 281–297.

Mitchell, T. M. (1997). Machine learning. McGraw-Hill.

Murphy, K. P. (2012). Machine Learning: A Probabilistic Perspective. MIT Press.

Parzen, E. (1962). On estimation of a probability density function and mode. The Annals of Mathematical Statistics, 33(3), 1065–1076. https://doi.org/10.1214/aoms/1177704472

Rosenblatt, M. (1956). Remarks on some nonparametric estimates of a density function. The Annals of Mathematical Statistics, 27(3), 832–837. https://doi.org/10.1214/aoms/1177728190

Scikit-learn documentation (2024). Clustering Methods Overview. Retrieved from https://scikit-learn.org

Scott, D. W. (1992). Multivariate density estimation: Theory, practice, and visualization. Wiley.

Silverman, B. W. (2018). Density Estimation for Statistics and Data Analysis. Routledge.

Tan, P. N., Steinbach, M., Karpatne, A., & Kumar, V. (2018). Introduction to data mining (2nd ed.). Pearson.

Wand, M. P., & Jones, M. C. (1995). Kernel smoothing. Chapman and Hall.

Xu, R., & Wunsch, D. (2005). Survey of clustering algorithms. IEEE Transactions on Neural Networks, 16(3), 645–678. https://doi.org/10.1109/TNN.2005.845141

هوش مصنوعی

الگوریتم DENCLUE چیست؟ آموزش، پیاده‌سازی و کاربرد در خوشه‌بندی داده‌ها

1. مقدمه در بخش قبل، الگوریتم DENCLUE از دیدگاه نظری، بر اساس تخمین چگالی هسته (Kernel Density Estimation) و مفهوم جاذب‌های چگالی بررسی شد. در این بخش هدف، پیاده‌سازی عملی الگوریتم و بررسی عملکرد آن روی داده‌های واقعی است. از آنجا که DENCLUE به‌صورت پیش‌فرض در کتابخانه‌های رایج یادگیری ماشین

توضیحات بیشتر »

جولای 22, 2026 بدون دیدگاه

هوش مصنوعی