cover_compressed_compressed

الگوریتم Mean Shift چیست؟ آموزش کامل انتقال میانگین:بخش اول

1.اهداف یادگیری

در پایان این فصل، انتظار می‌رود خواننده بتواند:

  • تفاوت Mean Shift با روش‌های مرکزگرا مانند k-means و روش‌های اتصال چگالی مانند DBSCAN را توضیح دهد.
  • ارتباط Mean Shift با تخمین چگالی هسته‌ای (Kernel Density Estimation; KDE) و گرادیان چگالی را بیان کند.
  • بردار Mean Shift و به‌روزرسانی fixed-point را از نظر ریاضی تفسیر کند.
  • نقش bandwidth را در تعداد مُدها، هموارشدگی چگالی و ساختار خوشه‌ای تحلیل کند.
  • تفاوت kernelهای Gaussian و flat را در منطق و رفتار الگوریتم تشخیص دهد.
  • محدودیت‌های نظری نتایج همگرایی را به‌درستی و بدون تعمیم بیش از حد بیان کند.
  • پیچیدگی زمانی و حافظه نسخه مستقیم الگوریتم را بر حسب تعداد نمونه‌ها، بُعد، تعداد seedها و تعداد تکرارها تحلیل کند.
  • رفتار Mean Shift را در برابر نویز، داده پرت، ابعاد بالا، مقیاس نامتوازن ویژگی‌ها و چگالی‌های ناهمگن نقد کند.
  • واریانت‌های اصلی مانند Blurring Mean Shift، Variable-Bandwidth Mean Shift، Quick Shift، Stochastic Mean Shift و MeanShift++ را از نسخه پایه متمایز سازد.
  • یک مثال عددی Mean Shift را گام‌به‌گام محاسبه و نتیجه را از منظر mode seeking تفسیر کند.

.

2.پیش نیازها

2.1.پیش‌نیازهای مفهومی

  • یادگیری بدون نظارت و مفهوم خوشه
  • تفاوت مُد، میانگین و مرکز هندسی
  • مفهوم تخمین چگالی و مدل ناپارامتری
  • مفهوم gradient ascent و fixed-point iteration

2.2.پیش‌نیازهای آماری

  • تابع چگالی احتمال
  • Kernel Density Estimation
  • bandwidth و مصالحه bias–variance
  • نمونه‌گیری و مفهوم چگالی محلی

2.3.پیش‌نیازهای ریاضی

  • جبر خطی مقدماتی و بردارها
  • نرم اقلیدسی
  • مشتق و گرادیان
  • توابع نمایی و هسته‌ها
  • مفهوم نقطه ایستا
  • آشنایی مقدماتی با Hessian برای مطالعه مباحث پیشرفته‌تر

2.4پیش‌نیازهای محاسباتی

  • محاسبه فاصله بین بردارها
  • جست‌وجوی همسایگی
  • معیار توقف تکراری
  • درک مفهومی ساختارهای جست‌وجوی نزدیک‌ترین همسایه مانند KD Tree یا Ball Tree

.

3. چکیده

Mean Shift روشی ناپارامتری برای جست‌وجوی مُدهای چگالی و خوشه‌بندی داده است که بر پایه تخمین چگالی هسته‌ای عمل می‌کند. در این روش، هر نقطه یا seed به‌طور تکراری به سمت میانگین وزن‌دار نمونه‌های پیرامون خود حرکت می‌کند؛ این حرکت، تحت صورت‌بندی استاندارد، هم‌جهت با گرادیان تخمین چگالی است و بنابراین مسیر نقطه را به سوی نواحی پُرتراکم هدایت می‌کند.

نقاطی که به یک مُد مشترک می‌رسند، می‌توانند در یک خوشه قرار گیرند. مهم‌ترین ابرپارامتر Mean Shift پهنای‌باند (bandwidth) است: پهنای‌باند کوچک مُدهای متعدد و تفکیک ریز ایجاد می‌کند، در حالی‌که پهنای‌باند بزرگ باعث هموارسازی بیشتر و ادغام ساختارها می‌شود.

 این فصل تاریخچه سه‌مرحله‌ای روش، مبانی KDE، بردار Mean Shift، صورت‌بندی fixed-point، همگرایی شرط‌دار، پیچیدگی محاسباتی، رفتار در شرایط مختلف داده، مقایسه با روش‌های رقیب و واریانت‌های اصلی را بررسی می‌کند. همچنین چند مثال عددی نشان می‌دهد که چگونه kernel و bandwidth مسیر حرکت و تعداد مُدهای نهایی را تعیین می‌کنند (Fukunaga & Hostetler, 1975; Cheng, 1995; Comaniciu & Meer, 2002).

.

4. بستر علمی و تعریف مسئله

Mean Shift از یک مسئله بنیادی در تشخیص الگو شکل گرفت: چگونه می‌توان بدون فرض یک فرم پارامتری صلب برای توزیع داده، جهت حرکت به سوی نواحی پُرتراکم را از خود نمونه‌ها تخمین زد؟

در بسیاری از مسائل یادگیری بدون نظارت، فرض تعداد خوشه‌ها از پیش دشوار است و شکل خوشه‌ها نیز الزاماً با مدل‌های کروی یا بیضوی ساده سازگار نیست. در چنین شرایطی، تخمین ساختار محلی چگالی می‌تواند دیدگاه متفاوتی از سازمان داده ارائه کند.

Fukunaga و Hostetler در ۱۹۷۵ مسئله تخمین گرادیان تابع چگالی را برای کاربردهای تشخیص الگو بررسی کردند. اهمیت این کار برای Mean Shift در این است که گرادیان چگالی را می‌توان به شکلی بیان کرد که شامل اختلاف میان یک میانگین محلی وزن‌دار و موقعیت جاری است. با وجود آنکه این مقاله Mean Shift را در معنای امروزی یک الگوریتم خوشه‌بندی کامل نام‌گذاری نکرد، بنیان ریاضی روش را فراهم ساخت (Fukunaga & Hostetler, 1975).

Cheng در ۱۹۹۵ این ایده را به‌صورت صریح به مسئله جست‌وجوی مُد و خوشه‌بندی پیوند داد. در این دیدگاه، به‌جای آنکه تعداد خوشه‌ها از ابتدا تعیین شود، ساختار خوشه‌ای از مُدهای چگالی برآوردشده و حوزه‌های جذب آن‌ها نتیجه می‌شود. بنابراین مسئله اصلی از «یافتن K مرکز که یک تابع خطا را کمینه کنند» به «یافتن نقاط پرتراکم پایدار در تخمین چگالی و اتصال نمونه‌ها به آن‌ها» تغییر می‌کند (Cheng, 1995).

.

Comaniciu و Meer در ۲۰۰۲ Mean Shift را در یک چارچوب یکپارچه برای تحلیل فضای ویژگی صورت‌بندی کردند. این چارچوب در بینایی ماشین اهمیت ویژه‌ای یافت، زیرا رنگ، مکان، بافت یا ویژگی‌های دیگر را می‌توان در یک فضای مشترک نمایش داد و با استفاده از حرکت‌های محلی چگالی، هموارسازی و قطعه‌بندی انجام داد. با این حال، Mean Shift محدود به بینایی ماشین نیست و از منظر نظری یک روش عمومی mode seeking در فضای ویژگی است (Comaniciu & Meer, 2002).

ورودی پایه الگوریتم مجموعه‌ای از بردارهای عددی و یک kernel همراه با bandwidth است. خروجی در سطح mode seeking، مجموعه‌ای از نقاط همگراشده یا مُدهاست. در کاربرد clustering، باید مُدهای نزدیک ادغام شوند و هر نمونه بر اساس مُدی که مسیر آن به سوی آن همگرا می‌شود یا بر اساس قاعده انتساب پیاده‌سازی، برچسب خوشه دریافت کند.

 نکته مهم آن است که «تعداد خوشه‌ها» ورودی صریح الگوریتم نیست، اما به‌طور غیرمستقیم و شدید به bandwidth و سیاست ادغام مُدها وابسته است.

Mean Shift زمانی از نظر علمی مناسب است که ساختار داده را بتوان با قله‌های چگالی توضیح داد و فاصله یا kernel انتخابی در فضای ویژگی معنای معتبری داشته باشد. اگر داده دارای ابعاد بسیار زیاد، ویژگی‌های نامرتبط یا مقیاس‌های ناسازگار باشد، کیفیت KDE و در نتیجه مسیرهای Mean Shift می‌تواند به‌شدت افت کند. همچنین یک مُد آماری الزاماً یک کلاس معنایی واقعی نیست؛ بنابراین تفسیر خوشه‌های Mean Shift باید با ماهیت مسئله سازگار باشد.

.

5. مفاهیم پایه و تعاریف ضروری

  • تخمین چگالی هسته‌ای (KDE):روش ناپارامتری تخمین تابع چگالی که در آن هر نمونه با یک تابع kernel سهمی محلی در چگالی برآوردشده ایجاد می‌کند.
  • Kernel: تابع وزن‌دهی محلی که میزان اثر هر نمونه بر یک نقطه ارزیابی را بر حسب فاصله تعیین می‌کند.
  • Kernel Profile: نمایش شعاعی kernel بر حسب مربع فاصله، معمولاً با نماد k(s).
  • Shadow Kernel Profile: تابع وابسته‌ای که از مشتق kernel اصلی ساخته می‌شود و در فرمول بردار Mean Shift ظاهر می‌شود.
  • Bandwidth: پارامتر مقیاس که شعاع مؤثر همسایگی و میزان هموارسازی KDE را تعیین می‌کند.
  • Mode: نقطه‌ای با چگالی محلی بیشینه؛ در تحلیل دقیق‌تر، نقطه‌ای ایستا که در جهت‌های محلی ویژگی بیشینه دارد.
  • Mode Seeking: فرایند تکراری حرکت از یک seed به سوی یک مُد چگالی.
  • Seed: نقطه آغاز مسیر Mean Shift. Seed می‌تواند هر نمونه داده، زیرمجموعه‌ای از نمونه‌ها یا یک شبکه از نقاط باشد.
  • Mean-Shift Vector: بردار اختلاف میان میانگین وزن‌دار نمونه‌های پیرامون و موقعیت جاری.
  • Basin of Attraction: مجموعه نقاط آغازینی که تحت پویایی Mean Shift یا جریان گرادیان به یک مُد مشترک همگرا می‌شوند.
  • Mode Merging: مرحله ادغام نقاط همگرایی بسیار نزدیک که از نظر عددی یا ساختاری یک مُد واحد تلقی می‌شوند.
  • Fixed Bandwidth: استفاده از یک h واحد در تمام فضای داده.
  • Variable Bandwidth: تغییر bandwidth بر حسب موقعیت یا نمونه، برای سازگاری با تغییرات چگالی.
  • Blurring Mean Shift: واریانتی که در آن خود مجموعه داده در طول تکرارها جابه‌جا می‌شود، نه فقط seedهای مستقلی که روی داده ثابت حرکت کنند.

نمادهای اصلی فصل عبارت‌اند از:

  • N: تعداد نمونه‌ها
  • d: تعداد ابعاد
  • xi​: نمونه i-ام
  • yt​: موقعیت seed در تکرار t
  • h: bandwidth
  • K: kernel
  • k: kernel profile
  • g: shadow profile
  •  (x)^ f ​: KDE در نقطه x
  •  (x) m: بردار Mean Shift
  • S: تعداد seedها
  • T: تعداد تکرارهای متوسط یا سقف تکرار

6. ایده محوری و مبانی نظری-ریاضی

6.1 شهود اصلی: از میانگین محلی تا حرکت به سوی چگالی

اگر در اطراف یک نقطه، داده‌ها در یک سمت متراکم‌تر باشند، میانگین محلی نمونه‌های نزدیک دقیقاً روی نقطه جاری قرار نمی‌گیرد؛ بلکه به سوی ناحیه پرتراکم‌تر متمایل می‌شود. Mean Shift از همین عدم تقارن محلی استفاده می‌کند.

نقطه جاری به میانگین محلی منتقل می‌شود، سپس در موقعیت جدید میانگین دیگری محاسبه می‌شود و این فرایند ادامه پیدا می‌کند. در یک وضعیت مناسب، این جابه‌جایی‌ها کاهش می‌یابند و مسیر به یک ناحیه دارای چگالی بالا می‌رسد.

تمایز اصلی با k-means آن است که Mean Shift مجموعه ثابتی از مراکز را به‌طور هم‌زمان برای کمینه‌سازی مجموع مربعات فاصله به‌روزرسانی نمی‌کند. هر seed مسیر مستقلی در میدان چگالی طی می‌کند و تعداد مُدهای نهایی از ساختار چگالی هموارشده نتیجه می‌شود.

.

6.2 تخمین چگالی هسته‌ای

داده را به صورت زیر در نظر می‌گیریم:

یک KDE استاندارد با bandwidth ثابت h>0 به صورت زیر نوشته می‌شود:

اگر kernel شعاعی باشد، می‌توان نوشت:

که در آن ck,d ثابت نرمال‌سازی وابسته به profile و بُعد است. بنابراین:

نقش  دوگانه است: از یک سو مقیاس فاصله را در kernel تعیین می‌کند و از سوی دیگر مستقیماً میزان هموارسازی تخمین چگالی را کنترل می‌کند. این پارامتر، از نظر رفتار خوشه‌بندی، بنیادی‌ترین ابرپارامتر Mean Shift است.

.

6.3 Shadow kernel و بردار Mean Shift

برای profile مشتق‌پذیر k(s)، تعریف می‌کنیم:

اگر profile مشتق‌شده g یک kernel نرمال‌پذیر تعریف کند، kernel متناظر را با G نشان می‌دهیم. بردار Mean Shift وابسته به profile g به صورت زیر است:

کسر اول میانگین وزن‌دار داده است و جمله دوم موقعیت فعلی را کم می‌کند. در نتیجه، mh,G(x) جهت و اندازه جابه‌جایی پیشنهادی را مشخص می‌کند.

6.4 ارتباط با گرادیان KDE

با تعریف KDE متناظر با kernelهای K و G، رابطه گرادیان را می‌توان ـ با قراردادهای نرمال‌سازی این فصل ـ به‌صورت دقیق زیر نوشت:

ضریب پیشرو فقط به bandwidth و ثابت‌های نرمال‌سازی دو kernel وابسته است. هرگاه چگالی برآوردشده با G در نقطه جاری مثبت باشد، بردار Mean Shift هم‌جهت با گرادیان KDE است. این نتیجه مبنای اصلی تفسیر Mean Shift به‌عنوان mode seeking است: الگوریتم در جهت افزایش چگالی حرکت می‌کند، اما اندازه گام از هندسه محلی و kernel نتیجه می‌شود و یک step size ثابت و مستقل ندارد (Fukunaga & Hostetler, 1975; Comaniciu & Meer, 2002).

 

6.5 معادله fixed-point

اگر  yt موقعیت seed در تکرار t باشد، به‌روزرسانی عمومی به صورت زیر است:

یا به شکل معادل:

نقطه‌ای که در آن بردار Mean Shift صفر شود، fixed point این نگاشت است. با این حال، هر fixed point الزاماً مُد مطلوب نیست؛ از نظر نظری ممکن است با نقاط ایستای دیگر نیز مواجه شویم. در کاربردهای clustering، ساختار kernel و مسیرهای آغازشده از داده معمولاً برای رسیدن به مُدها استفاده می‌شوند، اما تفسیر «همه نقاط ایستا برابر مُد» صحیح نیست.

.

  6.6.Gaussian Mean Shift

برای kernel گاوسی می‌توان وزن نمونه i در موقعیت y را نوشت:

در نتیجه:

در این نسخه، همه نمونه‌ها وزن مثبت دارند، ولی اثر نقاط دور به‌صورت نمایی کاهش می‌یابد. Carreira-Perpiñán نشان داد Gaussian Mean Shift را می‌توان تحت صورت‌بندی مربوط به‌عنوان یک الگوریتم EM تفسیر کرد و برای kernelهای عمومی‌تر، پیوندهایی با generalized EM وجود دارد (Carreira-Perpiñán, 2007). این نتیجه نباید به معنای آن باشد که همه واریانت‌های Mean Shift با هر kernel دقیقاً همان EM استاندارد هستند.

6.7.Flat Kernel

در پیاده‌سازی‌های موسوم به flat-kernel Mean Shift، همسایه‌هایی که داخل شعاع h قرار دارند وزن برابر دریافت می‌کنند و نقاط بیرون شعاع نادیده گرفته می‌شوند. از دید مشتق کلاسیک بخش ۶٫۳، وزن‌دهی یکنواختِ profile مشتق‌شده g، shadow profile هسته Epanechnikov است؛ بنابراین «flat kernel» اجرایی نباید بدون قید با kernel اصلی K در KDE یکی گرفته شود (Comaniciu & Meer, 2002). اگر:

آنگاه:

این به‌روزرسانی از نظر محاسباتی امکان استفاده مستقیم از جست‌وجوی همسایه در شعاع را فراهم می‌کند. مستندات فعلی scikit-learn نیز MeanShift را صریحاً با flat kernel معرفی می‌کنند؛ بنابراین نتایج آن لزوماً با Gaussian Mean Shift یکسان نیستند (scikit-learn Developers, 2026b).

6.8 حوزه جذب و تعریف خوشه

اگر T(x)یک گام Mean Shift باشد، مسیر:

را می‌توان دنبال کرد. اگر دو نقطه آغازین به یک مُد مشترک همگرا شوند، در تفسیر modal clustering متعلق به یک حوزه جذب هستند. Chen، Genovese و Wasserman این دیدگاه را در چارچوب آماری mode clustering به‌صورت نظام‌مند بررسی کرده‌اند (Chen et al., 2016).

در عمل، مسیرهای مختلف ممکن است به نقاطی بسیار نزدیک ولی نه دقیقاً برابر برسند. بنابراین مرحله mode merging ضروری است. آستانه ادغام، برخلاف فرمول پایه Mean Shift، یک قرارداد اجرایی است و بین پیاده‌سازی‌ها تفاوت دارد.

.

6.9 آیا Mean Shift یک تابع هدف دارد؟

چند تفسیر مکمل در ادبیات وجود دارد. Comaniciu و Meer حرکت را به صعود روی KDE مرتبط می‌کنند. Fashing و Tomasi نشان دادند Mean Shift را می‌توان به‌صورت bound optimization تفسیر کرد و برای برخی kernelها روابطی با به‌روزرسانی‌های شبه‌نیوتنی به دست می‌آید (Fashing & Tomasi, 2005). Carreira-Perpiñán نیز برای Gaussian Mean Shift تفسیر EM ارائه کرده است (Carreira-Perpiñán, 2007).

این دیدگاه‌ها الزاماً متناقض نیستند؛ هر یک یک ساختار ریاضی متفاوت از همان پویایی را برجسته می‌کند. برای فصل مرجع، مناسب‌تر است Mean Shift را در درجه اول mode-seeking مبتنی بر KDE معرفی کنیم و سپس تفسیرهای optimization و EM را به‌عنوان چارچوب‌های نظری مکمل بیان کنیم.

.

6.10 همگرایی: نتیجه‌های موجود و حدود آن‌ها

Comaniciu و Meer (2002) برای داده گسسته و kernel با profile محدب و یکنواختاً نزولی، یک شرط کافی برای افزایش یکنواخت چگالی برآوردشده و همگرایی دنباله Mean Shift بیان کردند. با این حال، Li، Hu و Wu (2007) استدلال کردند که اثبات‌های پیشین همه جزئیات همگرایی دنباله مکانی را به‌طور کامل پوشش نمی‌دهند و با افزودن شروط مشخص، نتیجه همگرایی را بازاثبات کردند. Ghassabeh نیز در ۲۰۱۳ مسئله را در یک بُعد بازبینی کرد و در ۲۰۱۵ برای Gaussian kernel و حالت نقاط ایستای منفرد شرط کافی دیگری ارائه داد (Li et al., 2007; Ghassabeh, 2013, 2015). این توالی باید به‌عنوان تکامل و تصحیح نظری ادبیات خوانده شود، نه تناقضی که با یک گزاره بدون شرط حل شود.

بنابراین گزاره آموزشی معتبر چنین است Mean Shift: دارای نتایج همگرایی مهمی است، اما این نتایج شرط‌دارند و نباید به‌صورت «همگرایی تضمین‌شده برای هر kernel و هر داده در هر بُعد» بیان شوند.

.

7. مراحل گام‌به‌گام اجرای الگوریتم و منطق تصمیم‌گیری

7.1 تعیین نمایش و مقیاس داده

داده باید در فضای ویژگی‌ای نمایش داده شود که فاصله انتخاب‌شده در آن معنا داشته باشد. اگر ویژگی‌ها مقیاس‌های بسیار متفاوت دارند، استانداردسازی یا نرمال‌سازی لازم است؛ در غیر این صورت، ویژگی با دامنه بزرگ‌تر مسیرهای Mean Shift را غالب می‌کند.

7.2 انتخاب kernel و bandwidth

kernel شکل وزن‌دهی همسایه‌ها و bandwidth مقیاس محلی را تعیین می‌کند. در Gaussian Mean Shift، همه نمونه‌ها به‌صورت پیوسته وزن می‌گیرند. در flat Mean Shift، فقط نقاط داخل شعاع در میانگین شرکت می‌کنند.

7.3 انتخاب seedها

ساده‌ترین حالت، استفاده از همه نمونه‌های داده به‌عنوان seed است. این انتخاب پوشش خوبی از حوزه‌های جذب ایجاد می‌کند ولی هزینه محاسباتی بالایی دارد. برای مقیاس بزرگ، می‌توان از binning، sampling یا seedهای محدود استفاده کرد؛ اما کاهش seedها ممکن است مُدهای کوچک را از دست بدهد.

7.4 محاسبه میانگین محلی وزن‌دار

برای هر seed، وزن نمونه‌ها بر اساس kernel و فاصله محاسبه می‌شود. سپس میانگین محلی وزن‌دار به دست می‌آید. این میانگین نقطه مقصد در گام بعدی است.

7.5 جابه‌جایی seed

seed از موقعیت جاری به میانگین وزن‌دار منتقل می‌شود. جابه‌جایی حاصل همان بردار Mean Shift است. در تفسیر KDE، این بردار در جهت افزایش چگالی قرار دارد.

7.6 تکرار تا توقف

گام‌های محاسبه وزن و جابه‌جایی تا زمانی ادامه می‌یابند که نرم تغییر موقعیت از یک آستانه کوچک‌تر شود یا سقف تعداد تکرارها فرا برسد. معیار توقف عملی با theorem همگرایی نظری یکسان نیست؛ معیار توقف صرفاً یک قاعده عددی برای خاتمه محاسبه است.

7.7 جمع‌آوری نقاط همگراشده

پس از پایان مسیر همه seedها، نقاط پایانی ثبت می‌شوند. این نقاط ممکن است به دلیل خطای عددی، tolerance یا kernel دقیقاً برابر نباشند.

7.8 ادغام مُدهای نزدیک

نقاط پایانی که در فاصله‌ای کمتر از یک آستانه مناسب قرار دارند، به یک مُد واحد ادغام می‌شوند. سیاست ادغام باید با bandwidth و مقیاس داده سازگار باشد.

7.9 تخصیص برچسب خوشه

در تفسیر modal، هر نمونه بر اساس مُدی که مسیر آن به آن رسیده است برچسب می‌گیرد. بعضی پیاده‌سازی‌ها پس از تعیین مراکز نهایی، نمونه‌ها را به نزدیک‌ترین مرکز تخصیص می‌دهند. این تفاوت اجرایی باید در گزارش نتایج مشخص شود.

7.10 خروجی‌ها

خروجی می‌تواند شامل مراکز مُد، برچسب خوشه، مسیرهای seed و تعداد تکرار هر مسیر باشد. در کاربردهای filtering یا tracking، هدف الزاماً تولید برچسب خوشه نیست و نقطه همگراشده یا موقعیت مُد اهمیت اصلی را دارد.

.

8. شبه‌کد استاندارد

ورودی:

X = {x1, ..., xN}
bandwidth = h
kernel/profile = g
seeds = {s1, ..., sS}
tolerance = ε
max_iterations = T_max
merge_threshold = δ

خروجی:

modes
cluster_labels

برای هر seed یعنی s:

y ← s

برای 1= t تا T_max:

برای i=1,…,N:

wi ← g(||(y - xi)/h||²)

اگر:

Σ wi = 0

مسیر را خاتمه بده.

سپس:

y_new ← (Σ wi xi) / (Σ wi)

اگر:

y_new - y|| < ε||

آنگاه:

y ← y_new

و توقف.

در غیر این صورت:

y ← y_new

در پایان:

endpoint(s) ← y

endpointهای نزدیک‌تر از δ را ادغام کن.

modes ← مراکز ادغام‌شده

برای هر نمونه xi​:

برچسب xi​ را بر اساس mode متناظر مسیر آن، یا طبق قاعده انتساب پیاده‌سازی تعیین کن.

در نهایت:

modes و cluster_labels را بازگردان.

9. مثال‌های آموزشی

9.1 مثال شهودی ساده

دو گروه نقطه روی یک خط در نظر بگیرید: گروه اول در نزدیکی صفر و گروه دوم در نزدیکی ۳. اگر seedی در ۰٫۱۵ قرار گیرد و bandwidth متوسطی انتخاب شود، وزن نقاط نزدیک صفر بسیار بیشتر از نقاط نزدیک ۳ خواهد بود؛ بنابراین میانگین وزن‌دار به سمت مرکز ناحیه اول حرکت می‌کند. در مقابل، seedی در ۲٫۹ به سمت گروه دوم می‌رود. اگر bandwidth بسیار بزرگ شود، هر دو گروه در یک پنجره مؤثر قرار می‌گیرند و حرکت‌ها می‌توانند به یک ناحیه مشترک منتهی شوند. این مثال نشان می‌دهد تعداد خوشه‌ها ورودی صریح Mean Shift نیست، اما bandwidth آن را به‌طور غیرمستقیم کنترل می‌کند.

.

9.2 مثال عددی پایه: Gaussian Mean Shift در یک بُعد

داده زیر را در نظر بگیرید:

وزن گاوسی هر نمونه در y0 عبارت است از:

  • برای x1=0:
  • برای x2=1:
  •   برای x3=4:

میانگین وزن‌دار جدید برابر است با:

بنابراین:

تفسیر: seed اندکی به سمت راست حرکت می‌کند، زیرا اثر وزن‌دار نقطه ۴ با وجود فاصله بیشتر، عدم تقارن داده نسبت به  را ایجاد کرده است. این حرکت کوچک نشان می‌دهد موقعیت ۱ از نظر میانگین وزن‌دار محلی تقریباً پایدار است، ولی هنوز fixed point دقیق نیست.

.

9.3 مثال عددی متوسط: Flat Mean Shift

داده زیر را در نظر بگیرید:

همسایگی شعاعی seed عبارت است از:

پس:

در تکرار بعد:

و بنابراین:

الگوریتم در این نقطه ثابت می‌شود. اگر seedی در ۳٫۱ آغاز شود، همسایگی آن شامل 2.8,3.0,3.2 است و میانگین آن‌ها برابر ۳ می‌شود. بدین ترتیب دو مُد عملی در نزدیکی ۰٫۲ و ۳ حاصل می‌شوند.

.

9.4 مثال پیشرفته: اثر bandwidth بر ساختار مُد

همان داده مثال قبل را در نظر بگیرید. اگر bandwidth از 0.5 به 4 افزایش یابد، تقریباً همه نقاط در همسایگی هر seed قرار می‌گیرند. در flat kernel، میانگین کل داده برابر است با:

در نتیجه seedهای مختلف به سمت ۱٫۶ متمایل می‌شوند و ساختار دوگانه داده در مقیاس بزرگ‌تر از بین می‌رود. این مثال به‌صورت مستقیم نشان می‌دهد bandwidth یک پارامتر جزئی نیست؛ بلکه تعریف مقیاس ساختار چگالی را تعیین می‌کند.

دکتر محمدرضا عاطفی

عضو هیئت علمی دانشگاه
رئیس هیئت مدیره گروه ناب
هم بنیان گذار شرکت دانش بنیان
مشاور شرکت ها و سازمان های بزرگ کشور

آنچه می خوانید

هوش مصنوعی

الگوریتم Subtractive Clustering چیست؟ آموزش خوشه‌بندی تفریقی:بخش دوم

11. تحلیل پیچیدگی و مقیاس‌پذیری فرض کنید N تعداد نمونه‌ها، d تعداد ویژگی‌ها و K تعداد مراکز نهایی باشد. 11.1 هزینه محاسبه پتانسیل اولیه برای هر یک از N نمونه، فاصله تا N نمونه محاسبه می‌شود و هر فاصله در d بعد هزینه دارد. بنابراین: این نتیجه با تحلیل Chiu

توضیحات بیشتر »
هوش مصنوعی

الگوریتم Subtractive Clustering چیست؟ آموزش خوشه‌بندی تفریقی:بخش اول

1. اهداف یادگیری پس از مطالعه این فصل، خواننده باید بتواند: . 2.پیش‌نیازها . 3. چکیده خوشه‌بندی تفریقی (Subtractive Clustering) روشی بدون نظارت برای تخمین تعداد و موقعیت مراکز خوشه است که Stephen L. Chiu آن را در سال 1994 در زمینه شناسایی مدل‌های فازی معرفی کرد. این روش از

توضیحات بیشتر »
هوش مصنوعی

الگوریتم Mean Shift چیست؟ آموزش کامل انتقال میانگین:بخش دوم

10. تحلیل رفتاری و تبیین علمی 10.1 تحلیل هندسی هندسه Mean Shift را می‌توان میدان برداری‌ای تصور کرد که در هر نقطه جهت میانگین وزن‌دار محلی را نشان می‌دهد. مسیر seedها منحنی‌هایی در این میدان‌اند و مُدها به‌صورت جاذب‌های محلی عمل می‌کنند. مرز میان خوشه‌ها از مرز حوزه‌های جذب نتیجه

توضیحات بیشتر »
error: محتوا غیر قابل انتخاب و کپی است.