تخمین درست‌نمایی بیشینه(ML)

در بخش­های قبل کلاسیفایرهای بیزین و همچنین کلاسیفایرهای حداقل فاصله را توضیح دادیم. در این کلاسیفایرها، پارامترهای تابع توزیع احتمال(pdf) گوسی(مقدار میانگین و ماتریس کوواریانس) کلاس­ها معلوم بود در این بخش قصد داریم که روش برآورد درست‌نمایی بیشینه(ML) را که روشی برای تخمین پارامترهای تابع توزیع احتمال را بیان کنیم.

مشکلی که اغلب در عمل با آن مواجه هستیم این است که pdfهایی که توزیع آماری دیتا را در کلاس­ها توصیف می­کنند، نامعلوم هستند و باید با استفاده از مجموعه ­ی دیتای آموزش(train) تخمین زده شوند. یک روش برای تخمین تابع، این فرض است که یک pdf شکل تابع مشخصی دارد ولی ما مقادیرِ پارامترهایی که آن را تعریف می­کنند نمی­دانیم. برای مثال، می­دانیم که pdf، شکل گوسی دارد اما مقدار میانگین و یا المان­ها ماتریس کوواریانس را نمی­دانیم.

روش دانسیته­ ی احتمال ماکزیمم(ML) روش محبوبی برای تخمین پارامتریِ pdf نامعلوم است. با تمرکز بر روی pdfهای گوسی و با این فرض که N نقطه که,   { x }_{ i }\epsilon { R }^{ l } ,  که i=1,2,..,N است را که بصورت یکنواخت توزیع شده ­اند را داریم، تخمین ­های ML مقدار میانگین نامعلوم و ماتریس کوواریانس نامعلوم بصورت زیر بدست می­ آیند:

تخمین ML برای میانگین کلاس

تخمین ML برای ماتریس کوواریانس

 

برای فراهم آوردن تخمین بدون­ بایاس، در فرمول ماتریس کوواریانس اغلب بجای N،  از N-1 استفاده می­کنند.

تمرین بعدی که در این بخش مطرح می­شود بر روی تخمین پارامترهای نامعلوم pdf گوسی تمرکز می­کند.


 

تمرین ۴:  ۵۰ بردار ویژگی دوبعدی را از توزیع گوسین( N(m,S تولید کنید که:

میانگین و واریانس برای توزیع گوسی

 

 

اگر X ماتریس ایجاد شده باشد(که بصورت رندوم ایجاد شده است)،  که بعنوان بردارهای ویژگی  است، تخمین ML را برای مقدار میانگین و ماتریس کوواریانس S برای توزیع N(m,S) بدست آورید و با مقادیر واقعی مقایسه کنید.

نکته: برای تولید داده ی تصادفی از دستور mvnrnd  استفاده کنید.


اولین کانال آموزش رایگان دروس مربوط به رشته ی مهندسی پزشکی

لینک کانال

سوالات و دیدگاه خود را درباره ی این پست با ما درمیان بگذارید.

 

2 پاسخ

تعقیب

  1. […] بخش قبل درباره ی  تخمین گر ML صحبت کردیم. در این بخش همچنین […]

دیدگاه خود را ثبت کنید

Want to join the discussion?
Feel free to contribute!

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *