روش‌های اعتبارسنجی کلاسبند

۱- Model selection

هدف از این روش اعتبارسنجی، رسیدن به یک مدل و ساختار بهینه است.

برای مثال در شبکه های عصبی، تعداد لایه‌های پنهان، تعداد نورون‌ها در لایه های مختلف و پارامترهای آزاد تعیین شده توسط کاربر؛ با این روش تعیین یا در کلاسبند KNN ، تعداد همسایه های نزدیک را تعیین می‌کنیم.

یکی از روشهای معروفی که استفاده می شود، cross validation  است.

در این روش داده را به سه بخش تقسیم می کنند:

  • داده آموزش
  • داده validation
  • داده تست

در ابتدا یک ساختار توسط کاربر تعیین  و با استفاده از داده آموزش کلاسبند  با ساختار تعیین شده آموزش داده می شود. سپس با استفاده از داده validation کلاسبند آموزش دیده را تست کرده و پارامترهای ارزیابی (برای مثال دقت کلاسبندی)را به ازای آن ساختار بدست می‌آورند. سپس ساختار دیگری را در نظر می گیرند و مراحل قبل را تکرار می کنند. به ازای ساختارهای مختلف این عمل انجام می شود و در نهایت ساختاری که بیشترین دقت کلاسبندی را داشته انتخاب می کنند. در نهایت، داده های آموزش و validation را باهم ترکیب کرده و کلاسبند با ساختار بهینه بدست آمده تست کرده و پارامترهای ارزیابی نهایی را محاسبه میکنند.

۲- Performance estimation

زمانی که تعداد کم باشد، عددی که به عنوان پارامتر ارزیابی گزارش می شود، عدد قابل اطمینانی نیست و برای اینکه بتوانیم در پروژه ها و مقاله ها به ازای همین تعداد داده، عدد قابل اطمینانی گزارش بدهیم لازم است از یک سری روش هایی استفاده کنیم که در زیر سه روش اصلی و شاخصی که معمولا در مقالات استفاده می کنند را توضیح خواهیم داد:

 الف. روش اعتبار سنجی k- fold cross validation

در این روش داده ها به K زیرمجموعه مساوی تقسیم می شوند. از این K زیرمجموعه، هر بار یکی برای تست کلاسیفایر و K-1 تای دیگر برای آموزش کلاسیفایر بکار میروند. این روال K بار تکرار می شود و همه داده ها دقیقا kبار برای آموزش و یکبار برای تست بکار می روند. در نهایت میانگین خطای این K بار تست به عنوان یک تخمین نهایی برگزیده می شود. البته می توان از روش های دیگر برای ترکیب نتایج استفاده کرد. بطور معمول از ۱۰-Fold استفاده می شود.

ب. روش اعتبار سنجی random subsampling

روال کار این الگوریتم به اینصورت است که داده را به صورت تصادفی به دو بخش آموزش و تست تقسیم می کند. سپس با استفاده از داده آموزشی، کلاسبند رو آموزش می دهند، و با داده تست کلاسبند را تست و ارزیابی می کنند. از آنجا که بصورت تصادفی داده رو انتخاب می کنند لذا لازم است تا چند بار (۲۰۰ بار معمولا در مقالات انجام میدهند) این کار را تکرار کنند. در هر تکرار عملکرد کلاسبند محاسبه می شود، و در اخر از عملکردهای بدست آماده میانگین می گیرند و به عنوان عملکرد کلاسبند نمایش می دهند. دلیل استفاده از این روش به این خاطر است که این روش تمام حالتهای ممکن برای تست و آموزش شبکه رو در نظر میگیرد. و اگر تعداد دفعات زیاد باشد عدد بدست آمده قابل اطمینان تر است.

ج. روش اعتبار سنجی leave one out

این روش شبیه k-fold cross validation است با این تفاوت که در اینجا تنها یک نمونه از داده را به عنوان داده تست استفاده میکنند.

 

 

اولین کانال آموزش رایگان دروس مربوط به رشته ی مهندسی پزشکی

لینک کانال

 

3 پاسخ
  1. sara
    sara says:

    ببخشید در روش Model selection که فرمودید در نهایت نمونه های train و validation با هم ترکیب می شوند، ترکیب آنها به عنوان نمونه های آموزشی کل برای تست نهایی روی داده های تست درنظر گرفته می شود؟

    پاسخ دادن

تعقیب

  1. […] → روش‌های اعتبارسنجی کلاسبند هوش مصنوعی و ظهور آن در سیستم بانکداری […]

دیدگاه خود را ثبت کنید

Want to join the discussion?
Feel free to contribute!

پاسخ دهید

نشانی ایمیل شما منتشر نخواهد شد. بخش‌های موردنیاز علامت‌گذاری شده‌اند *