Journal of Command and Control

fa یادگیری تجمعی مبتنی بر تابع ضرر کانونی افزایشی (FENIL) برای غلبه بر نامتوازنی دسته ای Incremental Focal ENsemble for multi-class Imbalalanced Learning (FENIL) هوش مصنوعی Artificial Intelligence پژوهشي Research شبکه های عصبی کانولووشنال یکی از موفقترین و پراستفاده ترین مدلهای یادگیری ماشین در دسته بندی دادهها محسوب میشود اما به رغم موفقیتهای چشمگیری که در دسته بندی دادهها دارند، در یادگیری نامتوازن، که یکی از چالش‌برانگیزترین مشکلات در یادگیری ماشین است،  به ﻧﺘایج ﻗﺎﺑﻞ ﻗﺒﻮلی دﺳﺖ پیدا نمیکنند چرا که در این گونه مسائل، ﻣﻌﻤﻮﻻ ﺗﻌﺪاد ﻧﻤﻮﻧﻪﻫﺎی یکی از دستهﻫﺎ ﺧﯿلی ﺑﯿﺸﺘﺮ از ﻧﻤﻮﻧﻪﻫﺎی دسته دیگر اﺳﺖ و یا هزینه دسته بندی اشتباه در دو دسته متفاوت است، این در حالی است که شبکه های CNN به صورت پیشفرض، ﺗﻮزیع دستهﻫﺎ را متوازن و هزینه دسته بندی را مساوی در ﻧﻈﺮ میگیرند. یکی از روشهای موفق در برخورد با مجموعه داده های نامتوازن، روشهای تجمعی است. آنها با ترکیب تعدادی از تخمین‌گرهای پایه میتوانند به دقت بالایی دست پیدا کنند و در مقایسه با زمانی که تنها از یک تخمین‌گر استفاده میشود، قابلیت اطمینان مدل را افزایش دهند.  استفاده از یادگیری تجمعی، مدلهای یادگیری ماشین را در مواجهه با داده‌های نامتوازن توانمند میسازند. در این پژوهش، روشی مبتنی بر یادگیری تجمعی برای شبکه های عصبی کانولووشنال معرفی شده است که از تجمع  تعدادی شبکه CNN برای کار با داده های نامتوازن استفاده میکند. در این مدل از تابع ضرر کانونی برای آموزش CNNها استفاده شدهاست، پارامتر گاما در این تابع میزان اهمیت نمونه های سخت و آسان را مشخص میکند در مدل تجمعی پیشنهادی از پارامتر گاما برای ایجاد تنوع در CNNها استفاده شدهاست و این باعث شده است هر شبکه کانولووشنال نسبت به شبکه قبلی اهمیت کمتری به داده های آسان دهد. همچنین وزن داده ها برای آموزش هر شبکه  با استفاده از نتیجه دسته بندی شبکه CNN قبلی مشخص میشود. در نهایت برای دسته بندی داده های جدید از ترکیب نتیجه همه CNNها استفاده میشود. شبکه تجمعی یشنهادی (FENIL) برروی چندین مجموعه داده  اعمال شده است، براساس نتایج بدست آمده، شبکه  FENIL نه تنها درمقایسه با روشهای غیر عمیق مثل آدابوست با درخت تصمیم، دقت و F1-score بسیار بالاتری (63/18، 61/ 19بالاتر) دارد، بلکه در مقایسه با روشهای معمول عمیق دیگر مانند استفاده از یک CNN عمیق، رای گیری CNNها و CNNهای آبشاری و SMOTE  نیز نتایج بهتری را بدست آوردهاست. Convolutional neural networks are considered as one of the most popular machine learning models in data classification. despite their significant success in data classification, they do not produce acceptable results when working with imbalanced data.  Imbalanced learning is one of the most challenging issues in machine learning, since in these problems, samples of one or more classes are usually much more than others, or misclassification costs are not equal for all classes, while CNN networks assume the distribution of classes and the cost of misclassification to be equal. The ensemble method is a popular method to deal with imbalanced data sets, which can achieve high accuracy by combining several basic estimators, and in comparison with using only one estimator, the reliability of the model could be improved. ensemble methods empower machine learning models to deal with imbalanced data. In this research, we have introduced a method based on ensemble learning for convolutional neural networks, which uses the cascade of CNN networks to work with imbalanced data. We use the focal loss function to train CNNs, the gamma parameter in the loss function determines the importance of hard and easy samples. CNNi+1 gives less importance to easy samples than hard ones in comparison with CNNi, this is done by increasing the gamma step by step (increasing γi+1 compared to γi). In our proposed FENIL ensemble network (Incremental Focal Ensemble method for multi-class Imbalalanced Learning), weights of the training data for CNNi+1 are determined by the classification result of the previous CNN i.e. CNNi. The combination of all CNNs is used to classify the new data. We applied our proposed FENIL ensemble network to several benchmark data sets. the results showed that the FENIL network not only has much higher accuracy and F1-score (18.63, 19.61 higher) In comparison with non-deep methods such as decision tree AdaBoost but also obtained better results In comparison with other common deep methods for imbalanced learning. یادگیری نامتوازن, تابع ضرر کانونی, یادگیری تجمعی, یادگیری انتقالی imbalanced learning, Ensemble learning, Focal loss function, Transfer learning 60 77 http://ic4i-journal.ir/browse.php?a_code=A-10-483-1&slc_lang=fa&sid=1 Nasibeh Mahmoodi نسیبه محمودی Mahmoodi.nm@mut.ac.ir 10031947532846002178 10031947532846002178 No دانشگاه صنعتی مالک اشتر hosein shirazi حسین شیرازی shirazi@mut.ac.ir 10031947532846002179 10031947532846002179 Yes دانشگاه صنعتی مالک اشتر mohammad fakhredanesh محمد فخردانش fakhredanesh@mut.ac.ir 10031947532846002180 10031947532846002180 No دانشگاه صنعتی مالک اشتر koroush dadashtabar ahmadi کوروش دادش تبار احمدی dadashtabar@mut.ac.ir 10031947532846002181 10031947532846002181 No دانشگاه صنعتی مالک اشتر