در این مطالعه در ابتدا شبکه های مختلف با یک لایه و سپس با دو لایه میانی بررسی و خطای آنها لحاظ گردیدند.
۴-۸-۳٫ انتخاب تعداد نرون ها در لایه میانی
یکی از مهمترین مراحل در مدلسازی با بهره گرفتن از شبکه عصبی تعیین تعداد بهینه نرونها میباشد. تعیین تعداد بهینه نرونها در شبکه از جمله کارهای مهم میباشد. قاعده های سرانگشتی حهت تعیین نقطه شروع وحود دارند. اولین پیشنهاد به این صورت می باشد که در صورت تعیین لایه پنهان تعداد نرون ها می تواند ۷۵ درصد تعداد ورودی ها انتخاب گردد. در دومین پیشنهاد تعداد نرون های لایه میانی دو برابر ریشه دوم مجموع تعداد ورودی ها و خروجی ها انتخاب می گردد. در کل می توان گفت هر چه پیچیدگی مساله بیشتر باشد تعداد نرون های بیشتری نیاز می باشد. البته باید متناسب با تعداد کل نرونها، داده جهت آموزش شبکه وجود داشته باشد تا شبکه بهخوبی آموزش یابد [۲۷].
فرایند سعی و خطا جهت دستیابی به تعداد بهینه نرون ها در لایه های میانی آغاز گردید. در ابتدا یک لایهی پنهان انتخاب و تعداد نرون ها در آن از ۱ تا ۱۵نرون متغیر در نظر گرفته شد وخطای شبکه در هر دو فاز آموزش و ارزیابی بهدست آمد. سپس ساختارهای مختلف شبکه با دو لایه و تعداد نرون های متغیر در هر دو لایه نیز بررسی گردید و خطای هر یک از حالات در هر دو فاز آموزش و ارزیابی بهدست آمد.
۴-۸-۴٫ تعیین مقادیر اولیه فاکتور های وزنی
پیش از آموزش شبکه عصبی مقادیر اولیه فاکتورهای وزنی در لایه های پنهان باید تنظیم گردند. معمولاً فاکتورهای وزنی با یک تابع توزیع نرمال یا گوسین در محدوده کوچکی بین صفر تا یک به صورت تصادفی تنظیم میشوند. هدف از انجام این کار کاهش خطای لایهی نهایی میباشد. انتخاب غلط وزنهای اولیه سبب پدیده اشباع زودرس گرهها میگردد. اشباع زودرس گره ها به این معنی میباشد که در طول فرایند آموزش، مجموع مربعات خطاها برای بعضی دورهها ثابت باقی مانده و کاهش آن بعد از این دورهها تقریباً متوقف میگردد. جدول ذیل جهت تعیین توزیع فاکتورهای وزنی در الگوریتم پسانتشار خطا بر اساس تعداد متغیرهای ورودی (ورودی ها قبل از نرمال شدن در نظر گرفته می شوند) و تعداد کل گرهها در لایهی پنهان می باشد [۳۰].
جدول(۴-۶) محدوده فاکتورهای وزنی جهت تخمین اولیه
۴-۸-۵٫ انتخاب تابع انتقال مناسب
انتخاب تابع انتقال مناسب بر مبنای کاربرد شبکه صورت میگیرد. تابع انتقالهای سیگموئیدی و تانژانت هایپربولیک برای غالب انواع شبکه ها مخصوصاً شبکه هایی که برای مسائل پیش بینی تابع استفاده میگردند مناسب هستند. تابع انتقال گوسین نیز برای مسائل طبقه بندی استفاده میگردد. البته میتوان گفت که تابع انتقال تانژانت هایپربولیک نسبت به تابع انتقال سیگموئیدی ارجحیت دارد. خروجی تابع انتقال تانژانت هایپربولیک در محدوده ۱- تا ۱ ، اما خروجی تابع انتقال سیگموئیدی در محدوده ۰ تا ۱ تغییر مینماید. یعنی تابع انتقال تانژانت هایپربولیک برای ورودیهای منفی، خروجیهای منفی تولید مینماید اما تابع انتقال سیگموئیدی برای تمامی مقادیر خروجی مثبت ایجاد می نماید [۳۰].
۴-۸-۶٫ آموزش شبکه
در آغاز برای ساختاری معین الگوریتمهای آموزشی مختلف بررسی شدند. همانگونه که قبلا بیان گردید و انتظار میرفت الگوریتم لونبرگ- مارکوات بهترین الگوریتم جهت بررسی این موضوع تعیین گردید. بدین منظور در ابتدا یک شبکه تک لایه (یک لایهی میانی و یک لایهی خروجی) با تعداد یک نرون و تابع انتقال تانژانت هایپرپولیک در لایه میانی و تابع انتقال خطی در لایه خروجی انتخاب و با بهره گرفتن از این الگوریتم بررسی و پس از آن تعداد نرونها افزایش و خطای شبکه های مختلف ثبت گردید. در ادامه موارد دیگری از قبیل توابع مختلف بررسی گردیدند. انتخاب بهینه تعداد نرونها از اهمیت خاصی برخوردار میباشد. در تمام فرایند سعی و خطا از داده های ارزیابی به این صورت استفاده گردید که بعد از آموزش شبکه، داده های ارزیابی به شبکه وارد و درست هنگامی که خطای شبکه برای این داده ها با افزایش دوره تکرارپذیری شروع به افزایش مینمود وزنها و شبکه مربوطه برای آن دوره تکرارپذیری ذخیره گردیدند تا از وقوع پدیده تکرار اجتناب گردد.
با بهره گرفتن از روش های زیر می توان از پدیده تکراراجتناب نمود.
استفاده از داده های کافی و متناسب با تعداد پارامترهای مدل، انتخاب مدل مناسب با حداقل تعداد وزنهای ممکن، آموزش بیش از حد مدل، افزایش تعداد دوره های تکرار پذیری، خطای شبکه را در مرحله آموزش کاهش و برعکس در مرحله آزمایش افزایش می دهد.
در این تحقیق در ابتدا شبکه با یک لایهی میانی و یک لایهی خارجی با نرونهای مختلف و با بهره گرفتن از توابع انتقال متعدد اعم از تانژانت هایپربولیک و خطی لگاریتم سیگموئیدی در لایهی میانی و لایهی خارجی جهت پیش بینی عدد آرامسوزی بنزینموتور مورد استفاده قرار گرفت و کمترین خطاها در مراحل آموزش و ارزیابی ثبت گردید.
۴-۸-۷٫ ارزیابی شبکه
پس از اتمام فرایند یادگیری و آزمایش، شبکه عصبی باید ارزیابی گردد. در اینجا امید این است که شبکه چند لایه از روی مجموعه داده های یادگیری قدرت تعمیم به کل مجموعه ورودی و خروجی را داشته باشد. یک شبکه اگر رابطه ورودی- خروجی محاسبه شده توسط شبکه برای الگوی ورودی- خروجی آزمایشی، الگویی که هیچ وقت در پروسه یادگیری به شبکه ارائه نشده است صحیح عمل نماید، از توانایی خوب تعمیمپذیری برخوردار است.
قبل از بیان نتایج شبکه بهتر است ابتدا پارامترهای آماری که برای سنجش عملکرد شبکه مورد استفاده قرار گرفتهاند، بیان گردند.
میانگین قدر مطلق خطای نسبی( AARE)[85]
این پارامتر هم مشابه میانگین مربع خطاها، هر چه به سمت صفر میل نماید نشان دهنده انطباق بیشتر نتایج شبیه سازی با داده های تجربی خواهد بود
(۵-۴)
میانگین مربع خطاها (MSE)[86]
MSE به صورت زیر بیان میگردد. هر چه مقدار این پارامتر به سمت صفر میل نماید مدل در پیش بینی نتایج موفقتر بوده است. n تعداد داده های موجود می باشد .
(۶-۴)
در پایان به تفصیل به نتایج به دست آمده از پیش بینی شبکه می پردازیم.
نمودار (۴-۷ ) خطای شبکه برای تعداد نرونهای مختلف در فاز آموزش در شبکه تک لایه
نمودار (۴-۸) خطای شبکه برای نرونهای مختلف در فاز ارزیابی در شبکه تک لایه
نمودار (۴-۹) خطای شبکه برای نرون های مختلف در فاز آموزش در شبکه دو لایه
نمودار (۴-۱۰) خطای شبکه برای نرون های مختلف در فاز ارزیابی در شبکه دو لایه
با توجه به نتایج مشاهده می شود که خطای تعدادی از شبکه ها با توابع انتقال متفاوت بسیار نزدیک بههم می باشند. لذا بهترین نتایج از شبکه یک و دولایه انتخاب و مجددا با تعداد تکرار بیشتر مورد آزمایش قرار داده شدند که در نهایت شبکه دولایه با تابع انتقال لگاریتم سیگموئیدی در لایهی اول با هشت نرون، تابع انتقال تانژانت سیگموئیدی در لایهی دوم با چهار نرون و تابع انتقال تانژانت سیگموئیدی در لایهی خروجی کمترین خطا را داشت و بهعنوان بهترین شبکه برای پیش بینی عدد آرامسوزی انتخاب گردید.
جدول (۴-۷) پارامترهای آماری جهت ارزیابی خطای شبکه عصبی در حالت بهینه
ارزیابی | آموزش | Log sig- tang sig – tang sig |
۰٫۰۸۰۵۹۷ | ۰٫۰۸۷۷۸۹ | MSE |
۰٫۷۲۸۶۶۳ | ۰٫۷۵۸۸۸۴ | AARE |