شکل( ‏۴‑۳) شمایی از ساختار یک شبکه تک لایه
شبکه فوق دارای  ورودی و  نرون مصنوعی است. بنابراین اگر وزن‌های شبکه را به عنوان عناصر یک ماتریس در نظر بگیریم و آن را با  نشان دهیم، چنین ماتریسی دارای ابعاد  بوده و هر عضو آن بیانگر یکی از وزن‌های شبکه خواهد بود. به این ترتیب، محاسبه مجموعه خروجی‌های  نرون ها که بردار خروجی شبکه را به وجود می‌آورند، با یک ضرب ماتریسی ساده امکان‌پذیر می‌باشد :

(۴-۱)
در رابطه فوق،  بردار خروجی شبکه عصبی و  بردار ورودی آن می‌باشند.
شبکه‎های چند لایه
عموماً شبکه‌های بزرگ‌تر و پیچیده‌تر نسبت به شبکه‌های تک لایه، قابلیت‌ها و توانایی‌های محاسباتی بیشتری دارند. یک شبکه چند لایه ساده می‌تواند از آرایش متوالی گروهی از شبکه‌های تک لایه ایجاد شود. در این حالت خروجی یک لایه، ورودی لایه بعدی را تأمین خواهد نمود.
شکل( ‏۴‑۴) شمایی از ساختار یک شبکه دو لایه
برتری شبکه‌های چند لایه نسبت به شبکه‌های تک لایه بیشتر از هر چیزی مرهون عملکرد توابع تحریک غیر‌خطی بین لایه‌های آن می‌باشد. جهت روشن شدن مطلب، یک شبکه دو لایه را در نظر می‌گیریم که بین لایه‌های آن هیچ تابع تحریک غیر‌خطی وجود ندارد. در این حالت، محاسبه خروجی شبکه شامل ضرب بردار ورودی  در ماتریس وزن لایه اول و سپس ضرب نتیجه در ماتریس وزن لایه دوم خواهد بود :
(۴-۲)
در این رابطه،  بردار خروجی شبکه،  و  ماتریس وزن لایه‎های اول و دوم می‌باشند.
از آنجایی که ضرب ماتریسی دارای خاصیت انجمنی یا شرکت پذیری است، می‌توان رابطه (۴-۲) را به صورت زیر باز‌نویسی نمود :
(۴-۳)
بنابراین می‌توان این‌طور نتیجه‌گیری کرد که شبکه‌‌های چند لایه بدون وجود توابع تحریک غیر‌خطی بین لایه‌‌‌‌ای، دقیقاً مانند شبکه‌های تک لایه با ماتریس وزن معادل عمل می‌کنند.]۴۴[
توابع تحریک شبکه‎های عصبی
عملیات اصلی یک شبکه عصبی مشتمل بر جمع ورودی‌های وزن‌دار شده، و اعمال تابع تحریک به این مجموعه، برای تعیین خروجی شبکه است. برای نرون‌های ورودی، این تابع واحد بوده و خروجی نرون برابر با ورودی آن است.[۴۶] اگرچه انتخاب یکسان تابع تحریک تمام نرون‌های یک لایه الزامی نیست، ولیکن معمولاً تابع تحریک نرون‌های یک لایه یکسان انتخاب ‌می‌شود. در این زمینه توابع تحریک متعددی وجود دارند.[۴۷] که در زیر به تعدادی از آن‌ها اشاره خواهد شد.
تابع تحریک پله‌‌ای^[۷]
تابع تحریک پله‌ای به صورت زیر تعریف می‎شود.
(۴-۴)
مشاهده می‌شود که خروجی این تابع ۱- و یا ۱ است.
تابع تحریک خطی^[۸]
تابع تحریک خطی که با رابطه زیر بیان می‌شود، معمولاً در لایه خروجی شبکه‌های عصبی استفاده می‌شود.
(۴-۵)
توابع تحریک سیگموید
علت اصلی استفاده از این تابع تحریک ارتباط ساده بین مقدار تابع و مشتق تابع در هر نقطه دلخواه است که در آموزش شبکه عصبی برای به حداقل رساندن مقدار خطا بکار گرفته می‌شود. تابع تحریک سیگموید دارای پاسخی در محدوده صفر تا یک و یا پاسخی در محدوده ۱- تا ۱ است.
تابع تحریک لوگ-سیگموید^[۹] در محدوده صفر تا یک با رابطه زیر بیان می‌شود:
(۴-۶)
همچنین تابع تحریک تان - سیگموید^[۱۰]با پاسخ در محدوده ۱- تا ۱ با رابطه زیر بیان می‌شود.
(۴-۷)
۳-۵-۴- تابع تحریک بنیادی شعاعی
تابع تحریک بنیادی شعاعی^[۱۱] یا گوسی شکل در محدوده ۰ تا ۱ با رابطه زیر بیان می‌شود:
(۴-۸)
لازم به ذکر است که توابع تحریک دیگری نیز وجود دارند که جهت رعایت اختصار اشاره‎ای به آن‌ها نمی‎شود. همچنین باید اشاره نمود که ارائه توابع تحریک جدید که موجب افزایش دقت و سرعت شبکه عصبی می‎شوند به عنوان یکی از زمینه‎های تحقیقاتی مورد توجه محققان قرار دارد.]۴۴[
بایاس
در بسیاری از موارد کمال مطلوب این است که نرون های لایه پنهان و خروجی، از طریق وزن‌هایی به یک ورودی که مقدارش همیشه ۱ است مربوط شوند. این عمل تابع تحریک را در امتداد محور ورودی منتقل می کند. به چنین واحد وزن داری بایاس^[۱۲] گفته می‎شود. با بهره گرفتن از بایاس سرعت و دقت آموزش شبکه افزایش می‌یابد. وزن‌های مربوط به بایاس همانند سایر وزن‌های شبکه تربیت ‌شده و در ابتدای آموزش به جای اینکه این وزن‌های خروجی یک نرون در لایه قبلی باشد، همیشه ۱+ است. با توجه به اینکه مقادیر ورودی به گره‌های لایه ورودی، از طریق محاسبه تعیین نمی‌شوند، هیچ بایاسی به لایه ورودی اختصاص داده نمی‌شود. عملکرد بایاس در شبکه‎های عصبی مختلف، متفاوت است.]۴۴[
آموزش شبکه عصبی
در بین همه خصوصیات عجیبی که شبکه‌های عصبی دارند، هیچ‌کدام به اندازه توانائی یادگیری آن‌ها جالب و شگفت‌انگیز نیست. آموزش^[۱۳] شبکه‌های عصبی نقاط مشترک زیادی با یادگیری مغز و یا به عبارت دیگر، بسط توانایی مغز در برقرار نمودن ارتباطات نرونی جدید دارند، به طوری که به نظر می‌رسد انسان توانسته است با آموزش این شبکه‌ها به یک درک بنیادی از سیستم آموزش مغز دست پیدا کند. البته باید توجه کرد که آموزش شبکه‌های عصبی با بسیاری از محدودیت‌ها مواجه است و هنوز مسائل دشوار و پیچیده بسیار زیادی باقی مانده است که باید حل شوند. هدف از آموزش شبکه‌های عصبی این است که آن‌ها بتوانند مجموعه‌ای از ورودی‌ها را جهت تولید خروجی‌های مطلوب یا حداقل نزدیک به مطلوب بکار ببرند. لازم به یادآوری است که شبکه عصبی، ورودی‌ها و خروجی‌ها را به صورت بردار، مورد پردازش قرار می‌دهد. روند آموزش به این صورت است که شبکه، متناوباً بردارهای ورودی را بکار می‌برد تا وزن‌های شبکه جهت تولید خروجی‌های مطلوب بر طبق الگوهای از پیش تعیین شده اصلاح شوند. در طول دوره آموزش شبکه عصبی، وزن‌های شبکه تدریجاً به سمت مقادیر مطلوب همگرا می‌شوند.
مدهای عملکردی شبکه عصبی
اکثر شبکه‌های عصبی دارای دو مد عملکردی^[۱۴] می‌باشند : مد نرمال^[۱۵] و مد آموزش^[۱۶] . در مد آموزش، شبکه بردارهای موجود در مجموعه آموزشی را به کار می‌گیرد تا وزن‌های شبکه را جهت رسیدن به خروجی‌های مطلوب، تعدیل و تنظیم نماید. در مد نرمال، شبکه با پذیرفتن یک بردار ورودی، خروجی متناظر با آن را ارائه می کند.
از آنجایی که در این پایان نامه از شبکه‎های عصبی با تابع بنیادی شعاعی^[۱۷]، استفاده شده است، لذا در ادامه به بیان اصول بنیادی تئوریک این شبکه‎ها خواهیم پرداخت.]۴۵[
شبکه عصبی تابع بنیادی شعاعی (RBF)
الگوریتم BP را که جهت آموزش شبکه‎های چند لایه مورد استفاده قرار گرفت می‌توان به عنوان یک نمونه از تقریب سازی^[۱۸] تصادفی در نظر گرفت. توابع بنیادی شعاعی برای اولین بار در سال ۱۹۸۸ توسط بروم‎هد^[۱۹] و لاو^[۲۰] جهت طراحی شبکه‎های عصبی مورد استفاده قرار گرفتند. استفاده از توابع بنیادی شعاعی در طراحی شبکه‎های عصبی یک الگوریتم کاملاً متفاوت با الگوریتم BP دارد. این الگوریتم را می‎توان به صورت ساده به عنوان عملیات برازش منحنی^[۲۱] برای یافتن بهترین انطباق بر جفت‌های آموزشی در نظر گرفت. در سال ۱۹۹۰ میلادی اثبات شد که شبکه‌های RBF تقریب سازهای بسیار قدرتمندی هستند به طوری که با داشتن تعداد نرون های کافی در لایه میانی، قادر به تقریب سازی هر تابع پیوسته‌ای با هر درجه از دقت می‌باشند. نکته بسیار جالب این است که، شبکه‌های RBF تنها با داشتن یک لایه مخفی، دارای چنین خاصیتی هستند در حالی که در سایر انواع شبکه‌ها با تعبیه چندین لایه مخفی به سختی می‌توان چنین خاصیتی را ایجاد نمود. شبکه تابع بنیادی شعاعی یا RBF به واسطه آموزش سریع، قابلیت تعمیم‌ و سادگی وافر، بسیار مورد توجه هستند. این شبکه عصبی، اغلب با شبکه عصبی BP مقایسه می‌شود. شبکه عصبی BP علی رغم کاربردهای فراوان، ضعف‌ها و مشکلاتی در روند آموزش خود دارد که شبکه RBF، اغلب آن‌ها را مرتفع می‌سازد. شبکه RBFمانند شبکه BP دارای یک لایه میانی و یک لایه خروجی است. هرچند که ساختار این دو شبکه شبیه هم است اما نحوه عملکرد آن‌ها به طور اساسی با هم تفاوت دارند. تابع تحریک نرون های لایه میانی شبکه‌هایRBF تابع نمایی، رابطه (۴-۸)، می‌باشد. اگر هر یک از بردارهای ورودی و وزن را به عنوان یک نقطه در یک فضای  بعدی تلقی کنیم، مقدار تابع تحریک نرون های لایه میانی، با افزایش فاصله آن دو نقطه از هم، به شدت کاهش می‌یابد. نکته مهم در طراحی شبکه‌های RBF این است که توابع تحریک نرون‌ها باید تمام نواحی معنی‌دار فضای ورودی را پوشش دهند. از آنجایی که منحنی تابع گوس به صورت شعاعی متقارن است، نرون های لایه مخفی به نرون های تابع بنیادی شعاعی معروف هستند. به این دلیل به این نوع از شبکه‎ها، شبکه تابع بنیادی شعاعی یا RBF اطلاق می‎شود]۴۴[.
نکات قابل توجه در خصوص شبکه‎ تابع بنیادی شعاعی
فرض می‎شود بردار ورودی  به شبکه ارائه شود. در شبکه‎های RBF نحوه پردازش اطلاعات با شبکه BP متفاوت است. نرون iامRBF لایه میانی بر مبنای تابع تحریک زیر به سیگنال ورودی که با سیگنال ورودی شبکه BP متفاوت است، پاسخ می‎دهد:
(۴-۹)
در رابطه فوق، U_i بردار وزن مربوط به نرون  ام لایه میانی و  پارامتری است که به عنوان پارامتر Spread معرفی شده است. منحنی نمایش این تابع در شکل (۴-۵ )نشان داده شده است.
شکل( ‏۴‑۵) منحنی نمایش تابع تحریک نرون های RBF
با توجه به رابطه (۴-۹) اگر  آنگاه  . بنابراین Uمقداری از X است که به ازای آن تابع پاسخ نرون به بیشترین مقدار ممکن خود می‌رسد. با افزایش فاصله X از U، مقدار پاسخ نرون به شدت افت پیدا می‌کند. در نتیجه، مقدار خروجی نرون در یک محدوده خاصی از مقادیر X قابل بررسی است. به این محدوده خاص، Receptive Field نرون گفته می‌شود. اندازه و محدوده این میدان با پارامتر  تعیین می‌شود. در مقایسه با منحنی توزیع استاندارد آماری که دارای شکلی شبیه به منحنی نمایش تابع پاسخ نرون است، می‌توان Uرا میانگین و  را انحراف استاندارد منحنی پاسخ نرون در نظر گرفت. در شکل (۴-۶) سطح پاسخ یک نرون لایه پنهان با دو ورودی X₁و X₂نشان داده شده است.
شکل( ‏۴‑۶) مسطح پاسخ یک نرون RBF با دو ورودی
باید توجه کرد که در شبکه‌های RBF هیچ محدودیتی در تعداد نرون های ورودی و خروجی وجود ندارد هرچند که تجسم فضایی سطح پاسخ نرون‌های لایه مخفی در فضاهای دارای بیش از سه بعد برای ما ممکن نیست.