شکل ۲-۷ : شبکه پیشرو با یک لایه فعال (خروجی)
لازم به ذکر است تعدادگره های لایه های ورودی و خروجی بر حسب نیاز انتخاب می­شوند.
۲- شبکه‌های عصبی پیشرو چندلایه^[۱۱۴]
دسته دوم شبکه‌های عصبی پیشرو همانند شکل ۲-۸ دارای لایه های ورودی و خروجی می­باشد و فقط لایه میانی به آن اضافه شده است، شامل یک یا چند لایه میانی (پنهان) است که نرون‌های این لایه‌ها، نرون‌های مخفی نیز نامیده می‌شوند.

شکل ۲-۸ : شبکه عصبی پیشرو با یک لایه مخفی و یک لایه خروجی
با اضافه کردن یک و یا چند لایه میانی، شبکه عصبی توانایی تجزیه و تحلیل‌ با درجه بالاتری را خواهد داشت. نمودار شکل ساختار شبکه عصبی پیشرو با دو لایه فعال و یک لایه مخفی (میانی) را نشان می‌دهد. توابع فعالسازی در لایه خروجی عمدتاً براساس نیاز کاربر انتخاب می‌شوند. و تعداد نرون های لایه میانی بر اساس طراحی و نیاز سیستم انتخاب می­ شود که عمدتا به صورت سعی و خطا می­باشد. هر نرون در هر لایه از شبکه بواسطه وزن به هرکدام از نرون‌های لایه بعدی خود متصل شده است. چنین ساختاری را شبکه کامل متصل^[۱۱۵] می‌گویند. حال چنانچه بخشی از این ارتباطات وجود نداشته باشند، آن را نیمه متصل^[۱۱۶] می‌گویند.
۳- شبکه‌های عصبی برگشتی^[۱۱۷]
در ساختار این نوع از شبکه‌های عصبی حداقل یک حلقه پسخور^[۱۱۸] وجود دارد. شکل ساختار شبکه برگشتی را نشان می‌دهد که در آن خروجی هر نرون، سایر نرون‌های شبکه را تغذیه می‌کند. توجه کنید که در این ساختار، حلقه‌های خودپسخور^[۱۱۹] وجود ندارد. ارتباط بین خروجی با نرون­های دیگر از طریق وزن ها صورت می­گیرد.

شکل ۲-۹ : شبکه عصبی بازگشتی بدون حلقه خودپسخور و نرون‌های میانی
شکل۲-۹ کلاس دیگری از شبکه‌های عصبی برگشتی با نرون‌های مخفی را نشان می‌دهد. حلقه‌های پسخور نشان داده شده در
شکل۲-۱۰ هم از نرون‌های خروجی و هم از نرون‌های میانی بوجود می‌آیند. وجود این حلقه‌های برگشتی در ساختار شبکه، قدرت یادگیری شبکه را افزایش می‌دهد. و عمق حافظه در این نوع ساختار زیادتر می­ شود.

شکل ۲-۱۰ : شبکه بازگشتی با نرون­های مخفیبا حجم حافظه بالاتر

۲-۴-۵- یادگیری در شبکه های عصبی

سومین مشخصه اصلی یک شبکه عصبی، قابلیت شبکه عصبی برای یادگیری از محیط پیرامون خود و بهبود کارائی از طریق فرایند یادگیری است. یک شبکه عصبی بواسطه فرآیندهای یادگیری قادر است با اعمال تنظیمات لازم بر روی وزن‌های سیناپسی، محیط اطراف خود را بهتر درک کند. به عبارت بهتر، پس از هر تکرار فرایند یادگیری، دانش شبکه عصبی درباره محیطی که در آن قرار دارد بیشتر می‌شود.

موضوع یادگیری از نقطه نظرهای مختلف، می‌تواند بسیار متفاوت باشد. هدف و منظور اصلی از یادگیری، می‌تواند در قالب تعریف زیر بیان شود:
“یادگیری فرآیندی است که در آن پارامترهای آزاد یک شبکه عصبی بواسطه یک فرایند تحریکی بیرونی، با محیطی که شبکه در آن قرار گرفته است، تطبیق پیدا می‌کند.”
از این تعریف موارد زیر حاصل می‌شود :
۱- شبکه عصبی بوسیله محیط پیرامون تحریک می‌شود،
۲- شبکه عصبی در نتیجه این تحریک تغییراتی در پارامترهای آزادش اعمال می‌کند،
۳- شبکه عصبی به دلیل تغییراتی که در ساختار درونی‌اش برحسب الگوهای جدیدی که در محیط پیرامون وجود دارد، رخ داده است، پاسخ مناسب‌تری از خود نشان می‌دهد.
۴- تزریق الگوهای جدید به شبکه عصبی، سبب ایجاد دانش جدیدی در شبکه می‌شود.
قوانین فوق یک الگوریتم یادگیری را برای حل مسائل یادگیری ارائه می‌دهد. بوضوح می‌توان دریافت که تنها یک الگوریتم واحد برای طراحی شبکه‌های عصبی وجود ندارد. ما مجموعه‌ای از ابزارهای ارائه شده برای طیف وسیعی از الگوریتم‌های یادگیری در اختیار داریم که هرکدام از آنها مزایای خاص خودشان را دارا می‌باشند. تنها تفاوت الگوریتم‌های یادگیری، در روش فرمول‌بندی تنظیم وزن‌های سیناپسی یا وزن‌های سیناپسی و پارامترهای شبکه عصبی است.

۲-۴-۵-۱- شبکه ای با سه نرون

در ابتدا برای مطالعه‌ی ساختار‌ها و فرآیندهای یادگیری تطبیقی از شبکه‌های عصبی، یک نمونه با دو لایه فعال از شبکه‌عصبی با سه نرون مطابق شکل درنظر گرفته می‌شود. دو نرون و در لایه فعال اول یا لایه میانی و یک نرون در لایه فعال دوم قرار گرفته است. در نتیجه مطابق شکل ۲-۱۱ وزن‌های مربوط به نرون‌های فعال این دولایه فعال به صورت زیر می‌باشند:
وزن­های بین لایه­ های اول و ورودی:

وزن­های بین لایه­ های فعال دوم و اول:

شکل ۲-۱۱ : یک شبکه عصبی با سه نرون و دولایه فعال