رودمپ شبکه های عصبی

از سال ۲۰۰۶ یادگیری ساختار عمیق یا عنوان شناخته شده‌تر آن به نام‌های یادگیری عمیق یا یادگیری سلسله‌مراتبی به عنوان حوزه‌ی جدیدی در تحقیقات یادگیری ماشین پدیدار شد. روش‌ها و الگوریتم‌های یادگیری عمیق در چند سال اخیر توسعه چشم‌گیری یافت که موجب پیشرفت در مسائلی چون پردازش سیگنال و تصویر شده‌است. پیش از آن روش‌های یادگیری عمیق و پردازش سیگنال از ساختارهای سطحی تشکیل شده بودند که تنها شامل تبدیلات ویژگی غیرخطی می‌شدند و از ساختار چندلایه ویژگی‌های تطبیقی غیر خطی تهی بودند. روش‌هایی همچون مدل‌های مارکف مخفی، سیستم‌های پویای خطی و غیرخطی، مدل‌های بیشینه آنتروپی، ماشین‌های بردار پشتیبان، رگرسیون لجستیک و پرسپترون چندلایه از جمله روش‌های متداول با ساختار غیر عمیق بودند که شامل تنها یک لایه برای تبدیل داده‌های خام یا ویژگی‌ها به فضای ویژگی‌های خاص مسئله هستند…

شبکه عصبی پرسپترون چندلایه از ساده ترین و قدیمی ترین شبکه های عصبی مصنوعی محسوب میشود. در شبکه عصبی پرسپترون چندلایه حداقل سه لایه از نودها که به آن نورون نیز گفته می شود، وجود دارد که عبارتند از: لایه ورودی، لایه نهان و لایه خروجی. در هر لایه، نورون ها به این صورت کار می کنند که ابتدا مقادیر ورودی در وزن متناظر خود ضرب و با یک مقدار ثابت بایاس جمع می شوند. در نهایت نتیجه این ضرب وارد یک تابع فعال ساز شده و خروجی آن به لایه بعدی منتقل می شود، این فرایند تا زمان رسیدن به آخرین لایه تکرار می شود. به لایه هایی که بین لایه ورودی و لایه خروجی قرار می گیرند لایه نهان گفته می شود. تابع فعال ساز تصمیم می گیرد که هر نورون فعال باشد یا نباشد…

شبکه‌های تابع پایه شعاعی (RBF) نوعی از شبکه‌های عصبی هستند که از توابع پایه شعاعی به عنوان توابع فعال‌ساز استفاده می‌کنند. شبکه‌های RBF از سه لایه تشکیل شده‌اند: لایه ورودی، لایه مخفی و لایه خروجی. جزئیات هر لایه به شرح زیر است…

زمانی که محبوبیت سیستم های فازی در کنترل کننده‌های فازی شروع به افزایش کرد در اوایل دهه ۱۹۹۰ میلادی محققین علاقه مند شدند تا توسعه فرآیند را با استفاده از پروسه یادگیری اتوماتیک حمایت کنند. تنها طی چند سال گذشته قانون یادگیری پس انتشار برای شبکه‌های عصبی چند لایه به عنوان ایده ای ناب موجی از علاقه مندی را در شبکه‌های عصبی به راه انداخت. این الگو باعث شد تا ایده آموزش سیستم‌های فازی به واسطه شبکه‌های عصبی ایجاد شود…

شبکه‌های عصبی مصنوعی الهام گرفته از شبکه های عصبی بیولوژیکی مانند مغز انسان هستند. مغز انسان از تعداد زیادی واحد بسیار ریز به نام نرون تشکیل شده است، نرون ها از چهار بخش اصلی دندریت، سوما، آکسون و سیناپس تشکیل شده‌اند. دندریت‌ها به شکل رشته‌های طویل هستند که از مرکز سلول به اطراف پراکنده می‌شوند و در انتهای دندریت‌ها سیناپس‌ها واقع شده است که اطلاعات را منتقل می‌کنند. شبکه‌های عصبی زیستی قادر به یادگیری هستند…

شبکه عصبی پرسپترون چندلایه از ساده ترین و قدیمی ترین شبکه های عصبی مصنوعی محسوب میشود. در شبکه عصبی پرسپترون چندلایه حداقل سه لایه از نودها که به آن نورون نیز گفته می شود، وجود دارد که عبارتند از: لایه ورودی، لایه نهان و لایه خروجی. در هر لایه، نورون ها به این صورت کار می کنند که ابتدا مقادیر ورودی در وزن متناظر خود ضرب و با یک مقدار ثابت بایاس جمع می شوند. در نهایت نتیجه این ضرب وارد یک تابع فعال ساز شده و خروجی آن به لایه بعدی منتقل می شود، این فرایند تا زمان رسیدن به آخرین لایه تکرار می شود. به لایه هایی که بین لایه ورودی و لایه خروجی قرار می گیرند لایه نهان گفته می شود. تابع فعال ساز تصمیم می گیرد که هر نورون فعال باشد یا نباشد…

 شبکه های عصبی بازگشتی یکی از مدل های یادگیری عمیق هستند که برای سری های زمانی یا داده هایی که شامل دنباله می شوند، مورد استفاده قرار می گیرند. در سال ۱۹۹۷ اولین نمونه های شبکه های عصبی بازگشتی طراحی شدند. شبکه های عصبی بازگشتی دارای مفهوم حافظه هستند که به آنها کمک می کند وضعیت ها یا اطلاعات ورودی های قبلی را برای تولید خروجی بعدی دنباله ذخیره کنند. به عبارت دیگر، وضعیت فعلی یک شبکه عصبی بازگشتی تحت تاثیر تصمیمات گذشته می باشد و به طور مشابه حالت های فعلی شبکه نیز بر تصمیمات بعدی تاثیرگذار خواهد بود. این شبکه ها حافظه ای مشابه مکانیسم مغز انسان دارند که علاوه بر حفظ حافظه توالی ورودی ها، می توانند اطلاعات بی فایده را نیز فیلتر کنند…

شبکه های حافظه طولانی کوتاه مدت نوع خاصی از شبکه های عصبی بازگشتی محسوب می شوند که برای استفاده در داده های بسیار بلندمدت طراحی شده اند. این شبکه ها بر مشکل ناپدید شدن گرادیان (صفر شدن گرادیان) که شبکه های عصبی بازگشتی سنتی با آن رو به رو هستند، غلبه می کنند. هدف اصلی استفاده از شبکه های عصبی بازگشتی یادگیری وابستگی های بلندمدت داده ها می باشد. شبکه های عصبی بازگشتی در برخورد با داده های بسیار طولانی به درستی نمی توانند عمل کنند بنابراین، برای این نوع داده ها استفاده از شبکه های حافظه طولانی کوتاه مدت توصیه می شود که توانایی بالایی در برخورد با داده های بلندمدت دارند و می توانند مشکلات توالی را حل کرده و به نتایج پیشرفته دست یابند.

اولین نمونه موفق شبکه‌های عصبی همگشتی شبکه‌ای با عنوان لی­نت که در دهه ۹۰ معرفی گردید است. این شبکه برای تشخیص اعداد و کاراکترهای دست‌نویس مورد استفاده قرار گرفته‌است. ساختار شبکه‌های عصبی همگشتی از سازمان قشر بصری در حیوانات الهام گرفته ‌است. ویژگی‌های این شبکه‌ها، آن‌ها را از سایر شبکه‌های یادگیری عمیق متمایز می‌کند. اولین ویژگی، لایه‌های همگشتی و لایه‌های کاهش اندازه است. برخلاف شبکه‌های عصبی کاملا متصل که در هر لایه تمام نورون‌ها به نورون‌های لایه بعدی متصل می‌شوند، در لایه‌های همگشتی تنها قسمتی از نورون‌های یک لایه به یک نورون از لایه بعد متصل می‌شود. همچنین در لایه‌های کاهش اندازه، تنها اندازه ورودی پس از عبور از این لایه کاهش می‌یابد…

شبکه های مولد تخاصمی (GANs)، الگوریتم یادگیری بدون نظارت میباشد که قابلیت شناسایی و یادگیری خودکار الگوهای درون داده ها را داراست. شبکه های مولد تخاصمی از دو شبکه عصبی استفاده می کنند که به منظور ایجاد نمونه های جدیدی از داده که نمایانگر دیتاست اورجینال باشد با هم در رقابت هستند. این شبکه ها کاربرد گسترده ای در تولید تصاویر، ویدئو و صدا دارند. در ادامه با نحوه کارکرد GANs جهت درک بهتر آن آشنا خواهید شد…

اتوانکدر یک شبکه عصبی مصنوعی بدون نظارت است که یاد می گیرد چگونه داده ها را به طور موثر فشرده و کدگذاری نماید. سپس، نحوه بازسازی داده ها را از بازنمایی رمزگذاری شده کاهش یافته به یک بازنمایی که تا حد امکان مشابه با ورودی اصلی باشد می آموزد. اتوانکدر، ابعاد داده را از طریق یادگیری نحوه حذف نویز از آن ها کاهش می دهد.