ساختار شبکه LSTM
جهت کسب اطلاع در مورد رودمپ عمومی هوش مصنوعی روی لینک رو به رو کلیک کنید.
شبکه های عصبی LSTM
شبکه های عصبی LSTM که تحت عنوان شبکه های حافظه طولانی کوتاه مدت نیز شناخته می شوند، نوع خاصی از شبکه های عصبی بازگشتی محسوب می شوند که برای استفاده در داده های بسیار بلند مدت طراحی شده اند. این شبکه ها بر مشکل ناپدید شدن گرادیان (صفر شدن گرادیان) که شبکه های عصبی بازگشتی سنتی با آن رو به رو هستند، غلبه می کنند.
هدف اصلی استفاده از شبکه های عصبی بازگشتی یادگیری وابستگی های بلندمدت داده ها می باشد. شبکه های عصبی بازگشتی در برخورد با داده های بسیار طولانی به درستی نمی توانند عمل کنند بنابراین، برای این نوع داده ها استفاده از شبکه های حافظه طولانی کوتاه مدت توصیه می شود که توانایی بالایی در برخورد با داده های بلند مدت دارند و می توانند مشکلات توالی را حل کرده و به نتایج پیشرفته دست یابند.
شبکه های LSTM، به جای نورون ها دارای بلوک های حافظه هستند که از طریق لایه ها به یکدیگر متصل می شوند. یک بلوک دارای دروازه هایی است که وضعیت و خروجی بلوک را کنترل می کنند. هر دروازه داخل یک بلوک از واحد های فعال سازی Sigmoid برای کنترل فعال بودن یا نبودن آن بلوک استفاده می کند و از این طریق تغییر حالت و اضافه کردن اطلاعاتی که در بلوک جریان می یابد را مشروط می کند. در یک واحد سه نوع دروازه وجود دارد که عبارتند از:
- دروازه فراموشی: این دروازه به صورت مشروط تصمیم می گیرد چه اطلاعاتی را از بلوک دور بریزد.
- دروازه ورودی: به صورت مشروط تصمیم می گیرد کدام مقادیر از ورودی وضعیت حافظه را به روز کند.
- دروازه خروجی: به صورت مشروط تصمیم می گیرد که چه چیزی را بر اساس ورودی و حافظه بلوک خروجی بگیرد.
علاوه بر دروازه ها یا گیت های بیان شده برای شبکه LSTM، این شبکه دارای قسمتی به نام حالت سلول می باشد. این قسمت را می توان به عنوان حافظه شبکه در نظر گرفت. دروازه ها اطلاعات را در قسمت حالت سلول به روز نگه می دارند و تصمیم می گیرند که چه اطلاعاتی وارد این قسمت بشوند. طبق توضیحات ارائه شده برای دروازه ها، در طول آموزش شبکه دروازه ها یاد می گیرند چه اطلاعاتی باید حفظ یا فراموش شوند. برای درک بهتر مطالب بیان شده ساختار شبکه LSTM به صورت شکل زیر رسم شده است.
در شکل فوق توابع قرمز نشان دهنده توابع فعال ساز Sigmoid و توابع آبی نشان دهنده توابع فعال ساز Tanh می باشد. همچنین علامت ضرب به معنای ضرب نقطه ای و علامت جمع به معنای جمع نقطه ای است.
