این مبحث در جلسه ۱۳ام از کلاس مباحث ویژه ۲ تدریس و بررسی شده است +ویدئوی جلسه در آپارات + اسلاید‌ها

توجه (Attention) درواقع یک وکتور است که معمولا خروجی‌های یک لایه تمام‌متصل (Dense) با تابع فعال‌ساز Softmax است. Attention به ماشین مترجم کمک می‌کند تا تمامی اطلاعاتی که زبان مبدا دارد را بررسی کرده و کلمه خروجی را بر اساس کلمه‌ فعلی در حال کار و کل متن -یا جمله- انتخاب کند. درواقع Attention این امکان را به مترجم ماشینی می‌دهد تا در محدوده‌های محلی و عمومی متمرکز شود و عمل ترجمه را علاوه بر توجه به مکان فعلی کلمه، با در نظر داشتن کل جمله انجام دهد.

…