پایتکست – PyText

آشنایی

پایتکست (PyText) یک چهارچوب پردازش زبان طبیعی بر پایه یادگیری عمیق می‌باشد. پایتکست قابلیت آزمایش سریع ایده‌های مختلف و ارائه مدل‌های آموزش دیده را فراهم می‌کند.

Facebook:
We are using PyText in Facebook to iterate quickly on new modeling ideas and then seamlessly ship them at scale.

برای آشنایی بیشتر با هسته‌ی پایتکست:

نصب

سیستم عامل لینوکس:

ساختار داده برای ایجاد کلاسبند

ساختار داده‌ای که در این آموزش به عنوان ورودی به پایتکست می‌دهیم به شکل TSV می‌باشد که ستون اول داده و ستون دوم برچسب آن می‌باشد.

ایجاد فایل تنظیمات

پایتکست برای راحتی بیش‌تر سعی کرده حتی‌الامکان تمام تنظیمات موجود مانند محل ذخیره‌سازی مدل آموزش دیده، فعال سازی GPU، گزارش گیری توسط Tensorboard و یک سری تنظیمات مربوط به ساختار شبکه عصبی که از قبل پیاده‌سازی شده‌اند را با فرمت JSON از ورودی دریافت کند.
حال برای آموزش یک کلاسبند ما به تنظیمات زیر نیاز داریم:

همانطور که مشاهده می‌کنید تنظیماتی همچون تعداد epoch و batch_size نیز قابل تنظیم هستند.

(توجه! در صورت نیاز به افزودن بردار کلمات از پیش آموزش دیده (برای مثال glove) می‌توانید مانند تنظیمات زیر مسیر فایل را با عنوان pretrained_embeddings_path معرفی کنید.)

آموزش کلاسبند

برای آموزش کلاسبند فقط کافیست تنظیمات از پیش تعیین شده را به پایتکست معرفی کنیم:

پس از اجرای دستور بالا روند آموزش بصورت کامل گزارش می‌شود و بصورت خودکار بهترین مدل آموزش دیده ذخیره می‌شود.

ذخیره سازی مدل آموزش دیده

برای ذخیره سازی مدل نیز کافیست تنظیمات تعیین شده را به پایتکست معرفی کنید:

پس از اجرای دستور بالا یک فایل با نام dataset-model.caffe2.predictor در مسیر ~/Projects/pytext/classifier ایجاد می‌شود.

پیش‌بینی

برای آزمایش و پیش‌بینی توسط مدل می‌توانید از کد زیر کمک بگیرید:

رسم ساختار شبکه عصبی

در صورت نیاز به رسم ساختار شبکه خود می‌توانید مانند مثال زیر عمل کنید:

تصویر تولید شده در فایلی به نام model.png ذخیره می‌شود.

فوتر سایت

اسلایدر سایدبار

درباره ما

درباره ما

ما گروهی از دانشجویان رشته کامپیوتر دانشگاه شهید رجایی هستیم که به راهنمایی و تدریس استاد علی‌رضا اخوان‌پور به دنیای یادگیری عمیق پا گذاشتیم و دوست داریم چیزهایی که در این مسیر یادمی‌گیریم رو به اشتراک بذاریم.

شبکه های اجتماعی

مطالب اخیر