Google Colab

سلام، امیدوارم روزهای خوبی را برای خودتان ساخته باشید

چند وقتی است که برای اجرای برنامههایی خاص نیاز به GPU دارم. همانطور که میدانید راهحل سریع فراهمکردن GPU، سرویس گوگل به نام Google Colab است. این سرویس سیستمی را به صورت مجازی در اختیار شما قرار میدهد که امکان استفاده از GPU را ممکن کرده است. یعنی شما میتوانید به کمک این سیستم کدهای خود را بر روی یک GPU (که طبق سرچهای من Tesla K80 هست) به صورت رایگان اجرا کنید. از مهمترین محدودیتهای این سرویس امکان ذخیرهی محیط کاری شما به مدت حداکثر 12 ساعت است.

در این پست من میخواهم تنظیمات و نکاتی را که در طول مدت استفادهام از این سرویس تجربه و یاد گرفتهام را به اشتراک بگذارم (استفادهی من از Google Colab ادامهداشته و امکان به روزرسانی این پست وجود دارد!).

1. نحوهی تغییر mode در Google Colab به GPU:

قاعدتاً قبل از هر کاری باید مُد اجرای Google Colab را از CPU به GPU تغییر دهیم، تا کدهای ما بر GPU اجرا شوند. برای این کار پس از ورود به Google Colab (که وابسته به Google Drive هم هست) مشابه تصویر زیر، از بخش Edit، گزینهی Notebook settings را انتخاب میکنیم. در مثال آوردهشده در شکل پروژهای (Notebook) با نام Untitled1.ipynb مورد استفاده است. سپس پنجرهی جدیدی باز میشود که در آن از قسمت Runtime type پایتون 2 و یا 3، و از بخش Hardware accelerator سختافزار موردنظر خود (CPU، GPU و یا حتی TPU) را انتخاب میکنیم.

2. افزایش مقدار RAM پیشفرض (12 GB) به 25 GB:

برای این کار فقط کافی است، قطعه کد بینهایتی را مشابه زیر اجرا کنید.

a = []

while(1):

a.append('1')

اجرای کد فوق تا زمانی که RAM در اختیار باشد ادامه پیدا کرده و پس از آن خطایی برای افزایش RAM به شما نشان داده میشود که باید آن را تایید کنید تا RAM مورد استفاده در این Notebook به 25 گیگ افزایش یابد.

3. اجرای دستورات لینوکس:

Google Colab امکان اجرای تمامی دستورات لینوکس را دارد. برای این کار تنها کافی است مشابه مثال زیر، ابتدای دستورات "!" قرار دهید.

!unzip data.zip

!rm data.zip

تنها تفاوت برای اجرای دستور cd است که برای آن باید ابتدای دستور از "%" استفاده کنید.

%cd my_directory

4. دانلود فایل از Google Colab:

در صورتی که میخواهید فایل و یا پوشهxadی زیپشدهای (برای دانلود پوشه به صورت کلی، ابتدا کل آن را زیپ کرده و سپس از این روش استفاده کنید) را از Google Colab دانلود کنید، دستور زیر را اجرا کنید.

from google.colab import files

files.download("your_zip_file.zip")

مراجع:

https://medium.com/deep-learning-turkey/google-colab-free-gpu-tutorial-e113627b9f5d

https://medium.com/@oribarel/getting-the-most-out-of-your-google-colab-2b0585f82403

https://towardsdatascience.com/upgrade-your-memory-on-google-colab-for-free-1b8b18e8791d

https://stackoverflow.com/questions/48298146/changing-directory-in-google-colab-breaking-out-of-the-python-interpreter

مطالب گفتهشده همگی به سادگی در اینترنت قابل دسترس هستند، اما طبق معمول اگر سوالی بود بفرمایید تا حدی که بلد باشم جواب خواهم داد.

موقت: از دوستان وبلاگنویس که تجربهی کار با ویرایشگر بلاگفا را دارند، اگر کسی این پست را دید (!)، ممنون میشوم راه بهتری برای نمایش دستورات و قطعه کدها به من معرفی کنند.