برچسب: <span>colab</span>

نویسندگان ‌: محیا مهدیان و محمد حسن ستاریان

google colab

اگر با گوگل کولب (Google Colab) کار کرده باشید می‌دانید که فایل سیستم آن از فایل سیستم گوگل درایو (Google Drive) جدا بوده و برای استفاده از فایل‌های خود باید پس از اتصال کولب به درایو فایل‌های مورد نیاز را دانلود کرده و پس از اعمال تغییرات برای جلوگیری از پاک شدن فایل‌ها -فایل‌های موجود در کولب پس از ۱۲ ساعت پاک می‌شوند- آن‌ها را در درایو دانلود کنید.

روش دیگر اینکار اتصال گوگل درایو به صورت یک فایل سیستم FUSE به گوگل کولب است، که در واقع گوگل درایو را در کولب mount می‌کنیم. از مزیت‌های آن این است که فایل‌ها در طرفین همگام و یکسان (sync) بوده و برای استفاده از فایل‌ها نیازی به دانلود و آپلود آن‌ها نیست.

روش اتصال

نصب پیش‌نیازها

ابتدا با استفاده از دستورات زیر،‌ پکیج‌های مورد نیاز را دانلود و نصب می‌کنیم:

# Install a Drive FUSE wrapper.
# https://github.com/astrada/google-drive-ocamlfuse
!apt-get update -qq 2>&1 > /dev/null
!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

# Install a Drive FUSE wrapper.

# https://github.com/astrada/google-drive-ocamlfuse

!apt-get update -qq 2>&1 > /dev/null

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools

!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null

!apt-get update -qq 2>&1 > /dev/null

!apt-get -y install -qq google-drive-ocamlfuse fuse

تائید هویت

سپس، با استفاده از اجرای دستور زیر و باز کردن لینک داده شده، در اکانت خود وارد شده و کد داده شده را در قسمت مربوطه وارد می‌کنیم تا اجازه اتصال گوگل کولب به گوگل درایو را بدهیم:

# Generate auth tokens for Colab
from google.colab import auth
auth.authenticate_user()

# Generate auth tokens for Colab

from google.colab import auth

auth.authenticate_user()

همچنین، با دستورات زیر همانند مراحل بالا اجازه دسترسی فایل سیستم FUSE را به گوگل درایو می‌دهیم:

# Generate creds for the Drive FUSE library.
from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
# Work around misordering of STREAM and STDIN in Jupyter.
# https://github.com/jupyter/notebook/issues/3159
prompt = !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass(prompt[0] + '\n\nEnter verification code: ')
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

# Generate creds for the Drive FUSE library.

from oauth2client.client import GoogleCredentials

creds = GoogleCredentials.get_application_default()

import getpass

# Work around misordering of STREAM and STDIN in Jupyter.

# https://github.com/jupyter/notebook/issues/3159

prompt = !google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL

vcode = getpass.getpass(prompt[0] + '\n\nEnter verification code: ')

!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

اتصال

حال فولدری در فایل سیستم گوگل کولب به نام drive ساخته و گوگل درایو را در آن mount می‌کنیم:

# Create a directory and mount Google Drive using that directory.
!mkdir -p drive
!google-drive-ocamlfuse drive

print 'Files in Drive:'
!ls drive/

# Create a file in Drive.
!echo "This newly created file will appear in your Drive file list." > drive/created.txt

# Create a directory and mount Google Drive using that directory.

!mkdir -p drive

!google-drive-ocamlfuse drive

print 'Files in Drive:'

!ls drive/

# Create a file in Drive.

!echo "This newly created file will appear in your Drive file list." > drive/created.txt

پس از اجرا لیست فایل‌های دایرکتوری drive چاپ می‌شود که درواقع تمامی فایل‌های گوگل درایو شما هستند.

منبع

این نوت‌بوک در گوگل کولب

محیط گوگل کولب امکان استفاده از GPU را به صورت رایگان میدهد و امکان نصب و کار با پکیج های مختلف زبان پایتون و فریم ورکهای مطرح یادگیری عمیق همانند Tensorflow, Keras, Pytorch,Fast.ai را فراهم میکند.

مراحل ایجاد یک نوت بوک

ابتدا مطمئن شوید که به حساب کاربری gmail خود متصل هستید . اگر حساب کاربری gmail ندارید اینجا را کلیک کنید.

* توجه :در تمام طول کار، باید وی‌پی‌ان یا فیلترشکن روشن باشد.

از اینجا وارد محیط google drive شوید .

روش اول :

در محیط google drive یک پوشه ایجاد کنید :

پوشه ای که ایجاد کرده ایم را انتخاب میکنیم

با کیلک راست بر روی My drive فایل های نوت بوک وdataset.py [Upload files] و

Data_hoda_full را آپلود میکنیم.

با کلیک راست بر روی نوت بوک مانند شکل زیر،نوت بوک را با colaboratoryباز میکنیم :

بعد از باز شدن نوت بوک GPU را فعال میکنیم:

یک cell جدید ایجاد میکنیم :

کد زیر را در cell وارد میکنیم :

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools
!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null
!apt-get update -qq 2>&1 > /dev/null
!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth
auth.authenticate_user()

from oauth2client.client import GoogleCredentials
creds = GoogleCredentials.get_application_default()
import getpass
!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL
vcode = getpass.getpass()
!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

!mkdir -p drive
!google-drive-ocamlfuse drive

print('Files in Drive:')
!ls drive/

!apt-get install -y -qq software-properties-common python-software-properties module-init-tools

!add-apt-repository -y ppa:alessandro-strada/ppa 2>&1 > /dev/null

!apt-get update -qq 2>&1 > /dev/null

!apt-get -y install -qq google-drive-ocamlfuse fuse

from google.colab import auth

auth.authenticate_user()

from oauth2client.client import GoogleCredentials

creds = GoogleCredentials.get_application_default()

import getpass

!google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret} < /dev/null 2>&1 | grep URL

vcode = getpass.getpass()

!echo {vcode} | google-drive-ocamlfuse -headless -id={creds.client_id} -secret={creds.client_secret}

!mkdir -p drive

!google-drive-ocamlfuse drive

print('Files in Drive:')

!ls drive/

بعد از run شدن cell دو مرحله تایید اعتبار داریم ، در هر مرحله بر رو لینک کلیک کنید و کد رو در تکست باکس وارد کنید :

کدهای زیر را به نوت بوک اضافه میکنیم تا فایل ها از گوگل درایو به محیط colab اضافه شوند :

add cell+

from google.colab import auth
from googleapiclient.discovery import build
import io , requests, os
import sys
auth.authenticate_user()
from googleapiclient.discovery import build
drive_service = build('drive', 'v3')

def get_parent_folder(folder_name):
  page_token = None
  folder_array = []
  query = "name='%s' and mimeType='application/vnd.google-apps.folder'" % folder_name
  while True:
      response = drive_service.files().list(q=query,
                                          spaces='drive',
                                          fields='nextPageToken, files(id, name)',
                                          pageToken=page_token).execute()
      for file in response.get('files', []):
          # Process change
          #print (file.get('name'), file.get('id'))
          folder_array.append({"name" : file.get('name'), "id" : file.get('id')})
      page_token = response.get('nextPageToken', None)
      if page_token is None:
          break
  return folder_array

def get_files_from_parent(parent_id):
  page_token = None
  folder_array = dict()
  query = "'%s' in parents" % parent_id
  while True:
      response = drive_service.files().list(q=query,
                                          spaces='drive',
                                          fields='nextPageToken, files(id, name)',
                                          pageToken=page_token).execute()
      for file in response.get('files', []):
          # Process change
          #print (file.get('name'), file.get('id'))
          folder_array.update({file.get('name'):file.get('id')})
      page_token = response.get('nextPageToken', None)
      if page_token is None:
          break
  return folder_array

def get_file_buffer(file_id, verbose=0):
  from googleapiclient.http import MediaIoBaseDownload
  request = drive_service.files().get_media(fileId=file_id)
  downloaded = io.BytesIO()
  downloader = MediaIoBaseDownload(downloaded, request)
  done = False
  while done is False:
    # _ is a placeholder for a progress object that we ignore.
    # (Our file is small, so we skip reporting progress.)
    progress, done = downloader.next_chunk()
    if verbose:
      sys.stdout.flush()
      sys.stdout.write('\r')
      percentage_done = progress.resumable_progress * 100/progress.total_size
      sys.stdout.write("[%-100s] %d%%" % ('='*int(percentage_done), int(percentage_done)))
  downloaded.seek(0)
  return downloaded

from google.colab import auth

from googleapiclient.discovery import build

import io , requests, os

import sys

auth.authenticate_user()

from googleapiclient.discovery import build

drive_service = build('drive', 'v3')

def get_parent_folder(folder_name):

page_token = None

folder_array = []

query = "name='%s' and mimeType='application/vnd.google-apps.folder'" % folder_name

while True:

response = drive_service.files().list(q=query,

spaces='drive',

fields='nextPageToken, files(id, name)',

pageToken=page_token).execute()

for file in response.get('files', []):

# Process change

#print (file.get('name'), file.get('id'))

folder_array.append({"name" : file.get('name'), "id" : file.get('id')})

page_token = response.get('nextPageToken', None)

if page_token is None:

break

return folder_array

def get_files_from_parent(parent_id):

page_token = None

folder_array = dict()

query = "'%s' in parents" % parent_id

while True:

response = drive_service.files().list(q=query,

spaces='drive',

fields='nextPageToken, files(id, name)',

pageToken=page_token).execute()

for file in response.get('files', []):

# Process change

#print (file.get('name'), file.get('id'))

folder_array.update({file.get('name'):file.get('id')})

page_token = response.get('nextPageToken', None)

if page_token is None:

break

return folder_array

def get_file_buffer(file_id, verbose=0):

from googleapiclient.http import MediaIoBaseDownload

request = drive_service.files().get_media(fileId=file_id)

downloaded = io.BytesIO()

downloader = MediaIoBaseDownload(downloaded, request)

done = False

while done is False:

# _ is a placeholder for a progress object that we ignore.

# (Our file is small, so we skip reporting progress.)

progress, done = downloader.next_chunk()

if verbose:

sys.stdout.flush()

sys.stdout.write('\r')

percentage_done = progress.resumable_progress * 100/progress.total_size

sys.stdout.write("[%-100s] %d%%" % ('='*int(percentage_done), int(percentage_done)))

downloaded.seek(0)

return downloaded

add cell +

parent_folder = get_parent_folder('google colab')
print(parent_folder)
parent_folder[0]["id"]
input_file_meta = get_files_from_parent(parent_folder[0]["id"])
print(input_file_meta)
for file, id in input_file_meta.items():
  downloaded = get_file_buffer(id, verbose=1)
  dest_file = os.path.join('/content/datalab/', file)
  print("\nprocessing %s data" % file)
  with open(dest_file, "wb") as out:
    out.write(downloaded.read())
    print("Done %s" % dest_file)

parent_folder = get_parent_folder('google colab')

print(parent_folder)

parent_folder[0]["id"]

input_file_meta = get_files_from_parent(parent_folder[0]["id"])

print(input_file_meta)

for file, id in input_file_meta.items():

downloaded = get_file_buffer(id, verbose=1)

dest_file = os.path.join('/content/datalab/', file)

print("\nprocessing %s data" % file)

with open(dest_file, "wb") as out:

out.write(downloaded.read())

print("Done %s" % dest_file)

حالا یک دایرکتوری برای دیتاست ایجاد میکنیم :

add cell+

!mkdir dataset

1	!mkdir dataset

دیتاست هدی را به پوشه ی دیتاست اضافه میکنیم :

add cell+

!mv Data_hoda_full.mat  !mv Data_hoda_full.mat \dataset

1	!mv Data_hoda_full.mat !mv Data_hoda_full.mat \dataset

روش دوم ایجاد نوت بوک :

وارد سایت colab.research.google.com میشویم :

NEW NOTEBOOK >>> NEW PYTHON3 NOTEBOOK

سپس از منو file نوت بوک جدید را آپلود میکنیم :

یک cell جدید ایجاد میکنیم سپس دستور زیر را وارد میکنیم :

!mkdir dataset

1	!mkdir dataset

فایل و پوشه ی دیتاست را آپلود میکنیم :

add cell+

from google.colab import files
src = list(files.upload().values())[0]
open('\dataset','wb').write(src)

from google.colab import files

src = list(files.upload().values())[0]

open('\dataset','wb').write(src)

دیتاست هدی را به پوشه ی دیتاست اضافه میکنیم :

add cell+

!mv Data_hoda_full.mat  !mv Data_hoda_full.mat \dataset

1	!mv Data_hoda_full.mat !mv Data_hoda_full.mat \dataset

روش سوم :

ابتدا ریپازیتوری خود را با دیتاست موردنظر و دلخواه روی گیت هاب ایجاد کنید

یا در صورت وجود ریپازیتوری آدرس آن را به صورت زیر یافته و با دستور زیر آن را در جوپیتر ران کنید

*توجه داشته باشید که فرمت دستورات لینوکسی میباشد.

! git clone --recursive [GITHUB LINK REPO]

1	! git clone --recursive [GITHUB LINK REPO]

مثال :

! git clone --recursive https://github.com/Alireza-Akhavan/class.vision.git

1	! git clone --recursive https://github.com/Alireza-Akhavan/class.vision.git

بعد از اتمام موفقیت آمیز بودن عملیات کلون از ریپازیتوری گیت هاب خروجی زیر را مشاهده میکنید:

در ادامه مسیر جاری را پیدا کرده و فایل های دریافت شده از مخزن را در مسیر دلخواه ( بعنوان مثال /content ) منتقل کنید:

در نهایت کد های اجرایی مورد نظر را در یک سلول جدید وارد کرده و برنامه را اجرا کنید:

بروزرسانی : 1397/11/06

بینایی کامپیوتر.

برچسب: colab

اتصال مستقیم سرویس کولب (Google Colab) به درایو (Google Drive) از طریق فایل سیستم FUSE

روش اتصال

نصب پیش‌نیازها

تائید هویت

اتصال

منبع

درباره ما

مطالب اخیر

تبدیل Jupyter Notebook به Rest API Endpoint

تراز کردن کارت ملی هوشمند

Chatbot with Voice

music box

اتصال مستقیم سرویس کولب (Google Colab) به درایو (Google Drive) از طریق فایل سیستم FUSE

روش اتصال

نصب پیش‌نیازها

تائید هویت

اتصال

منبع

آشنایی با سرویس ابری Google Colab

اسلایدر سایدبار

درباره ما

شبکه های اجتماعی

مطالب اخیر

تبدیل Jupyter Notebook به Rest API Endpoint

تراز کردن کارت ملی هوشمند

Chatbot with Voice

music box