#آموزش
راهنمای خرید یک سیستم مناسب برای یادگیری عمیق:

great Deep Learning box
Assembly, setup and benchmarks

اگر بخواهید یک سیستم مخصوص کارهای یادگیری عمیق بخرید، خواندن این مقاله را توصیه میکنم...
چه مادربوردی بگیرم؟!
چه کارت گرافیکی مناسب است، آیا تسلا ارزش خرید دارد؟!
چه قدر رم احتیاج دارم؟!
پاور مناسب برای اینکار چیست؟!
و ...
https://blog.slavv.com/the-1700-great-deep-learning-box-assembly-setup-and-benchmarks-148c5ebe6415

#Deep_Learning #GPU #benchmark #assembly

Benchmarks for popular CNN models

🔗 https://github.com/jcjohnson/cnn-benchmarks

Some general conclusions:

- Pascal Titan X > GTX 1080
- GTX 1080 > Maxwell Titan X
- ResNet > VGG
- Always use cuDNN
- GPUs are critical

#Benchmark #Deep_Learning #CNN #GPU #Model

معرفی #کورس ، #آموزش

Accelerating Deep Learning with GPU (Beta)

https://cognitiveclass.ai/courses/accelerating-deep-learning-gpu/

#deep_learning #GPU

با عضویت در سایت IBM میتوانید 24 ساعت از پلتفرم PowerAI و GPU server مناسب deep learning استفاده کنید.
http://cocl.us/ML0120EN_NIMBIX_JM

#GPU #powerAI #deep_learning
@Cvision

#آموزش
آموزش قابلیت eager execution تنسرفلو 1.5:

TensorFlow #Eager Execution

مرتبط با https://t.me/cvision/358

https://github.com/tensorflow/tensorflow/blob/master/tensorflow/contrib/eager/python/g3doc/guide.md

-A NumPy-like library for numerical computation with support for #GPU acceleration and automatic differentiation.
-A flexible platform for machine learning research and experimentation.

#خبر
https://medium.com/@Synced/googles-tpu-chip-goes-public-in-challenge-to-nvidia-s-gpu-78ced56776b5

#TPU #GPU

#خبر
مدل های از پیش آموزش داده شده برای توسعه گران ویندوز در نسخه بعدی ویندوز 10 قرار خواهد گرفت.

With the next release of #Windows, developers will be able to evaluate trained machine learning models locally on Windows 10 devices, allowing developers to use pre-trained models within their applications with hardware-accelerated performance by leveraging the device’s CPU or #GPU to compute evaluations for both classical #Machine_Learning algorithms and #Deep_Learning.

https://blogs.windows.com/buildingapps/2018/03/15/ifdef-windows-what-is-windows-machine-learning-and-how-to-get-started/#HZ4DopuSPaKRI8bD.97?MC=CloudDev&MC=MachLearn&MC=WebDev&MC=MSAzure&MC=Windows

معرفی #کورس، #آموزش

Accelerating Deep Learning with GPU

این کورس سومین کورس از LEARNING PATH یا مسیر یادگیری deep learning سایت cognitiveclass از شرکت IBM است.

این کورس قبلا آزمایشی بود و اخیرا برای عموم آزاد شده است.

بر خلاف دو کورس دیگر این مسیر یادگیری، فقط یکبار در این کورس میتوانید ثبت نام کنید و در طول یک هفته باید آن را به اتمام برسانید، و هر هفته فقط 40 نفر نخستی که ثبت نام میکنند پذیرش میشوند، احتمالا این محدودیت ها به دلیل در اختیار گذاشتن سرورهای پردازشی powerAI در طول دوره و محدودیت های سخت افزاری است!
این کورس و دسترسی به ابر پردازشی powerAi در طول این کورس کاملا #رایگان است.

https://cognitiveclass.ai/courses/accelerating-deep-learning-gpu/

⭕️ Course Syllabus:
✅ Module 1 – Quick review on Deep Learning
✔️Intro to Deep Learning
✔️Deep Learning Pipeline
✅ Module 2 – Hardware Accelerated Deep Learning
✔️How to accelerate a deep learning model?
✔️Running TensorFlow operations on CPUs vs. GPUs
✔️Convolutional Neural Networks on GPUs
✔️Recurrent Neural Networks on GPUs
✅ Module 3 – Deep Learning in the Cloud
✔️Deep Learning in the Cloud
✔️How does one use a GPU
✔️Stock Price Prediction
✅ Module 4 – Distributed Deep Learning
✔️Distributed Deep Learning

⭕️ GENERAL INFORMATION:
➖This course is free.
➖This course if with Python language.
➖It is scheduled course.

⭕️ REQUIREMENTS:
✔️Python programming
✔️Tensorflow
✔️Deep Learning fundamental

#tensorflow #GPU #deep_learning

#خبر
https://www.wired.com/story/worlds-fastest-supercomputer-breaks-ai-record/

🙏Thanks to: @MohsenF91

#gpu #سیستم

#خبر
در این خبر تعداد 27,000 پردازنده گرافیکی یا GPU در آزمایشگاه ملی Oak Ridge برای اجرای مدل تنسرفلو جهت تشخیص الگوهای آب و هوایی و پیش بینی آینده استفاده شده است...

#tensorflow

#سیستم_پیشنهادی
Why building your own Deep Learning Computer is 10x cheaper than AWS

https://medium.com/the-mission/why-building-your-own-deep-learning-computer-is-10x-cheaper-than-aws-b1c91b55ce8c

#GPU

#نصب #keras #gpu
یک نکته که ممکنه تو نصب کراس مواجه شوید اینه که اگر قبل از نصب کراس تنسورفلوی GPU رو نصب کرده باشید و بعد کراس رو نصب کنید، ممکنه خودش تنسور فلوی CPU رو نصب کنه!
درواقع نسخه GPU رو پاک می‌کنه و لازمه بعدش دوباره نسخه GPU رو نصب کرد.

راه حل این مشکل استفاده از پرچم no-deps-- موقع نصب کراس هست.

🙏Thanks to: @MH_Sattarian

#مقایسه
#GPU 1080 ti Vs p5000

https://medium.com/initialized-capital/benchmarking-tensorflow-performance-and-cost-across-different-gpu-options-69bd85fe5d58

#مقایسه
#GPU 1080 ti Vs p5000

https://stackoverflow.com/questions/34715055/choosing-between-geforce-or-quadro-gpus-to-do-machine-learning-via-tensorflow

#مقایسه
#GPU

#Quadro vs #GeForce GPUs for training neural networks

If you’re choosing between Quadro and GeForce, definitely pick GeForce. If you’re choosing between Tesla and GeForce, pick GeForce, unless you have a lot of money and could really use the extra RAM.

http://deeplearning.lipingyang.org/2017/04/02/quadro-vs-geforce-gpus-for-training-neural-networks/

#مقایسه
#GPU

سوال؟
آیا اگر یک GPU ی Nvidia هم از لحاظ تعداد هسته ی CUDA، هم از لحاظ رم، و هم قیمت! بالاتر از مدل دیگه بود لزوما برای کار دیپ لرنینگ بهتره؟

پاسخ: به هیچ وجه.
اول توصیه میکنم این سه لینکو ببنید:

https://t.me/cvision/1071
https://t.me/cvision/1072
https://t.me/cvision/1073

در گام بعدی داستانی که همین اخیرا اتفاق افتاده را خدمتتان عرض میکنم.
یکی از دانشجوها به واسطه پروژه هاش تو دو شرکت مختلف با دو GPUی Quadro P6000 و GeForce 1080-Ti برای کارهای یادگیری عمیق با تنسرفلو مدل آموزش داده بود.
خب GPUی p6000 تعداد هسته هاش 256 تا بیشتره و از لحاظ رم کارت گرافیکی هم 24 گیگ رم داره، که بیش از دو برابر 1080ti که 11 گیگ م داره و از لحاظ قیمتی بیش از 3 یا 4 برابره. کلا GPUی خیلی قوی به حساب میاد!
با این حساب توقع میره که خیلی برای آموزش مدل بهتر باشه.
اما این دوست عزیز بهم گفت که یا 1080ti زودتر مدلم آموزش میبینه! من اولش فکر کردم یا ایشون اشتباه میکنه یا گلوگاه سیستم چیز دیگه ای مثل هارد شده!
تا اینکه تو مشورت با همکارا و جست و جو تو اینترنت به این نتیجه رسیدم که بله! هر چه قدر 1080ti انتخاب خوبیه در عوض کلا سری Quadro خیلی انتخاب بدیه برای دیپ!
چرا که هسته ها یا همون CUDA Core های این سری برای کارهای محاسبات علمی مناسب نیست و این سری مخصوص کارهایی مثل CAD هستش و به خاطر کلاک پایینش توی کارهای دیپ فوق العاده بدتر از سری هایی مثل GeForce عمل میکنه.

پس به سری و معماری کارت گرافیک دقت کنید و هر کارت گرافیکی که صرفا cuda support بود و compute capability مورد نظرمون را داشت را برای کار دیپ نخریم. لزوما صرف هزینه بیشتر باعث نمیشه سرعت بیشتری تو آموزش مدل داشته باشیم.

با تشکر از @AM_Ghoreyshi بابت مطرح کردن این مساله

#آموزش

همانطور که میدانید چند وقتیه که گوگل کولب GPUهای Tesla V4 با مشخصات زیر را به صورت رایگان در اختیار محققان قرار داده

16GB of VRAM
160 TFLOPS of GPU power

اما این که چه موقع GPUی K80بهتون بده چه موقع Tesla V4 دست خودتون نیست،
ممکنه به دلایلی مثل استفاده از GPU قوی تر یا مثلا عدم ساپوت K80 از کد شما (مثل دیتابیس Blazing SQL که روی Tesla V4 اجرا میشه ولی روی K80 نه!) میخواهید حتما از تسلا استفاده کنید.
برای اینکار فعلا تنها راهی که من میدونم میشه کرد اینه که کرنلتون را ریست کنید:

Runtime -> Reset all runtimes...

حالا از کجا بفهمیم چه GPUی بهمون داده؟
یه روش ساده که استفاده از دستور

!nvidia-smi

تو نوت بوکه.
روش دیگه اینه که کد زیر را اول نوت بوک یا کد پایتونیتون بزارید که اگر GPU مورد نظرمون را بهمون نداده بود Exception بده!

import pynvml


pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

if device_name != b'Tesla T4':
  raise Exception("""
    Unfortunately this instance does not have a T4 GPU.
    
    Please make sure you've configured Colab to request a GPU instance type.
    
    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...
  """)
else:
  print('Woo! You got the right kind of GPU!')

#colab #tesla #GPU

Infoworld Review: #GPU Databases

https://www.kinetica.com/resources/info-world-report/

#GPU #Deeplearning

بهترین پزدازنده‌های گرافیکی که برای یادگیری عمیق در حوزه های مختلف در سال 2020 پیشنهاد می‌شود:

مقایسه توان آموزش برای مدل‌های مختلف زبانی و تصویری و همچنین مقایسه حداکثر سایز مینی‌بچ



Choosing the Best GPU for Deep Learning in 2020
https://lambdalabs.com/blog/choosing-a-gpu-for-deep-learning/

@shenasa_ai

#آموزش #گوگل_کولب
بررسی نسخه گوگل‌گولب:
در حال حاضر گوگل کولب به صورت تصادفی یکی از 4 کارت گرافیک سری تسلای K80, T4, P4 یا P100 را بهمون میده، حالا کافیه با تایپ کامند

!nvidia-smi

بفهمیم توی سشن فعلی چی بهمون داده.

روش دیگه اینه که کد زیر را اول نوت بوک یا کد پایتونیتون بزارید که اگر GPU مورد نظرمون را بهمون نداده بود Exception بده!

import pynvml


pynvml.nvmlInit()
handle = pynvml.nvmlDeviceGetHandleByIndex(0)
device_name = pynvml.nvmlDeviceGetName(handle)

if device_name != b'Tesla T4':
  raise Exception("""
    Unfortunately this instance does not have a T4 GPU.
    
    Please make sure you've configured Colab to request a GPU instance type.
    
    Sometimes Colab allocates a Tesla K80 instead of a T4. Resetting the instance.

    If you get a K80 GPU, try Runtime -> Reset all runtimes...
  """)
else:
  print('Woo! You got the right kind of GPU!')

#colab #tesla #GPU