#مقایسه فریم ورک های یادگیری عمیق (#فیلم+#اسلاید)

Comparing Deep Learning Frameworks

🔗 https://www.infoq.com/presentations/comparison-deep-learning-frameworks

#Tensorflow #Torch #CNTK #Caffe #Theano
#Comparing #Deep_learning #Framework

#مقایسه فریم ورکهای یادگیری عمیق و GPU ها:

Deep Learning Benchmarks of NVIDIA Tesla P100 PCIe, Tesla K80, and Tesla M40 GPUs
[Posted on January 27, 2017]

🔗 https://www.microway.com/hpc-tech-tips/deep-learning-benchmarks-nvidia-tesla-p100-16gb-pcie-tesla-k80-tesla-m40-gpus

#deep_learning #GPU #benchmark

#مقایسه #چارچوب های یادگیری عمیق

#PyTorch vs #TensorFlow — spotting the difference

https://towardsdatascience.com/pytorch-vs-tensorflow-spotting-the-difference-25c75777377b

#مقایسه #سرعت
CPU Performance Comparison of OpenCV and other Deep Learning frameworks

https://www.learnopencv.com/cpu-performance-comparison-of-opencv-and-other-deep-learning-frameworks/

#مقایسه
#GPU 1080 ti Vs p5000

https://medium.com/initialized-capital/benchmarking-tensorflow-performance-and-cost-across-different-gpu-options-69bd85fe5d58

#مقایسه
#GPU 1080 ti Vs p5000

https://stackoverflow.com/questions/34715055/choosing-between-geforce-or-quadro-gpus-to-do-machine-learning-via-tensorflow

#مقایسه
#GPU

#Quadro vs #GeForce GPUs for training neural networks

If you’re choosing between Quadro and GeForce, definitely pick GeForce. If you’re choosing between Tesla and GeForce, pick GeForce, unless you have a lot of money and could really use the extra RAM.

http://deeplearning.lipingyang.org/2017/04/02/quadro-vs-geforce-gpus-for-training-neural-networks/

#مقایسه
#GPU

سوال؟
آیا اگر یک GPU ی Nvidia هم از لحاظ تعداد هسته ی CUDA، هم از لحاظ رم، و هم قیمت! بالاتر از مدل دیگه بود لزوما برای کار دیپ لرنینگ بهتره؟

پاسخ: به هیچ وجه.
اول توصیه میکنم این سه لینکو ببنید:

https://t.me/cvision/1071
https://t.me/cvision/1072
https://t.me/cvision/1073

در گام بعدی داستانی که همین اخیرا اتفاق افتاده را خدمتتان عرض میکنم.
یکی از دانشجوها به واسطه پروژه هاش تو دو شرکت مختلف با دو GPUی Quadro P6000 و GeForce 1080-Ti برای کارهای یادگیری عمیق با تنسرفلو مدل آموزش داده بود.
خب GPUی p6000 تعداد هسته هاش 256 تا بیشتره و از لحاظ رم کارت گرافیکی هم 24 گیگ رم داره، که بیش از دو برابر 1080ti که 11 گیگ م داره و از لحاظ قیمتی بیش از 3 یا 4 برابره. کلا GPUی خیلی قوی به حساب میاد!
با این حساب توقع میره که خیلی برای آموزش مدل بهتر باشه.
اما این دوست عزیز بهم گفت که یا 1080ti زودتر مدلم آموزش میبینه! من اولش فکر کردم یا ایشون اشتباه میکنه یا گلوگاه سیستم چیز دیگه ای مثل هارد شده!
تا اینکه تو مشورت با همکارا و جست و جو تو اینترنت به این نتیجه رسیدم که بله! هر چه قدر 1080ti انتخاب خوبیه در عوض کلا سری Quadro خیلی انتخاب بدیه برای دیپ!
چرا که هسته ها یا همون CUDA Core های این سری برای کارهای محاسبات علمی مناسب نیست و این سری مخصوص کارهایی مثل CAD هستش و به خاطر کلاک پایینش توی کارهای دیپ فوق العاده بدتر از سری هایی مثل GeForce عمل میکنه.

پس به سری و معماری کارت گرافیک دقت کنید و هر کارت گرافیکی که صرفا cuda support بود و compute capability مورد نظرمون را داشت را برای کار دیپ نخریم. لزوما صرف هزینه بیشتر باعث نمیشه سرعت بیشتری تو آموزش مدل داشته باشیم.

با تشکر از @AM_Ghoreyshi بابت مطرح کردن این مساله

#مقایسه #آمار
استفاده از Tensorflow در مقابل pytorch
به استناد پکیج های نصب شده با pip

TensorFlow has crossed 100M total downloads from PyPI -- not counting downloads from our various auxiliary packages, tf-nightly, the old tf-gpu, the old Keras, etc.

https://twitter.com/fchollet/status/1260267421014691841?s=20

#مقایسه #آمار
استفاده از Tensorflow در مقابل pytorch
به استناد استفاده در گوگل کولب

2) Number of Colab notebooks that import TF/Keras. Colab is primarily used by grad students (which is who we mean in practice when we say "deep learning researchers"), not industry folks. And it's the platform of choice for official tutorials for both PT and TF.

Ratio is ~2.5x
https://twitter.com/fchollet/status/1260268412363653121?s=20