مهندسی داده و رایانش ابری
2.6K subscribers
506 photos
28 videos
76 files
431 links
دنیای مهندسی داده و رایانش ابری با طعم
Amazon Web Services

🟢 About us:
https://www.m-fozouni.ir/
🔵 Instagram:
https://www.instagram.com/elmedade
🔴 Youtube:
https://youtube.com/c/ElmeDade
🟤 مشاوره با دکتر فزونی
https://www.m-fozouni.ir/consult
Download Telegram
1. استفاده از روش ( )zip
زمانیکه list1 و list2 آرایه‌های یک بعدی هستند:

list1 = [2,4,5,3,5,4]
list2 = [4,1,2,9,7,5]
product = [x*y for x,y in zip(list1,list2)]
print(product)

Output :
[8, 4, 10, 27, 35, 20]

استفاده از روش ( )zip
زمانیکه list1 و list2 آرایه‌های دو بعدی هستند:

list1 = [[2,4,5],[3,5,4]]
list2 = [[4,1,2],[9,7,5]]
product = [[0]*3]*2

for x in range(len(list1)):
product[x] = [a*b for a,b in zip(list1[x],list2[x])]
print(product)

Output:
[[8, 4, 10], [27, 35, 20]]

2. استفاده از روش ( )multiply
زمانیکه list1 و list2 آرایه‌های یک بعدی هستند:

import numpy as np

list1 = [12,3,1,2,3,1]
list2 = [13,2,3,5,3,4]

product = np.multiply(list1,list2)
print(product)

Output:
[156 6 3 10 9 4]

استفاده از روش ( )multiply
زمانیکه list1 و list2 آرایه‌های دو بعدی هستند:

import numpy as np

list1 = [[12,3,1],[2,3,1]]
list2 = [[13,2,3],[5,3,4]]

product = np.multiply(list1,list2)
print(product)

Output:

[[156 6 3]
[ 10 9 4]]

3. استفاده از روش ( )map
زمانیکه list1 و list2 آرایه‌های یک بعدی هستند:

list1 = [2,4,5,3,5,4]
list2 = [4,1,2,9,7,5]
product = list(map(lambda x,y: x*y ,list1,list2))
print(product)

Output:
[8, 4, 10, 27, 35, 20]

استفاده از روش ( )map
زمانیکه list1 و list2 آرایه‌های دو بعدی هستند:

list1 = [[2,4,5],[3,5,4]]
list2 = [[4,1,2],[9,7,5]]
product = [[0]*3]*2

for x in range(len(list1)):
product[x] = list(map(lambda a,b: a*b ,list1[x],list2[x]))

print(product)

Output:
[[8, 4, 10], [27, 35, 20]]

#python
@elmedadeir
🛑 سوال: برای شروع کار با دیتا، پایتون کد بزنیم یا آر؟

🟢 پاسخ: جفت این زبان‌ها برای کار با داده، عالی هستند، هر چند من بشخصه پایتون رو ترجیح می‌دهم. اما برای محیط کار باید هر دو رو بلد باشیم. در برخی از موارد کدهایی رو تحویل می‌دهند که کارفرما خودش هم دقیق نمی‌دونه پایتون هست یا آر.

🟢 توصیه: کلیت کار رو یاد بگیرید. یکی از این دو زبان رو انتخاب کنید و تا حد متوسط پیش برید. بعد بروید سراغ دومی و با اون هم آشنا بشید، تا حدی که بتونید الگوریتم‌های مختلف رو داخلش آموزش بدهید. این بهترین گزینه هست.
.
#python
#R
.
@elmedadeir
با اختلاف، یکی از کتاب‌های فوق‌العاده برای یادگیری جبر خطی که مخصوص متخصصین داده باشد، این کتاب هست 👇👇👇. تمامی کدها در پایتون شرح داده شده است.

🟢 کتاب به هیچ وجه موارد اضافی را پوشش نمی‌دهد و تمام تمرکز و توجه‌اش به مفاهیمی از جبر خطی است که برای کار با دیتا مورد نیاز است.
#linear_algebra
#python
#ml
.
@elmedadeir

🟢 Python vs. R

🟢 بنظر من، بدترین سوالی که در مورد این دو زبان می‌شه پرسید اینه که بگیم کدوم بهتره؟!؟

🟢 ولی در مورد زبان آر، دوتا نکته وجود داره که بدونیم بد نیست.

   - آر در مصورسازی داده، طبق مقالاتی که منتشر شده، بهتر عمل می‌کنه. شاید همین فردا این مورد با انتشار چند کتابخانه در پایتون برای تصویرسازی، دیگه نقطه قوت نباشه.

   - آر زبان آکادمیک هست. درسته که در پروژه‌های صنعتی هم تا به امروز بکار گرفته شده، ولی در کل دنیا، اکثرن دانشگاهیان از این زبان استفاده می‌کنند.

🔵 و من گمان می‌کنم، کسی که تصمیم گرفته بطور حرفه‌ای دیتا کار کنه، نباید هیچ وقت خودش رو محدود کنه. هر چیز لازم رو باید آموخت.
.
@elmedadeir
.
#python
#R
.
برای استفاده همزمان از آر و پایتون، در محیط کاری پایتون، می‌تونیم کتابخانه‌ی
rpy2
رو نصب کنیم و از قدرت هر دو زبان بطور همزمان بهره‌مند شویم. تصاویر زیر دو نمونه از کارهایی هستند که می‌شه با
rpy2
انجام داد
@elmedadeir
.
#r
#python

رودمپ یادگیری پایتون برای توسعه و
کدزنی


💥منبع💥
.
#python
@elmedadeir

🟢 جلسه اول کارگاه حضور و غیاب کارکنان
Part 1
💥مشاهده در یوتیوب💥

آدرس گیت‌هاب جهت دانلود کدها و دیتاست هم در قسمت توضیحات ویدیو موجود است
.
#workshop
#python
#datascience_project
#cloud
@elmedadeir

🟢 جلسه دوم کارگاه حضور و غیاب کارکنان
Part 2
💥مشاهده در یوتیوب💥

آدرس گیت‌هاب جهت دانلود کدها و دیتاست هم در قسمت توضیحات ویدیو موجود است
.
#workshop
#python
#datascience_project
#cloud
@elmedadeir
تابع مهم و بسیار پر کاربرد لامبدا در پایتون

#python
#data_science

💥 پست فوروارد شده از کانال خانم ربطی
👇👇👇

https://t.me/datalook_ir
با استفاده از کتابخانه‌ی
Faker
در پایتون خیلی راحت می‌تونیم فایل سی.اس.وی. (csv.) برای مقاصد آموزشی یا تست تولید کنیم. اگر این کتابخونه رو ندارید اول

pip install faker

کنید تا نصب بشه و سپس حالشو ببرید.

دانلود سورس کد جهت تست و اجرا در ادامه (فقط روی کدها تپ کنید تا کپی بشوند)
👇👇👇
.
#faker
#python
@elmedadeir
11 Essential Concepts You Need to Know About OOP in Python.pdf
4.9 MB
در این نوشتار، خیلی مختصر و مفید مفهوم
OOP
و وراثت رو‌ توضیح داده.

منبع: لینکدین
@elmedadeir
#پایتون
#python
🟢 با این قطعه کد، می‌تونید نوار پیشرفت رو در انجام محاسبات برای خودتون فعال کنید. خیلی کاربردی و مفید هست
.
#python
.
@elmedadeir
با استفاده از کتابخانه‌ی تِکست‌هیرو
texthero
کارهای متن‌کاوی رو خیلی قوی‌تر و البته ساده‌تر می‌شه انجام داد.

https://github.com/jbesomi/texthero
.
#python
.
@elmedadeir
🔴 تبدیل فایل پایتونی به یک فایل اجرایی:

فرض کنید یک اپ پایتونی نوشتید و می‌خواهید اونرو برای تست بدهید به شخصی که حتی پایتون رو هم روی سیستم خودش نصب نداره. در این شرایط یکی از روش‌ها اینه که اپ خودمون رو بصورت یک فایل اجرایی با پسوند
exe
در بیاریم تا فرد مورد نظر راحت بتونه در سیستم ویندوزی خودش کار رو ببینه و تست کنه.

برای اینکار اول کتابخونه‌ی
pyinstaller
رو نصب کنید، در واقع
pip install pyinstaller

رو در در محیطی که اپ‌تون رو نوشتید و از طریق خط فرمان، اجرا کنید.

سپس وارد فولدر پروژه‌ی خودتون بشید و دستور زیر رو وارد کنید
pyinstaller --onefile your_script_name.py

بعد از اجرای خط فوق، یک فایل
your_script_name.exe

در یک پوشه بنام
dist
در همون دایرکتوری برای شما ایجاد می‌شود. خیلی راحت فایل رو هر جور که دوست داشتید به فرد مورد نظر برسونید تا طرف حالشو ببره 😎.
.
#python
.
@elmedadeir
🛑 گزارشی از یک پروژه‌ی ساده و باحال:

شخصی با من تماس گرفت و گفت که این داده‌ها رو از این سایت می‌خوام برام بگیرید و در یک دیتابیس قرار بدهید. بیزنس پلن جالبی داشتند. خیلی ساده از کتابخونه‌ی
requests

استفاده کردم و استارت زدیم به گرفتن دیتاها. این سایت محتوای بسیار داینامیکی داره و مدام بروز می‌شود. متوجه شدم در هر بار که درخواست ارسال می‌کنیم سمت سرور، فقط 24 رکورد از سمت اونها دریافت می‌کنیم. از صفحه‌ای که شاید بالای هزار لینک که مرتب هم در حال بروز شدن هست، این حجم از رکوردها جالب نیست و کمه.

در فاصله‌های زمانی مختلف، درخواست رو ارسال کردم. متوجه شدم که به محض آپدیت شدن، اون رکورد تازه به من داده می‌شود. خوشحال شدم که سرور درخواست‌های تکراری از سمت یک آی.پی. رو بلاک نمی‌کند. در این شرایط و در دنیای واقعی راهکارهای مختلفی داره و این به ذهن من رسید که انجامش بدم:

یک اسکریپت بش نوشتم و فایل پایتونی رو داخلش گذاشتم. رفتم سراغ کرون‌جابزها و هر یک دقیقه درخواستم رو فرستادم سمت سرور. درخواست‌ها بصورت یک فایل سی.اس.وی. در سیستم من (یا میشه در کلاد ذخیره کرد) ذخیره می‌شوند. مقایسه کردم دیدم که بطور کلی در هر فایل نسبت به قبلی، تعدادی از رکوردها جدید هستند و کلی آیتم تکراری وجود دارد.

دوباره رفتم سراغ پایتون و از پانداز کمک گرفتم. کدی نوشتم که دوتا دوتا فایل‌ها رو بگیره، تبدیل کنه به لیست، بعد با هم جمع‌شون کنه. بعد دوباره تبدیل کنم به یک دیتافریم و مقادیر تکراری رو حذف کنه. در پایان دوباره تبدیلش کردم به یک فایل سی.اس.وی و در مسیر مشخص ذخیره‌اش کردم.

این فرایند رو دو الی سه روز انجام بدهیم، می‌تونیم کل اون رکوردهایی که مد نظرمون بود را جمع‌آوری کنیم. خوبی کار روی سناریوهای واقعی اینه که هیچ روش قطعی برای حل مشکل یا سوال وجود ندارد. فقط باید به مقصودمون برسیم. حالا یکی مثل من عمل می‌کنه. یکی هم روش‌های بهینه‌تری بلد هست و سه سوت کارش رو انجام می‌دهد. ولی در کل کار باحالیه.

پی‌نوشت: اگر روی سیستم لینوکس ندارید از این سایت هم می‌شه برای کارهای کرون (Cron Jobs) استفاده کرد:
▶️ https://cron-job.org/

پی‌نوشت2: برای قسمت دوم کار هم یک فایل بش می‌نویسیم (بسیار ساده هست) که کل فرایند بصورت اتوماتیک انجام بشه. می‌تونیم روی یک سرور لینوکسی هم این پایپ‌لاین رو مستقر کنیم و فقط 48 ساعت بهش زمان بدیم. خودمون هم در این بین می‌ریم یک سر شمال جوج می‌زنیم بر بدن 😎😂.
.
#requests
#pandas
#bash_scripting
#linux
#python
==============
@elmedadeir
🚀مهندسی داده و رایانش ابری🚀
.
مقالات‌ || اینستاگرام || لینکدین || یوتیوب