مهندسی داده و رایانش ابری
🟢 فیلم ضبط شده‌ی وبینار 📌 موضوع: تفاوت مفهوم علم داده و مهندسی داده 📌سخنران: جناب آقای دکتر محمد فزونی 📌 تاریخ: 1402/10/13 این پست از کانال https://t.me/StatisticsSBU2 فوروارد شده است. @elmedadeir
Shahid Beheshti Univ Talk.pdf
629.4 KB
لینک‌هایی که در فایل می‌گم، داخل این ارائه وجود داره. پیروز باشید
@elmedadeir
@elmedadeir
Roy_Jafari_Hands_On_Data_Preprocessing_in_Python_Learn_how_to_effectively.pdf
48.5 MB
✅ کتاب «پیش‌پردازش داده با پایتون» به قلم آقای «روی جعفری».
کتابِ خوب و منسجمی هست و 2022 در یک انتشاراتی عالی به چاپ رسیده. اگر دنبال این مباحث هستید، تورقی کنید این کتاب رو.
🛑 برای دیدن رزومه‌ای از نویسنده کتاب به سایت زیر مراجعه نمائید
https://roy-jafari.com/
🛑 تشکر از سرکار خانم صریر بابت به اشتراک‌گذاری این اثر ارزشمند.
@elmedadeir
کتابِ خوب و منسجمی هست و 2022 در یک انتشاراتی عالی به چاپ رسیده. اگر دنبال این مباحث هستید، تورقی کنید این کتاب رو.
🛑 برای دیدن رزومه‌ای از نویسنده کتاب به سایت زیر مراجعه نمائید
https://roy-jafari.com/
🛑 تشکر از سرکار خانم صریر بابت به اشتراک‌گذاری این اثر ارزشمند.
@elmedadeir
این گروه مخصوص افرادی که به مهندسی داده علاقمند هستند، ایجاد شده. در صورت تمایل می‌توانید عضو شوید. بانی این مجموعه یکی از مهندسین داده در ایران می‌باشد، جناب آقای شاهین شاطرزاده
@shahinshaterzade
.
https://t.me/+kA4pybwMkkwwODM0
.
@elmedadeir
@shahinshaterzade
.
https://t.me/+kA4pybwMkkwwODM0
.
@elmedadeir
Telegram
DataEngineerGuys
Shahin Shaterzade invites you to join this group on Telegram.
🟢 کورس رایگان مهندسی داده از آی.بی.ام.
🟢 زبان: انگلیسی
🔴 این کورس رو چندی پیش، در وبینار دانشگاه بهشتی معرفی کردم. تا دلتون بخواد کورس‌های مختلف وجود داره. ولی بهترین و سریع‌ترین راه یادگیری هر علم و مهارتی اینه که متمرکز و منظم بریم جلو. نیازی نیست هزارتا دوره رو شروع کنیم.
کافیه یک دوره‌ی خوب پیدا کنیم و تمام حواس و تمرکز و انرژی‌مون رو بهش تخصیص بدیم. این بهترین روش یادگیری هست.
فقط مجاز هستیم در کنار کورس، کتاب دست بگیریم، اونم فقط یک عنوان. بهرحال هیچ رازی برای یادگیری وجود نداره، جز اینکه عجله نکنیم و با تمرکز بریم جلو.
خیلی هم ذهنتون رو درگیر شوآف‌ها یا همون نمایش‌ها نکنید. اینهمه مریخ‌نورد داریم، ولی هنوز مریخ نرفتند، عزیزان تو خواب تشریف بردند فقط 😁😂.
دانلود ویدیوهای دوره در 🔴این لینک🔴
❌ پی‌نوشت: دوستان اعلام کردند که کورس زیر از Udacity عمیق‌تر و کابردی‌تر است
https://downloadly.ir/elearning/video-tutorials/become-a-data-engineer/
@elmedadeir
🟢 زبان: انگلیسی
🔴 این کورس رو چندی پیش، در وبینار دانشگاه بهشتی معرفی کردم. تا دلتون بخواد کورس‌های مختلف وجود داره. ولی بهترین و سریع‌ترین راه یادگیری هر علم و مهارتی اینه که متمرکز و منظم بریم جلو. نیازی نیست هزارتا دوره رو شروع کنیم.
کافیه یک دوره‌ی خوب پیدا کنیم و تمام حواس و تمرکز و انرژی‌مون رو بهش تخصیص بدیم. این بهترین روش یادگیری هست.
فقط مجاز هستیم در کنار کورس، کتاب دست بگیریم، اونم فقط یک عنوان. بهرحال هیچ رازی برای یادگیری وجود نداره، جز اینکه عجله نکنیم و با تمرکز بریم جلو.
خیلی هم ذهنتون رو درگیر شوآف‌ها یا همون نمایش‌ها نکنید. اینهمه مریخ‌نورد داریم، ولی هنوز مریخ نرفتند، عزیزان تو خواب تشریف بردند فقط 😁😂.
دانلود ویدیوهای دوره در 🔴این لینک🔴
❌ پی‌نوشت: دوستان اعلام کردند که کورس زیر از Udacity عمیق‌تر و کابردی‌تر است
https://downloadly.ir/elearning/video-tutorials/become-a-data-engineer/
@elmedadeir
🟢 تجربه‌ی یکی از شرکت‌کنندگان در آزمون
AWS certified Data Engineer
که در آزمون بتا شرکت کردند. گوش بدین کامل. نکات مفیدی داخلش داره.
.
#aws, #data_engineering
.
@elmedadeir
AWS certified Data Engineer
که در آزمون بتا شرکت کردند. گوش بدین کامل. نکات مفیدی داخلش داره.
.
#aws, #data_engineering
.
@elmedadeir
دو دستور
و
خیلی مورد استفاده هستند. ولی در کار با اونها به یک مورد باید دقت کنیم.
- داکر کامیت، وقتی استفاده میشه که می‌خواهیم از روی یک کانتینر در حال اجرا، یک ایمیج جدید بسازیم و بعدها ازش استفاده کنیم (عمومن در سیستم خودمون).
- داکر بیلد، وقتی استفاده میشه که بخواهیم از روی
(که مثل یک دستور پخت می‌مونه) یک ایمیج جدید بسازیم که قابلیت بازتولید داشته باشد، یعنی از روی ایمیج تولید شده، بتونیم در محیط‌های متفاوت دیگر، همون اپ رو تولید کنیم.
علما می‌فرمایند که داکر بیلد مخصوص تولید ایمیج‌های محیط‌های کار و پروداکشن هست، ولی داکر کامیت تنها باید در محیط‌های تست و توسعه بکار گرفته شود.
منبع تصویر:
Medium
.
#docker
.
@elmedadeir
docker commitو
docker buildخیلی مورد استفاده هستند. ولی در کار با اونها به یک مورد باید دقت کنیم.
- داکر کامیت، وقتی استفاده میشه که می‌خواهیم از روی یک کانتینر در حال اجرا، یک ایمیج جدید بسازیم و بعدها ازش استفاده کنیم (عمومن در سیستم خودمون).
- داکر بیلد، وقتی استفاده میشه که بخواهیم از روی
Dockerfile(که مثل یک دستور پخت می‌مونه) یک ایمیج جدید بسازیم که قابلیت بازتولید داشته باشد، یعنی از روی ایمیج تولید شده، بتونیم در محیط‌های متفاوت دیگر، همون اپ رو تولید کنیم.
علما می‌فرمایند که داکر بیلد مخصوص تولید ایمیج‌های محیط‌های کار و پروداکشن هست، ولی داکر کامیت تنها باید در محیط‌های تست و توسعه بکار گرفته شود.
منبع تصویر:
Medium
.
#docker
.
@elmedadeir
مهندسی داده و رایانش ابری
Voice message
data-engineering-aws-2nd.pdf
29.9 MB
کتابی که دوستمون در این فایل صوتی به اون اشاره می‌کنند، این هست. آخرین ورژن که ۲۰۲۳ روانه‌ی بازار شده.
@elmedadeir
@elmedadeir
دیتاوِرهوز رِدشیفت یا همون
Amazon Redshift
یکی از سرویس‌های مهم آمازون و البته جزو گرون‌ها هست.
اما نکته‌ی جالب در مورد ردشیفت اینه که، این ورهوز چیزی نیست جز یک فورک از دیتابیس پوستگرس یا همون
Postgresql.
البته بروبچه‌های آمازون بخش‌هایی از پوستگرس (storage engine) رو مجدد بازنویسی کردند که ردشیفت تبدیل بشه به یک سیستم
OLAP
چون خود پوستگرس یک دیتابیس
OLTP
هست و چنین خاصیتی مطلوب وِرهوزها نیست.
نتیجه: ابزارهای متن‌باز رو دست کم نباید گرفت.
نکته: دیتابیس‌های
OLTP
برای کارهای روزمره و کوئری‌ها سبک مناسب هستند ولی نوع
OLAP
برای تحلیل داده‌ها (عمومن پس از گذشت زمانی) بکار گرفته می‌شوند و خوراک کوئری‌های خفن و پیچیده هستند.
.
#aws #redshift #postgresql
.
@elmedadeir
Amazon Redshift
یکی از سرویس‌های مهم آمازون و البته جزو گرون‌ها هست.
اما نکته‌ی جالب در مورد ردشیفت اینه که، این ورهوز چیزی نیست جز یک فورک از دیتابیس پوستگرس یا همون
Postgresql.
البته بروبچه‌های آمازون بخش‌هایی از پوستگرس (storage engine) رو مجدد بازنویسی کردند که ردشیفت تبدیل بشه به یک سیستم
OLAP
چون خود پوستگرس یک دیتابیس
OLTP
هست و چنین خاصیتی مطلوب وِرهوزها نیست.
نتیجه: ابزارهای متن‌باز رو دست کم نباید گرفت.
نکته: دیتابیس‌های
OLTP
برای کارهای روزمره و کوئری‌ها سبک مناسب هستند ولی نوع
OLAP
برای تحلیل داده‌ها (عمومن پس از گذشت زمانی) بکار گرفته می‌شوند و خوراک کوئری‌های خفن و پیچیده هستند.
.
#aws #redshift #postgresql
.
@elmedadeir
✅ شنیدید که می‌گن
Keras
یک رَپِر یا همون
wrapper
برای تِنسورفلو هست؟ این یعنی چی؟
◀ از لحاظ لغوی، رَپِر چیزی هست که دور شی دیگری پیچیده میشه.
اما در دنیای کامپیوتر و به خصوص در مثال بالا، چون کار کردن با خود تنسورفلو اصولن برای کاربرهای معمولی سخت هست، اومدن یک‌سری کد نوشتن و شکل و شمایل کدهای اصلی تنسورفلو رو تغییر دادند. طوری که محیطی ایجاد بشه برای کاربر که کمتر وحشت بکنه، بقولی
user friendly
بشود. پس کراس همون تنسورفلو هست که کمی شکل و شمایلش رو بهتر کردند تا کاربر راحت‌تر بتونه باهاش کار کنه و ارتباط بگیره. دقیقن مثل یک شکلات که اونو داخل یک بسته‌بندی شیک قرار می‌دن که باحال‌تر بنظر بیاد.
@elmedadeir
Keras
یک رَپِر یا همون
wrapper
برای تِنسورفلو هست؟ این یعنی چی؟
◀ از لحاظ لغوی، رَپِر چیزی هست که دور شی دیگری پیچیده میشه.
اما در دنیای کامپیوتر و به خصوص در مثال بالا، چون کار کردن با خود تنسورفلو اصولن برای کاربرهای معمولی سخت هست، اومدن یک‌سری کد نوشتن و شکل و شمایل کدهای اصلی تنسورفلو رو تغییر دادند. طوری که محیطی ایجاد بشه برای کاربر که کمتر وحشت بکنه، بقولی
user friendly
بشود. پس کراس همون تنسورفلو هست که کمی شکل و شمایلش رو بهتر کردند تا کاربر راحت‌تر بتونه باهاش کار کنه و ارتباط بگیره. دقیقن مثل یک شکلات که اونو داخل یک بسته‌بندی شیک قرار می‌دن که باحال‌تر بنظر بیاد.
@elmedadeir
✅ طرف اکانت AWS ساخته، مدتی رهاش کرده. یکهو فهمیده حسابش ۲۵۰۰ دلار شارژ شده. هکرهای مهربون بازم حال دادن به این مقدار بسنده کردند 😎.
واقعن شوخی نیست. حتمن MFA یا همون ورود چند مرحله‌ای یا
Multi Factor Authentication
رو برای اکانت‌هاتون فعال کنید. یک اعلان هم باید تنظیم کنیم که اگر مصرف‌مون از حدی بالاتر رفت، بما اخطار ایمیلی بدهند. اینجوری احتمال زیاد شارژ شدنمون، کاهش پیدا می‌کنه.
پی‌نوشت: در این مواقع، چون از طریق پنل ما مصرف صورت گرفته، بعید می‌دونم آمازون ببخشه و مبلغ رو برگردونه.
.
@elmedadeir
واقعن شوخی نیست. حتمن MFA یا همون ورود چند مرحله‌ای یا
Multi Factor Authentication
رو برای اکانت‌هاتون فعال کنید. یک اعلان هم باید تنظیم کنیم که اگر مصرف‌مون از حدی بالاتر رفت، بما اخطار ایمیلی بدهند. اینجوری احتمال زیاد شارژ شدنمون، کاهش پیدا می‌کنه.
پی‌نوشت: در این مواقع، چون از طریق پنل ما مصرف صورت گرفته، بعید می‌دونم آمازون ببخشه و مبلغ رو برگردونه.
.
@elmedadeir
«دوره آموزشی کوتاه مدت»
✅ مهندسی داده با پایتون و اس.کیو.ال. برای مبتدیان
✅ سرفصل‌های دوره:
🛑 Python
🛑 SQL Server Integration Services (SSIS)
🛑 Postgresql
🛑 Application Programming Interface (API)
🛑 Postman
مدت دوره: 5 ساعت
مدرس: علی محمدی
پیش‌نیازها: یک دانش مقدماتی از کامپیوتر
گروه هدف: تمامی علاقمندان به دنیای مهندسی داده
مبلغ سرمایه گذاری: 549 تومان
لینک ثبت‌نام:
https://www.m-fozouni.ir/de/
.
@elmedadeir
✅ مهندسی داده با پایتون و اس.کیو.ال. برای مبتدیان
✅ سرفصل‌های دوره:
🛑 Python
🛑 SQL Server Integration Services (SSIS)
🛑 Postgresql
🛑 Application Programming Interface (API)
🛑 Postman
مدت دوره: 5 ساعت
مدرس: علی محمدی
پیش‌نیازها: یک دانش مقدماتی از کامپیوتر
گروه هدف: تمامی علاقمندان به دنیای مهندسی داده
مبلغ سرمایه گذاری: 549 تومان
لینک ثبت‌نام:
https://www.m-fozouni.ir/de/
.
@elmedadeir
بالاخره، یک روزی، یک جایی و به یک بهانه‌ای، جاوا یقه‌مون رو می‌گیره و می‌گه که
«دهانت مورد عنایت قرار گرفت. باید دم منو ببینی»
چیز عجیبیه واقعن این جاوا. با پایتان (بقول بچه باکلاسا) همه کار نمیشه کرد، خصوصن در مقیاس‌های بزرگ. حالا از ما گفتن بود 😎😉.
.
@elmedadeir
«دهانت مورد عنایت قرار گرفت. باید دم منو ببینی»
چیز عجیبیه واقعن این جاوا. با پایتان (بقول بچه باکلاسا) همه کار نمیشه کرد، خصوصن در مقیاس‌های بزرگ. حالا از ما گفتن بود 😎😉.
.
@elmedadeir
یک سرور گرفتم برای کار با چندتا سرویس خارجی حساس. به سرویس‌ها که وصل می‌شدم، خطاهای عجیب و غریبی می‌گرفتم. متوجه شدم مشکل از آی.پی. سرور من بوده. چطور؟
من سرور آلمان گرفتم اما در چندتا سایتِ مخصوصِ چک کردن
DNS & IP
که رفتم و چک کردم، دیدم موقعیت رو آمریکا نشون میده. فهمیدم که این آی.پی.ها توسط شرکت آلمانی بتازگی خریداری شده و پیش از این در اختیار یک شرکت آمریکایی بوده. تا دیتابیس‌ها در سطح دنیا بیان آپدیت بشن هم مدتی طول می‌کشه. برای همین ترافیکی که از جانب ما می‌ره سمت سرورهای اونها، ترافیک مشکوک محسوب میشه.
پس کاملن طبیعی بود که اون سرویس‌های حساس که ابتدای داستان گفتم، باید لگدپراکنی بکنند، چون مخ‌شون هنگ کرده که این کیه 😎😂.
نتیجه: آی.پی. خوب و تمیز خیلی کمیاب شده و برای کار با سرویس‌های حساس، قبل از ورود به حساب کاربری، چندبار آی.پی. رو چک کنید.
.
@elmedadeir
من سرور آلمان گرفتم اما در چندتا سایتِ مخصوصِ چک کردن
DNS & IP
که رفتم و چک کردم، دیدم موقعیت رو آمریکا نشون میده. فهمیدم که این آی.پی.ها توسط شرکت آلمانی بتازگی خریداری شده و پیش از این در اختیار یک شرکت آمریکایی بوده. تا دیتابیس‌ها در سطح دنیا بیان آپدیت بشن هم مدتی طول می‌کشه. برای همین ترافیکی که از جانب ما می‌ره سمت سرورهای اونها، ترافیک مشکوک محسوب میشه.
پس کاملن طبیعی بود که اون سرویس‌های حساس که ابتدای داستان گفتم، باید لگدپراکنی بکنند، چون مخ‌شون هنگ کرده که این کیه 😎😂.
نتیجه: آی.پی. خوب و تمیز خیلی کمیاب شده و برای کار با سرویس‌های حساس، قبل از ورود به حساب کاربری، چندبار آی.پی. رو چک کنید.
.
@elmedadeir
🔴 امروز متوجه شدم که قیمت لپ‌تاپ تو اروپا، بخاطر بحث مالیات، دو برابر ایران تموم میشه.
پس اگر قصد مهاجرت یا سفر دارید، لپ‌تاپ رو از ایران بخرید. حتی اگر قصد دارید بیایید ایران، از خارج کشور، نخرید.
این تجربه‌ی بچه‌های ما بوده که جدیدن خرید داشتند و قیمت‌ها رو مقایسه کردند.
پی‌نوشت: سپاس از مصطفی و نرگس. صرفن جهت یک اطلاع‌رسانی بود به بر و بچ وطنی.
.
@elmedadeir
پس اگر قصد مهاجرت یا سفر دارید، لپ‌تاپ رو از ایران بخرید. حتی اگر قصد دارید بیایید ایران، از خارج کشور، نخرید.
این تجربه‌ی بچه‌های ما بوده که جدیدن خرید داشتند و قیمت‌ها رو مقایسه کردند.
پی‌نوشت: سپاس از مصطفی و نرگس. صرفن جهت یک اطلاع‌رسانی بود به بر و بچ وطنی.
.
@elmedadeir