Google Data Engineering Cheatsheet.pdf
978.9 KB
🟢 خلاصه‌ای از کورس مهندسی داده‌ی گوگل، بسیار کاربردی و جالب 👌👌👌
.
@elmedadeir
.
#data_engineering
#google
.
@elmedadeir
.
#data_engineering
Joe_Reis,_Matt_Housley_Fundamentals_of_Data_Engineering_Plan_and.pdf
8.5 MB
🟩 یک کتاب فوق‌العاده در خصوص مهندسی داده.
🟥 البته کتاب زیاد هست در سطح نت و الکی دانلود یا ذخیره نکنید. فقط اگر قصد و وقتش رو دارین که بخونین، برید سمتش.
🟩 هیچ چیزی مثل کتاب، عمق به دانش ما نخواهد داد.
🛑 علی‌رغم اینکه اینقدر در خصوص دیتا و پروژه‌های پر سودش می‌شنویم، هنوز خیلی از موسسات و شرکت‌ها وارد چنین دنیایی نشدند و قطعن از مرحله‌ای به بعد نیاز به تعداد بسیار زیادی مهندس داده داریم تا بستر رو برای متخصصین داده فراهم کنند. برای همین هم، مهندسی داده رو خیلی جدی بگیرید.
.
@elmedadeir
#book
#data_engineering
🟥 البته کتاب زیاد هست در سطح نت و الکی دانلود یا ذخیره نکنید. فقط اگر قصد و وقتش رو دارین که بخونین، برید سمتش.
🟩 هیچ چیزی مثل کتاب، عمق به دانش ما نخواهد داد.
🛑 علی‌رغم اینکه اینقدر در خصوص دیتا و پروژه‌های پر سودش می‌شنویم، هنوز خیلی از موسسات و شرکت‌ها وارد چنین دنیایی نشدند و قطعن از مرحله‌ای به بعد نیاز به تعداد بسیار زیادی مهندس داده داریم تا بستر رو برای متخصصین داده فراهم کنند. برای همین هم، مهندسی داده رو خیلی جدی بگیرید.
.
@elmedadeir
#book
#data_engineering
🟢 معرفی دوتا کورس برای یادگیری مهندسی داده یا
Data Engineering
دوره اول: یک دوره‌ی آموزشی مقدماتی از دیتاکمپ 👇
Course 1- https://www.datacamp.com/courses/introduction-to-data-engineering
دوره دوم: کورس دوم بازهم از دیتاکمپ که تقریبن یک پروژه‌ی ۴ ساعته‌ی مهندسی داده با پایتون و پای‌اسپارک رو آموزش میده 👇
Course 2- https://www.datacamp.com/courses/building-data-engineering-pipelines-in-python
.
🔴 این دو کورس، در مجموع هشت ساعت آموزش بیشتر نیست ولی مفاهیم بسیاری رو پوشش می‌دهند.
🔴 دیتاکمپ، نسبت به ایرانی‌ها و به بهانه‌ی تحریم، خیلی فاشیستی عمل می‌کنه. پس حتمن از وی.پی.ان. یا شکن استفاده کنید. سایت شکن 👇
Proxy (indeed DNS changer): https://shecan.ir/
🔴 مجموعه‌های آموزشی دیتاکمپ رو، تا جایی که من می‌دونم، نمیشه از جای خاصی بطور رایگان دانلود کرد. برای دسترسی باید اکانت دیتاکمپ که برخی از سایت‌های ایرانی می‌فروشند رو بخرید، گرون هم نیست، تقریبن هشتاد تومان هست. سایت زیر یک نمونه از این فروشنده‌هاست، خودتون هم می‌تونید جستجو کنید 👇
Buy account: https://midnight-shop.ir/product/%D8%A7%DA%A9%D8%A7%D9%86%D8%AA-%D9%BE%D8%B1%D9%85%DB%8C%D9%88%D9%85-datacamp/
معرفی کتاب: اگر شما جزو افرادی هستید که با کتاب بهتر یاد می‌گیرید، عنوانی که در لینک زیر هست رو بشخصه می‌پسندم و توصیه می‌کنم. در این کتاب چهار چوب اساسی کار خیلی خوب شرح داده میشه. لازم به ذکر است که نویسندگان این اثر فاخر، در ابتدا دیتاساینتیست بودند و به مرور زمان و با توجه به نیاز بازار، به این سمت تغییر مسیر دادند
Book: https://www.oreilly.com/library/view/fundamentals-of-data/9781098108298/
کتاب فوق رو در کانال تلگرام علم داده در آدرس زیر می‌تونید دانلود کنید
Download: https://t.me/elmedadeir/855
⁉️ سوالی بود در قسمت کامنت بپرسید. حس و وقت باشه 😬😃😉 و اگر پاسخ رو بدونم، حتمن می‌گم بشما
.
@elmedadeir
.
#data_engineering
.
Data Engineering
دوره اول: یک دوره‌ی آموزشی مقدماتی از دیتاکمپ 👇
Course 1- https://www.datacamp.com/courses/introduction-to-data-engineering
دوره دوم: کورس دوم بازهم از دیتاکمپ که تقریبن یک پروژه‌ی ۴ ساعته‌ی مهندسی داده با پایتون و پای‌اسپارک رو آموزش میده 👇
Course 2- https://www.datacamp.com/courses/building-data-engineering-pipelines-in-python
.
🔴 این دو کورس، در مجموع هشت ساعت آموزش بیشتر نیست ولی مفاهیم بسیاری رو پوشش می‌دهند.
🔴 دیتاکمپ، نسبت به ایرانی‌ها و به بهانه‌ی تحریم، خیلی فاشیستی عمل می‌کنه. پس حتمن از وی.پی.ان. یا شکن استفاده کنید. سایت شکن 👇
Proxy (indeed DNS changer): https://shecan.ir/
🔴 مجموعه‌های آموزشی دیتاکمپ رو، تا جایی که من می‌دونم، نمیشه از جای خاصی بطور رایگان دانلود کرد. برای دسترسی باید اکانت دیتاکمپ که برخی از سایت‌های ایرانی می‌فروشند رو بخرید، گرون هم نیست، تقریبن هشتاد تومان هست. سایت زیر یک نمونه از این فروشنده‌هاست، خودتون هم می‌تونید جستجو کنید 👇
Buy account: https://midnight-shop.ir/product/%D8%A7%DA%A9%D8%A7%D9%86%D8%AA-%D9%BE%D8%B1%D9%85%DB%8C%D9%88%D9%85-datacamp/
معرفی کتاب: اگر شما جزو افرادی هستید که با کتاب بهتر یاد می‌گیرید، عنوانی که در لینک زیر هست رو بشخصه می‌پسندم و توصیه می‌کنم. در این کتاب چهار چوب اساسی کار خیلی خوب شرح داده میشه. لازم به ذکر است که نویسندگان این اثر فاخر، در ابتدا دیتاساینتیست بودند و به مرور زمان و با توجه به نیاز بازار، به این سمت تغییر مسیر دادند
Book: https://www.oreilly.com/library/view/fundamentals-of-data/9781098108298/
کتاب فوق رو در کانال تلگرام علم داده در آدرس زیر می‌تونید دانلود کنید
Download: https://t.me/elmedadeir/855
⁉️ سوالی بود در قسمت کامنت بپرسید. حس و وقت باشه 😬😃😉 و اگر پاسخ رو بدونم، حتمن می‌گم بشما
.
@elmedadeir
.
#data_engineering
.
مهندسی داده و رایانش ابری
🟢 معرفی دوتا کورس برای یادگیری مهندسی داده یا Data Engineering دوره اول: یک دوره‌ی آموزشی مقدماتی از دیتاکمپ 👇 Course 1- https://www.datacamp.com/courses/introduction-to-data-engineering دوره دوم: کورس دوم بازهم از دیتاکمپ که تقریبن یک پروژه‌ی ۴ ساعته‌ی…
دوستان عزیز، این پست تلگرامی رو تبدیلش کردیم به یک پست کامل‌تر در سایت که در اونجا چهار کورس خیلی خوب از مهندسی داده در یوتیوب رو برای سال ۲۰۲۳ معرفی کردیم. در صورت تمایل می‌تونید مراجعه کرده و کانال‌ها و ویدیوهای پیشنهادی رو برای خودتون ذخیره کنید
https://www.m-fozouni.ir/courses-and-book-in-data-engineering/
.
#data_engineering
.
@elmedadeir
https://www.m-fozouni.ir/courses-and-book-in-data-engineering/
.
#data_engineering
.
@elmedadeir
دکتر محمد فزونی
مهندسی داده چیست؟ همراه با معرفی کورس و کتاب
بطور بسیار ساده وظیفه‌ی این افراد، آماده‌سازی بستر مناسب برای کار اشخاصی است که از داده‌های مجموعه قصد بهره‌برداری را دارند.
Data.Engineering.Essential.Training.for.Data.zip
143.8 MB
🔴 کورس آموزشی مبانی مهندسی داده از لیندا (Lynda). لیندا در سال ۲۰۱۵ توسط لینکدین که بزرگ شبکه‌ی اجتماعی متخصصان هست، خریداری شده.
این دوره آموزشی فقط در یک ساعت به ارایه‌ی مبانی مهندسی داده می‌پردازد. آشنایی مقدماتی با هدوپ ضروری است.
زبان کورس: انگلیسی
.
@elmedadeir
#data_engineering
#lynda
🔴 کورس آموزشی مبانی مهندسی داده از لیندا (Lynda). لیندا در سال ۲۰۱۵ توسط لینکدین که بزرگ شبکه‌ی اجتماعی متخصصان هست، خریداری شده.
این دوره آموزشی فقط در یک ساعت به ارایه‌ی مبانی مهندسی داده می‌پردازد. آشنایی مقدماتی با هدوپ ضروری است.
زبان کورس: انگلیسی
.
@elmedadeir
#data_engineering
#lynda
یکی از مواردی که در دنیای مهندسی دیتا داریم (البته زیاد رخ نمی‌ده) بحث مهاجرت (انتقال) دیتا یا
Data Migration
هست. مثلن فرض کنید از یک دیتابیس (SQL server) می‌خواهیم بریم به یک دیتابیس دیگه (Snowflake). هر چقدر هم که دو دیتابیس از لحاظ ساختاری شبیه به هم باشند ولی چون بحث اسکیما بین اونها متفاوت هست خیلی باید با دقت انتقال رو انجام بدهیم. مثلن در ابتدا روی یک دیتای آزمایشی انتقال رو انجام بدهیم و تغییرات اسکیما رو ببینیم، تمهیدات لازم رو انجام بدیم و بعد بریم تو فاز انتقال دادهای اصلی.
البته چالش اصلی انتقال داده نیست. وصل کردن خطوط انتقال داده (Data Pipelines) از دیتابیس قدیمی به دیتابیس جدید بیشترین دردسرها رو با خودش همراه داره.
حالا اینجاست که نقش
Data Orchestration Systems
یا همون سیستم‌های هماهنگ کننده‌ی داده بخوبی خودش رو نشون میده. چون تمام این دردسرها دیگه بعهده‌ی اونهاست، همه کار رو انجام می‌دهند. در واقع در این مواقع می‌گن «چیزی رو که اختراع کردند و انجام دادن، تو نباید دوباره اختراع کنی».
یکی از این فریم‌ورک‌ها، آلوکسیو هست
https://www.alluxio.io/
که از دانشگاه برکلی کارش آغاز شد. آلوکسیو سعی می‌کنه تا حد ممکن، بخش محاسبات و ذخیره رو برای انجام کارهای دیتایی، از هم جدا کنه. در نتیجه بیشترین توان برای مدیریت و پردازش داده‌های حجیم در اختیار تیم تحلیل قرار بگیره. آلوکسیو در واقع یک لایه بین دیتابیس و پردازش‌گر ایجاد می‌کنه.
با آلوکسیو، هر دیتایی، با هر حجمی، از هر جای کره‌ی زمین که روی هر پلت‌فرمی و به هر شکلی که ذخیره شده باشه، براحتی قابل مدیریت و دسترسی هست. پرفکت و محشر!
.
#data_engineering
#alluxio
#data_migration
#sql
#snowflake
.
@elmedadeir
Data Migration
هست. مثلن فرض کنید از یک دیتابیس (SQL server) می‌خواهیم بریم به یک دیتابیس دیگه (Snowflake). هر چقدر هم که دو دیتابیس از لحاظ ساختاری شبیه به هم باشند ولی چون بحث اسکیما بین اونها متفاوت هست خیلی باید با دقت انتقال رو انجام بدهیم. مثلن در ابتدا روی یک دیتای آزمایشی انتقال رو انجام بدهیم و تغییرات اسکیما رو ببینیم، تمهیدات لازم رو انجام بدیم و بعد بریم تو فاز انتقال دادهای اصلی.
البته چالش اصلی انتقال داده نیست. وصل کردن خطوط انتقال داده (Data Pipelines) از دیتابیس قدیمی به دیتابیس جدید بیشترین دردسرها رو با خودش همراه داره.
حالا اینجاست که نقش
Data Orchestration Systems
یا همون سیستم‌های هماهنگ کننده‌ی داده بخوبی خودش رو نشون میده. چون تمام این دردسرها دیگه بعهده‌ی اونهاست، همه کار رو انجام می‌دهند. در واقع در این مواقع می‌گن «چیزی رو که اختراع کردند و انجام دادن، تو نباید دوباره اختراع کنی».
یکی از این فریم‌ورک‌ها، آلوکسیو هست
https://www.alluxio.io/
که از دانشگاه برکلی کارش آغاز شد. آلوکسیو سعی می‌کنه تا حد ممکن، بخش محاسبات و ذخیره رو برای انجام کارهای دیتایی، از هم جدا کنه. در نتیجه بیشترین توان برای مدیریت و پردازش داده‌های حجیم در اختیار تیم تحلیل قرار بگیره. آلوکسیو در واقع یک لایه بین دیتابیس و پردازش‌گر ایجاد می‌کنه.
با آلوکسیو، هر دیتایی، با هر حجمی، از هر جای کره‌ی زمین که روی هر پلت‌فرمی و به هر شکلی که ذخیره شده باشه، براحتی قابل مدیریت و دسترسی هست. پرفکت و محشر!
.
#data_engineering
#alluxio
#data_migration
#sql
#snowflake
.
@elmedadeir
ای‌تی‌ال هم می‌تونه قبل از ورهوز باشه و هم بعدش.
در حالت اول، دیتا رو از منبع یا سرچشمه‌ی دیتا می‌گیریم و بعد از انجام فرایند‌هایی، اونها رو می‌ریزیم داخل ورهوز.
در حالت دوم، منبع ما میشه، ورهوز و از اونجا داده رو به بخش‌های دیگه لود می‌کنیم.
.
#data_engineering
.
@elmedadeir
در حالت اول، دیتا رو از منبع یا سرچشمه‌ی دیتا می‌گیریم و بعد از انجام فرایند‌هایی، اونها رو می‌ریزیم داخل ورهوز.
در حالت دوم، منبع ما میشه، ورهوز و از اونجا داده رو به بخش‌های دیگه لود می‌کنیم.
.
#data_engineering
.
@elmedadeir
Translating_a_Distributed_Relational_Database_to_a_Document_Database.pdf
2.1 MB
مقاله:
انتقال داده از دیتابیس‌های رابطه‌ای به بدون‌ساختارها
این کار خیلی حال و هوای مهندسی داده رو داره. نویسندگان روس هستند و مجله، مجله‌ی بسیار خوبی هست. در این مقاله سعی شده که به یک سوال باز در دنیای دیتابیس‌ها پاسخ بدهند. نحوه‌ی برخورد با مسئله، در واقع، کمک گرفتن از مباحث نظریه‌ی گراف‌هاست.
در پایان مقاله، نتایج برای انتقال مقداری داده از SQL به MongoDB گزارش شده و مقایسه می‌گردند.
این اثر، برای پایان‌نامه‌ی ارشد یا حتی شروع کار پژوهشی برای دانشجویان دکتری، فوق‌العاده خوب و مفید است.
.
#paper
#data_engineering
.
@elmedadeir
انتقال داده از دیتابیس‌های رابطه‌ای به بدون‌ساختارها
این کار خیلی حال و هوای مهندسی داده رو داره. نویسندگان روس هستند و مجله، مجله‌ی بسیار خوبی هست. در این مقاله سعی شده که به یک سوال باز در دنیای دیتابیس‌ها پاسخ بدهند. نحوه‌ی برخورد با مسئله، در واقع، کمک گرفتن از مباحث نظریه‌ی گراف‌هاست.
در پایان مقاله، نتایج برای انتقال مقداری داده از SQL به MongoDB گزارش شده و مقایسه می‌گردند.
این اثر، برای پایان‌نامه‌ی ارشد یا حتی شروع کار پژوهشی برای دانشجویان دکتری، فوق‌العاده خوب و مفید است.
.
#paper
#data_engineering
.
@elmedadeir
🟢 تجربه‌ی یکی از شرکت‌کنندگان در آزمون
AWS certified Data Engineer
که در آزمون بتا شرکت کردند. گوش بدین کامل. نکات مفیدی داخلش داره.
.
#aws, #data_engineering
.
@elmedadeir
AWS certified Data Engineer
که در آزمون بتا شرکت کردند. گوش بدین کامل. نکات مفیدی داخلش داره.
.
#aws, #data_engineering
.
@elmedadeir
🚀 چهارمین دوره‌ی آموزشی «مهندسی داده»
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir
Forwarded from مهندسی داده و رایانش ابری (Elmedade Support)
🚀 چهارمین دوره‌ی آموزشی «مهندسی داده»
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
🎁 کد تخفیف 20 درصدی ثبت‌نام زودهنگام: de4
(کد فوق مبلغ 690/000 از هزینه دوره را کاهش خواهد داد و تنها برای 15 نفر قابل استفاده می‌باشد)
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
🎁 کد تخفیف 20 درصدی ثبت‌نام زودهنگام: de4
(کد فوق مبلغ 690/000 از هزینه دوره را کاهش خواهد داد و تنها برای 15 نفر قابل استفاده می‌باشد)
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir
This media is not supported in your browser
VIEW IN TELEGRAM
برای مشاهده‌ی توضیحات تکمیلی و بررسی دقیق‌تر سرفصل‌ها به لینک زیر مراجعه نمایید
https://m-fozouni.ir/de4
...........................
🔴 یادگیری و تداوم در آن، رمز موفقیت در راهِ رسیدن به اهداف‌مان هست.
...........................
#data_engineering
#مهندسی_داده
...........................
@elmedadeir
https://m-fozouni.ir/de4
...........................
🔴 یادگیری و تداوم در آن، رمز موفقیت در راهِ رسیدن به اهداف‌مان هست.
...........................
#data_engineering
#مهندسی_داده
...........................
@elmedadeir
Forwarded from مهندسی داده و رایانش ابری (Elmedade Support)
🚀 چهارمین دوره‌ی آموزشی «مهندسی داده»
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir
📆 شروع: ۱۵ فروردین‌ماه ۱۴۰۳
🗣 مدرس: دکتر محمد فزونی
🧭 تعداد جلسات و ساعت دوره: 30 جلسه 37 ساعت
💻 نحوه برگزاری: ترکیبی: ویدیوهای ضبط شده و جلسات آنلاین
💰 هزینه ثبت‌نام: 3/450/000 تومان
📕 سرفصل‌ها:
Linux, HDFS, Docker, Java, Git, Postgresql, Airflow, Kafka, Spark, Kubernetes
🎡 تفاوت این دوره با سه دوره‌ی گذشته: عمیق‌تر شدن در سرفصل‌های کار با کافکا و اسپارک
🛒 لینک ثبت‌نام و توضیحات مدرس بصورت ویدیویی:
▶️ https://www.m-fozouni.ir/de4
.
#data_engineering
.
@elmedadeir