یکی از مواردی که در دنیای مهندسی دیتا داریم (البته زیاد رخ نمی‌ده) بحث مهاجرت (انتقال) دیتا یا
Data Migration

هست. مثلن فرض کنید از یک دیتابیس (SQL server) می‌خواهیم بریم به یک دیتابیس دیگه (Snowflake). هر چقدر هم که دو دیتابیس از لحاظ ساختاری شبیه به هم باشند ولی چون بحث اسکیما بین اونها متفاوت هست خیلی باید با دقت انتقال رو انجام بدهیم. مثلن در ابتدا روی یک دیتای آزمایشی انتقال رو انجام بدهیم و تغییرات اسکیما رو ببینیم، تمهیدات لازم رو انجام بدیم و بعد بریم تو فاز انتقال دادهای اصلی.

البته چالش اصلی انتقال داده نیست. وصل کردن خطوط انتقال داده (Data Pipelines) از دیتابیس قدیمی به دیتابیس جدید بیشترین دردسرها رو با خودش همراه داره.

حالا اینجاست که نقش
Data Orchestration Systems

یا همون سیستم‌های هماهنگ کننده‌ی داده بخوبی خودش رو نشون میده. چون تمام این دردسرها دیگه بعهده‌ی اونهاست، همه کار رو انجام می‌دهند. در واقع در این مواقع می‌گن «چیزی رو که اختراع کردند و انجام دادن، تو نباید دوباره اختراع کنی».

یکی از این فریم‌ورک‌ها، آلوکسیو هست
https://www.alluxio.io/

که از دانشگاه برکلی کارش آغاز شد. آلوکسیو سعی می‌کنه تا حد ممکن، بخش محاسبات و ذخیره رو برای انجام کارهای دیتایی، از هم جدا کنه. در نتیجه بیشترین توان برای مدیریت و پردازش داده‌های حجیم در اختیار تیم تحلیل قرار بگیره. آلوکسیو در واقع یک لایه بین دیتابیس و پردازش‌گر ایجاد می‌کنه.

با آلوکسیو، هر دیتایی، با هر حجمی، از هر جای کره‌ی زمین که روی هر پلت‌فرمی و به هر شکلی که ذخیره شده باشه، براحتی قابل مدیریت و دسترسی هست. پرفکت و محشر!
.
#data_engineering
#alluxio
#data_migration
#sql
#snowflake
.
@elmedadeir

✅ دوره جامع SQL برای علم داده و مهندسی داده در 7 ساعت؛ از مقدماتی تا پیشرفته

✅ مدرس: دکتر محمد فزونی

✅ هزینه: کاملن رایگان

✅ پلت‌فرم: یوتیوب

🛑🛑🛑 لینک مشاهده 🛑🛑🛑
.
#sql
#postgres
#database
#RDBMS
==============
.
@elmedadeir
🚀مهندسی داده و رایانش ابری🚀
.
مقالات‌ || اینستاگرام || لینکدین || یوتیوب || چهارمین دوره مهندسی داده