‍ 📌📌 معرفی ابزار: InfluxDB

🖌 پایگاه داده InfluxDB یک پایگاه داده سری زمانی متن باز (TSDB) است که توسط شرکت InfluxData توسعه یافته است. این پایگاه داده با استفاده از زبان برنامه نویسی Go برای ذخیره و بازیابی داده‌های سری زمانی با کاربردهایی مانند پایش عملیات، داده‌های حسگرهای اینترنت اشیا و تحلیل‌گری بلادرنگ نوشته شده است.

✳️ به طور کلی پایگاه داده‌های سری زمانی شامل اندازه‌گیری‌ها یا رویدادهایی است که تحت پایش، ردیابی و پالایش داده‌ها شامل نمونه‌برداری و جمع‌آوری در طول زمان قرار می‌گیرند و بنابراین می‌توانند شامل داده‌های نظارت بر اپلیکیشن‌ها، داده‌های مربوط به حسگرها، داده‌های معاملات بازار و بورس اوراق بهادار باشند. پایگاه داده سری زمانی قادر به دریافت میلیون‌ها نقطه داده در ثانیه است که بر این اساس عملکرد سطح بالایی را ارائه می‌دهد.

♦️ بنابراین با استفاده از InfluxDB، اپلیکیشن‌های بلادرنگ برای تحلیل‌گری، اینترنت اشیا و سرویس‌های ابری بومی (cloud-native) در زمان کمتر و با کد کمتر قابل دستیابی است. همچنین InfluxDB دارای یک زبان پرس و جو (کوئری) از نوع SQL است که به طور خاص برای داده‌های سری زمانی ایجاد شده است.

📍مفاهیم پایه در InfluxDB عبارتند از:

1️⃣ اندازه‌گیری (measurement): اندازه‌گیری تقریباً معادل مفهوم جدول در پایگاه‌های داده رابطه‌ای است. بنابراین داده‌ها در آن ذخیره می‌شود و پایگاه داده می‌تواند چندین اندازه‌گیری داشته باشد. یک اندازه گیری از 3 نوع ستون Time، Tags و Fields تشکیل شده است.

2️⃣ زمان: یکی دیگر از اجزای این پایگاه داده زمان است که به صورت timestamp جهت ردیابی ستون برای انجام عملیات سری زمانی به روشی بهتر مورد استفاده قرار می‌گیرد. به طور پیش‌فرض زمان مورد استفاده، زمان Influxdb است که بر حسب نانوثانیه می‌باشد، اما می‌توان آن را با زمان رویداد جایگزین کرد.

3️⃣ برچسب‌ها: یک برچسب شبیه به یک ستون ایندکس شده در یک پایگاه داده رابطه‌ای است. نکته مهمی که در این خصوص وجود دارد این است که عملیات رابطه‌ای مانند WHERE، GROUP BY و غیره را می‌توان بر روی یک ستون تنها در صورتی انجام داد که به عنوان یک برچسب مشخص شده باشد.

4️⃣ فیلدها: فیلدها ستون‌هایی هستند که عملیات ریاضی مانند مجموع، میانگین و غیره را می‌توان بر روی آنها انجام داد. با این حال، در نسخه های اخیر، مقادیر به صورت رشته را نیز می‌توان به عنوان یک فیلد ذخیره کرد.

5️⃣ سری‌ها: سری‌ها مهم‌ترین مفهوم Influxdb هستند. یک سری ترکیبی از برچسب‌ها، اندازه‌گیری و سیاست نگهداشت است. عملکرد پایگاه داده Influxdb به شدت به تعداد سری‌های منحصر به فرد آن بستگی دارد.

📍با توجه به اینکه Spark از متداول‌ترین ابزارهای متن باز در زمینه پردازش داده‌های عظیم است، پایگاه داده InfluxDB می‌تواند به همراه جریان با ساختار اسپارک برای پردازش، ذخیره و مصورسازی داده‌ها به صورت بلادرنگ مورد استفاده گیرد. در حال حاضر دو پیاده‌سازی متن باز از InfluxDb sink برای نوشتن داده‌ها از طریق جریان ساختاریافته، chronicler و reactive-influx وجود دارد. همچنین با ذخیره داده می‌توان از ابزارهای مختلفی مانند Grafana و Chronograph و غیره برای مصورسازی آن استفاده نمود.

❇️ برای دانلود می‌توانید به سایت زیر مراجعه فرمایید:
🔗 https://www.influxdata.com


#معرفی_ابزار
#InfluxDB
#سری_زمانی
#داده‌های_عظیم
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌معرفی ابزار: Apache Accumulo

🖌ابزار Apache Accumulo یک ابزار ذخیره‌سازی کلید/مقدار توزیع شده و مرتب شده است که ذخیره‌سازی و بازیابی داده‌ها به صورت پایدار و مقیاس‌پذیر را فراهم می‌کند. با استفاده از این ابزار، کاربران می‌توانند مجموعه‌ داده‌های عظیم را در یک خوشه ذخیره و مدیریت کنند. Accumulo از HDFS آپاچی هدوپ برای ذخیره داده‌ها و از آپاچی زوکیپر برای هماهنگی استفاده می‌کند. بنابراین Accumulo به اجرای زوکیپر و HDFS نیاز دارد که باید قبل از پیکربندی Accumulo تنظیم شوند. در حالی که بسیاری از کاربران مستقیماً با Accumulo تعامل دارند، پروژه‌های منبع باز مختلفی از Accumulo به عنوان ابزار ذخیره‌سازی اصلی خود استفاده می‌کنند.
✳️ ویژگی‌های اصلی:
♦️برنامه‌نویسی سمت سرور: Accumulo دارای یک مکانیسم برنامه‌نویسی به نام Iterators است که می‌تواند زوج‌های کلید/مقدار را در نقاط مختلف فرآیند مدیریت داده تغییر دهد.
♦️ کنترل دسترسی مبتنی بر سلول: هر زوج کلید/مقدار دارای برچسب امنیتی خاص خود است که نتایج کوئری را بر اساس مجوزهای کاربر محدود می‌کند.
♦️برای مقیاس‌پذیری طراحی شده است: Accumulo روی یک خوشه با استفاده از یک یا چند نمونه HDFS اجرا می‌شود. گره‌ها را می‌توان با تغییر مقدار داده‌های ذخیره شده در Accumulo اضافه یا حذف کرد.
♦️ پایدار: دارای یک کلاینت API پایدار است. هر نسخه Accumulo تست‌های گسترده‌ای را پشت سر می‌گذارد.

✳️ طراحی Apache Accumulo از BigTable گوگل الهام گرفته شده است. Accumulo یک دیتامدل غنی‌تر از ذخیره‌سازی ساده کلید/مقدار ارائه می‌کند، اما یک پایگاه داده کاملاً رابطه‌ای نیست. داده‌ها به صورت زوج کلید/مقدار نمایش داده می‌شوند که در آن کلید و مقدار از عناصر مختلفی تشکیل می‌شوند. همه عناصر کلید و مقدار، به جز Timestamp که به صورت long است، به‌عنوان آرایه‌های بایتی نشان داده می‌شوند.
📍یک نمونه از Accumulo شامل تعداد زیادی TabletServer، یک فرآیند زباله‌روبی، یک سرور مدیر و تعداد زیادی کلاینت است.
♦️ تبلت سرور: زیرمجموعه‌ای از تمام تبلت‌ها (پارتیشن‌هایی از جداول) را مدیریت می‌کند.
♦️زباله روب (garbage collector): فرآیندهای Accumulo فایل‌های ذخیره شده در HDFS را به اشتراک خواهند گذاشت. در فرآیند زباله‌روبی، به صورت دوره‌ای، فایل‌هایی که دیگر توسط هیچ فرآیندی مورد نیاز نمی‌باشند، شناسایی و حذف می‌شوند.
♦️سرور مدیر: مدیریت Accumulo مسئول تشخیص و پاسخگویی در صورت خرابی تبلت سرور است. با اختصاص دقیق تبلت‌ها و دستور دادن به تبلت سرورها برای کاهش بار تبلت‌ها در صورت لزوم، این سرور سعی می‌کند بار را در سراسر تبلت سرور متعادل کند.
♦️ردیاب: فرآیند Accumulo Tracer از API توزیع شده ارائه شده توسط Accumulo پشتیبانی می‌کند. به طور مثال اطلاعات زمان‌بندی را در جدول Accumulo مشخص برای ارجاعات بعدی می‌نویسد.
♦️پایش: پایش در Accumulo یک برنامه تحت وب است که اطلاعات زیادی در مورد وضعیت یک نمونه ارائه می‌دهد. این برنامه نمودارها و جداولی را نشان می‌دهد که حاوی اطلاعاتی در مورد نرخ خواندن/نوشتن، نرخ عدم دسترسی به حافظه و غیره است.
♦️کلاینت: Accumulo دارای یک کتابخانه کلاینت است که می‌تواند برای نوشتن اپلیکیشن‌هایی که داده‌ها را در/از Accumulo می‌نویسند و می‌خوانند استفاده شود.

✳️از نقطه نظر مدیریت داده‌ها، Accumulo داده‌ها را در جداول ذخیره می‌کند که این جداول به تبلت‌ها تقسیم می‌شوند. تبلت‌ها بر روی مرزهای ردیف تقسیم‌بندی می‌شوند به طوری که تمام ستون‌ها و مقادیر یک ردیف خاص با هم در یک تبلت قرار می‌گیرند. سرور مدیر هر بار تبلت‌ها را به یک تبلت سرور اختصاص می‌دهد. این کار تراکنش‌های سطح ردیف را قادر می‌سازد بدون استفاده از قفل توزیع شده یا مکانیزم‌های سنکرون‌سازی پیچیده دیگر انجام شوند. هنگامی که کلاینت‌ها داده‌ها را وارد می‌کنند و کوئری می‌زنند و همچنین هنگامی که ماشین‌ها به خوشه اضافه و یا از آن حذف می‌شوند، این سرور، تبلت‌ها را انتقال می‌دهد تا از در دسترس بودن آن‌ها و تعادل بار در کل خوشه اطمینان حاصل شود.

📍این ابزار را می‌توانید از لینک زیر دانلود فرمایید:

🔗 https://accumulo.apache.org/downloads/

#معرفی_ابزار
#Apache_Accumulo
#داده‌های_عظیم
#فاطمه_مظفری


@BigData_BusinessAnalytics
www.bdbanalytics.ir

📌📌معرفی ابزار: Alluxio

🖌ابزار Alluxio یک پلتفرم هماهنگ‌سازی داده‌های منبع باز و توزیع شده است که نقش مهمی در بهینه‌سازی و تسریع دسترسی به داده‌ها برای داده‌های عظیم و حجم کاری تجزیه و تحلیل دارد. این ابزار به عنوان یک لایه ذخیره‌سازی توزیع شده مجازی عمل می‌کند و به سازمان‌ها کمک می‌کند شکاف بین منابع داده و چارچوب‌های محاسباتی را پر کنند. Alluxio برای رسیدگی به چالش‌های رایج مرتبط با پردازش داده‌های توزیع شده، مانند موقعیت مکانی داده، مدیریت داده‌ها و سرعت دسترسی به داده طراحی شده است.

✳️ویژگی‌ها و عملکردهای کلیدی:

📍انتزاع داده‌ها: Alluxio یک فضای نام یکپارچه فراهم می‌کند که داده‌ها را از چندین سیستم ذخیره‌سازی زیربنایی، مانند HDFS، ذخیره‌سازی اشیاء ابری، یا سیستم‌های فایل توزیع شده انتزاع می‌کند. این انتزاع دسترسی و مدیریت داده‌ها را برای کاربران و برنامه‌ها ساده می‌کند.

📍ذخیره داده‌ها: Alluxio داده‌ها را در حافظه پنهان می‌کند، دسترسی سریع‌تر به داده‌ها را امکان‌پذیر می‌کند و نیاز به واکشی مکرر داده‌ها از سیستم‌های ذخیره سازی راه دور را کاهش می‌دهد. این عملکرد پرس و جو و کار را بهبود می‌بخشد، به خصوص برای بارهای کاری که نیاز به خواندن مکرر داده دارند.

📍 اشتراک گذاری داده‌ها: Alluxio اجازه می‌دهد تا داده‌ها به طور موثر در چندین چارچوب محاسباتی به اشتراک گذاشته شوند و نیاز به تکرار داده‌ها را کاهش دهد. این به سازمان‌ها کمک می‌کند تا از سیلوهای داده‌ای که ممکن است در زمانی که ابزارها و چارچوب‌های مختلف نیاز به نسخه‌های خود از همان داده‌ها دارند، ایجاد شوند، اجتناب کنند.

📍 محل سکونت داده‌ها: Alluxio با حفظ آگاهی از محل ذخیره داده‌ها و محل انجام محاسبات، موقعیت داده‌ها را بهینه می‌کند. این می‌تواند به طور هوشمند داده‌ها را در نزدیکی منابع محاسباتی قرار دهد و زمان انتقال داده‌ها را کاهش دهد و عملکرد کلی سیستم را افزایش دهد.

📍 سازگاری داده‌ها: Alluxio تضمین‌های قوی برای سازگاری داده‌ها ارائه می‌دهد و اطمینان می‌دهد که داده‌های مورد دسترسی برنامه‌ها و چارچوب‌های مختلف دقیق و به روز هستند. این برای حفظ یکپارچگی داده‌ها در محیط‌های پیچیده و توزیع شده ضروری است.

📍 مقیاس پذیری: Alluxio بسیار مقیاس پذیر است و می‌تواند بر روی دسته‌هایی از ماشین‌ها مستقر شود. در صورت نیاز می‌تواند رشد کند تا حجم زیادی از داده‌ها و بارهای کاری بالا را در خود جای دهد.

📍سازگاری با API : Alluxio با سیستم‌های ذخیره سازی مختلف و چارچوب‌های تجزیه و تحلیل، مانند Apache Hadoop، Apache Spark و Apache Flink سازگار است. این سازگاری به سازمان‌ها اجازه می‌دهد تا Alluxio را به صورت یکپارچه در خطوط لوله پردازش داده‌های موجود خود ادغام کنند.

📍 تحمل خطا: Alluxio به گونه ای طراحی شده است که در مقابل خطا مقاوم باشد. می تواند از خرابی گره‌ها بازیابی شود و حتی در صورت وجود مشکلات سخت افزاری یا شبکه از در دسترس بودن داده‌ها اطمینان حاصل کند.

📍متن باز: Alluxio یک نرم افزار منبع باز است، به این معنی که به طور رایگان در دسترس سازمان‌ها است تا از آن استفاده کنند و مطابق با نیازهای خود تغییر دهند.

ابزار Alluxio اغلب در محیط‌های عظیم داده استفاده می‌شود که در آن داده‌ها در سیستم‌های فایل توزیع‌شده، ذخیره‌سازی اشیاء ابری یا سایر سیستم‌های ذخیره‌سازی راه دور ذخیره می‌شوند. با ارائه یک لایه دسترسی سریع و کارآمد به داده ها، به سازمان ها کمک می کند تا به عملکرد بهتر و تاخیر کمتری برای تجزیه و تحلیل داده ها و حجم کاری پردازشی خود دست یابند. در سناریوهایی که بهبود سرعت دسترسی به داده‌ها، مدیریت محلی بودن داده‌ها و دستیابی به ثبات داده‌ها از عوامل حیاتی در دستیابی به موفقیت با پروژه های عظیم داده هستند، محبوبیت پیدا کرده است.

#معرفی_ابزار
#داده‌های_عظیم
#فاطمه_مصلحی
#Alluxio

@BigData_BusinessAnalytics
www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


🔹 فصل هشتم: ایجاد یک استراتژی فناوری اطلاعات داده محور

📍تا سال‌های اخیر، استراتژی داده، اگر اصولاً چنین چیزی در یک سازمان وجود داشت، همواره به عنوان جزئی از استراتژی فناوری اطلاعات به شمار می‌رفت. گفته شده است که اگر داده ها را مانند خون بدانیم، زیرساخت فناوری اطلاعات، سیستم گردش خونی است که سازمان ها را توانمند می‌سازد. طراحی ضعیف استراتژی IT می‌تواند به معنای داده‌های با کیفیت پایین و پراکنده باشد که با تاخیر زمانی بیشتر از عمر مفید داده‌ها تحویل می‌شود. از این رو، ایجاد یک استراتژی فناوری اطلاعات منسجم و همسو با کسب و کار، به اندازه ساختن یک استراتژی اثربخش داده‌ای در سازمان حیاتی است.

❓سوال اساسی که در اینجا مطرح است این است که آیا سازمان باید استراتژی IT خود را پیش از استراتژی داده تعریف کند یا بالعکس؟ به عبارت دیگر، آیا ظرف باید محتویات آن را تعریف نماید یا محتویات باید ظرف را تعریف نماید؟

📍یک استراتژی اساساً مجموعه‌ای از تصمیمات بلندمدت است. استراتژی فناوری اطلاعات یک جزء از استراتژی کسب و کار است - مجموعه ای از تصمیمات بلند مدت در مورد چگونگی شکل دادن به فناوری اطلاعات به گونه‌ای که از سازمان در تحقق اهداف بلندمدت کسب و کاری خود حمایت کند. بنابراین، یک استراتژی فناوری اطلاعات، در هسته، مجموعه ای از تصمیمات استراتژیک مهم است. سوال این است: چگونه می توان اطمینان حاصل کرد که این تصمیمات مبتنی بر داده هستند؟ در فصل هشتم کتاب داده‌های عظیم برای تصمیمات بزرگ با نگاهی انتقادی به آنچه که یک استراتژی فناوری اطلاعات مبتنی بر داده را تشکیل می دهد پرداخته می‌شود.

🔹با توجه به اینکه هدف اصلی استراتژی فناوری اطلاعات داده محور، ارائه ارزش کسب و کاری و افزایش عملکرد کسب و کاری شرکت است، کشف پیشران کلیدی ارزش ضروری می‌باشد و در این راستا سوالاتی مطرح است:
1️⃣ پیشران‌های کلیدی ارزش برای استراتژی فناوری اطلاعات چیست؟ آیا آنها تصمیمات "بزرگ" استراتژی فناوری اطلاعات را تعریف می‌کنند؟
2️⃣ چه نوع داده‌ای برای حمایت از تصمیمات بزرگ استراتژی فناوری اطلاعات مورد نیاز است؟
3️⃣ منابع چنین داده‌هایی چیست؟


📍پیشران‌های کلیدی باید با استراتژی کسب و کار همراستا باشند. ابتکارات فناوری اطلاعات باید سازمان را برای دستیابی به اهداف استراتژیک کسب و کار توانمند سازند و منابع کلیدی داده برای طرح‌ریزی و ابداع استراتژی فناوری اطلاعات به کار ‌روند.
در واقع استراتژی فناوری اطلاعات داده محور بر پایه‌های زیر قرار می‌گیرد:

✅ همراستایی با استراتژی کسب و کار

✅ بهینه کاوی با صنعت، رقابت و داخل سازمان

✅ جریان کاری و زنجیره ارزش اطلاعات

✅ پوشش زنجیره ارزش سازمان

✅ بهینه سازی منابع

✅ ارزش کسب و کاری

✅ معماری سازمانی از دید سازمان، داده، کنترل، کارکرد و محصول یا خدمت

📍این پایه‌ها بر ممیزی امنیت اطلاعات و زیرساخت، تحلیل پورتفولیوی کاربردها و استراتژی داده‌ای سازمانی همراستا با استراتژی کسب و کار قرار می‌گیرند که به نوبه خود بر منابع داده‌ای مختلف سازمان شامل اپلیکیشن‌های سازمانی محوری قرار گرفته بر روی ابر یا مراکز داده سازمان، داده‌های اینترنت اشیا، موبایل، دستگاه‌های متصل، داده‌های عظیم، هوش مصنوعی، روباتیک، شبکه‌های اجتماعی، تجارت الکترونیک و ... بنا شده است.
بنابراین فصل هشتم کتاب به بررسی اجزای شکل دهنده استراتژی فناوری اطلاعات داده محور و پاسخ به سوالاتی پیرامون آنها می‌پردازد.


#کتاب_بخوانیم
#فصل_هشتم
#فاطمه_مظفری
#استراتژی_فناوری_اطلاعات_داده_محور
#داده‌های_عظیم_برای_تصمیمات_بزرگ


www.bdbanalytics.ir
@BigData_BusinessAnalytics

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"

🔹فصل ۹: ساختن استراتژی داده

❗️چرایی استراتژی داده

این بخش از کتاب با مقدمه‌ای از مسائل مرسوم سازمان‌ها اهمیت استراتژی داده را مرکز توجه قرار می‌دهد؛‌ مسائلی همچون ذخیره‌سازی جزیره‌ای داده‌ها، وجود نداشتن استانداردهایی مشخص مربوط به داده‌ها، اپلیکیشن‌هایی مختلفی که هرکدام داده‌های مربوط به خود را ذخیره‌سازی می‌کنند، کیفیت نامطلوب داده‌ها و حکمرانی ضعیف در این حوزه. مسئله‌ی دیگر، داده‌های تاریخی موجود در سازمان است که ممکن‌ است از منابع متفاوتی باقی‌مانده باشند و تشخیص داده‌های مفید و تمیزسازی آن‌ها برای تحلیل‌های آتی دردسر بزرگی برای سازمان‌ها خواهد بود. منابع متفاوتی از داده‌هایی که داخل و خارج از سازمان وجود دارند برای تحلیل‌های مهم مورد نیاز هستند و دستیابی به آن‌ها نیازمند پیش‌بینی‌های زیرساختی و استراتژیک است.

📌 چیستی استراتژی داده

تعریف استراتژی داده با توجه به منابع متفاوت را می‌توان به این صورت بیان کرد که راهنمایی مشخص برای دریافت، ذخیره‌سازی، مدیریت، اشتراک و استفاده‌ی داده است به صورتی که داده‌ی مناسب، در زمان مناسب، در اختیار فرد مناسب قرار گرفته و تحلیل‌های مورد نیاز برای تصمیم‌های مهم را ممکن می‌سازد.
استراتژی داده می‌تواند راه را برای استفاده‌ی تجاری شرکت‌ها از ارزش بالقوه‌ی داده‌های خود باز کند به صورتی که محصولاتی ارزان‌تر، سریع‌تر و بهتر را با شناخت مناسب از سلایق متغیر مشتریان خود تولید و با توجه به نیاز شخصی هر مشتری، ارزش خود را ارائه کند.

✅ مسئول استراتژی داده

نکته‌ای که کتاب بر آن تاکید دارد تفاوت استراتژی داده از استراتژی فناوری اطلاعات سازمان است که همین امر نیاز مسئولی متفاوت با سبد مهارتی متفاوتی از مدیر ارشد فناوری اطلاعات سازمان (که معمولا مسئول استراتژی فناوری اطلاعات است) را به وجود می‌آورد. به همین دلیل وجود مدیر ارشد داده را در سازمان پیشنهاد می‌دهد که همزمان با زیرساخت‌های فناوری و تحلیلی مورد نیاز سازمان آشنایی دارد. مهارت اصلی او آنجایی است که تشخیص دهد کدام تصمیم‌های مهم در سازمان نیازمند چه تحلیل‌هایی و چه داده‌هایی هستند تا بتواند داده‌های مناسب را در زمان مناسب برای استفاده‌کننده‌ی مناسب فراهم کند.

📐 چهارچوب و ویژگی‌های استراتژی داده‌ی مناسب

چهارچوب استراتژی داده شامل بخش‌های متفاوتی از جمله دیدگاه‌های کنترلی، لجستیک داده، رقابت، تصمیم‌های بزرگ، تکنولوژی، اهداف کسب‌وکار، منابع و پخش و … است. نکته‌ی حائز اهمیت این است که استراتژی داده باید بر اساس نیازهای هر سازمان، صنعتی که سازمان در آن فعالیت دارد، سیستم‌های کنترلی داخل شرکت و توانمندی‌های افراد سازمان، برای آن سازمان شخصی‌سازی شود.
در صورتی که سازمان با حجم زیادی از داده‌ای که از منابع مختلف با سرعت بالا تولید می‌شود و از طرفی برای تحلیل انتخاب نمونه کار راحتی نبوده و یا خود نمونه حجم بالایی را به خود اختصاص می‌دهد در استراتژی داده باید برنامه‌ای مشخص برای عظیم‌داده داشته باشد.
استراتژی داده‌ی مناسب برای انواع داده ساختار یافته، ساختار نیافته(همانند شبکه‌های اجتماعی)، عظیم داده و انواع منابع داخل و بیرون سازمان را پوشش می‌دهد. از طرف دیگر استراتژی داده‌ی مناسب باید به این نکته توجه داشته باشد که داده‌ی درست در زمان صحیح تولید شده و به کارکرد مناسب یا استفاده‌کننده‌ی مناسب خود می‌رسد. همچنان در استراتژی داده باید تمامی کاربردهای تحلیلی داده که می‌تواند به تصمیم‌سازی‌های متفاوت کمک کند دیده شود.

✏️ توسعه و پیاده‌سازی استراتژی داده

با توجه به ویژگی‌های ذکر شده، استراتژی داده را می‌توان در توسعه به بخش‌هایی همچون زیرساخت، حکمرانی، سرویس‌های اشتراکی، مراکز بهینه‌سازی، اتوماسیون سازی و هوش مصنوعی و در نهایت تحلیلگری تقسیم نمود که هرکدام به ترتیب پیش‌نیاز زیرساختی بخش بعدی به حساب می‌آیند.
برای توسعه‌ی یک استراتژی داده‌ی مناسب می‌توان مراحل زیر را برشمرد:
۱. شناخت منابع داده در سازمان و داده‌هایی که برای تصمیم‌های بزرگ و تحلیل‌ها مورد نیاز هستند
۲. آماده کردن لیستی از تمامی دارایی‌های داده‌ی سازمان
۳. شناخت نیازهای سازمان و شکاف موجود بین وضعیت موجود و وضعیت مطلوب
۴. بهبود و اصلاح اهداف کسب‌وکار با هدف یک استراتژی داده‌ی یکپارچه
۵. ایجاد یک ساختار کامل سازمانی داده
۶. به کارگیری و فراگیر سازی ساختارهای داده‌ی جدید، فرایندها، سیاست‌‌ها و مدل‌های حكمراني ایجاد شده


#کتاب_بخوانیم
#فصل_نهم
#احسان_نگهدار
#استراتژی_داده
#داده‌های_عظیم_برای_تصمیمات_بزرگ


www.bdbanalytics.ir
@BigData_BusinessAnalytics

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


📍بخش دهم: استراتژی بازاریابی داده محور

در فصل دهم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور" به ضرورت تحلیل عظیم‌داده در بخش بازاریابی در یک سازمان پرداخته می‌شود.
بسیاری از شرکت‌ها در پیاده سازی بازاریابی داده محور با مشکلات زیادی مواجه می‌شوند که می‌توان در چهار طبقه دسته بندی کرد:
1️⃣ عدم آگاهی به چگونگی پیاده سازی
2️⃣ وجود داده‌های فراوان
3️⃣ زمان و منابع محدود
4️⃣ عدم وجود زیرساخت تحلیلی
یکی از پیش نیازهای اصلی در پیاده سازی درست استراتژی‌های بازاریابی داده محور، تشخیص و شناسایی تفاوت بین داده‌های در دسترس و داده‌های مورد نیاز می‌باشد. درک درست این دو مفهوم یک ضرورت می‌باشد چرا که لزوما تمام داده‌هایی که برای بازاریابی داده محور مورد نیاز است برابر با داده‌هایی که در حال حاضر در دسترس می‌باشد، نیست. در بیشتر مواقع داده‌هایی که در یک سازمان در حال حاضر وجود دارد زیر مجموعه ای از داده‌های مورد نیاز برای پیاده سازی بازاریابی داده محور می‌باشد، به این معنا که این داده‌ها کافی نیستند و طی مراحلی نیاز است تا جمع آوری شوند.

📍منابع داده مورنیاز برای بازاریابی داده محور
یکی از بخش‌های اصلی بازاریابی داده محور فروش داده محور می‌باشد به این معنا که نمی‌توان ادعای بازاریابی داده محور داشت، اما در فروش محصولات و خدمات مجموعه داده‌ها تحلیل نشوند. داده‌های مربوط به فروش از کانال‌های مختلفی می‌توانند جمع‌آوری شوند که تحلیل توامان آنها می‌تواند بینش‌های ارزشمندی در اختیار سازمان قرار دهد.
🔹 یکی از منابع داده‌ای ارزشمند، مجموعه تعاملات واحد فروش با مشتریان می‌باشد که تحلیل آنها به ارائه هدفمند محصولات و خدمات کمک شایانی خواهد کرد.
🔸پروفایل مشتریان که شامل اطلاعات جمعیت شناختی، علایق و ترجیحات می‌باشد و به مرور زمان اطلاعات رفتاری شامل نوع خرید و میزان خرید ثبت می‌شود به عنوان یکی دیگر از منابع داده‌ای غنی جهت پیاده سازی بازاریابی داده محور می‌باشد.
🔹 یکی دیگر از منابع داده که باید در کنار سایر داده‌های کمی قرار بگیرد، استراتژی‌های بازاریابی کلان یک سازمان می‌باشد از این جهت که بتوانند در کنار منابع داده‌ای بازاریابی قرار گیرند تا همراستا شوند.

📍اجرا و مدیریت کورکورانه بازاریابی:
اگر بحث داده از بازاریابی حذف شود و یا از منظر زمانی تاخیرهای معناداری بین داده‌های تولید شده و تحلیل آن وجود داشته باشد، عملا مدیر بازاریابی نمی‌تواند بر مبنای داده عمل کند و تصمیمات کاملا شهودی خواهد شد. این داده‌ها تنها مربوط به مشتریان نمی‌باشد، بلکه تحلیل داده‌ها در سطح محصولات هم به عنوان یک پیشنیاز اصلی جهت دور شدن از تصمیمات کورکورانه در زمینه بازاریابی می‌باشد. از آنجاییکه ارتباط بین مدیر عامل و مدیر بازاریابی بسیار نزدیک و حیاتی می‌باشد، اگر مدیر بازاریابی بر مبنای داده فکر و تصمیم‌گیری نکند، این تصمیم گیری کورکورانه به سطح عالی مدیریت انتقال می‌یابد. بر همین مبنا است که طراحی استراتژی در بازاریابی داده محور نقش اساسی در کل سازمان را دارد که مبنای آن همان جمع آوری و تحلیل داده های مورد نیاز می‌باشد و کلید حل این تصمیم کورکورانه داده می‌باشد.
📍سازماندهی تیم بازاریابی داده محور
از آنجاییکه پیاده سازی موفق استراتژی نیازمند یک تیم سازمان یافته می‌باشد، طبیعتا جهت اجرا و پیاده سازی استراتژی‌هایی بازارایابی که در سطح کلان سازمان طراحی شدند، نیازمند جذب و به کارگیری افرادی است که تخصص‌های لازم در زمینه داده و تحلیل آن در حوزه بازاریابی را دارند. چگونگی سازماندهی این تیم از کسب و کار به کسب و کار متفاوت می‌باشد که نیازمند همراستا شدن با سایر بخش ها می‌باشد تا حداکثر راندمان را داشته باشد. به طور کلی چهار قدم ذیل در طراحی موفق این تیم باید مدنظر باشد:
1️⃣ نیازسنجی و جمع آوری تمام داده‌های مورد نیاز بازاریابی
2️⃣ در نظر گرفتن تمامی داده‌های تولید شده در داخل سازمان
3️⃣ تحلیل و پیاده سازی الگوریتم‌های شخصی سازی شده متناسب با سازمان
4️⃣ استفاده از بینش کسب شده جهت تصمیمات بازاریابی داده محور

#کتاب_بخوانیم
#داده‌های_عظیم_برای_تصمیمات_بزرگ
#فصل_دهم
#استراتژی_بازاریابی_داده_محور
#علی_محمدی


www.bdbanalytics.ir
@BigData_BusinessAnalytics

📌📌معرفی ابزار: Databricks Lakehouse Platform

🖌نوع جدیدی از معماری داده تحت عنوان "data lakehouse" دریاچه داده و انبارداده را ترکیب می‌نماید تا نقاط ضعفی را که هر یک از آنها به طور مستقل می‌توانند داشته باشند، برطرف نماید. پلتفرم lakehouse، مانند دریاچه‌های داده از ذخیره‌سازی کم هزینه برای نگهداری حجم عظیمی از داده‌ها در فرمت اصلی خود بهره می‌برد و افزودن یک لایه متادیتا بر روی محل ذخیره‌سازی نیز ساختار داده را فراهم نموده و ابزارهای مدیریت داده را مشابه آنچه در انبارداده وجود دارد امکان پذیر می‌سازد.

🔹این معماری شامل حجم از عظیمی از داده‌های ساختیافته، نیمه ساختیافته و بدون ساختار است که از اپلیکیشن‌ها، سیستم‌ها و دستگاه‌های مختلفی که در سراسر سازمان مورد استفاده قرار می‌گیرند، به دست می‌آیند.
بر خلاف دریاچه داده، پلتفرم‌های lakehouse می‌توانند داده‌ها را برای عملکرد SQL مدیریت و بهینه‌سازی نمایند. همچنین این قابلیت را دارند تا حجم بزرگی از داده‌های متنوع را با هزینه‌ای پایین‌تر از انبارهای داده ذخیره‌سازی و پردازش نمایند. این پلتفرم‌ها هنگامی که نیاز به اجرای هر گونه دسترسی به داده‌ها یا تحلیل‌گری داریم اما در خصوص داده‌ها یا تحلیل مورد نظر اطمینان نداریم می‌توانند بسیار مفید باشند.
❇️ ویژگی‌های data lakehouse عبارتند از:
✅ خواندن و نوشتن همزمان داده‌ها
✅ سازگاری و مقیاس پذیری
✅ اسکیماهای مورد نیاز توسط ابزارهای حکمرانی داده
✅ ذخیره سازی مقرون به صرفه
✅ پشتیبانی از همه انواع داده‌ها و فرمت‌های فایل
✅ امکان دسترسی ابزارهای علم داده و یادگیری ماشین
✅ دسترسی سریع‌تر و دقیق‌تر تیم‌های داده به تنها یک سیستم برای انتقال بارهای کاری
✅ قابلیت‌های بلادرنگ برای ابتکارات در علم داده، یادگیری ماشین و تحلیل‌گری

🔹دیتابریکس (Databricks) یک سرویس آپاچی اسپارک مدیریت شده را ارائه می‌دهد که به عنوان پلتفرمی برای دریاچه‌های داده قرار داده می‌شود. دریاچه داده، delta lake و موتور delta، اجزای معماری databricks lakehouse هستند که کاربردهای هوش کسب و کار، علم داده و یادگیری ماشین و از جمله تکنیک‌های هوش مصنوعی مولد مانند LLM را توانمند می‌سازند.
🔸دریاچه داده یک مخزن ذخیره‌سازی ابری عمومی است که از پشتیبانی از مدیریت متادیتا، پردازش داده دسته‌ای و جریانی برای مجموعه داده‌های چندساختاری، اکتشاف داده، کنترل دسترسی ایمن و تجزیه و تحلیل SQL بهره‌‌مند می‌باشد.
🔹دیتابریکس بیشتر کارکردهای انبارداده که از یک پلتفرم lakehouse انتظار می‌رود را ارائه می‌دهد. همچنین اخیراً از یک بارگذاری خودکار (auto loader) رونمایی کرده است که ETL و ورود داده را خودکار نموده است و از نمونه‌گیری از داده‌ها برای استنتاج اسکیمای انواع مختلف داده‌ها جهت ارائه اجزای اساسی استراتژی ذخیره‌سازی دریاچه داده استفاده می‌نماید. همچنین کاربران می‌توانند پایپ‌لاین‌های ETL را میان ساختار ابری دریاچه داده و Delta lake با استفاده از جداول لایو دلتا ایجاد کنند.
❗️هر چند به نظر می‌رسد این ابزار تمام مزیت‌های انبارداده و دریاچه داده را دارد، اما پیاده‌سازی این راهکار و ایجاد پایپ‌لاین‌ها، نیازمند نیروی انسانی و توسعه دهندگان ماهر است که به ویژه در مقیاس بالاتر پیچیدگی‌های بیشتری پیدا می‌نماید.


#معرفی_ابزار
#داده‌های_عظیم
#فاطمه_مظفری
#Data_Lakehouse
#Databricks_Lakehouse_platform

@BigData_BusinessAnalytics
www.bdbanalytics.ir

🛠معرفی ابزار Apache Zeppelin

🖌اپاچی زپلین (Apache Zeppelin) یک نوت‌بوک تعاملی مبتنی بر وب برای تجزیه و تحلیل داده است. این ابزار، محیطی همکاری برای داده‌شناسان، تحلیل‌گران و مهندسان فراهم می‌کند تا با مجموعه‌های عظیم داده کار کنند، اکتشاف داده انجام دهند و نمودارها و گرافیک‌های تصویری ایجاد کنند. زپلین از چندین زبان برنامه‌نویسی مختلف پشتیبانی می‌کند و به کاربران این امکان را می‌دهد که به صورت همزمان از تکنولوژی‌ها و ابزارهای مختلف در یک تحلیل استفاده کنند.

✳️ویژگی‌ها و اجزای کلیدی Apache Zeppelin عبارتند از:

📍پشتیبانی از چندین زبان: Zeppelin از زبان‌های برنامه‌نویسی متعددی مانند اسکالا، پایتون، R، SQL و غیره پشتیبانی می‌کند. هر نوت‌بوک می‌تواند شامل چندین پاراگراف با زبان‌های مختلف باشد که این امکان را به کاربران می‌دهد که از قابلیت‌های مختلف زبان‌ها در یک تحلیل استفاده کنند.

📍رابط نوت‌بوک: رابط اصلی Zeppelin نوت‌بوک است که به پاراگراف‌ها تقسیم شده است. هر پاراگراف می‌تواند شامل کد، کوئری یا متن markdown باشد. این قابلیت به کاربران این امکان را می‌دهد که پاراگراف‌ها را به صورت مستقل اجرا کرده و کد را به صورت تکاملی توسعه دهند.

📍تجزیه و تحلیل داده: Zeppelin از نمودارها، نمودارها و داشبوردهای تصویری مختلف پشتیبانی می‌کند. کاربران می‌توانند نمودارهای تعاملی را ایجاد کرده و اطلاعات خود را از داده‌های خود در نوت‌بوک به نمایش بگذارند.

📍ادغام با تکنولوژی‌های عظیم داده: Zeppelin به طور شبیه‌سازی با چارچوب‌های پردازش داده بزرگ مانند اپاچی اسپارک، اپاچی فلینک و دیگران ادغام می‌شود. این امکان به کاربران می‌دهد که از قابلیت‌های پردازش توزیع شده برای تحلیل داده‌های عظیم استفاده کنند.

📍همکاری و به اشتراک‌گذاری: Zeppelin امکان همکاری را با اشتراک‌گذاری نوت‌بوک‌ها با دیگران فراهم می‌کند. همچنین از نسخه‌گذاری پشتیبانی می‌کند تا تغییرات را ردیابی کند و در صورت نیاز به نسخه‌های قبلی بازگردانی شود.

📍معماری مفسر: Zeppelin از یک معماری مفسر استفاده می‌کند که اجازه اجرای کد نوشته شده به زبان‌های مختلف را فراهم می‌کند. هر مفسر با یک زبان خاص مرتبط است و Zeppelin می‌تواند مفسرهایی برای زبان‌های مانند اسکالا، پایتون، SQL و غیره داشته باشد.

✳️ این ابزار به طور گسترده در حوزه علوم داده، یادگیری ماشین و تجزیه و تحلیل عظیم داده استفاده می‌شود. این ابزار فرآیند کار با مجموعه‌های داده متنوع و تکنولوژی‌های مختلف را ساده‌تر می‌کند و یک پلتفرم یکپارچه برای اکتشاف و تحلیل تعاملی داده فراهم می‌کند. در زیر، تعدادی از موارد کاربرد اصلی اپاچی زپلین را بررسی می‌کنیم:

📌تجزیه و تحلیل عظیم داده: Zeppelin به عنوان یک نوت‌بوک تعاملی و با امکان پردازش توزیع شده از چارچوب‌های مانند Apache Spark و Apache Flink پشتیبانی می‌کند. این امکان به تحلیل عظیم داده‌ها کمک می‌کند و امکان اجرای کدهای تحلیلی بر روی داده‌های توزیع شده را فراهم می‌سازد.

📌یادگیری ماشین و تحلیل پیشرفته: داده‌شناسان و محققان در زمینه یادگیری ماشین و تحلیل داده می‌توانند از Zeppelin برای ایجاد، آزمایش، و بهبود مدل‌های خود استفاده کنند. نوت‌بوک‌های تعاملی این امکان را فراهم می‌کنند که مراحل یادگیری ماشین به صورت تفاوتی و تعاملی انجام شود.

📌تحلیل داده‌های علمی: در زمینه علوم و تحقیقات، Zeppelin می‌تواند برای تجزیه و تحلیل داده‌های آزمایش‌ها، شبیه‌سازی‌ها، و نتایج تجربیات مورد استفاده قرار گیرد. نمودارها و گرافیک‌های تصویری می‌توانند به دانشمندان کمک کنند تا الگوها و روندهای مختلف را در داده‌ها شناسایی کنند.

📌تحلیل لاگ و رصد: در محیط‌های سیستمی و شبکه، زپلین می‌تواند برای تحلیل لاگ‌ها و رصد عملکرد سیستم‌ها استفاده شود. از قابلیت‌های تحلیل تعاملی برای کشف مشکلات و بهینه‌سازی عملکرد سیستم‌ها استفاده می‌شود.

📌 تجزیه و تحلیل داده‌های مالی: در صنعت مالی، داده‌های عظیم و پیچیده اغلب نیاز به تحلیل دقیق دارند. Zeppelin می‌تواند به متخصصان مالی کمک کند تا داده‌های خود را تجزیه و تحلیل کرده و اطلاعات مهم را استخراج کنند.

📌تحلیل داده‌های بازاریابی: در صنعت بازاریابی، Zeppelin می‌تواند برای تحلیل داده‌های مربوط به کمپین‌های تبلیغاتی، رفتار مشتریان، و اثربخشی استراتژی‌های بازاریابی استفاده شود.

📌 پیش‌بینی و تحلیل‌های آماری: Zeppelin از زبان‌های مختلف آماری و تحلیل داده پشتیبانی می‌کند، که این امکان را به تحلیل‌های آماری و پیش‌بینی‌های متنوع ارائه می‌دهد.

#معرفی_ابزار
#داده‌های_عظیم
#فاطمه_مصلحی
#Apache_Zeppelin

@BigData_BusinessAnalytics
www.bdbanalytics.ir

📖 کتاب بخوانیم؛

📌 "Big Data for Big Decisions: Building a Data-Driven Organization"


📍بخش یازدهم: حکمرانی یکپارچه داده‌ها
🔹 فصل یازدهم کتاب "داده‌های عظیم برای تصمیمات بزرگ: ایجاد یک سازمان داده محور،" با عنوان حکمرانی یکپارچه داده‌ها، به موضوعاتی همچون نیاز به حکمرانی داده‌ها، نیاز به حکمرانی داده‌ها در سازمان‌های جهانی با پرداختن به دغدغه‌های ذینفعان، تشخیص حکمرانی ضعیف داده‌ها، هزینه‌های حکمرانی ضعیف داده‌ها، نقشه راه تحولی برای طراحی و نهادینه‌سازی حکمرانی داده‌ها، اهمیت کاتالوگ داده‌ها، تعریف ارزش با اولویت بندی داده‌ها و ایجاد یک مورد کسب و کاری برای حکمرانی داده‌ها، برنامه‌ریزی و ایجاد اجزای حکمرانی داده‌ها و طراحی چارچوب حکمرانی داده‌های سازمانی، رشد و تحکیم حکمرانی داده‌های نهادینه شده، روندهای نوظهور و حکمرانی داده‌های عظیم و در نهایت نقش در حال تحول مدیر ارشد داده‌ها (CDO) می‌پردازد.
📍لزوم حکمرانی داده‌ها
نیاز به حاکمیت داده با 3V داده‌ها (حجم، سرعت و تنوع) همبستگی بسیار قوی دارد. این سه V معمولاً در شرکت‌های چندملیتی B2C با توجه به تعداد اشخاص حقوقی، کشورها، و خطوط تولید کسب و کار که باید تحت پوشش قرار گیرند، بسیار بالاتر از شرکت‌های محلی در یک کشور هستند. همچنین این 3V در شرکت‌هایی که حضور دیجیتالی قوی دارند بسیار بالا بوده و رشد تصاعدی دارند. برای اینکه یک سازمان بتواند مدیریت درستی بر این داده‌ها داشته باشد نیازمند یک استراتژی کامل فناوری اطلاعات، یک استراتژی کامل داده، و یک ردپای فناوری اطلاعات است که کل وسعت سازمان را پوشش می‌دهد که می‌تواند در غیاب یک مدل حکمرانی کامل شکست بخورد.

🔹نقشه راه تحولی برای طراحی و نهادینه سازی حکمرانی داده‌ها:
حکمرانی داده‌ها اساساً در مورد تصمیم گیری درباره چگونگی تصمیم گیری است. به بیان دیگر به عنوان بستر تمام تصمیم گیری‌ها در یک سازمان است. اگر سازمان‌ها امیدوارند تصمیم‌گیری درستی داشته باشند، لزوماً باید مدیریت داده‌های خود را درست انجام دهند. رویکردهای متعددی برای طراحی و اجرای برنامه حکمرانی داده‌های سازمانی وجود دارد. تعداد قابل توجهی از کارشناسان طرفدار شروع از توسعه یک بیانیه ارزش و ایجاد یک مورد کسب و کاری و نقشه راه هستند. برخی دیگر از شروع با مرحله اکتشاف، به دنبال آن مرحله "طرح و ساخت" و در نهایت مرحله "رشد و نهادینه‌سازی" حمایت می کنند.
🔸کاتالوگ داده‌ها و دیکشنری داده‌ها:
ایجاد کاتالوگ داده و دیکشنری داده باید اولین قدم به عنوان بخشی از مرحله اکتشاف، قبل از اجرای هر راه حل حاکمیت داده باشد. بسیاری از راه‌حل‌های مدیریت کیفیت داده‌ها، یا راه‌حل‌های حکمرانی داده، ویژگی‌ای برای ایجاد خودکار کاتالوگ داده‌ها دارند. در حالی که بسیاری از راه‌حل‌های هوش کسب و کار (BI) و پلت‌فرم‌های داده‌های عظیم بصری سازی تعاملی از نمودارهای ارتباطات داده‌ای را ارائه می‌دهند، اما برخی دیگر از راه‌حل‌ها نظیر SAP Information Steward، بخشی از راه‌حل مدیریت داده را ارائه می‌دهند که می‌توانند بسیار قابل توجه باشند.

📍حکمرانی داده‌ها برای داده‌های عظیم: روندهای نوظهور
موسسه مکنزی بر این باور است که هوش مصنوعی این پتانسیل را دارد که تا سال 2030 حدود 13 تریلیون دلار به اقتصاد جهانی از طریق بهبود در بهره وری، محصولات و تجارب مشتری اضافه نماید. از سوی دیگر، هوش مصنوعی می‌تواند به پیشرانی حکمرانی داده‌های عظیم کمک نماید. فناوری یادگیری عمیق می‌تواند برای خودکارسازی خوشه بندی و دسته بندی داده‌های عظیم و تخصیص خودکار تگ‌های متادیتا، ارزیابی مالکیت داده، حریم خصوصی، ریسک و غیره بسیار موثر باشد.
رشد اهمیت حکمرانی داده برای اقتصاد هوش مصنوعی و مفهوم جدیدی تحت عنوان «data lakehouse» که مزایای انبارداده و دریاچه داده را ترکیب می‌نماید، از روندهای نوظهور در حوزه حکمرانی داده‌های عظیم هستند.
🔸نقش در حال تحول مدیر ارشد داده:
استخدام یک CDO اهمیت فزاینده داده‌ها را نشان می‌دهد با این حال عدم شفافیت نقش بین یک CDO و CIO می تواند عواقبی در پی داشته باشد. برخی از سازمان‌ها نیز نقش یک مدیر ارشد دیجیتال را دارند که مسائل را بیش از پیش پیچیده می‌کند. بنابراین می‌توان گفت یک CDO تنها در صورتی می‌تواند در زمینه حکمرانی داده موفق باشد که سرمایه‌گذاری کافی در فرآیند، ابزارها و مکانیسم انطباق و همچنین خرید سهامداران وجود داشته باشد.

#کتاب_بخوانیم
#داده‌های_عظیم_برای_تصمیمات_بزرگ
#فصل_یازدهم
#حکمرانی_یکپارچه_داده‌ها
#فاطمه_مظفری


www.bdbanalytics.ir
@BigData_BusinessAnalytics