تعریف داده های بزرگ داده هایی است که دارای تنوع بیشتری هستند و به افزایش حجم و با سرعت بیشتری می رسند. این همچنین به عنوان سه Vs. شناخته می شود
به عبارت ساده ، داده های بزرگ بزرگتر ، مجموعه داده های پیچیده تر ، به ویژه از منابع داده جدید است. این مجموعه داده ها به حدی گسترده است که نرم افزار پردازش داده های سنتی فقط نمی تواند آنها را مدیریت کند. اما این حجم های گسترده از داده ها می توانند برای رفع مشکلات تجاری که قبلاً نتوانسته اید با آن مقابله کنید ، استفاده شود.
سه در مقابل داده های بزرگ
| جلد | میزان داده ها اهمیت دارد. با داده های بزرگ ، باید حجم زیادی از داده های کم چگالی و بدون ساختار را پردازش کنید. این می تواند داده هایی با ارزش ناشناخته باشد ، مانند فیدهای داده های توییتر ، کلیک بر روی صفحه وب یا یک برنامه تلفن همراه یا تجهیزات دارای سنسور. برای برخی از سازمان ها ، این ممکن است ده ها ترابایت داده باشد. برای دیگران ، ممکن است صدها پتابیت باشد. |
| سرعت | سرعت نرخ سریع دریافت داده ها و (شاید) بر روی آن است. به طور معمول ، بالاترین سرعت جریان داده ها به طور مستقیم به حافظه در مقابل دیسک نوشته می شود. برخی از محصولات هوشمند دارای اینترنت در زمان واقعی یا نزدیک به زمان واقعی کار می کنند و به ارزیابی و اقدام در زمان واقعی نیاز دارند. |
| تنوع | تنوع به انواع مختلفی از داده های موجود اشاره دارد. انواع داده های سنتی ساختار یافته و مرتب در یک پایگاه داده رابطه ای متناسب بودند. با افزایش داده های بزرگ ، داده ها در انواع جدید داده های بدون ساختار ارائه می شود. انواع داده های بدون ساختار و نیمه ساختار یافته ، مانند متن ، صدا و فیلم ، برای استخراج معنا و پشتیبانی از ابرداده نیاز به پیش پردازش اضافی دارند. |
ارزش و حقیقت داده های بزرگ
دو سال دیگر در طی چند سال گذشته پدید آمده است: ارزش و صحت. داده ها دارای ارزش ذاتی هستند. اما تا زمانی که این مقدار کشف نشود ، فایده ای ندارد. به همان اندازه مهم: داده های شما چقدر صادق است - و چقدر می توانید به آن اعتماد کنید؟
امروز ، داده های بزرگ به سرمایه تبدیل شده اند. به برخی از بزرگترین شرکت های فناوری جهان فکر کنید. بخش بزرگی از ارزشی که آنها ارائه می دهند از داده های آنها ناشی می شود ، که آنها دائماً در حال تجزیه و تحلیل برای تولید کارایی بیشتر و توسعه محصولات جدید هستند.
پیشرفت های فن آوری اخیر به صورت تصاعدی هزینه ذخیره و محاسبه داده ها را کاهش داده است ، و ذخیره داده های بیشتر از گذشته را آسان و ارزان تر می کند. با افزایش حجم داده های بزرگ اکنون ارزان تر و در دسترس تر ، می توانید تصمیمات تجاری دقیق تر و دقیق تری بگیرید.
یافتن ارزش در داده های بزرگ فقط در مورد تجزیه و تحلیل آن نیست (که این یک مزیت کاملاً دیگر است). این یک فرایند کشف کامل است که به تحلیلگران بصیرت ، کاربران تجاری و مدیرانی که سؤالات درست می پرسند ، الگوهای را می شناسند ، فرضیات آگاهانه می کنند و رفتار را پیش بینی می کنند.
اما چگونه به اینجا رسیدیم؟
تاریخ داده های بزرگ
اگرچه مفهوم Big Data به خودی خود نسبتاً جدید است ، اما منشأ مجموعه داده های بزرگ به دهه 1960 و 70 پوند برمی گردد که دنیای داده ها تازه با اولین مراکز داده و توسعه بانک اطلاعاتی رابطه شروع می شدند.
در حدود سال 2005 ، مردم متوجه شدند که کاربران داده از طریق فیس بوک ، یوتیوب و سایر خدمات آنلاین تولید شده اند. Hadoop (یک چارچوب منبع باز که به طور خاص برای ذخیره و تجزیه و تحلیل مجموعه داده های بزرگ ایجاد شده است) در همان سال توسعه داده شد. Nosql همچنین در این مدت شروع به محبوبیت کرد.
توسعه چارچوب‌های منبع باز مانند Hadoop (و اخیراً Spark) برای رشد داده‌های بزرگ ضروری بود زیرا کار با داده‌های بزرگ را آسان‌تر و ذخیره‌سازی آن را ارزان‌تر می‌کنند. در سال‌های پس از آن، حجم داده‌های بزرگ به شدت افزایش یافته است. کاربران هنوز هم حجم عظیمی از داده ها را تولید می کنند – اما این فقط انسان ها نیستند که این کار را انجام می دهند.
با ظهور اینترنت اشیا (IoT)، اشیاء و دستگاه های بیشتری به اینترنت متصل می شوند و داده هایی را در مورد الگوهای استفاده مشتری و عملکرد محصول جمع آوری می کنند. ظهور یادگیری ماشینی داده های بیشتری تولید کرده است.
در حالی که کلان داده ها بسیار پیشرفت کرده اند، مفید بودن آن تازه شروع شده است. رایانش ابری امکانات کلان داده را حتی بیشتر گسترش داده است. ابر مقیاس‌پذیری واقعاً انعطاف‌پذیری را ارائه می‌دهد، جایی که توسعه‌دهندگان می‌توانند به سادگی خوشه‌های ad hoc را برای آزمایش زیرمجموعه‌ای از داده‌ها بچرخانند. و پایگاه‌های اطلاعاتی گراف نیز با توانایی آنها در نمایش مقادیر انبوه داده به گونه‌ای که تجزیه و تحلیل را سریع و جامع می‌کند، اهمیت فزاینده‌ای پیدا می‌کنند.
- داده های بزرگ به شما این امکان را می دهد که پاسخ های کامل تری به دست آورید زیرا اطلاعات بیشتری دارید.
- پاسخ های کامل تر به معنای اعتماد بیشتر به داده ها است - که به معنای رویکرد کاملاً متفاوت برای مقابله با مشکلات است.
موارد استفاده از داده های بزرگ
کلان داده می تواند به شما کمک کند تا به طیف وسیعی از فعالیت های تجاری، از تجربه مشتری گرفته تا تجزیه و تحلیل، رسیدگی کنید. در اینجا فقط چند مورد است.
| توسعه محصول | شرکت هایی مانند Netflix و Procter & Gamble از داده های بزرگ برای پیش بینی تقاضای مشتری استفاده می کنند. آنها با طبقه‌بندی ویژگی‌های کلیدی محصولات یا خدمات گذشته و فعلی و مدل‌سازی رابطه بین آن ویژگی‌ها و موفقیت تجاری پیشنهادها، مدلهای پیش‌بینی‌کننده را برای محصولات و خدمات جدید می‌سازند. علاوه بر این، P&G از داده‌ها و تحلیل‌های گروه‌های متمرکز، رسانه‌های اجتماعی، بازارهای آزمایشی و عرضه اولیه فروشگاه‌ها برای برنامه‌ریزی، تولید و عرضه محصولات جدید استفاده می‌کند. |
| تعمیرات قابل پیش بینی | عواملی که می‌توانند خرابی‌های مکانیکی را پیش‌بینی کنند ممکن است عمیقاً در داده‌های ساخت‌یافته، مانند سال، ساخت و مدل تجهیزات، و همچنین در داده‌های بدون ساختار که میلیون‌ها ورودی گزارش، داده‌های حسگر، پیام‌های خطا و دمای موتور را پوشش می‌دهد، مدفون شوند. با تجزیه و تحلیل این نشانه ها از مسائل بالقوه قبل از بروز مشکلات، سازمان ها می توانند تعمیر و نگهداری را به طور موثرتری به کار گیرند و زمان به کارگیری قطعات و تجهیزات را به حداکثر برسانند. |
| تجربه ی مشتری | مسابقه برای مشتریان ادامه دارد. دید واضح تر از تجربه مشتری اکنون بیش از هر زمان دیگری امکان پذیر است. کلان داده به شما امکان می دهد داده ها را از رسانه های اجتماعی، بازدیدهای وب، گزارش تماس ها و سایر منابع جمع آوری کنید تا تجربه تعامل را بهبود بخشید و ارزش ارائه شده را به حداکثر برسانید. ارائه پیشنهادهای شخصی‌شده را شروع کنید، ریزش مشتری را کاهش دهید، و مسائل را فعالانه مدیریت کنید. |
| تقلب و رعایت | وقتی صحبت از امنیت به میان می‌آید، فقط چند هکر سرکش نیستند، بلکه شما در مقابل کل تیم‌های متخصص هستید. مناظر امنیتی و الزامات انطباق به طور مداوم در حال تغییر هستند. کلان داده به شما کمک می کند الگوهایی را در داده ها شناسایی کنید که نشان دهنده تقلب هستند و حجم زیادی از اطلاعات را جمع آوری کنید تا گزارش نظارتی بسیار سریعتر شود. |
| فراگیری ماشین | یادگیری ماشین در حال حاضر موضوع داغی است. و داده ها – به ویژه کلان داده ها – یکی از دلایل آن است. اکنون می‌توانیم به جای برنامه‌نویسی به ماشین‌ها آموزش دهیم. در دسترس بودن داده های بزرگ برای آموزش مدل های یادگیری ماشینی این امکان را فراهم می کند. |
| بهره وری عملیاتی | کارآیی عملیاتی ممکن است همیشه اخبار را ایجاد نکند ، اما این منطقه ای است که داده های بزرگ بیشترین تأثیر را دارند. با داده های بزرگ ، می توانید تولید ، بازخورد مشتری و بازده و سایر عوامل را برای کاهش قطع و پیش بینی خواسته های آینده تجزیه و تحلیل و ارزیابی کنید. همچنین می توان از داده های بزرگ برای بهبود تصمیم گیری مطابق با تقاضای فعلی بازار استفاده کرد. |
| نوآوری را هدایت کنید | داده های بزرگ می توانند با مطالعه وابستگی های متقابل در بین انسان ها ، نهادها ، نهادها و پردازش و سپس تعیین راه های جدید برای استفاده از آن بینش ، به شما در نوآوری کمک کنند. برای بهبود تصمیمات در مورد ملاحظات مالی و برنامه ریزی از بینش داده ها استفاده کنید. روند و آنچه مشتریان می خواهند محصولات و خدمات جدید را ارائه دهند ، بررسی کنید. قیمت گذاری پویا را اجرا کنید. امکانات بی پایان وجود دارد. |
چالش های داده های بزرگ
در حالی که داده های بزرگ وعده های زیادی را در اختیار دارند ، اما بدون چالش های آن نیست.
اول ، داده های بزرگ ... بزرگ است. اگرچه فن آوری های جدیدی برای ذخیره سازی داده ها ایجاد شده است ، اما حجم داده ها در هر دو سال به اندازه دو برابر می شوند. سازمان ها هنوز هم تلاش می کنند تا با داده های خود همگام شوند و راه هایی برای ذخیره مؤثر آن پیدا کنند.
اما کافی نیست فقط داده ها را ذخیره کنید. از داده ها باید استفاده شود تا ارزشمند باشد و این بستگی به درمان دارد. داده های تمیز یا داده هایی که مربوط به مشتری هستند و به روشی سازماندهی شده اند که تجزیه و تحلیل معنی دار را امکان پذیر می کند ، نیاز به کار زیادی دارد. دانشمندان داده 50 تا 80 درصد از وقت خود را صرف تهیه و تهیه داده ها قبل از استفاده از آن می کنند.
سرانجام ، فناوری Big Data با سرعت سریع در حال تغییر است. چند سال پیش ، Apache Hadoop فناوری محبوب مورد استفاده برای اداره داده های بزرگ بود. سپس Apache Spark در سال 2014 معرفی شد. امروز به نظر می رسد ترکیبی از دو چارچوب بهترین رویکرد است. پیگیری با فناوری داده های بزرگ یک چالش مداوم است.
منابع داده بزرگ بیشتری را کشف کنید:
داده های بزرگ چگونه کار می کند
داده های بزرگ به شما بینش جدیدی می دهد که فرصت های جدید و مدل های تجاری را باز می کنند. شروع کار شامل سه عمل کلیدی است:
1. ادغام داده های بزرگ داده ها را از بسیاری از منابع و برنامه های متفاوت جمع می کند. مکانیسم های ادغام داده های سنتی ، مانند عصاره ، تبدیل و بار (ETL) به طور کلی به این کار نیستند. برای تجزیه و تحلیل مجموعه داده های بزرگ در مقیاس Terabyte یا حتی Petabyte ، به استراتژی ها و فناوری های جدید نیاز دارد.
در حین ادغام ، شما باید داده ها را وارد کنید ، آن را پردازش کنید و مطمئن شوید که آن را به صورت فرمت و در دسترس است که تحلیلگران تجارت شما می توانند با آن شروع کنند.
2. مدیریت داده های بزرگ نیاز به ذخیره سازی دارد. راه حل ذخیره سازی شما می تواند در ابر ، در محل یا هر دو باشد. شما می توانید داده های خود را به هر شکلی که می خواهید ذخیره کنید و نیازهای پردازش مورد نظر و موتورهای پردازش لازم را به صورت تقاضا به آن مجموعه داده ها وارد کنید. بسیاری از افراد با توجه به جایی که داده های آنها در حال حاضر ساکن است ، راه حل ذخیره سازی خود را انتخاب می کنند. ابر به تدریج محبوبیت خود را بدست می آورد زیرا از نیازهای محاسباتی فعلی شما پشتیبانی می کند و شما را قادر می سازد در صورت لزوم منابع را بچرخانید.
3. تجزیه و تحلیل سرمایه گذاری خود در Big Data هنگام تجزیه و تحلیل و عمل بر روی داده های خود ، پرداخت می کند. با تجزیه و تحلیل بصری از مجموعه داده های متنوع خود وضوح جدیدی دریافت کنید. برای انجام اکتشافات جدید ، داده ها را بیشتر کاوش کنید. یافته های خود را با دیگران به اشتراک بگذارید. مدل های داده را با یادگیری ماشین و هوش مصنوعی بسازید. داده های خود را برای کار قرار دهید.
داده های بزرگ بهترین شیوه ها
برای کمک به شما در سفر بزرگ داده خود ، ما بهترین روشهای اصلی را برای شما در نظر گرفته ایم. در اینجا دستورالعمل های ما برای ایجاد یک بنیاد موفقیت آمیز داده های بزرگ ارائه شده است.
مطمئناً تجزیه و تحلیل داده های بزرگ به تنهایی ارزشمند است. اما می توانید با اتصال و ادغام داده های بزرگ با چگالی کم با داده های ساختاری که امروزه از آن استفاده می کنید ، بینش های تجاری بیشتری را به همراه داشته باشید.
این که آیا شما در حال ضبط مشتری ، محصول ، تجهیزات یا داده های بزرگ زیست محیطی هستید ، هدف این است که امتیاز داده های مرتبط تری را به خلاصه های اصلی و خلاصه های تحلیلی خود اضافه کنید و منجر به نتیجه گیری بهتر شود. به عنوان مثال ، تفاوت در تمایز کلیه احساسات مشتری از تنها بهترین مشتریان شما وجود دارد. به همین دلیل بسیاری داده های بزرگ را به عنوان یکپارچه سازی جدایی ناپذیر از قابلیت های اطلاعاتی تجاری موجود ، پلت فرم انبارداری داده ها و معماری اطلاعات می دانند.
به خاطر داشته باشید که فرآیندها و مدل های تحلیلی داده های بزرگ می توانند هم مبتنی بر انسان و ماشین باشند. قابلیت های تحلیلی داده های بزرگ شامل آمار ، تجزیه و تحلیل مکانی ، معناشناسی ، کشف تعاملی و تجسم است. با استفاده از مدلهای تحلیلی ، می توانید انواع و منابع مختلف داده را برای ایجاد ارتباطات و اکتشافات معنی دار ارتباط برقرار کنید.
کشف معنی در داده های شما همیشه ساده نیست. بعضی اوقات حتی نمی دانیم که به دنبال چه چیزی هستیم. انتظار می رودمدیریت و باید از این "عدم جهت" یا "عدم نیاز روشن" پشتیبانی کند.
در عین حال ، برای تحلیلگران و دانشمندان داده مهم است که برای درک شکاف ها و الزامات کلیدی دانش کسب و کار ، با تجارت نزدیک همکاری کنند. برای قرار دادن اکتشاف تعاملی داده ها و آزمایش الگوریتم های آماری ، به مناطق کار با کارایی بالا نیاز دارید. مطمئن باشید که محیط های ماسهبازی پشتیبانی مورد نیاز خود را دارند و به درستی اداره می شوند.
