خلاصه و نکات مهم

خلاصه و نکات مهم

در این درس، اطلاعات زیر را آموخته‌اید:

پس از جمع‌آوری و وارد کردن داده‌هایی که شناسایی کرده‌اید، گام بعدی شما آماده‌سازی آن برای تحلیل است. اینجاست که فرآیند Data Wrangling یا Data Munging وارد عمل می‌شود. Data Wrangling یک فرآیند تکراری است که شامل کاوش، تبدیل و اعتبارسنجی داده‌ها می‌شود.

تبدیل داده‌های خام شامل وظایفی است که شما انجام می‌دهید:

• دستکاری و ترکیب ساختاری داده‌ها با استفاده از Joins وUnions.
• نرمال‌سازی داده‌ها، یعنی پاکسازی پایگاه داده از داده‌های بلااستفاده و تکراری.
• غیر نرمال‌سازی داده‌ها، یعنی ترکیب داده‌ها از چندین جدول در یک جدول واحد به طوری که بتوان سریع‌تر به آنها پرس‌وجو کرد.
• پاکسازی داده‌ها، که شامل پروفایل‌بندی داده‌ها برای کشف مشکلات کیفی، مصورسازی داده‌ها برای شناسایی داده‌های پرت و رفع مشکلاتی مانند مقادیر گمشده، داده‌های تکراری، داده‌های نامربوط، قالب‌های متناقض، خطاهای نحوی و داده‌های پرت است.
• غنی‌سازی داده‌ها، که شامل در نظر گرفتن نقاط داده اضافی است که می‌توانند به مجموعه داده‌های موجود ارزش افزوده دهند و منجر به تحلیل معنادارتری شوند.

نرم‌افزارها و ابزارهای متنوعی برای فرآیند تحلیل داده‌ها در دسترس هستند. برخی از محبوب‌ترین آن‌ها عبارتند از Excel Power Query، Spreadsheets، OpenRefine، Google DataPrep، Watson Studio Refinery، Trifacta Wrangler، Python و R که هر کدام مجموعه ویژگی‌ها، نقاط قوت، محدودیت‌ها و کاربردهای خاص خود را دارند.