متن فیلم

امروزه حجم عظیمی از داده‌ها در اطراف ما تولید می‌شود؛ از تراکنش‌های مالی گرفته تا رفتار کاربران در فضای دیجیتال. اگر این داده‌ها صرفاً جمع شوند، به تنهایی ارزشی ندارند، اما وقتی با روش‌های علمی و تحلیلی بررسی شوند، می‌توانند الگوها و روندهای پنهان را آشکار کنند. اینجاست که مفهوم داده‌کاوی مطرح می‌شود؛ ابزاری برای تبدیل داده خام به دانشی ارزشمند که پایه تصمیم‌گیری‌های هوشمند است. داده‌کاوی یا فرآیند استخراج دانش از داده‌ها، قلب فرآیند تحلیل داده‌ها است. این یک حوزه میان‌رشته‌ای است که شامل استفاده از فناوری‌های تشخیص الگو، تحلیل آماری و تکنیک‌های ریاضی می‌شود. هدف آن شناسایی همبستگی‌ها در داده‌ها، یافتن الگوها و تغییرات، درک روندها و پیش‌بینی احتمالات. شما در زمینه تحلیل داده‌ها مرتباً درباره الگوها و روندها خواهید شنید، بنابراین ابتدا بیایید این مفاهیم را درک کنیم. تشخیص الگو، کشف نظم یا اشتراک در داده‌ها است. داده‌های لاگ برای ورود به یک برنامه در یک سازمان را در نظر بگیرید. این داده‌ها شامل اطلاعاتی مانند نام کاربری، زمان ورود به سیستم، زمان صرف شده در هر جلسه ورود و فعالیت‌های انجام شده است. وقتی این داده‌ها را تحلیل می‌کنیم تا در مورد عادات یا رفتارهای کاربران بینش کسب کنیم، به عنوان مثال، زمانی از روز که حداکثر کاربران تمایل به ورود به سیستم دارند یا نقش‌های کاربری که معمولاً حداکثر ساعات ورود به برنامه یا ماژول‌های موجود در برنامه گردش کار را می‌گذرانند که در آن داده‌ها به صورت دستی یا از طریق ابزارها برای کشف الگوهای پنهان در داده‌ها بررسی می‌شوند. از سوی دیگر، یک روند، تمایل کلی مجموعه‌ای از داده‌ها برای تغییر در طول زمان است. برای مثال، گرمایش جهانی در کوتاه‌مدت، مانند دمای سالانه، ممکن است ثابت بماند یا چند درجه بالا یا پایین برود، اما دمای کلی جهانی به مرور زمان افزایش می‌یابد و گرمایش جهانی را به یک روند تبدیل می‌کند. داده‌کاوی کاربردهایی در صنایع و رشته‌های مختلف دارد. به عنوان مثال، شناسایی نیازهای رفتاری مشتری و درآمد قابل تصرف به منظور ارائه کمپین‌های هدفمند، موسسات مالی، ردیابی تراکنش‌های مشتری برای رفتارهای غیرمعمول و علامت‌گذاری تراکنش‌های کلاهبرداری با استفاده از مدل‌های داده‌کاوی. استفاده از مدل‌های آماری برای پیش‌بینی احتمال ابتلای بیماران به بیماری‌های خاص و اولویت‌بندی درمان. دسترسی به داده‌های عملکرد دانش‌آموزان برای پیش‌بینی سطح موفقیت و تلاش متمرکز برای ارائه پشتیبانی در صورت نیاز. کمک به سازمان‌های تحقیقاتی برای استقرار نیروهای پلیس در جایی که احتمال جرم بیشتر است و همسو کردن عرضه و لجستیک با پیش‌بینی‌های تقاضا. تکنیک‌های متعددی وجود دارد که می‌توانید برای تشخیص الگوها و ساخت مدل‌های دقیق برای کشف از آن‌ها استفاده کنید، چه مدل‌سازی توصیفی، تشخیصی، پیش‌بینی‌کننده یا مدل‌سازی تجویزی،. بیایید برخی از رایج‌ترین تکنیک‌ها را درک کنیم. دسته‌بندی تکنیکی است که ویژگی‌ها را به دسته‌های هدف دسته‌بندی می‌کند، به عنوان مثال، مشتریان را بر اساس میزان درآمدشان به کم‌خرج‌ترین، متوسط‌ترین یا پرخرج‌ترین‌ها دسته‌بندی می‌کند. خوشه‌بندی مشابه دسته‌بندی است، اما شامل گروه‌بندی داده‌ها در خوشه‌ها می‌شود تا بتوان با آن‌ها به عنوان گروه رفتار کرد. به عنوان مثال، خوشه‌بندی مشتریان بر اساس تشخیص ناهنجاری یا داده‌های پرت در مناطق جغرافیایی، تکنیکی است که به یافتن الگوها و داده‌هایی که عادی یا غیرمنتظره نیستند، کمک می‌کند. به عنوان مثال، افزایش ناگهانی در استفاده از کارت اعتباری می‌تواند سوءاستفاده‌های احتمالی را نشان دهد. کاوش قوانین وابستگی تکنیکی است که به ایجاد رابطه بین دو رویداد داده کمک می‌کند. به عنوان مثال، خرید لپ‌تاپ اغلب با خرید یک پد خنک‌کننده همراه است. الگوهای متوالی تکنیکی است که مجموعه‌ای از رویدادهایی را که به ترتیب اتفاق می‌افتند، ردیابی می‌کند. به عنوان مثال، ردیابی مسیر خرید مشتری از زمانی که وارد یک فروشگاه آنلاین می‌شوند تا زمانی که از آن خارج می‌شوند. گروه‌بندی وابستگی تکنیکی است که برای کشف هم‌رخدادی در روابط استفاده می‌شود. این تکنیک به طور گسترده در فروشگاه‌های آنلاین برای فروش متقابل و فروش بیشتر محصولاتشان با توصیه محصولات به افراد بر اساس سابقه خرید سایر افرادی که همان کالا را خریداری کرده‌اند، استفاده می‌شود. درخت‌های تصمیم‌گیری به ساخت مدل‌های دسته‌بندی به شکل ساختار درختی با شاخه‌های متعدد کمک می‌کنند، که در آن هر شاخه نشان دهنده یک اتفاق احتمالی است. این تکنیک به ایجاد درک روشنی از رابطه بین ورودی و خروجی کمک می‌کند. رگرسیون تکنیکی است که به شناسایی ماهیت رابطه بین دو متغیر، که می‌تواند علی یا همبستگی باشد، کمک می‌کند. به عنوان مثال، بر اساس عواملی مانند موقعیت مکانی و مساحت تحت پوشش، می‌توان از یک مدل رگرسیون برای پیش‌بینی ارزش یک خانه استفاده کرد. داده‌کاوی اساساً به جداسازی نویز از اطلاعات واقعی کمک می‌کند و به مشاغل کمک می‌کند تا انرژی خود را فقط روی آنچه مرتبط است متمرکز کنند.