معرفی انواع نرم افزارهای تحلیل داده

با توجه به محبوبیت روزافزون و پذیرش «علم داده»، راه‌حل‌های مختلفی توسط ابزارهای آسان و کاربرپسند علوم داده ارائه شده که می‌توانند برای طراحی و ساخت مدل‌های پیچیده داده مورد استفاده قرار گیرند. بهترین قسمت استفاده از این ابزارها این است که فرد در زبان‌های برنامه‌نویسی نیازی به تخصص ندارد زیرا آن‌ها با انواع توابع و الگوریتم‌های از پیش تعریف‌شده طراحی شده‌اند. در نتیجه، کسب و کارها می‌توانند از بین انواع ابزارهای علم داده که برای عملکردهایی مانند ذخیره‌سازی، تجزیه و تحلیل، مدل‌سازی و تجسم داده‌ها استفاده می‌شوند بسته به نیازهای خود، ابزار مناسب را برگزینند. این ابزارها جایگزین کدنویسی هستند و واسط گرافیکی (GUI) کاربرپسندی دارند به طوری که هرکسی با حداقل آشنایی با الگوریتم‌های تحلیل داده، به سادگی می‌تواند از آن‌ها برای ساخت مدل استفاده کند. در ادامه تعدادی از ابزارهای علم داده که دانشمندان داده معمولاً برای جمع‌آوری و تبدیل داده‌ها برای یک فرایند تصمیم‌گیری بهتر از آن‌ها استفاده می‌کنند، معرفی می‌شوند.

نرم افزار Apache Hadoop
Apache Hadoop با مجموعه‌ای از ابزارهای نرم‌افزاری منبع آزاد و رایگان، چهارچوبی است که می‌تواند مسائل مربوط به ذخیره‌سازی حجم زیاد داده و پردازش آن را حل کند. این ابزار می‌تواند ذخیره و پردازش داده‌های بزرگ (Big Data) را با استفاده از برنامه‌نویسی MapReduce تسهیل کند.
این نرم افزار که برای محاسبه و پردازش داده‌های با حجم بالا استفاده می‌شود، پردازش توزیع‌شده مجموعه داده‌ها را در بین خوشه‌های شبکه امکان‌پذیر می‌کند و برای مقیاس‌پذیری بالا از چند تا هزار ماشین متصل طراحی شده است.
ویژگی‌های اصلی:
– از هزاران خوشه مبتنی بر Hadoop پشتیبانی می‌کند.
– استفاده از سیستم پرونده توزیع‌شده (Hadoop یا HDFS) برای پردازش موازی حجم انبوه داده‌ها
– پشتیبانی از چارچوب Hadoop YARN که برای برنامه‌ریزی شغل و مدیریت خوشه استفاده می‌شود.
– از سایر پروژه‌های مرتبط با Hadoop از جمله ابزار تحت وب، Ambari ،Hive (ذخیره‌سازی داده‌ها) و Avro (مجموعه‌سازی داده‌ها) پشتیبانی می‌کند.

نرم افزار Apache Spark
مانند Apache Hadoop، نرم افزار Apache Spark یا به طور خلاصه Spark ابزاری منبع ‌باز و توزیع‌شده در زمینه علوم داده است که در درجه اول به عنوان یک چهارچوب محاسبات خوشه‌ای استفاده می‌شود.
Spark که برای یادگیری ماشین یا برنامه‌های مرتبط با آن طراحی شده است، با چندین یادگیری ماشین API ساخته شده که می‌تواند برای طراحی آسان مدل‌های یادگیری ماشین استفاده شود. بر اساسMapReduce ،Spark مدل MapReduce را برای تعداد بیشتر و سرعت محاسبات در پردازش جریان و پرس و جو تعاملی گسترش می‌دهد.
ویژگی‌های اصلی:
– ۱۰۰ برابر سریع‌تر از حجم کار داده‌ها پردازش می‌شود.
– ترکیبی از SQL، جریان داده و تجزیه و تحلیل را پشتیبانی می‌کند.
– می‌تواند در حالت خوشه‌ای مستقل یا در هر محیط ابری اجرا شود.
– شامل کتابخانه ماژول SQL است که می‌تواند داده‌های ساختاریافته را در برنامه‌های Spark پیگیری کند.
– ویژگی‌های DataFrame API که می‌تواند برای جمع‌آوری آسان اطلاعات از منابع مختلف از جمله Hive ، JSON و JDBC مورد استفاده قرار گیرد.

نرم افزار RapidMiner
این نرم افزار به عنوان بستری مؤثر برای علم داده، RapidMiner محیطی کارآمد برای تلفیق داده‌ها، یادگیری عمیق، یادگیری ماشین، متن‌کاوی و تجزیه و تحلیل پیشگویی فراهم می‌کند. به لطف عملکرد کلی، RapidMiner برای سیستم‌ عامل‌های علوم داده توسط Gartner در رتبه یک قرار گرفته است. RapidMiner یک پلتفرم برای مدل‌سازی داده‌ها از شروع آماده‌ سازی تا ساخت مدل و استقرار آن ارائه می‌دهد.
اولین نسخه نرم‌افزار رپیدماینر در سال 2006 در قالب یک نرم‌افزار متن باز با نام Rapid_l منتشر شد. پس از چند سال، نام آن را به RapidMiner یا به طور خلاصه RM تغییر دادند. نسخه‌های قدیمی این نرم افزار، متن باز بودند اما از نسخه 6 به بعد با لایسنس یا نسخه محدود رایگان 14 روزه عرضه می‌شود. رپیدماینر همه آنچه که برای ساخت مدل پیش‌بینی لازم است را فراهم می‌آورد؛ از آماده سازی داده‌ها تا مدل‌سازی و سپس ارزیابی نهایی و انتشار مدل آماده استفاده رابط کاربری.
این نرم افزار مانند Matlab Simulink به صورت جریانی از عملگرهاست. فقط کافیست تا این عملگرها در جهت هدف پروژه، به درستی به هم متصل شده و اجرا شوند. در رپیدماینر می‌توانید طیف وسیعی از الگوریتم‌ها را بدون نیاز به حتی یک خط کدنویسی در محیط نرم افزار اجرا کنید و خروجی بگیرید. یک ویژگی بسیار جالبی که RM دارد این است که عملگرهایی هم برای نوشتن و اجرای کدهای R و Python در آن تعبیه شده است که در خود نرم‌افزار یکپارچه شده‌اند.
محصولات این نرم‌افزار عبارتند از:
RapidMiner Studio: نرم افزاری که برای آماده‌سازی، بصری سازی و مدل‌سازی آماری داده‌ها به کار می‌رود.
RapidMiner Server: یک نرم افزار پولی که پکیج‌های لازم برای تحلیل داده را در خودش جمع‌آوری کرده و امکاناتی برای ساده‌سازی کارهایی مانند تیم‌سازی، مدیریت پروژه و توسعه مدل برای کاربران فراهم کرده است.
RapidMiner Radoop: امکانات اجرایی کردن تحلیل داده‌های کلان بر بستر Hadoop را فراهم کرده است.
RapidMiner Cloud: یک بسته بر مبنای Cloud است که امکان اشتراک گذاری آسان اطلاعات در بین تجهیزات دیگر را فراهم آورده است.
RM در حال حاضر در صنایع مختلف، اتوماسیون، بانکداری، بیمه، تولید، نفت و گاز، بازاریابی و زیرساخت‌های ارتباطاتی به عنوان ابزار تحلیل داده مورد استفاده قرار می‌گیرد.
ویژگی‌های اصلی:
رابط ابزار مبتنی بر GUI با بلوک‌های از پیش تعریف شده
پشتیبانی از پارتیشن‌بندی داده‌ها و دسترسی به آن‌ها
استفاده از ابزار طراح گردش کار بصری برای طراحی مدل‌های تحلیلی
توابع اکتشاف داده شامل آمار توصیفی، تجسم و نمودارها
ادغام یکپارچه با ابزارهای دیگر مانند Cloudera, MapR, Talend و DataStax

نرم افزار Microsoft Azure HDInsight
Azure HDInsight ابزار محبوب مایکروسافت است که برای پردازش حجم بالای جریان و داده‌های تاریخی طراحی شده است. Azure HDInsight به عنوان یک پلتفرم مبتنی بر ابر می‌تواند برای ذخیره‌سازی، پردازش و تجزیه و تحلیل داده‌ها استفاده شود. همچنین می‌تواند به راحتی با Apache Hadoop و Spark به منظور پردازش داده‌ها ادغام شود. HDInsight علاوه بر مقرون به صرفه بودن و مقیاس‌پذیری، امنیت داده‌ها با Azure Virtual Network و نظارت خوشه‌ای را با تلفیق آن با Azure Monitor ارائه می‌دهد.
ویژگی‌های اصلی:
ایجاد خوشه بهینه شده برای Apache Hadoop, Spark, Kafka HBase و چهارچوب‌های دیگر
محافظت از داده در سطح شرکت با استفاده از خدمات Azure Directory
استفاده از سیستم ذخیره‌سازی Microsoft Azure Blob برای مدیریت داده‌ها
برای اجرای تجزیه و تحلیل آماری و ساخت مدل‌های یادگیری ماشین با Microsoft R Server ساخته شده است.
ادغام یکپارچه با سایر سرویس‌های Microsoft Azure از جمله Data Factory و Data Lake Storage

نرم افزار H2O.ai
H20.ai به عنوان یک پلتفرم رایگان و منبع باز، یک رهبر جهانی در برنامه‌های هوش مصنوعی (AI) و یادگیری ماشین (ML) است. H20 با موفقیت برای پیاده‌سازی هوش مصنوعی در صنایع مختلف از جمله خدمات مالی، بیمه و خرده‌فروشی مورد استفاده قرار گرفته است. این نرم افزار از طیف وسیعی از الگوریتم‌های یادگیری ماشین مانند ماشین‌های شیب‌دار، مدل‌های تعمیم‌یافته و یادگیری عمیق پشتیبانی می‌کند. H20 به عنوان یک ابزار دانش داده کاربر پسند، برای ساده‌سازی مدل‌سازی داده‌ها طراحی شده است و دارای یک جامعه آنلاین در حال رشد متشکل از دانشمندان داده و سازمان‌های پذیرش هوش مصنوعی است.
ویژگی‌های اصلی:
با استفاده از زبان‌های برنامه‌نویسی معروف مانند Python و R  ساخته شده است.
H20 Driverless یا AI به صورت خودکار که شامل مهندسی اتوماتیک و یادگیری ماشین است.
ادغام منبع باز Sparkling Water با Apache Spark را ارائه می‌دهد.
ادغام با Apache Hadoop برای تجزیه و تحلیل حجم زیادی از داده‌ها
امتیازدهی به موقع داده‌ها
رابط کاربرپسند و مبتنی بر وب

نرم افزار DataRobot
از میان ابزارهای برجسته دانشمندان داده، از DataRobot به عنوان یک سیستم ‌عامل هوش مصنوعی و یادگیری ماشین به منظور توسعه مدل‌های پیش‌بینی پیشرفته استفاده می‌شود. این سیستم ‌عامل استفاده از الگوریتم‌های یادگیری ماشین را برای خوشه‌بندی داده‌ها و رگرسیون ساده می‌کند. DataRobot با پیاده‌سازی هوش مصنوعی در کل شرکت، توسط بسیاری از ذینفعان کسب و کار از جمله دانشمندان داده، تحلیل‌گران کسب و کار و تیم‌های فناوری اطلاعات برای استخراج ارزش عمیق از حجم زیادی از داده‌ها استفاده می‌شود.

DataRobot یا به طور خلاصه DR یک بستر برای پیاده‌سازی مدل‌های مبتنی بر یادگیری ماشین است که بسیاری از کارها را خودکار کرده و توسط بهترین دانشمندان داده وبسایت Kaggle شامل Jeremy Achin, Thoman Degodoy و Owen Zhang ایجاد شده است.
بر اساس ادعای DR، این ابزار مزایای زیر را دارد:
– بهینه‌سازی مدل‌ها: این بستر قادر است بهترین آماده‌سازی داده‌ها و تشخیص ویژگی‌های مهم را با به کارگیری متن‌کاوی، تشخیص نوع ویژگی، رمزگشایی، هم مقیاس سازی، تبدیلات و … ارائه دهد. پارامترهای پیشفرض بر اساس معیار خطا و امتیاز ارزیابی به طور خودکار تعیین می‌شوند.
– پردازش‌های موازی: با استفاده از سرورهای قدرتمند، محاسبات بر روی بیش از 1000 سرور چندهسته‌ای صورت می‌گیرد و در آن از الگوریتم‌های توزیع شده برای کار با داده‌های بزرگ استفاده شده است.
– امکان توسعه: فراهم سازی امکانات توسعه آسان تنها با چند کلیک و بدون نیاز به کد نویسی، مناسب برای مهندسان نرم افزار، دارای کیت‌های ساخت نرم افزارهای مبتنی بر Python و محیط برنامه‌نویسی کاربردی موجود برای یکپارچه‌سازی مدل‌ها در ابزارها و نرم‌افزارها
ویژگی‌های اصلی:
– پشتیبانی از پردازش موازی که به چندین سرور قدرت می‌دهد تا تجزیه و تحلیل و مدل‌سازی داده‌ها را هم‌زمان انجام دهند.
ساخت سریع، آزمایش و آموزش مدل‌های یادگیری ماشین
– ارزیابی مدل را با استفاده از تکنیک‌هایی مانند تنظیم پارامتر ساده می‌کند.
– استقرار و بهینه‌سازی آسان مدل
– استقرار مدل‌های پیش‌بینی پیشرفته در چند دقیقه بر روی بستر DataRobot Cloud

نرم افزار BigML
این ابزار هم بستر مدل‌سازی بر مبنای یادگیری ماشین دیگری است که رابط کاربری خوبی دارد و مدعی داشتن ویژگی‌های زیر است:
Sources: به کارگیری  انواع منابع مختلف اطلاعاتی
Datasets: استفاده از منابع تعریف شده برای ساخت یک دیتاست
Models: ساخت مدل‌های پیش بینانه
Predictions: پیش‌بینی بر اساس مدل
Ensembles: توانایی ترکیب مدل‌های مختلف
Evaluation: ارزیابی مدل‌ها
هرکدام از این کارها به ترتیب و پشت سر هم انجام می‌شوند. BigML نمودارهای گرافیکی جذابی از نتایج ارائه می‌دهد و از الگوریتم‌های متنوعی برای حل مسائل طبقه‌بندی، رگرسیون، خوشه‌بندی، تشخیص انحرافات و کشف قوانین انجمنی استفاده می‌کند.

نرم افزار Google Cloud Prediction API
این ابزار یک API از نوع RESTful است که برای ساخت مدل‌های مبتنی بر یادگیری ماشین در گوشی‌های اندروید مورد استفاده قرار می‌گیرد. برخی از کاربردهای این API عبارتند از:
ارائه سیستم توصیه گر: این سیستم بر اساس عادات گذشته کاربران، پیش‌بینی می‌کند که کاربر چه فیلم‌ها یا محصولات دیگری را ممکن است بپسندد.
تشخیص Spam: سیستمی که ایمیل‌ها را به Spam و غیر Spam طبقه بندی می‌کند.
تحلیل نظرات: تحلیل کامنت های پست شده درباره خدمات یا محصول، برای تعیین اینکه آیا افراد نسبت به محصول/سرویس نظر مثبت داشته‌اند یا خیر.
پیش‌بینی میزان خرید: تخمین اینکه بر اساس تاریخچه مقدار هزینه کردن کاربران، یک کاربر ممکن است در روز چه میزان خرید کند. به همراه این API، کتابخانه‌هایی از زبان‌های مختلف مانند Python, Go, Java, JavaScript, .net, NodeJS Obj_C, PHP و Ruby برای بالابردن عملکرد و امنیت API بر روی گوشی قابل نصب است.

نرم افزار  Paxata
یکی از معدود شرکت‌هایی هست که تنها بر روی پاکسازی و آماده‌سازی داده‌ها به عنوان یکی از وظایف مهم در استاندارد پیاده سازی داده‌کاوی تمرکز کرده است و وارد مباحث یادگیری ماشین و مدل‌سازی آماری نشده است. این ابزار مانند اکسل حالت صفحه گسترده داشته و کاربری ساده‌ای دارد. مواردی مانند دستورالعمل گرافیکی ساده برای جمع‌آوری داده‌ها، پیداکردن و پاکسازی داده‌های کثیف یا گمشده و به اشتراک‌گذاری و قابلیت استفاده مشترک داده‌ها توسط تیم، در این نرم‌افزار فراهم شده است.
بستر Paxata کارهای زیر را به طور متوالی انجام می‌دهد:
اضافه کردن داده‌ها: این بستر منابع زیادی برای جمع‌آوری داده‌ها دارد.
کاوش: با استفاده از ابزارهای گرافیکی قدرتمند امکان کشف ایرادات داده‌ها را برای کاربران فراهم آورده است.
پاکسازی و تغییر : پاکسازی داده‌ها از طریق جای گذاری مقادیر گمشده، نرمال‌سازی مقادیر مشابه با استفاده از NLP، تشخیص موارد تکراری
ساخت داده مورد نیاز: ساخت Pivot بر روی داده‌ها، گروه بندی و تجمیع داده‌ها
اشتراک گذاری و مدیریت داده‌ها: امکان به اشتراک گذاری و مدیریت داده‌ها با توجه به دسترسی‌هایی که برای کاربران تعیین می‌شود.
ترکیب داده‌ها: تکنولوژی به نام SmartFusion این امکان را برای کاربران فراهم آورده است که تنها با یک کلیک بهترین ترکیب داده‌ها را برای یک AnswerSet یکتا فراهم آورد.
ابزارهای هوش تجاری: در این ابزار، با به کارگیری AnswerSet در مرحه قبل، قابلیت تبدیل داده‌ها به نمودارهای گرافیکی ارزشمند به وسیله ابزارهای BI مرسوم به وجود می‌آید. همچنین امکان رفت و برگشت دائم بین مراحل پیش‌پردازش و مصورسازی به آسانی امکان‌پذیر است.

نرم افزار Trifacta
این شرکت نیز بر روی آماده‌سازی داده‌ها تمرکز کرده و برای این هدف 2 محصول ارائه داده است:
Wrangler: نسخه رایگان نرم‌افزار
Wrangler Enterprise: نسخه کامل و لایسنس دار نرم‌افزار
Trifacta یک واسطه گرافیکی کاملاً ادراکی برای پاکسازی داده‌ها ارائه داده است. این واسط داده‌ها را به عنوان ورودی گرفته و خلاصه‌ای از داده‌ها به همراه شاخص‌های آماری متنوع برای هر ستون ارائه می‌دهد. همچنین به طور خودکار برخی تبدیلات را برای هر یک از ستون‌های دیتاست ارائه می‌دهد که تنها با یک کلیک قابل انجام است. تبدیلات متنوع بر روی داده‌ها، با استفاده از برخی توابع از پیش تعریف شده، بر روی واسط گرافیکی به آسانی قابل اجرا شدن است.
Trifacta همانند ابزار قبلی مراحل زیر را برای آماده‌سازی داده‌ها انجام می‌دهد:
کشف دانش: این بخش برای بررسی اولیه داده‌ها و بررسی توزیع آن‌ها برای حس گرفتن از داده‌ها است.
ساختار داده‌ها: این بخش نیز بیشتر برای بررسی مشخصات اولیه داده‌ها یعنی فرمت و نوع داده و تشخیص ناهنجاری‌هاست.
پاکسازی داده‌ها: این بخش شامل فرایندهایی مانند جایگذاری مقادیر گمشده، استانداردسازی متون و غیره است که برای آماده کردن داده‌ها جهت مدل‌سازی لازم است.
غنی‌سازی داده‌ها: این بخش با اضافه کردن داده از منابع اطلاعاتی دیگر و پیاده‌سازی برخی کارهای مهندسی بر روی فیلد داده‌ها، به بهبود تحلیل داده‌ها کمک می‌کند.
ارزیابی داده‌ها: این بخش برای بررسی نهایی داده‌ها به کار می‌رود.
ارائه داده‌ها: در این بخش داده‌های آماده‌سازی شده برای کاربردهای بعدی منتشر می‌شود.

نرم افزار Narrative Science
این ابزار هم صرفاً ساخت خودکار گزارشاتی با استفاده از داده‌ها را انجام می‌دهد. در واقع این ابزار برای داستان‌سرایی درمورد داده‌ها ایجاد شده و از الگوریتم پردازش زبان (NLP) برای این کار استفاده می‌کند.
برخی ویژگی‌های این ابزار عبارت است از:
ارائه آرشیوی از داده‌ها برای آمار و اطلاعات گذشته درباره سازمان
ساخت گزارش‌های هدف‌دار برای افراد خاص
این ابزار هم اکنون در سازمان‌های مالی، بیمه‌ها، دولت و بازاریابی اینترنتی مورد استفاده قرار می‌گیرد. از جمله مشتریان این نرم افزار می‌توان به American Century Investments, PayScale, MasterCard Deloitte و … اشاره کرد.

نرم افزار MLBase
یک پروژه متن‌ باز توسعه داده شده توسط آزمایشگاه AMP که در دانشگاه برکلی کالیفرنیا شروع به کار کرد. هدف اصلی این پروژه، ایجاد یک بستر برای پیاده‌سازی آسان یادگیری ماشین بر روی مسائل با مقیاس بزرگ است.
پروژه MLBase سه محصول دارد:
Mlib: این محصول همانند هسته کتابخانه توزیع شده ML در Apache Spark عمل می‌کند. در ابتدا این محصول به عنوان بخشی از پروژه MLBase توسعه یافت اما هم اکنون جامعه Spark پشتیبان آن است.
MLI: یک API برای استخراج ویژگی‌های مهم و توسعه الگوریتم‌ها است که با زبان‌های سطح بالای برنامه‌نویسی ایجاد شده است.
ML Optimizer: این لایه ساختاری جریانی برای کارهای یادگیری ماشین است. Optimizer برای استخراج ویژگی‌ها و الگوریتم‌های یادگیری ماشین در لایه‌های MLI و Mllib به کار می‌رود.
البته این پروژه مانند بسیاری از پروژه‌های دیگر در حال توسعه است و در آینده نزدیک بسیار پیشرفت خواهد کرد.

نرم افزار WEKA
نرم‌افزار داده‌کاوی WEKA با زبان جاوا نوشته شده است و در گروه یادگیری ماشین دانشگاه وایکاتو در نیوزلند توسعه داده شده است. این نرم افزار نیز متن ‌باز بوده و ابزار بسیار مناسبی برای تازه واردان به حوزه علم داده است. این نرم‌افزار هنوز هم در بسیاری از آکادمی‌های علم داده به کار گرفته می‌شود.
می‌توانید از قابلیت‌های یادگیری عمیق (Deep Learning) نرم افزار وکا مانند شبکه‌عصبی عمیق (Deep neural networks)، شبکه عصبی پیچشی (Convolutional neural network) و شبکه عصبی بازگشتی (Recurrent neural network) و از طریق رابط کاربر گرافیکی این نرم افزار استفاده کنید. در سال ۲۰۰۵، نرم‌افزار WEKA که مخفف Waikato Environment for Knowledge Analysis و به معنی «محیط وایکاتو برای تحلیل دانش» است، جایزه بهترین خدمات داده‌کاوی و کشف دانش (SIGKDD) را دریافت کرد.
مزایا:

• وجود رابط کاربر گرافیکی مناسب

• می‌توانید از محبوب‌ترین زبان‌های برنامه نویسی علم داده‌ها (Data science) مانند R، پایتون و اسپارک در این نرم افزار استفاده کنید.

• یادگیری نسبتاً آسان و وجود آموزش‌های فراوان برای این نرم افزار

• بدون نیاز به یک خط برنامه نویسی می‌توانید از قابلیت‌های این نرم افزار استفاده کنید.

• نرم افزار وکا با فرمت‌های مختلف داده مانند اکسل، CSV و Arff کار می‌کند.
  
  معایب:

• زمان‌بر بودن اجرای مدل‌ها به علت عدم بهینه بودن برخی از آن‌ها (در برخی موارد زمان اجرای یک الگوریتم در این نرم افزار در مقایسه با نرم افزاری مانند IBM modeler حتی به ۵ برابر نیز می‌رسد).

• محدودیت در روش‌های خوشه بندی و قواعد انجمنی

– محدودیت شدید در مصورسازی داده‌ها

نرم افزار Microsoft Azure ML Studio 
جایی که نام بازیگران بزرگ در آن مطرح است، چطور ممکن است که مایکروسافت در آنجا حضور نداشته باشد؟! پلتفرم Azure (اَژور) یک پلتفرم یادگیری ماشین تحت وب قدرتمند و در عین حال ساده از شرکت مایکروسافت است. این پلتفرم دارای یک محیط دراپ اند درگ است که کار کردن با آن نیازی به کدنویسی ندارد. طراحان مایکروسافت در محیط اژور، پروژه‌های آماده جامع و مثال‌های ساده‌ای را برای تازه کاران قرار داده‌اند تا به سرعت ‌آن را یاد گرفته و بتوانند با آن کار کنند.
در Azure شما می‌توانید 5 گام ساده زیر را به کار بگیرید:
– وارد کردن مجموعه داده
– انجام فرایند پاکسازی و پیش پردازش داده‌ها
– تقسیم داده‌ها به دو بخش داده‌های آموزش و داده‌های تست
– به کارگیری الگوریتم‌های یادگیری ماشین قرار گرفته در اژور برای آموزش داده‌ها
– ارزیابی مدل نهایی و انجام پیش بینی

نرم افزار Automatic Statistican
این یک محصول نیست بلکه یک موسسه تحقیقاتی است که در حال ساخت ابزاری برای کاوش و تحلیل داده‌ها است. این ابزار قرار است انواع مختلف داده را پشتیبانی و از NLP برای ساخت گزارشات تحلیلی با جزئیات استفاده کند. این ابزار توسط محققانی که در مؤسسات تحقیق MIT و Cambridge کار می‌کنند، در حال توسعه است. کمپانی بزرگ Google حامی این ابزار بوده و به دلیل اینکه هنوز در حال توسعه است، در حال حاضر اطلاعات بسیار اندکی درباره آن موجود است.

نرم افزار Matlab
متلب یک نرم افزار تجاری بوده و انتشار ابتدایی آن به سال ۱۹۸۴ بازمی‌گردد و توسط زبان‌های C/C++، جاوا پیاده سازی شده است. این نرم افزار در سیستم ‌عامل‌های ویندوز، مک‌اواس و لینوکس قابل استفاده است. متلب نیاز به دانش کد نویسی دارد به همین دلیل برای استفاده افراد تازه کار چندان توصیه نمی‌شود.
مزایا:

وجود آموزش‌های زیاد
معایب:

• تجاری بودن

• توسعه شده به ویژه برای حل مسائل ریاضی

• عدم یکپارچگی متلب با سایر نرم افزارهای داده کاوی

• دشواری کار با داده‌های بزرگ

نرم افزار Python
پایتون زبان برنامه نویسی ساده و کاربردی ظهور یافته در سال 1991 است که در علم داده کاوی بسیار کاربرد دارد. این زبان به دلیل چند منظوره و سادگی، مورد استفاده بسیاری افراد قرار گرفته است. همچنین این زبان با داشتن کتابخانه‌های مختلف اکثر برنامه نویسان را جذب خود کرده است.
مزایا:

پرکاربرد بودن و مناسب بودن برای کاربردهای ریاضی

سادگی
-کاربری آسان
-قابلیت پیاده سازی و استفاده از آن در انواع سیستم عامل‌ها
معایب:

الگوریتم‌های یادگیری مدل در این کتابخانه هنوز به بلوغ کامل نرسیده‌اند و در حال تکامل هستند.

الگوریتم‌های داده‌کاوی معمولاً از اجزای کاملاً متفاوتی تشکیل شده‌اند و یکپارچه نیستند. برای پیاده‌سازی آن‌ها توسط این ابزار باید از ترکیب‌های متفاوت آن‌چه در اختیار ما قرار دارد، استفاده شود.

نرم افزار Knime
این ابزار متن باز و رایگان است که در عین حال نسخه تجاری آن نیز موجود است و نسبت به سایر ابزارها جدید است. زبان برنامه‌نویسی استفاده شده جهت توسعه این ابزار Java بوده و پلتفرمی است که بر سه چیز تمرکز دارد: ادغام، تجزیه‌ و تحلیل و گزارش دهی.

بررسی‌های انجام شده از سوی گارتنر نشان می‌دهد مشتریان به واسطه انعطاف‌پذیر بودن، ادغام روان و متن‌ باز بودن از این ابزار راضی بوده‌اند. این ابزار همچنین به شما اجازه می‌دهد از طریق به‌کارگیری افزونه‌هایی به قابلیت‌های بیشتری همچون متن‌کاوی و عکس‌کاوی دسترسی پیدا کنید.

مزایا:

• امکان اتصال به برنامه‌های مشابه مانند Weka یا زبان R

• متن‌کاوی و عکس‌کاوی

• مقیاس‌پذیری بالا از طریق مدیریت داده‌ها و Catching خودکار آن‌ها

• از طریق API خیلی ساده می‌توان آن را توسعه داد.

• در این نرم افزارم امکان ورودی و خروجی از طریق Workflowوجود دارد.

می‌توان به صورت موازی روی سیستم‌های چند هسته‌ای آن را اجرا کرد.

معایب:

• کند بودن نسبت به سایر ابزارها

• نامنظم بودن گزارشات

نرم افزار R
این زبان در سال 1990 نوشته شده است و در مقایسه با سایر ابزارها نسبتاً قدیمی است. این نرم‌افزار متن باز بوده و و بر پایه زبان‌های S و Scheme پیاده‌سازی شده است. این نرم‌افزار، حاوی تکنیک‌های آماری مانند مدل‌سازی خطی و غیرخطی، آزمون‌های کلاسیک آماری، تحلیل سری‌های زمانی، دسته بندی، خوشه‌بندی و همچنین برخی قابلیت‌های گرافیکی است. R را می‌توان در محاسبات ماتریسی نیز به کار برد که این امر منجر به استفاده از آن در عملیات داده‌کاوی نیز می‌شود.

مزایا:

• شامل توابع بسیار گسترده آماری است.

• در برابر سایر نرم‌افزارهای مرسوم کار با آرایه مانند MATLAB، PL و Mathematica نرم‌افزار قدرتمندی است.

• طی چند خط دستور قابل نصب است و شامل دستورات داده‌کاوی و همچنین یادگیری ماشین است.

• با استفاده از ویژگی Pipeline، قابلیت ترکیب بالایی را با سایر ابزارها و نرم‌افزارها دارا است.

• توابع نموداری مناسبی دارد.
  
  معایب:

• فقدان واسط کاربری گرافیکی

• فقدان سفارشی‌سازی لازم جهت داده‌کاوی

• ساختار زبانی آن کاملاً با ساختارهای مرسوم زبان‌های برنامه‌نویسی مانند C++، C#، C، PHP، Java و VB متفاوت است.

• یادگیری نسبتاً دشوار

 نرم افزار Tableau
Tableau یک نرم‌افزار تجسم داده است که برای علم داده و هوش تجاری استفاده می‌شود. این برنامه می‌تواند طیف گسترده‌ای از تجسم داده‌های متفاوت را برای ارائه تعاملی داده‌ها و نمایش آن‌ها، به وجود آورد. این برنامه دارای ابزارهایی است که به شما امکان می‌دهد داده‌ها را کاوش کرده و تأثیرات آن را در قالب تصویری مشاهده کنید که به راحتی برای هر فردی قابل درک است. Tableau همچنین دارای قابلیت تجزیه و تحلیل سریع داده‌ها و پشتیبانی ابری است. Tableau به ایجاد داده‌هایی کمک می‌کند که برای متخصصین در هر سطح از سازمان قابل درک باشند. همچنین برای کاربران غیر فنی، امکان ایجاد داشبورد سفارشی را فراهم می‌‌کند.

ویژگی‌های نرم‌افزار Tableau
– ترکیب داده‌ها
– تجزیه و تحلیل زمان واقعی
– همکاری داده‌ها
نکته قابل توجه در مورد نرم‌افزار Tableau این است که این نرم‌افزار برای کارکرد به هیچ یک از مهارت‌های برنامه‌نویسی و فنی احتیاج ندارد. این ابزار در همه مشاغل از جمله بازاریابان، محققان، تمام کسب و کارها در صنایع مختلف و غیره، مورد توجه قرار گرفته است.
Tableau داده‌های ذخیره شده در مکان‌های مختلف را متصل و استخراج می‌کند. این برنامه می‌تواند داده‌ها را از هر سیستم عامل قابل تصور، بیرون بکشد. یک پایگاه داده ساده مانند Excel یا pdf، یک پایگاه داده پیچیده مانند Oracle، یک پایگاه داده ابری مانند سرویس‌های وب آمازون، پایگاه داده Microsoft Azure SQL ،Google Cloud SQL و منابع مختلف داده دیگر، می‌توانند توسط Tableau استخراج شوند. زمانی که Tableau راه‌اندازی شد، اتصال دهنده‌های داده آماده وجود دارند که به شما امکان می‌دهند به هر پایگاه داده‌ای متصل شوید. بسته به نسخه Tableau که خریداری کرده‌اید، تعداد اتصال دهنده‌های داده پشتیبانی شده توسط Tableau متفاوت خواهد بود.

محصولات مختلف Tableau

• Tableau Desktop
• Tableau Public
• Tableau Online
• Tableau Server
• Tableau Reader

همانطور که در بررسی تک به تک هر نرم افزار دیده شد هر نرم افزار دارای مزایا و معایب خاص خود است و نمی‌توان به صورت دقیق رتبه بندی کرد که در علم داده کاوی چه نرم افزاری مناسبتر از بقیه است. و این انتخاب باید با توجه به پروژه موجود طرح شود؛ به طور مثال چه بسا در داده‌های کوچک یک نرم افزار می‌تواند موفق‌تر عمل کند و در داده‌های بزرگ نرم افزار دیگر؛ پس باید با خصوصیات هر نرم افزار آَشنا بود و در مواجهه با داده‌های پیش رو مناسب‌ترین نرم افزار را برگزید.