data mining

[nayyer67]

داده کاوي (Data Mining) چيست؟



داده کاوي پل ارتباطي ميان علم آمار ">علم آمار ، علم کامپيوتر ] body=[Computer Science] cssbody=[boxovervdvbdy]">علم کامپيوتر ، هوش مصنوعي ">هوش مصنوعي ، الگوشناسي ">الگوشناسي ، فراگيري ماشين ] body=[Machine Learning] cssbody=[boxovervdvbdy]">فراگيري ماشين و بازنمايي بصري داده مي باشد. داده کاوي فرآيندي پيچيده جهت شناسايي الگوها و مدل هاي صحيح، جديد و به صورت بالقوه مفيد، در حجم وسيعي از داده مي باشد، به طريقي که اين الگو ها و مدلها براي انسانها قابل درک باشند.
داده کاوي به صورت يک محصول قابل خريداري نمي باشد، بلکه يک رشته علمي و فرآيندي است که بايستي به صورت يک پروژه پياده سازي شود.


داده ها اغلب حجيم مي باشند و به تنهايي قابل استفاده نيستند، بلکه دانش نهفته در داده ها قابل استفاده مي باشد. بنابراين بهره گيري از قدرت فرآيند داده کاوي جهت شناسايي الگوها و مدلها و نيز ارتباط عناصر مختلف در پايگاه داده جهت کشف دانش] body=[Knowledge Discovery] cssbody=[boxovervdvbdy]">کشف دانش نهفته در داده ها و نهايتا تبديل داده به اطلاعات، روز به روز ضروري تر مي شود.
مثال تفهيمي در مورد داده کاوي :

يکي از نمونه هاي بارز داده کاوي را مي توان در فروشگاه هاي زنجيره اي مشاهده نمود، که در آن سعي مي شود ارتباط محصولات مختلف هنگام خريد مشتريان مشخص گردد. فروشگاه هاي زنجيره اي مشتاقند بدانند که چه محصولاتي با يکديگر به فروش مي روند .
براي مثال طي يک عملـيات داده کاوي گستـرده در يـک فروشـگاه زنجيره اي در آمريکاي شمالي که بر روي حجـم عظيمـي از داده هاي فروش صورت گرفت، مشخص گرديد که مرداني که براي خريد قنداق بچه به فروشگاه مي روند معمولا آب جو نيز خريداري مي کنند. همچنين مشخص گرديد مشترياني که تلويزيون خريداري مي کنند، غالبا گلدان کريستالي نيز مي خرند. نمونه مشابه عمليات داده کاوي را مي توان در يک شرکت بزرگ توليد و عرضه پوشاک در اروپا مشاهده نمود، به شکلي که نتايج داده کاوي مشخص مي کرد که افرادي که کراوات هاي ابريشمي خريداري مي کنند، در همان روز يا روزهاي آينده گيره کراوات مشکي رنگ نيز خريداري مي کنند.
به روشني اين مطلب قابل درک است که اين نوع استفاده از داده کاوي مي تواند فروشگاه ها را در برگزاري هوشمندانه فستيوال هاي فروش و نحوه ارائه اجناس به مشتريان ياري رساند.
نمونه ديگر استفاده از داده کاوي در زمينه فروش را مي توان در يک شرکت بزرگ دوبلاژ و تکثير و عرضه فيلم هاي سينمايي در آمريکاي شمالي مشاهده نمود که در آن عمليات داده کاوي، روابط مشتريان و هنرپيشه هاي سينمايي و نيز گروه هاي مختلف مشتريان بر اساس سبک فيلم ها ( ترسناک، رمانتيک، حادثه اي و ...) مشخص گرديد.
بنابراين آن شرکت به صورت کاملا هوشمندانه مي توانست مشتريان بالقوه فيلم هاي سينمايي را بر اساس علاقه مشتريان به هنرپيشه هاي مختلف و سبک هاي سينمايي شناسايي کند.

از ديگر زمينه هاي به کارگيري داده کاوي، استفاده بيمارستانها و کارخانه هاي داروسازي جهت کشف الگوها و مدلهاي ناشناخته تاثير دارو ها بر بيماري هاي مختلف و نيز بيماران گروه هاي سني مختلف را مي توان نام برد.
استفاده از داده کاوي در زمينه هاي مالي و بانکداري به شناخت مشتريان پر خطر و سودجو بر اساس معيار هايي از جمله سن ، درآمد، وضعيت سکونت، تحصيلات، شغل و غيره مي انجامد.
تعاريف داده کاوي:


داده کاوي استخراج اطلاعات مفهومي، ناشناخته و به صورت بالقوه مفيد از پايگاه داده مي باشد.

Source: W.Frawley and G. Piatetsky. Knowledge Discovery I DataBases.ISSN 0738-4602



داده کاوي علم استخراج اطلاعات مفيد از پايگاه هاي داده يا مجموعه داده اي مي باشد.

Source: D. Hand,H. Mannila,P. Smyth(2001).Principles of Data Mining.MIT Press,Cambridge



داده کاوي استخراج نيمه اتوماتيک الگوها، تغييرات، وابستگي ها، نابهنجاري ها و ديگر ساختارهاي معني دار آماري از پايگاه هاي بزرگ داده مي باشد.

Source: R.Grossman


تفاوت داده کاوي و آناليز هاي آماري




داده کاوي معمولا با نوشتن مقدار زيادي گزارش و تحقيق و استعلام در آنها اشتباه گرفته مي شود. اما در واقع داده کاوي هيچ کدام از اينها را شامل نمي شود.
داده کاوي توسط تجهيزات خاصي صورت مي پذيرد، که عمليات کاوش را بر اساس تجزيه و تحليل مکرر داده ها انجام مي دهد.
داده کاوي با آناليز هاي متداول آماري نيز متفاوت است؛در زيرمي توان برخي از اصلي ترين تفاوت هاي داده کاوي و آناليز آماري را مشاهده نمود:



آناليز آماري:
• آمار شناسان هميشه با يک فرضيه شروع به کار مي کنند.
• آنها از داده هاي عددي استفاده مي کنند.
• آمارشناسان بايد رابطه هايي را ايجاد کنند که به فرضيه آنها مربوط است.
• آنها مي توانند داده هاي نابجا و نادرست را در طول آناليز مشخص کنند.
• آنها مي توانند نتايج کار خود را تفسير و براي مديران بيان کنند.
داده کاوي:
• به فرضيه احتياجي ندارد.
• ابزارهاي داده کاوي از انواع مختلف داده ، نه تنها عددي مي توانند استفاده کنند.
• الگوريتمهاي داده کاوي به طور اتوماتيک روابط را ايجاد مي کنند.
• داده کاوي به داده هاي صحيح و درست نياز دارد.
• نتايج داده کاوي نسبتا پيچيده مي باشد و نياز به متخصصاني جهت بيان آنها به مديران دارد.
جهت درک بهتر تفاوت داده کاوي و آناليزهاي آماري به مثال زير که در مورد شناخت کلاهبرداري هاي شرکت بيمه مي باشد، توجه کنيد.
روش آناليز آماري:

يک مفسر ممکن است متوجه الگوي رفتاري شود که سبب کلاهبرداري بيمه گردد. بر اساس اين فرضيه، مفسر به طرح يک سري سوال مي پردازد تا اين موضوع را بررسي کند. اگر نتايج حاصله مناسب نبود، مفسر فرضيه را اصلاح مي کند و يا با انتخاب فرضيه ديگري مجددا شروع مي کند. اين روش نه تنها وقت گير است بلکه به قدرت تجزيه و تحليل مفسر نيز بستگي دارد.
مهمتر از همه اينکه اين روش هيچ وقت الگوهاي کلاهبرداري ديگري را که مفسر به آنها مظنون نشده و در فرضيه جا نداده ، پيدا نمي کند.
روش داده کاوي:

يک مفسر سيستم هاي داده کاوي را ساخته و پس از طي مراحلي از جمله جمع آوري داده ها، يکپارچه سازي و اخلاص
داده ها به انجام عمليات داده کاوي مي پردازد.
داده کاوي تمام الگوهاي غيرعادي را که از حالت عادي و نرمال انحراف دارند و ممکن است منجر به کلاهبرداري شوند را پيدا مي کند.
نتايج داده کاوي حالت هاي مختلفي را که مفسر بايد در مراحل بعدي تحقيق کند، نشان مي دهند. در نهايت مدل هاي به دست آمده مي توانند مشترياني را که امکان کلاهبرداري دارند، پيش بيني نمايند.


فوايد و نقش داده کاوي در فعاليت شرکتها





امروزه عمليات داده کاوي به صورت گسترده توسط تمامي شرکت هايي که مشتريان در کانون توجه آنها قرار دارند، استفاده مي شود، از جمله فروشگاه ها، شرکت هاي مالي، ارتباطاتي، بازاريابي و غيره.
استفاده از داده کاوي به اين شرکتها کمک مي کند تا ارتباط عوامل داخلي از جمله قيمت، محل قرارگيري محصولات، مهارت کارمندان را با عوامل خارجي از جمله وضعيت اقتصادي، رقابت در بازار و محل جغرافيايي مشتريان کشف نمايند.
از آنجـائيـکه هـوش مصنوعي يکي از اصلي ترين عنــاصـر داده کـــاوي مي باشد و با توجه به اينکه به کمک سيستم هاي کامپيوتري و پايگاه هاي داده، روزانه به ميزان داده ها افزوده مي شود، بنابراين استفاده هوشمندانه از دانش بالقوه اي که در اين داده نهفته است در دنياي رقابتي امروز براي شرکت ها حياتي مي باشد.
داده کاوي پيش بيني وضع آينده بازار، گرايش مشتريان و شناخت سليقه هاي عمومي آنها را براي شرکت ها ممکن مي سازد.



مراحل اصلي داده کاوي :

داده کاوي را " کشف دانش در داده ها ] body=[Knowledge Discovery] cssbody=[boxovervdvbdy]">کشف دانش در داده ها " نيز مي نامند. کشف دانش داده ها داراي مراحل مختلفي مي باشد که در اينجا به صورت خلاصه آنها را بيان مي کنيم :

• استخراج اطلاعات از چندين منبع داده ( پايگاه داده).] body=[Data Gathering] cssbody=[boxovervdvbdy]">استخراج اطلاعات از چندين منبع داده ( پايگاه داده).
• يکپارچه سازي اطلاعات و حذف داده هاي زايد.] body=[Data Cleaning] cssbody=[boxovervdvbdy]">يکپارچه سازي اطلاعات و حذف داده هاي زايد.
• قرار دادن اطلاعات اصلاح شده در انبار داده ها.">قرار دادن اطلاعات اصلاح شده در انبار داده ها.
• انجام عمليات داده کاوي توسط نرم افزار هاي مخصوص.">انجام عمليات داده کاوي توسط نرم افزار هاي مخصوص.
• نمايش نتايج به صورت قابل فهم مانند گزارش و گراف.] body=[Result Presentation] cssbody=[boxovervdvbdy]">نمايش نتايج به صورت قابل فهم مانند گزارش و گراف.