پایان نامه بررسی روش های متن کاوی

اختصاصی از فی دوو پایان نامه بررسی روش های متن کاوی دانلود با لینک مستقیم و پر سرعت .

مقدمه

پیشرفت­های به وجود امده در جمع­اوری داده و قابلیت­های ذخیره سازی در طی دهه­های اخیر باعث شده در بسیاری از علوم با حجم بزرگی از اطلاعات روبرو شویم. محققان در زمینه­های مختلف مانند مهندسی، ستاره شناسی، زیست شناسی و اقتصاد هر روز با مشاهدات بیشتر و بیشتری روبرو می­شوند. در مقایسه با بسترهای داده­ای قدیمی و کوچکتر، بسترهای داده­ای امروزی چالش­های جدیدی در تحلیل داده­ها بوجود اورده­اند. روش­های اماری سنتی به دو دلیل امروزه کارایی خود را از دست داده­اند. علت اول افزایش تعداد مشاهدات (observations) است و علت دوم که از اهمیت بالاتری برخوردار است، افزایش تعداد متغیرهای مربوط به یک مشاهده می­باشد.

تعداد متغیرهایی که برای هر مشاهده باید اندازه­گیری شود، ابعاد داده نامیده می­شود. عبارت "متغیر" (variable) بیشتر در امار استفاده می­شود در حالی که در علوم کامپیوتر و یادگیری ماشین بیشتر از عبارات "ویژگی" (feature) و یا "صفت" (attribute) استفاده می­شود.

فهرست

مقدمه. 2

روش های مبتنی بر استخراج ویژگی.. 4

روش های انتخاب ویژگی.. 5

تعاریف.. 6

بررسی توابع مختلف ارزیابی و تولید کننده 10

توابع تولید کننده 11

جستجوی کامل.. 11

جستجوی مکاشفه ای.. 12

جستجوی تصادفی.. 12

توابع ارزیابی.. 12

دسته بندی و تشریح الگوریتم های مختلف انتخاب ویژگی.. 17

تابع ارزیابی مبتنی بر فاصله - تابع تولید کننده مکاشفه ای.. 18

روش Relief. 18

روش Jakub. 20

تابع ارزیابی مبتنی بر فاصله - تابع تولید کننده کامل.. 21

تابع ارزیابی مبتنی بر اطلاعات - تابع تولید کننده مکاشفه ای.. 23

1)     روش درخت تصمیم(DTM) 23

الگوریتم  C4.5. 23

2)     روش استفاده شده توسط Kollerو Sahami 27

پوشش مارکوف.. 27

تابع ارزیابی مبتنی بر وابستگی - تابع تولید کننده مکاشفه ای.. 30

2)     روش PreSet 31

تابع ارزیابی مبتنی بر سازگاری - تابع تولید کننده کامل.. 32

1)     روش Focus. 32

2)     روش Schlimmer 38

3)     روش MIFES1. 38

تابع ارزیابی مبتنی بر سازگاری - تابع تولید کننده تصادفی.. 39

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده- تابع تولید کننده مکاشفه ای.. 41

2)     روش SBS (Sequential Backward Selection) 41

3)     روش SBS-Slash. 41

4)     روش PQSS ((p,q) Sequential Search) 42

5)     روش BDS (Bi-Directional Search) 42

6)     روش Schemata Search. 42

7)     روش RC (Relevance in Context) 43

8)     روش Queiros and Gelsema. 43

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده - تابع تولید کننده کامل.. 43

تابع ارزیابی مبتنی بر خطای طبقه بندی کننده - تابع تولید کننده تصادفی.. 44

جمع بندی روش های انتخاب ویژگی.. 46

روش های فرا اکتشافی.. 49

روش های مکاشفه ای.. 50

انواع الگوریتم‌های مکاشفه‌ای.. 51

پیاده‌سازی الگوریتم های فرا اکتشافی.. 53

ویژگی های مشترک روش های فرا اکتشافی.. 54

دسته‌بندی الگوریتم‌های فرا اکتشافی.. 54

الگوریتم ژنتیک (Genetic Algorithm) 56

مراحل الگوریتم ژنتیک... 59

انواع کدینگ... 59

روشهای کدینگ... 60

روش های پیاده سازی عملگر ترکیب.. 61

1. ترکیب تک نقطهای : 61
2. ترکیب دو نقطهای : 62
3. ترکیب یکنواخت: 63
4. ترکیب حسابی: 64

انواع روش های جهش... 65

الگوریتم ژنتیک برای انتخاب ویژگی.. 67

الگوریتم بهینه سازی جمعیت مورچگان (ACO) 68

الگوریتم ACO برای انتخاب ویژگی.. 71

الگوریتم بهینه سازی انبوه ذرات (PSO) 74

الگوریتم PSO برای انتخاب ویژگی.. 75

الگوریتم جستجوی ممنوعه (Tabu Search) 79

استراتژی‌های پیشرفته‌ جستجوی ممنوعه. 82

حافظه ها در جستجوی ممنوعه. 83

الگوریتم جستجوی ممنوعه برای انتخاب ویژگی.. 84

فهرست منابع و مراجع. 87

فهرست اشکال

عنوان                                                                                                                                                                                          صفحه

شکل 1- فرایند انتخاب ویژگی.. 11

شکل 2- مقایسه توابع ارزیابی مختلف.. 20

شکل 4- الگوریتم Branch and Bound. 26

شکل 5- الگوریتم درخت تصمیم. 30

شکل 9- الگوریتم روش Focus. 36

شکل 10- الگوریتمی دیگر از روش Focus. 37

شکل 11- الگوریتم Focus-2. 38

شکل 12- کلاسهای مورد بررسی در الگوریتم Focus. 39

شکل 13- روند الگوریتم Focus. 40

شکل 14- حل ناسازگاری در الگوریتم Focus. 41

شکل 15- الگوریتم روش LVF. 43

شکل 16- طبقهبندی روش های مختلف انتخاب ویژگی.. 50

شکل 1- بهینه محلی و بهینه کلی.. 61

شکل 7- ترکیب تک نقطهای.. 65

شکل 12- جهش باینری.. 69

شکل 17- فرایند انتخاب ویژگی در ACO.. 75

دانلود پایان نامه تکنیکهای داده کاوی و متدلوژی آن

اختصاصی از فی دوو دانلود پایان نامه تکنیکهای داده کاوی و متدلوژی آن دانلود با لینک مستقیم و پر سرعت .

مقدمه

از هنگامی که رایانه در تحلیل و ذخیره سازی داده ها بکار رفت (1950) پس از حدود 20 سال، حجم داده ها در پایگاه داده ها دو برابر شد. ولی پس از گذشت دو دهه و همزمان با پیشرفت فن آوری اطلاعات(IT) هر دو سال یکبار حجم داده ها، دو برابر شده و همچنین تعداد پایگاه داده ها با سرعت بیشتری رشد نمود. این در حالی است که تعداد متخصصین تحلیل داده ها با این سرعت رشد نکرد. حتی اگر چنین امری اتفاق می افتاد، بسیاری از پایگاه داده ها چنان گسترش یافته‌اند که شامل چندصد میلیون یا چندصد میلیارد رکورد ثبت شده هستند.امکان تحلیل و استخراج اطلاعات با روش های معمول آماری از دل انبوه داده ها مستلزم چند روز کار با رایانه های موجود است.[3]

حال با وجود سیستم های یکپارچه اطلاعاتی، سیستم های یکپارچه بانکی و تجارت الکترونیک، لحظه به لحظه به حجم داده ها در پایگاه داده های مربوط اضافه شده و باعث به وجود آمدن انبارهای عظیمی از داده ها شده است.

این واقعیت، ضرورت کشف و استخراج سریع و دقیق دانش از این پایگاه داده ها را بیش از پیش نمایان کرده است، چنان که در عصر حاضر گفته می شود اطلاعات طلاست.

هم اکنون در هر کشور، سازمان، شرکت و غیره برای امور بازرگانی، پرسنلی، آموزشی، آماری و غیره پایگاه داده ها ایجاد یا خریداری شده است. به طوری که این پایگاه داده ها برای مدیران، برنامه ریزان، پژوهشگران جهت، تصمیم گیری های راهبردی، تهیه گزارش های مختلف، توصیف وضعیت جاری خود و سایر اهداف می تواند مفید باشد. بسیاری از این داده ها از نرم افزارهای تجاری، مثل کاربردهای مالی، ERPها، CRMها و web log ها، می آیند. نتیجه این جمع آوری داده ها این می‌شود که در سازمانها، داده ها غنی ولی دانش ضعیف، است. جمع آوری داده ها، بسیار انبوه می‌شود و بسرعت اندازه آن افزایش می یابد و استفاده عملی از داده ها را محدود می سازد.[2]

داده‌کاوی استخراج و تحلیل مقدار زیادی داده بمنظور کشف قوانین و الگوهای معنی دار در آنهاست. هدف اصلی داده کاوی، استخراج الگوهایی از داده ها، افزایش ارزش اصلی آنها و انتقال داده ها بصورت دانش است.

داده‌کاوی، بهمراه OLAP، گزارشگری تشکیلات اقتصادی(Enterprise reporting) و ETL، یک عضو کلیدی در خانواده محصول Business Intelligence(BI)، است.[2]

حوزه‌های مختلفی وجود دارد که در آنها حجم بسیاری از داده در پایگاه‌داده‌های متمرکز یا توزیع شده ذخیره می‌شود. برخی از آنها به قرار زیر هستند: [6]

• کتابخانه دیجیتال: یک مجموعه سازماندهی شده از اطلاعات دیجیتال که بصورت متن در پایگاه‌داده‌های بزرگی ذخیره می شوند.
• آرشیو تصویر: شامل پایگاه‌داده بزرگی از تصاویر به شکل خام یا فشرده.
• اطلاعات زیستی: بدن هر انسانی از 50 تا 100 هزار نوع ژن یا پروتئین مختلف ساخته شده است. اطلاعات زیستی شامل تحلیل و تفسیر این حجم عظیم داده ذخیره شده در پایگاه‌داده بزرگی از ژنهاست.
• تصاویر پزشکی: روزانه حجم وسیعی از داده‌های پزشکی به شکل تصاویر دیجیتال تولید می‌شوند، مانند EKG، MRI، ACT، SCAN و غیره. اینها در پایگاه‌داده‌های بزرگی در سیستم‌های مدیریت پزشکی ذخیره می شوند.
• مراقبت‌های پزشکی: بجز اطلاعات بالا، یکسری اطلاعات پزشکی دیگری نیز روزانه ذخیره می‌شود مانند سوابق پزشکی بیماران، اطلاعات بیمه درمانی، اطلاعات بیماران خاص و غیره.
• اطلاعات مالی و سرمایه‌گذاری: این اطلاعات دامنه بزرگی از داده‌ها هستند که برای داده‌کاوی بسیار مطلوب می‌باشند. از این قبیل داده‌ها می‌توان از داده‌های مربوط به سهام، امور بانکی، اطلاعات وام‌ها، کارت‌های اعتباری، اطلاعات کارت‌های ATM، و کشف کلاه‌برداری‌ها می باشد.
• ساخت و تولید: حجم زیادی از این داده‌ها روزانه به اشکال مختلفی در کارخانه‌ها تولید می‌شود. ذخیره و دسترسی کارا به این داده‌ها و تحلیل آنها برای صنعت تولید بسیار بااهمیت است.
• کسب و کار و بازاریابی: داده‌ لازم است برای پیش‌بینی فروش، طراحی کسب و کار، رفتار بازرایابی، و غیره.
• شبکه راه‌دور: انواع مختلفی از داده‌ها در این صنعت تولید و ذخیره می شوند. آنها برای تحلیل الگوهای مکالمات، دنبال کردن تماس‌ها، مدیریت شبکه، کنترل تراکم، کنترل خطا و غیره، استفاده می‌شوند.
• حوزه علوم: این حوزه شامل مشاهدات نجومی، داده زیستی، داده ژنومیک، و غیره است.
• WWW: یک حجم وسیع از انواع مختلف داده که در هر جایی از اینترنت پخش شده‌اند.

در بیشتر این حوزه‌ها، تحلیل داده‌ها یک روال دستی بود. یک تحلیلگر کسی بود که با داده‌ها بسیار آشنا بود و با کمک روش‌های آماری، خلاصه‌هایی تهیه و گزارشاتی را تولید می‌کرد. در یک حالت پیشرفته‌تر، از یک پردازنده پیچیده پرسش استفاده می‌شد. اما این روش‌ها با افزایش حجم داده‌ها کاملا بلااستفاده شدند.

مقدمه    4
عناصر داده کاوی    10
پردازش تحلیلی پیوسته:    11
قوانین وابستگی:    12
شبکه های عصبی :    12
الگوریتم ژنتیکی:    12
نرم افزار    13
کاربردهای داده کاوی    13
داده کاوی  و کاربرد آن در کسب و کار هوشمند بانک    15
داده کاوی درمدیریت ارتباط بامشتری    16
کاربردهای داده کاوی در کتابخانه ها و محیط های دانشگاهی    17
مدیریت موسسات دانشگاهی    19
داده کاوی آماری و مدیریت بهینه وب سایت ها    21
داده کاوی در مقابل پایگاه داده   Data Mining vs database    22
ابزارهای تجاری داده کاوی    23
منابع اطلاعاتی مورد استفاده    24
انبار داده    24
مسائل کسب و کار برای دادهکاوی    26
چرخه تعالی داده کاوی چیست؟    27
متدلوژی داده‌کاوی و بهترین تمرینهای آن    31
یادگیری چیزهایی که درست نیستند    32
الگوهایی که ممکن است هیچ قانون اصولی را ارائه نکنند    33
چیدمان مدل ممکن است بازتاب دهنده جمعیت وابسته نباشد    34
ممکن است داده در سطح اشتباهی از جزئیات باشد    35
یادگیری چیزهایی که درست ولی بلااستفادهاند    37
مدل‌ها، پروفایلسازی، و پیش‌بینی    38
پیش بینی    41
متدلوژی    42
مرحله 1: تبدیل مسئله کسب و کار به مسئله داده‌کاوی    43
مرحله 2: انتخاب داده مناسب    45
مرحله سوم: پیش به سوی شناخت داده    48
مرحله چهارم: ساختن یک مجموعه مدل    49
مرحله پنجم: تثبیت مسئله با داده‌ها    52
مرحله ششم: تبدیل داده برای آوردن اطلاعات به سطح    54
مرحله هفتم: ساختن مدلها    56
مرحله هشتم: ارزیابی مدل ها    57
مرحله نهم: استقرار مدل ها    61
مرحله 10: ارزیابی نتایج    61
مرحله یازدهم: شروع دوباره    61
وظایف دادهکاوی    62
1- دستهبندی    62
2- خوشه‌بندی    62
3- تخمین    63
4- وابستگی    65
5- رگرسیون    66
6- پیشگویی    67
7- تحلیل توالی    67
8- تحلیل انحراف    68
9- نمایه‌سازی    69
منابع    70

دانلود اجرای تکنیک های داده کاوی با نرم افزار وکا(Weka)

اختصاصی از فی دوو دانلود اجرای تکنیک های داده کاوی با نرم افزار وکا(Weka) دانلود با لینک مستقیم و پر سرعت .

تعداد صفحات فایلها: 41 و 40 و 9 و 4

نوع فایل:  PDF,Word

قیمت:7000 تومان

یک کار پروژه ای بسیار عالی در سطح پایان نامه با قیمت عالی

نوجه شود که این فایل دیتا ست ندارد و باید توسط خودتان تهیه شود اما تمامی آموزش های لازم نرم افزار وکا (Weka) در فایل آمده است با تصویر

خلاصه:

داده های مورد استفاده در این پروژه از پایگاه داده دانشگاه آزاد قزوین تهیه شده است، این داده ها اطلاعات ۵۰۰ نفر دانشجوی مقطع کارشناسی رشته مهندسی صنایع (گرایش های تکنولوژی صنعتی و تولید صنعتی) است. که در قالب یک فایل اکسل با ۳۸۳۷۷ رکورد می باشد و سنوات تحصیلی ۱۳۸۴ تا ۱۳۹۰ را شامل می شود. مدلی که برای پیشبینی ارتقاء سطح علمی دانشجویان بر اساس اطلاعات موجود در پایگاه داده دانشگاه آزاد قزوین پیشنهاد میشود در زیر شرح داده میشود : در این مدل پیشنهادی مراحل مختلف فرآیند داده کاوی از جمله جمع آوری دادهها، آماده سازی و پیش پردازش داده ها را روی مجموعه آموزشی ذکر شده انجام داده و الگوریتمهای مختلف داده کاوی از جمله خوشه بندی، قوانین انجمنی، درخت تصمیمگیری، برای دادهها به کار گرفته شده است. ابتدا برای عملکرد بهتر الگوریتمهای داده کاوی یک سری عملیات پیشپردازشی روی دادهها انجام داده شده است. همچنین بعد از تجمیع دادهها داخل یک فایل خصیصههای عددی به خصیصه های گروهی معادل تبدیل شده است. برای مثال تمام نمرات دانشجویان به پنج گروه عالی، خوب، متوسط، ضعیف و مردود تقسیم بندی شده است.

کلمات کلیدی :

مقدمه ای بر داده کاوی

مقدمه ای بر نرم افزار Weka

شرح دیتاست پروژه

اعمال تکنیک درخت تصمیم بروی داده ها

قانون ها

اعمال تکنیک شبکه عصبی بروی داده ها

خروجی شبکه عصبی

اعمال تکنیک خوشه بندی بر وی داده ها

معرفی نرم افزار Weka

آموزش نرم افزار weka

انتخاب الگوریتم رده بندی

انتخاب الگوریتم خوشه ‌بندی