| Blog信息 |
| |
blog名称:IDMer (数据挖掘者)
日志总数:175
评论数量:848
留言数量:119
访问次数:2508179
建立时间:2005年6月24日 |
| 我的相册 |
| |
|
| 联系方式 |
 |
|
| |
| 公告 |
“数据挖掘者”博客已经搬家，欢迎光临新博客网址：http://idmer.blog.sohu.com
我的新浪微博：@张磊IDMer |
| 网络日志 |
|
关于数据挖掘领域的研究  |
|
|
|
|
|
数据挖掘者 发表于 2006/6/23 12:26:02 |
|
|
|
这个是我回复北京邮电大学一位研究生的eMail，讨论数据挖掘领域研究选题的一些个人观点，欢迎大家批评指正。
原信：（2006-6-7）＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
师兄：
你好
看完了你的博客，欣赏你的才智和智慧。真的。
我是北京邮电大学硕士研究生，所学专业为数据挖掘，很想在这方面有所作为，但是一段时间发现效果不佳，我觉得我对整个领域不是很了解，师兄能否谈谈如何经过怎样的努力，才可能在两年后，三年后有高水平的论文和研究成果出来呢？能否谈谈您当前学习的方法和数据挖掘领域就业的想法呢？
My honor to have your reading, really.
ohmyfuture
北京邮电大学计算机学院
回复：（2006-6-12）＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝＝
以下为Sunstone的回复：
ohmyfuture，
最近一直很忙，抱歉回信晚了。
关于数据挖掘方面的研究，我原来也走过一些弯路。其实从数据挖掘的起源可以发现，它并不是一门崭新的科学，而是综合了统计分析、机器学习、人工智能、数据库等诸多方面的研究成果而成，同时与专家系统、知识管理等研究方向不同的是，数据挖掘更侧重于应用的层面。
因此来说，数据挖掘融合了相当多的内容，试图全面了解所有的细节会花费很长的时间。因此我建议你的第一步是用大概三个月的时间了解数据挖掘的几个常用技术：分类、聚类、预测、关联分析、孤立点分析等等。这种了解是比较粗的，目标是明白这些技术是用来干什么的，典型的算法大致是怎样的，以及在什么情况下应该选用什么样的技术和算法。
经过初步了解之后，就要进入选题的阶段，选择自己感兴趣的某个具体方向，然后通读该方向的经典论文（综述、主要发展方向、应用成果）。选题阶段可能会花费较长的时间，比如一年。此时，要逐渐明确突破点，也就是将来你论文的创新点。创新对于研究来说非常重要，一方面该创新的确比原来的方法要好，另一方面该创新的确具有实用的价值。
随后，就要来实现自己的想法。通常对于硕士论文来说，需要建立原型系统，进行试验，并用试验结果来支持自己的论文主题。原型系统就是对自己创新点的实现，需要很好地设计和开发。需要注意的是，原型系统的建立和开发商用系统不同，需要体现比较好的理论基础。也就是说，原型系统并不是简单地用于实现功能，而是将你的一整套理论付诸实现。这种理论基础也将会包含在你的论文中，以体现论文的理论高度。
原型系统的搭建以及产生令人信服试验结果，这个过程一般需要至少一年的时间。所以要集中精力于核心部分（体现论文创新点的部分），外围的界面等等不应投入太多的精力，以免进度失控。
最后是论文的整理和写作了。建议你在之前的阶段中逐步先写出一些篇幅较短的论文（用于发在期刊、会议上），比如综述、体系框架、算法内核、应用等等。这样在最后写毕业论文时就有了足够多的内容，会写得更好更快一些。
以上只是泛泛而谈。其实我觉得其中的关键点在于选题，而选题的好坏取决于你对数据挖掘研究现状的了解、你的兴趣和专长、以及该方向在应用上的意义。建议你和导师、同行多交流，能够让自己的方向更清晰。
至于数据挖掘领域的就业，应该来说还是前景不错的。如果你对研究有兴趣，象微软研究院、Google、高校研究所都是不错的地方；如果你对实际应用有兴趣，很多大的公司包括IBM、Accenture、亚信等等都有相应的人力需求，当然一些甲方的单位比如证券、保险、金融等等单位也都需要分析人才。
Best Regards,
Sunstone Zhang
|
|
|
|
阅读全文(31900) | 回复(18) | 编辑 | 精华 |
|
|
|
|
|
|
|
孤立点分析问题 |
|
|
|
|
|
mymoon(游客)发表评论于2007/7/18 16:32:27 |
|
|
|
想了解一下，孤立点分析，国内外做的较好的大师有哪些？
以下为blog主人的回复：
一个简单的方法是在学术论文检索站点（如DBLP）中检索“outlier detection”等关键词，看论文的引用数。一般来说，被引用的次数越多，该论文就越有价值，对应的作者也就常常是该领域的权威。
下面给出常用的论文检索网址：http://dblp.uni-trier.de/http://citeseer.ist.psu.edu/cs
另外，在《数据挖掘：概念与技术》的第八章“文献注释”部分，也给出了一些在孤立点分析领域内的研究人员及其重要文献。 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
To be loved(游客)发表评论于2007/6/7 11:01:25 |
|
|
|
数据挖掘讨论群:41294252 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
bin_hawking(游客)发表评论于2007/5/8 13:08:24 |
|
|
|
以下引用peetoo(游客)在2006-8-24 11:36:46的评论:
呵呵，我们最近也在招数据挖掘的人。但我感觉数据挖掘人才比较缺以下能力：
1. Business Sense；很多人都腔调技术背景，很喜欢表现技术很强，但技术只是数据挖掘的一方面。我们需要的人出了过硬的技术背景，还需要他有很强的biz sense，这方面面试的人都很缺乏，让人感到那就是个纯technical的人。一个好的数据挖掘的人才，应该对自己公司或客户的biz bg有很强的理解能力，这是一切有价值data mining工作的基础。
2. 英文；来面试的人英文普遍不行。因为工作中对biz和tek的交流都将达到细致入微的程度，听力、理解力和表达和书面能力的要求都是很高的。说白了，英文不行，根本听不懂biz requirements是什么，brief doc都看不懂，后面的事情都不用谈了。
具备所有这些能力，技术又好的DM人才，实在凤毛麟角。peetoo,你在什么公司呀？我就是你要的凤毛麟角，呵呵。 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
xsmile(游客)发表评论于2007/2/27 14:56:31 |
|
|
|
谢谢分享，学习一下，我是学统计的，不过一直做基本的数据处理工作，郁闷～
以下为blog主人的回复：
呵呵，在我做过的数据挖掘项目中，数据处理和数据探索一般要占到总工作量的70%左右，所以不必郁闷，这是必须要做的。 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
请问前辈《machine learning》该如何读？ |
|
|
|
|
|
little(游客)发表评论于2006/10/15 15:14:40 |
|
|
|
我的研究方向为数据挖掘，正在看Tom.M.Mitchell的《machine learning》，但感觉里面讲得很抽象，感觉有点茫然，不知这本书是否需要精读，还是只需要了解轮廓和框架即可？
另外怀卡托大学的《Data Mining Practical Machine Learning Tools and Techniques》这本书是否会更加贴近实际一点？
望不吝赐教，谢谢。。。 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
dialyou(游客)发表评论于2006/9/26 12:54:55 |
|
|
|
以下引用peetoo(游客)在2006-8-24 11:36:46的评论:
呵呵，我们最近也在招数据挖掘的人。但我感觉数据挖掘人才比较缺以下能力：
1. Business Sense；很多人都腔调技术背景，很喜欢表现技术很强，但技术只是数据挖掘的一方面。我们需要的人出了过硬的技术背景，还需要他有很强的biz sense，这方面面试的人都很缺乏，让人感到那就是个纯technical的人。一个好的数据挖掘的人才，应该对自己公司或客户的biz bg有很强的理解能力，这是一切有价值data mining工作的基础。
2. 英文；来面试的人英文普遍不行。因为工作中对biz和tek的交流都将达到细致入微的程度，听力、理解力和表达和书面能力的要求都是很高的。说白了，英文不行，根本听不懂biz requirements是什么，brief doc都看不懂，后面的事情都不用谈了。
具备所有这些能力，技术又好的DM人才，实在凤毛麟角。business sense就像是市场前瞻能力一样，不是那么容易培养的，又有技术能力，又有business sense，还用得着到处跑着找工作？ |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
英(游客)发表评论于2006/9/13 19:31:11 |
|
|
|
看了您的文章，收获很大！谢谢！我现在正准备开题，压力挺大，加油！ |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
|
回复:关于数据挖掘领域的研究 |
|
|
|
|
|
peetoo(游客)发表评论于2006/8/24 11:36:46 |
|
|
|
呵呵，我们最近也在招数据挖掘的人。但我感觉数据挖掘人才比较缺以下能力：
1. Business Sense；很多人都腔调技术背景，很喜欢表现技术很强，但技术只是数据挖掘的一方面。我们需要的人出了过硬的技术背景，还需要他有很强的biz sense，这方面面试的人都很缺乏，让人感到那就是个纯technical的人。一个好的数据挖掘的人才，应该对自己公司或客户的biz bg有很强的理解能力，这是一切有价值data mining工作的基础。
2. 英文；来面试的人英文普遍不行。因为工作中对biz和tek的交流都将达到细致入微的程度，听力、理解力和表达和书面能力的要求都是很高的。说白了，英文不行，根本听不懂biz requirements是什么，brief doc都看不懂，后面的事情都不用谈了。
具备所有这些能力，技术又好的DM人才，实在凤毛麟角。 |
|
|
|
个人主页 | 引用回复 | 主人回复 | 返回 | 编辑 | 删除 |
|
|
|
|
|
|
| |
