|
以文本方式查看主题 - 中文XML论坛 - 专业的XML技术讨论区 (http://bbs.xml.org.cn/index.asp) -- 『 Semantic Web(语义Web)/描述逻辑/本体 』 (http://bbs.xml.org.cn/list.asp?boardid=2) ---- [求助]大家怎么做evaluation啊 (http://bbs.xml.org.cn/dispbbs.asp?boardid=2&rootid=&id=33574) |
|
-- 作者：Ambrosia -- 发布时间：6/2/2006 12:03:00 PM -- [求助]大家怎么做evaluation啊 大家的ir系统做出来了都要evaluate一下吧？总是有那么几个false negatives, true negatives吧，这个评判标准到底是什么呢？traditional 的 ir 是根据关键词吧，但也得有用户的反馈，不是吗？那基于ontology的是怎么评估呢？我目前看到的都是human expert在评。有的搞了个questionnaire，然后10个“expert”。我就一直在想这些“expert”都是熟人，肯定说你的系统好，对不对？呵呵。大家都是怎么做的，能不能说一下。我就在想，版上好多expert  ，我就把我的结果贴出来，大家评怎样就怎样，绝对比他请10个“expert”来的公平，是不是阿？
|
|
-- 作者：jiexincao -- 发布时间：6/2/2006 3:25:00 PM -- 检索评估中的recall precision 其他的如F1值等等都可以评估，一般检索评估都要在一定语了库中进行，具体的可以看看TREC的一些东西。这些说法还是有一定的理论依据的。 当然基于本体的检索系统的评估方法似乎还没有什么吧，毕竟这样的检索系统还没能真正的成为应用系统。 |
|
-- 作者：Ambrosia -- 发布时间：6/4/2006 8:41:00 AM -- 是啊是啊，好为难阿，这个到底怎么办呢？ |
|
-- 作者：MerryZhang -- 发布时间：6/6/2006 11:20:00 AM --  此主题相关图片如下： 应用求准率和求全率来判断 |
|
-- 作者：Ambrosia -- 发布时间：6/6/2006 11:59:00 AM -- 呵呵，MerryZhang mm太可爱了！我就是不清楚这个“相关“结果怎么界定。因为无法评估用户需求啊，现在用本体查询的有哪几个人呢，我怎么知道我检索出来的结果满足他们的要求呢？何况domain experts的要求是不一样的，基于general 的方法如何满足用户？ |
|
-- 作者：MerryZhang -- 发布时间：6/6/2006 2:01:00 PM -- Ambrosia为什么这么说我呢？也许比较愚蠢，但我的想法是不管你是传统的检索方法还是基于本体检索方法，在你评价搜索引擎的好坏的时候， 你是否都必须要考虑求准率和求全率呢？ 之所以采用语义检索，主要是为了能够在求准率和求全率方面都得到提高。所以在评估的时候主要是考虑这两个标准啊。 |
|
-- 作者：iamwym -- 发布时间：6/6/2006 3:31:00 PM -- 两个mm都可爱，鉴定完毕 |
|
-- 作者：MerryZhang -- 发布时间：6/6/2006 9:56:00 PM -- 呵呵，多谢斑竹夸奖。 |
|
-- 作者：Ambrosia -- 发布时间：6/7/2006 10:40:00 AM -- 我晕，"可爱"也有二义性阿？在你找到标准后，recall and precision就不是问题了。可能我的问题太笨了，但是事实就是如此，在sw上根本就找不到界定relevant的标准。 |
|
-- 作者：MerryZhang -- 发布时间：6/7/2006 4:21:00 PM -- 这跟领域Expert没有什么太大的关系，你评价一个Search Engine好不好，就是看你能否准确地获得你想要得到的信息。 你可以采用同样的方法，你看一下几个不同的搜索引擎得出的结果怎么样。recall和precision最高的那个就是最好的了。 |
|
W 3 C h i n a ( since 2003 ) 旗 下 站 点 苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》 |
60.547ms |