新书推介：《语义网技术体系》
作者：瞿裕忠，胡伟，程龚
   XML论坛     W3CHINA.ORG讨论区     计算机科学论坛     SOAChina论坛     Blog     开放翻译计划     新浪微博  
 
  • 首页
  • 登录
  • 注册
  • 软件下载
  • 资料下载
  • 核心成员
  • 帮助
    		•   Add to Google

    >> 本版讨论Semantic Web(语义Web,语义网或语义万维网, Web 3.0)及相关理论，如：Ontology(本体,本体论), OWL(Web Ontology Langauge,Web本体语言), Description Logic(DL, 描述逻辑),RDFa,Ontology Engineering等。
    [返回] 中文XML论坛 - 专业的XML技术讨论区 → W3CHINA.ORG讨论区 - Web新技术讨论 → 『 Semantic Web(语义Web)/描述逻辑/本体 』 → [求助]大家怎么做evaluation啊 ◇查看新帖 ◇ 用户列表 ◇

      发表一个新主题  发表一个新投票  回复主题  (订阅本版) 您是本帖的第 4832 个阅读者浏览上一篇主题  刷新本主题   树形显示贴子　浏览下一篇主题
     * 贴子主题： [求助]大家怎么做evaluation啊 举报  打印  推荐  IE收藏夹 
       本主题类别:     
     Ambrosia 美女呀，离线，快来找我吧！
      
      
      威望：1
      头衔：天使
      等级：计算机学士学位
      文章：377
      积分：2304
      门派：XHTML.ORG.CN
      注册：2006/2/23

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给Ambrosia发送一个短消息 把Ambrosia加入好友 查看Ambrosia的个人资料 搜索Ambrosia在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看Ambrosia的博客楼主
    发贴心情 [求助]大家怎么做evaluation啊

    大家的ir系统做出来了都要evaluate一下吧？总是有那么几个false negatives, true negatives吧，这个评判标准到底是什么呢？traditional 的 ir 是根据关键词吧，但也得有用户的反馈，不是吗？那基于ontology的是怎么评估呢？我目前看到的都是human expert在评。有的搞了个questionnaire，然后10个“expert”。我就一直在想这些“expert”都是熟人，肯定说你的系统好，对不对？呵呵。大家都是怎么做的，能不能说一下。我就在想，版上好多expert，我就把我的结果贴出来，大家评怎样就怎样，绝对比他请10个“expert”来的公平，是不是阿？

       收藏   分享  
    顶(0)
      




    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/2 12:03:00
     
     jiexincao 帅哥哟，离线，有人找我吗？
      
      
      威望：6
      等级：计算机学士学位
      文章：394
      积分：2379
      门派：XML.ORG.CN
      注册：2005/1/27

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给jiexincao发送一个短消息 把jiexincao加入好友 查看jiexincao的个人资料 搜索jiexincao在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看jiexincao的博客第2楼
    发贴心情 
    检索评估中的recall precision 其他的如F1值等等都可以评估，一般检索评估都要在一定语了库中进行，具体的可以看看TREC的一些东西。这些说法还是有一定的理论依据的。
    当然基于本体的检索系统的评估方法似乎还没有什么吧，毕竟这样的检索系统还没能真正的成为应用系统。
    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/2 15:25:00
     
     Ambrosia 美女呀，离线，快来找我吧！
      
      
      威望：1
      头衔：天使
      等级：计算机学士学位
      文章：377
      积分：2304
      门派：XHTML.ORG.CN
      注册：2006/2/23

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给Ambrosia发送一个短消息 把Ambrosia加入好友 查看Ambrosia的个人资料 搜索Ambrosia在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看Ambrosia的博客第3楼
    发贴心情 
    是啊是啊，好为难阿，这个到底怎么办呢？
    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/4 8:41:00
     
     MerryZhang 美女呀，离线，快来找我吧！
      
      
      威望：4
      头衔：CTO
      等级：计算机学士学位
      文章：442
      积分：2808
      门派：W3CHINA.ORG
      注册：2006/1/4

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给MerryZhang发送一个短消息 把MerryZhang加入好友 查看MerryZhang的个人资料 搜索MerryZhang在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看MerryZhang的博客第4楼
    发贴心情 

    此主题相关图片如下：
    按此在新窗口浏览图片
    应用求准率和求全率来判断

    ----------------------------------------------
    那一段我们曾心贴着心，我想我更有权力关心你，可能你已走进别人风景，多希望也有星光的投影．努力为你改变，却变不了预留的伏笔．以为在你身边那也算永远
    仿佛还是昨天，可是昨天已非常遥远，但闭上双眼我还看得见．

    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/6 11:20:00
     
     Ambrosia 美女呀，离线，快来找我吧！
      
      
      威望：1
      头衔：天使
      等级：计算机学士学位
      文章：377
      积分：2304
      门派：XHTML.ORG.CN
      注册：2006/2/23

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给Ambrosia发送一个短消息 把Ambrosia加入好友 查看Ambrosia的个人资料 搜索Ambrosia在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看Ambrosia的博客第5楼
    发贴心情 
    呵呵，MerryZhang mm太可爱了！我就是不清楚这个“相关“结果怎么界定。因为无法评估用户需求啊，现在用本体查询的有哪几个人呢，我怎么知道我检索出来的结果满足他们的要求呢？何况domain experts的要求是不一样的，基于general 的方法如何满足用户？
    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/6 11:59:00
     
     MerryZhang 美女呀，离线，快来找我吧！
      
      
      威望：4
      头衔：CTO
      等级：计算机学士学位
      文章：442
      积分：2808
      门派：W3CHINA.ORG
      注册：2006/1/4

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给MerryZhang发送一个短消息 把MerryZhang加入好友 查看MerryZhang的个人资料 搜索MerryZhang在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看MerryZhang的博客第6楼
    发贴心情 
    Ambrosia为什么这么说我呢？也许比较愚蠢，但我的想法是不管你是传统的检索方法还是基于本体检索方法，在你评价搜索引擎的好坏的时候， 你是否都必须要考虑求准率和求全率呢？
    之所以采用语义检索，主要是为了能够在求准率和求全率方面都得到提高。所以在评估的时候主要是考虑这两个标准啊。

    ----------------------------------------------
    那一段我们曾心贴着心，我想我更有权力关心你，可能你已走进别人风景，多希望也有星光的投影．努力为你改变，却变不了预留的伏笔．以为在你身边那也算永远
    仿佛还是昨天，可是昨天已非常遥远，但闭上双眼我还看得见．

    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/6 14:01:00
     
     iamwym 帅哥哟，离线，有人找我吗？
      
      
      
      威望：9
      等级：计算机硕士学位(版主)
      文章：2454
      积分：17456
      门派：XML.ORG.CN
      注册：2004/11/14

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给iamwym发送一个短消息 把iamwym加入好友 查看iamwym的个人资料 搜索iamwym在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 访问iamwym的主页 引用回复这个贴子 回复这个贴子 查看iamwym的博客第7楼
    发贴心情 
    两个mm都可爱，鉴定完毕
    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/6 15:31:00
     
     MerryZhang 美女呀，离线，快来找我吧！
      
      
      威望：4
      头衔：CTO
      等级：计算机学士学位
      文章：442
      积分：2808
      门派：W3CHINA.ORG
      注册：2006/1/4

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给MerryZhang发送一个短消息 把MerryZhang加入好友 查看MerryZhang的个人资料 搜索MerryZhang在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看MerryZhang的博客第8楼
    发贴心情 
    呵呵，多谢斑竹夸奖。

    ----------------------------------------------
    那一段我们曾心贴着心，我想我更有权力关心你，可能你已走进别人风景，多希望也有星光的投影．努力为你改变，却变不了预留的伏笔．以为在你身边那也算永远
    仿佛还是昨天，可是昨天已非常遥远，但闭上双眼我还看得见．

    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/6 21:56:00
     
     Ambrosia 美女呀，离线，快来找我吧！
      
      
      威望：1
      头衔：天使
      等级：计算机学士学位
      文章：377
      积分：2304
      门派：XHTML.ORG.CN
      注册：2006/2/23

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给Ambrosia发送一个短消息 把Ambrosia加入好友 查看Ambrosia的个人资料 搜索Ambrosia在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看Ambrosia的博客第9楼
    发贴心情 
    我晕，"可爱"也有二义性阿？在你找到标准后，recall and precision就不是问题了。可能我的问题太笨了，但是事实就是如此，在sw上根本就找不到界定relevant的标准。
    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/7 10:40:00
     
     MerryZhang 美女呀，离线，快来找我吧！
      
      
      威望：4
      头衔：CTO
      等级：计算机学士学位
      文章：442
      积分：2808
      门派：W3CHINA.ORG
      注册：2006/1/4

    姓名：(无权查看)
    城市：(无权查看)
    院校：(无权查看)
    给MerryZhang发送一个短消息 把MerryZhang加入好友 查看MerryZhang的个人资料 搜索MerryZhang在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 引用回复这个贴子 回复这个贴子 查看MerryZhang的博客第10楼
    发贴心情 
    这跟领域Expert没有什么太大的关系，你评价一个Search Engine好不好，就是看你能否准确地获得你想要得到的信息。
    你可以采用同样的方法，你看一下几个不同的搜索引擎得出的结果怎么样。recall和precision最高的那个就是最好的了。

    ----------------------------------------------
    那一段我们曾心贴着心，我想我更有权力关心你，可能你已走进别人风景，多希望也有星光的投影．努力为你改变，却变不了预留的伏笔．以为在你身边那也算永远
    仿佛还是昨天，可是昨天已非常遥远，但闭上双眼我还看得见．

    点击查看用户来源及管理<br>发贴IP：*.*.*.* 2006/6/7 16:21:00
     
     GoogleAdSense
      
      
      等级：大一新生
      文章：1
      积分：50
      门派：无门无派
      院校：未填写
      注册：2007-01-01
    给Google AdSense发送一个短消息 把Google AdSense加入好友 查看Google AdSense的个人资料 搜索Google AdSense在『 Semantic Web(语义Web)/描述逻辑/本体 』的所有贴子 访问Google AdSense的主页 引用回复这个贴子 回复这个贴子 查看Google AdSense的博客广告
    2024/5/10 4:06:59

    本主题贴数10，分页： [1]

    管理选项： 修改tag | 锁定 | 解锁 | 提升 | 删除 | 移动 | 固顶 | 总固顶 | 奖励 | 惩罚 | 发布公告
    W3C Contributing Supporter! W 3 C h i n a ( since 2003 ) 旗 下 站 点
    苏ICP备05006046号《全国人大常委会关于维护互联网安全的决定》《计算机信息网络国际联网安全保护管理办法》
    		 8,167.969ms