北京邮电大学论坛

标题: 搜狗搜索CIPS-SOGOU问答比赛启动新任务,是时候展示真正的技术了! [打印本页]

作者: 23du    时间: 2018-5-23 14:24
标题: 搜狗搜索CIPS-SOGOU问答比赛启动新任务,是时候展示真正的技术了!
搜狗搜索CIPS-SOGOU问答比赛启动新任务,是时候展示真正的技术了!
这是一则智能问答领域技术牛人的招募帖:如果你天赋异禀,擅长钻研尖端智能问答课题,想找到更大的施展平台;如果你痴迷智能问答研究,想结识更多志同道合之士,一块切磋技艺、挑战技术难题;如果你是一个“佛系”研究者,仅仅想获取更多真实数据集,让研究课题取得突破性进展。
搜狗搜索诚邀你参加日前正式启动的CIPS-SOGOU问答比赛“非事实类问答子任务”,这里将是你施展身手、结识同行、获取真实数据集的绝佳舞台!
比赛难度加码 挑战无极限
CIPS-SOGOU问答比赛,是搜狗搜索举办的国内首档基于大规模真实用户问答数据集的问答评测任务。此次问答比赛分为“事实类问答”和“非事实类问答”两项子任务,分别对应事实类问题和非事实类问题。去年9月,伴随着“事实类问答子任务”的启动,CIPS-SOGOU问答比赛已正式拉开战幕。
相较“事实类问题”而言,“非事实类问题”的问答内容形式更加广泛,包括列举(list)、定义(definition)、方式(how)、原因(why)、假设(hypothetical)等等。
根据赛制,参赛者需基于搜狗搜索提供的问题以及相对应的若干候选答案篇章,设计算法,从候选篇章中抽取合适的词语、短语或句子,作为问题的预测答案,正确、完整、简洁地回答该问题,答案文本长度限定在500字内。每个问题,参赛者只需提供一个预测答案。“非事实类问答子任务”将针对该预测答案与标准答案计算ROUGE-L和BLEU值,再以测试集上两个指标的平均值作为最终指标。
(图:CIPS-SOGOU问答比赛任务说明)
大赛将采用排行榜机制,适时对所有提交的结果进行自动评价和排名,针对事实类和非事实类子任务分别设置一等奖、二等奖、三等奖。比赛将在2018年11月CIPS年会上举行颁奖仪式,授予获胜者奖金和荣誉证书。
数据显示,截至目前,参加CIPS-SOGOU问答比赛“事实类问答子任务”的队伍已经达到200多个,其中,有128支队伍来自北京大学、哈尔滨工业大学、中山大学等高校,12支来自中科院计算机所、中科院自动化所等科研机构,41支来自腾讯、Rokid、云知声等科技企业,25支来自其他业内研究者及机构。
(CIPS-SOGOU问答比赛“事实类问答子任务”报名机构分布)
非事实类问答子任务”的启动,意味着此次比赛的难度和挑战性将进一步升级,势必将会吸引更多、更广泛的高校队伍及业界精英参与进来。属于搜狗搜索CIPS-SOGOU问答比赛的“高光时刻”,才刚刚开启,正待你的参与!
公开百万真实数据集 行业研究迎重大利好
值得期待的是,此次“非事实类问答子任务”中,搜狗搜索将公开百万级真实用户问答数据集,包含10万个非事实型问题,代表了最真实广泛的网民信息需求,以及100万个对应问题的候选篇章及答案标注(每个问题对应给出10个候选答案篇章),候选篇章都是从搜索引擎检索真实网页结果中抽取的文本。
这些大规模数据集,不仅能给参赛选手带来参赛和实践的便利,还使智能问答技术的研究迎来了发展良机。众所周知,数据是智能问答科研方面最宝贵的资产,尤其是反映真实用户问答需求的中文数据集非常稀缺。在这方面,学术界和创业团队所能获得的数据资源通常远少于产业界的企业。
在此前的“事实类问答子任务”以及去年4月份搜狗搜索举办的“面向智能问答的篇章排序”评测比赛,搜狗搜索就曾公开数百万真实用户问答数据集。此次再度公布的这些宝贵的科研数据,将会继续推动智能问答技术的研究,并为参赛选手带来更大的挑战及展示的舞台。
搜狗搜索CIPS-SOGOU问答比赛“非事实类问答子任务”报名已经启动,智能问答领域的高手和牛人们,快快舞动你们的手指,通过“搜狗实验室”官网(http://task.www.sogou.com/cips-sogou_qa/提交个人信息,报名参赛吧!






欢迎光临 北京邮电大学论坛 (http://bupt.myubbs.com/) Powered by Discuz! X3.3