Evaluations评测評測

Shared tasks & bakeoffs评测任务与 Bakeoff評測任務與 Bakeoff

SIGHAN's shared-task evaluations — the bakeoffs — have supplied the field with common training and test sets, common metrics, and comparable results since 2003. Several of them, notably the word segmentation and spelling check releases, are still standard benchmarks two decades later.自2003年以来,SIGHAN 的评测任务——即 Bakeoff——为该领域提供了统一的训练集与测试集、统一的评价指标以及可相互比较的结果。其中若干评测,尤其是分词和拼写检查评测发布的数据集,二十年后的今天仍是标准基准。自2003年以來,SIGHAN 的評測任務——即 Bakeoff——為該領域提供了統一的訓練集與測試集、統一的評價指標以及可相互比較的結果。其中若干評測,尤其是斷詞和拼字檢查評測發布的資料集,二十年後的今天仍是標準基準。

Next下一届下一屆

2027 — Chinese document-level meaning representation parsing2027——中文篇章级语义表示解析2027——中文篇章級語意表示解析

The shared task of the SIGHAN-DCLP 2027 workshop: mapping Chinese documents into explicit semantic structures, over a Chinese UMR data set and a document-level Chinese AMR data set. The evaluation runs January–April 2027 (tentative); results are presented at SIGHAN-DCLP 2027, held with ACL 2027 in Kyoto, Japan.SIGHAN-DCLP 2027 研讨会的评测任务:基于一个中文 UMR 数据集和一个篇章级中文 AMR 数据集,将中文篇章映射为显式的语义结构。评测拟于2027年1月至4月进行(暂定),结果将在与 ACL 2027 同期于日本京都举办的 SIGHAN-DCLP 2027 研讨会上发布。SIGHAN-DCLP 2027 研討會的評測任務:基於一個中文 UMR 資料集和一個篇章級中文 AMR 資料集,將中文篇章對映為顯式的語意結構。評測擬於2027年1月至4月進行(暫定),結果將在與 ACL 2027 同期於日本京都舉辦的 SIGHAN-DCLP 2027 研討會上發布。

History历史歷史

Past evaluations往届评测往屆評測

Newest first. Data releases from the early word-segmentation bakeoffs are available for non-commercial use from the legacy SIGHAN site.按时间倒序排列。早期分词评测发布的数据可从 SIGHAN 旧版网站获取,供非商业用途使用。按時間倒序排列。早期斷詞評測發布的資料可從 SIGHAN 舊版網站獲取,供非商業用途使用。

  • 2024

    Chinese dimensional aspect-based sentiment analysis (dimABSA)中文维度化方面级情感分析(dimABSA)中文維度化方面級情感分析(dimABSA)

    At SIGHAN-10, ACL 2024. 61 registered participants, 11 teams submitting systems, 7 technical reports.举办于 SIGHAN-10(ACL 2024)。注册参与者61名,提交系统的队伍11支,技术报告7篇。舉辦於 SIGHAN-10(ACL 2024)。註冊參與者61名,提交系統的隊伍11支,技術報告7篇。

  • 2015

    Chinese Spelling Check — SIGHAN 2015 bake-off中文拼写检查——SIGHAN 2015 评测中文拼字檢查——SIGHAN 2015 評測

    At SIGHAN-8, ACL–IJCNLP 2015. The SIGHAN-15 spelling check set remains a widely used benchmark for Chinese spelling correction.举办于 SIGHAN-8(ACL–IJCNLP 2015)。SIGHAN-15 拼写检查数据集至今仍是中文拼写纠错广泛使用的基准。舉辦於 SIGHAN-8(ACL–IJCNLP 2015)。SIGHAN-15 拼字檢查資料集至今仍是中文拼字糾錯廣泛使用的基準。

  • 2013

    Chinese Spelling Check bakeoff中文拼写检查评测中文拼字檢查評測

    At SIGHAN-7, IJCNLP 2013, Nagoya.举办于 SIGHAN-7(IJCNLP 2013,日本名古屋)。舉辦於 SIGHAN-7(IJCNLP 2013,日本名古屋)。

  • 2012

    CLP 2012 bakeoffsCLP 2012 评测CLP 2012 評測

    Micro-blog word segmentation, Chinese personal name disambiguation, and parsing. At the Second CIPS–SIGHAN Joint Conference, Tianjin.微博分词、中文人名消歧与句法分析。举办于第二届 CIPS–SIGHAN 联合会议(天津)。微博斷詞、中文人名消歧與句法分析。舉辦於第二屆 CIPS–SIGHAN 聯合會議(天津)。

  • 2010

    CLP 2010 bakeoffsCLP 2010 评测CLP 2010 評測

    At the CIPS–SIGHAN Joint Conference, Beijing, held with COLING 2010.举办于与 COLING 2010 同期召开的 CIPS–SIGHAN 联合会议(北京)。舉辦於與 COLING 2010 同期召開的 CIPS–SIGHAN 聯合會議(北京)。

  • 2007
    2008

    Fourth SIGHAN Bakeoff第四届 SIGHAN 评测(Bakeoff)第四屆 SIGHAN 評測(Bakeoff)

    Word segmentation, named-entity recognition, and part-of-speech tagging. Run in 2007; results reported at SIGHAN-6, IJCNLP 2008, Hyderabad. The bakeoff's own website is no longer online.分词、命名实体识别与词性标注。评测于2007年进行,结果在 SIGHAN-6(IJCNLP 2008,印度海得拉巴)上发布。该评测的网站已无法访问。斷詞、命名實體辨識與詞性標註。評測於2007年進行,結果在 SIGHAN-6(IJCNLP 2008,印度海德拉巴)上發布。該評測的網站已無法造訪。

  • 2006

    Third SIGHAN Bakeoff — word segmentation and named-entity recognition第三届 SIGHAN 评测(Bakeoff)——分词与命名实体识别第三屆 SIGHAN 評測(Bakeoff)——斷詞與命名實體辨識

    Results reported at SIGHAN-5, COLING–ACL 2006, Sydney.结果在 SIGHAN-5(COLING–ACL 2006,澳大利亚悉尼)上发布。結果在 SIGHAN-5(COLING–ACL 2006,澳洲雪梨)上發布。

  • 2005

    Second International Chinese Word Segmentation Bakeoff第二届国际中文分词评测第二屆國際中文斷詞評測

    Results reported at SIGHAN-4, IJCNLP 2005, Jeju Island. Data and results are released for non-commercial use.结果在 SIGHAN-4(IJCNLP 2005,韩国济州岛)上发布。数据与结果供非商业用途使用。結果在 SIGHAN-4(IJCNLP 2005,韓國濟州島)上發布。資料與結果供非商業用途使用。

  • 2003

    First International Chinese Word Segmentation Bakeoff首届国际中文分词评测首屆國際中文斷詞評測

    The first SIGHAN evaluation. Results reported at SIGHAN-2, ACL 2003, Sapporo.SIGHAN 的首次评测。结果在 SIGHAN-2(ACL 2003,日本札幌)上发布。SIGHAN 的首次評測。結果在 SIGHAN-2(ACL 2003,日本札幌)上發布。

Using bakeoff data使用评测数据使用評測資料

The word-segmentation bakeoff releases hosted on the legacy SIGHAN site are made available for non-commercial use. Check the licence and README shipped with each release before redistributing, and cite the corresponding overview paper.SIGHAN 旧版网站上发布的分词评测数据供非商业用途使用。再次分发前,请查阅各版本随附的许可协议和 README 文件,并引用相应的综述论文。SIGHAN 舊版網站上發布的斷詞評測資料供非商業用途使用。再次分發前,請查閱各版本隨附的授權條款和 README 檔案,並引用相應的綜述論文。