Shared task评测任务評測任務
Chinese document-level meaning representation parsing中文篇章级语义表示解析中文篇章級語意表示解析
Map Chinese documents into explicit, graph-based semantic structures that reach across sentence boundaries — evaluated on a Chinese Uniform Meaning Representation (UMR) data set and a document-level Chinese Abstract Meaning Representation (AMR) data set. 将中文文档解析为跨越句子边界的、显式的图结构语义表示,并在中文统一语义表示(UMR)数据集与篇章级中文抽象语义表示(AMR)数据集上进行评测。將中文文件解析為跨越句子邊界的、顯式的圖結構語意表示,並在中文統一語意表示(UMR)資料集與篇章級中文抽象語意表示(AMR)資料集上進行評測。
The task任务介绍任務介紹
Systems take a complete Chinese document as input and output its structured meaning representation. Beyond sentence-internal semantic roles, the output must capture the core document-level phenomena: coreference across sentences, discourse relations between parts of the text, and temporal relations between events. 参赛系统需输入完整的中文文档,输出对应的结构化语义表示。除句内语义角色标注外,输出还需覆盖跨句共指消解、篇章语义关系衔接、事件时序推理等篇章级核心语义现象。參賽系統需輸入完整的中文文件,輸出對應的結構化語意表示。除句內語意角色標註外,輸出還需覆蓋跨句共指消解、篇章語意關係銜接、事件時序推理等篇章級核心語意現象。
Both target frameworks provide graph-based representations of predicates, arguments, entities, and semantic relations, while extending analysis across sentence boundaries: 两种目标语义表示框架均以图结构表示谓词、论元、实体及语义关系,并将分析延伸至句子边界之外:兩種目標語意表示框架均以圖結構表示謂詞、論元、實體及語意關係,並將分析延伸至句子邊界之外:
- Chinese UMR represents entity and event coreference, temporal relations, and modal dependencies. 中文 UMR:表示实体与事件共指、时间关系以及情态依存。中文 UMR:表示實體與事件共指、時間關係以及情態依存。
- Document-level Chinese AMR provides a complementary representation of semantic connections across a document. 篇章级中文 AMR:从另一角度刻画文档内部的语义关联,与 UMR 互为补充。篇章級中文 AMR:從另一角度刻畫文件內部的語意關聯,與 UMR 互為補充。
The data are uniformly annotated and drawn from real Chinese documents across multiple domains and genres. Evaluating on both resources benchmarks LLM-based, neural, and hybrid approaches, and tests generalization across related representation frameworks. 评测数据经过统一标注,取自多领域、多体裁的真实中文文档。在两类资源上同时评测,既可比较基于大语言模型、神经网络及混合方法的系统,也可检验系统在相关语义表示框架之间的泛化能力。評測資料經過統一標註,取自多領域、多體裁的真實中文文件。在兩類資源上同時評測,既可比較基於大型語言模型、神經網路及混合方法的系統,也可檢驗系統在相關語意表示框架之間的泛化能力。
Why this task设立缘由設立緣由
The task addresses a limitation of current generative systems: although LLMs perform many language-understanding tasks well, their meaning representations remain largely implicit. For SIGHAN, it also moves Chinese semantic parsing from isolated sentences toward explicit document-level understanding — a step beyond the sentence-level Chinese AMR evaluations of recent years. The aim is to advance Chinese semantic parsing and establish a benchmark the field recognizes. 本任务针对当前生成式系统的一项局限:尽管大语言模型在许多语言理解任务上表现出色,其语义表示在很大程度上仍是隐式的。对 SIGHAN 而言,本任务也推动中文语义解析从孤立的句子走向显式的篇章级理解,在近年来句子级中文 AMR 评测的基础上更进一步。本评测旨在推动中文语义解析技术的发展,建立领域公认的基准评测体系。本任務針對當前生成式系統的一項侷限:儘管大型語言模型在許多語言理解任務上表現出色,其語意表示在很大程度上仍是隱式的。對 SIGHAN 而言,本任務也推動中文語意解析從孤立的句子走向顯式的篇章級理解,在近年來句子級中文 AMR 評測的基礎上更進一步。本評測旨在推動中文語意解析技術的發展,建立領域公認的基準評測體系。
Participation参赛与论文发表參賽與論文發表
We expect approximately 10–15 participating teams, based on participation in recent Chinese semantic parsing evaluations and in previous SIGHAN shared tasks. Detailed task guidelines and the data download will be released separately on this page. 根据近年中文语义解析评测及往届 SIGHAN 评测的参与情况,我们预计约有 10–15 支队伍参赛。详细的技术指南与数据下载通道将在本页面单独发布。根據近年中文語意解析評測及往屆 SIGHAN 評測的參與情況,我們預計約有 10–15 支隊伍參賽。詳細的技術指南與資料下載通道將在本頁面單獨發布。
Participating teams are invited to submit system description papers of up to 4 pages of content plus unlimited pages of references, due 17 April 2027, focusing on the system, results, and analysis. They are reviewed and, if accepted, appear in the workshop proceedings in the ACL Anthology. 欢迎参赛队伍于 2027年4月17日 前提交系统描述论文(正文最多4页,参考文献页数不限),重点介绍系统方案、实验结果与技术分析。论文经评审录用后,将正式收入研讨会论文集并收录于 ACL Anthology。歡迎參賽隊伍於 2027年4月17日 前提交系統描述論文(正文最多4頁,參考文獻頁數不限),重點介紹系統方案、實驗結果與技術分析。論文經評審錄用後,將正式收入研討會論文集並收錄於 ACL Anthology。
Schedule日程安排日程安排
The evaluation runs January–April 2027 (tentative). Dates still marked TBA will be posted here. 评测拟于 2027年1月至4月 举行(暂定),尚待确定的日期将在本页面公布。評測擬於 2027年1月至4月 舉行(暫定),尚待確定的日期將在本頁面公佈。
- Registration opens开放报名開放報名 TBA待定待定
- Training data release发布训练数据發布訓練資料 TBA待定待定
- Test phase测试阶段測試階段 27 February – 6 March 20272027年2月27日至3月6日2027年2月27日至3月6日
- Results released公布评测结果公佈評測結果 TBA待定待定
- System description papers due系统描述论文提交截止系統描述論文提交截止 17 April 20272027年4月17日2027年4月17日
Background and resources背景与资源背景與資源
Useful starting points for the two frameworks:了解这两种语义表示框架,可参考以下资料:瞭解這兩種語意表示框架,可參考以下資料:
- Julia Bonn et al. 2024. Building a Broad Infrastructure for Uniform Meaning Representations. LREC–COLING 2024 — the first release of the UMR data set. Julia Bonn et al. 2024. Building a Broad Infrastructure for Uniform Meaning Representations. LREC–COLING 2024——UMR 数据集的首次发布。Julia Bonn et al. 2024. Building a Broad Infrastructure for Uniform Meaning Representations. LREC–COLING 2024——UMR 資料集的首次發布。
- Zhixing Xu, Yixuan Zhang, Bin Li, Junsheng Zhou, and Weiguang Qu. 2023. Overview of CCL23-Eval Task 2: The Third Chinese Abstract Meaning Representation Parsing Evaluation. Zhixing Xu, Yixuan Zhang, Bin Li, Junsheng Zhou, and Weiguang Qu. 2023. Overview of CCL23-Eval Task 2: The Third Chinese Abstract Meaning Representation Parsing Evaluation——第三届中文抽象语义表示解析评测综述。Zhixing Xu, Yixuan Zhang, Bin Li, Junsheng Zhou, and Weiguang Qu. 2023. Overview of CCL23-Eval Task 2: The Third Chinese Abstract Meaning Representation Parsing Evaluation——第三屆中文抽象語意表示解析評測綜述。
- Uniform Meaning Representation project — specification, guidelines, and tooling. 统一语义表示(UMR)项目——规范、标注指南与工具。統一語意表示(UMR)計畫——規範、標註指南與工具。
- Chinese AMR corpus — the Chinese AMR resource on GitHub. 中文 AMR 语料库——GitHub 上的中文 AMR 资源。中文 AMR 語料庫——GitHub 上的中文 AMR 資源。
Previous SIGHAN shared tasks往届 SIGHAN 评测往屆 SIGHAN 評測
SIGHAN's shared-task tradition runs back to the International Chinese Word Segmentation Bakeoff in 2003, through named-entity recognition, spelling check, and most recently dimensional aspect-based sentiment analysis at SIGHAN-10. SIGHAN 的评测传统可追溯至2003年的国际中文分词评测(Bakeoff),此后历经命名实体识别、拼写检查等任务,最近一届为 SIGHAN-10 的维度化方面级情感分析评测。SIGHAN 的評測傳統可追溯至2003年的國際中文斷詞評測(Bakeoff),此後歷經命名實體辨識、拼字檢查等任務,最近一屆為 SIGHAN-10 的維度化方面級情感分析評測。
Contact联系方式聯絡方式
The shared task is chaired by Zhixing Xu. Questions about the task go to the workshop organizers at sighandclp@gmail.com. A registration form, the task guidelines, and the data release will be announced on this page. 评测任务主席为 Zhixing Xu。如对评测任务有任何疑问,请发送邮件至研讨会组织者 sighandclp@gmail.com。报名表、技术指南与数据发布信息将在本页面公布。評測任務主席為 Zhixing Xu。如對評測任務有任何疑問,請來信至研討會組織者 sighandclp@gmail.com。報名表、技術指南與資料發布資訊將在本頁面公佈。