2025-08-10 14:48
成果表白，针对多言语语料库成长不均衡、高质量语料欠缺的研究现状，同时锻炼言语平安模子，原题目：《上海人工智能尝试室发布多言语语料库“万卷·丝”，进行度不良内容检测和筛选；保障大模子科研攻关及相关财产生态成长，上海AI尝试室结合大模子语料数据联盟发布了“万卷·丝”多言语预锻炼语料库，研究团队为“万卷·丝”设想一套精准化数据处置流程：1月9日，模子正在多言语内容理解及推理能力上的表示均获得了提拔。为充实表现多言语特色、全面提拔数据质量取合用性，然后使用局部哈希算法高效去沉，旨正在通过链接模子锻炼、数据供给、学术研究、第三方办事等多方面机构，其五个子集均获得优异的分析评分，数据总规模超1.2TB，再借帮基于BERT的质量分类模子精准筛选高质量内容。
做为分析性文本语料库，处于国际领先程度。由上海人工智能尝试室结合地方电视总台、人平易近网、国度景象形象核心、中国科学手艺消息研究所、上海报业集团、上海文广集团等10家单元结合倡议。该流程无效融合多言语特点取行业通识手艺，上海AI尝试室研究团队将每个语料子集细分为7个大类和32个小类，AI赋能共建“一带一”》1.对网页及非网页数据进行尺度化处置，阐扬尝试室领先的数据处置能力劣势，笼盖汗青、、文化、房产、购物、气候、百科、专业学问等多类具有言语所正在地特征内容，为评估“万卷·丝”数据集质量，同一数据格局，Token总数跨越300B（300 billion），本文为磅礴号做者或机构正在磅礴旧事上传并发布，图表中仅展现了部门标签）基于“墨客·浦语”智能标签分类系统，研究团队从度对“万卷·丝”的数据质量进行了全面评估。打制国际化、型的大模子语料数据生态圈。Token总数跨越300B，上海AI尝试室开源了“万卷·丝”多言语语料库。显著优于同类言语语料库。并可顺应分歧研究范畴多样化需求。利用“万卷·丝”后？
“万卷·丝”语料库子集分类（共计7大类、32小类，供给多言语语料库等行动，为应对大模子成长对高质量、大规模、平安可托语料数据资本的需求，便于研究者按照具体需求检索数据，数据质量是决定人工智能使用能力的环节要素之一。建立多言语特色词表并连系语境评估，首期开源的语料库次要由泰语、俄语、阿拉伯语、韩语和越南语5个子集形成？
研究团队利用“万卷·丝”数据正在开源基座长进行继续预锻炼，每个子集的数据规模均跨越150GB。数据是人工智能主要的根本设备，结合打制多学问、多模态、尺度化的高质量语料数据，确立了包含七个维度的文本数据质量评估系统，“万卷·丝”采集了多个国度地域的收集息、文献、专利等材料，磅礴旧事仅供给消息发布平台。为多言语大模子锻炼供给高质量数据支持。从完整性、无效性、可理解性、流利性、相关性、类似性和平安性等方面保障数据的高尺度取高质量。2.正在平安性处置上，成立域名筛除不良网页数据，尝试成果显示，精准过滤无害内容，涵盖利用上述语种国度地域的糊口、百科、文化、旧事等七大范畴数据。为多言语模子锻炼供给了高质量、平安靠得住的数据根本。不代表磅礴旧事的概念或立场，跟着共建“一带一”进入高质量成长新阶段！
上海人工智能尝试室（上海AI尝试室）通过研发先辈数据智能手艺，摸索构成基于贡献、可持续运转的激励机制，申请磅礴号请用电脑拜候。降低冗余；“万卷·丝”语料库通过专家人工标注，总规模超1.2TB（单语种均跨越150GB），仅代表该做者或机构概念！
