研究称百度弱智吧中文训练高于知乎豆瓣小红书
最近取得重大突破的大模型主要专注于英语，为了弥补中文的差距，中科院深圳先进技术研究院、北大、中科大以及李开复的零一万物等学术机构和企业的研究人员推出了 COIG-CQIA 中文高质量指令微调数据集，旨在为中文自然语言处理社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA 的中文语料来自于知乎高赞回答、豆瓣、小红书和以及百度贴吧如弱智吧高赞贴。研究人员使用该数据集对零一万物的 Yi-34B 模型进行微调，结果发现弱智吧的语料表现最出色。研究人员推测可能与弱智吧的内容风格有关，弱智吧的高赞贴通常具有双关、多义等语言特色，可能有助于改进模型的逻辑推理。
—— https://www.solidot.org/story?sid=77785
- COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning : https://arxiv.org/abs/2403.18058 (arXiv)
- m-a-p/COIG-CQIA : https://huggingface.co/datasets/m-a-p/COIG-CQIA (Hugging Face)
cxplay_clip / CXPLAY's Clip
npub18d…0sy5z
2024-04-06 12:00:17
Author Public Key
npub18dcx3xj3zg457k8kxkfmr03a0ltjhsq046tnhdq097m5ms0r284sc0sy5zPublished at
2024-04-06 12:00:17Event JSON
{
"id": "6e3f64b0d88fffcfc7dcf67f87e3441573269bbc793531a3f02074ba287ffac3",
"pubkey": "3b70689a51122b4f58f63593b1be3d7fd72bc00fae973bb40f2fb74dc1e351eb",
"created_at": 1712404817,
"kind": 1,
"tags": [
[
"r",
"中文高质量指令微调数据集，旨在为中文自然语言处理社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA"
],
[
"r",
"的中文语料来自于知乎高赞回答、豆瓣、小红书和以及百度贴吧如弱智吧高赞贴。研究人员使用该数据集对零一万物的"
],
[
"r",
"https://www.solidot.org/story?sid=77785"
],
[
"r",
"https://arxiv.org/abs/2403.18058"
],
[
"r",
"https://huggingface.co/datasets/m-a-p/COIG-CQIA"
]
],
"content": "研究称百度弱智吧中文训练高于知乎豆瓣小红书\n\n最近取得重大突破的大模型主要专注于英语，为了弥补中文的差距，中科院深圳先进技术研究院、北大、中科大以及李开复的零一万物等学术机构和企业的研究人员推出了 COIG-CQIA 中文高质量指令微调数据集，旨在为中文自然语言处理社区提供高质量且符合人类交互行为的指令微调数据。COIG-CQIA 的中文语料来自于知乎高赞回答、豆瓣、小红书和以及百度贴吧如弱智吧高赞贴。研究人员使用该数据集对零一万物的 Yi-34B 模型进行微调，结果发现弱智吧的语料表现最出色。研究人员推测可能与弱智吧的内容风格有关，弱智吧的高赞贴通常具有双关、多义等语言特色，可能有助于改进模型的逻辑推理。\n—— https://www.solidot.org/story?sid=77785\n\n- COIG-CQIA: Quality is All You Need for Chinese Instruction Fine-tuning\u0000\u0000: https://arxiv.org/abs/2403.18058 (arXiv)\n- m-a-p/COIG-CQIA\u0000\u0000: https://huggingface.co/datasets/m-a-p/COIG-CQIA (Hugging Face)",
"sig": "8d823dc71e8df5b41d09045f11fbfe59666153a3b31fc05404ad5c1bdc47928e66eb91b1a2eea7d87fadbfcd7900138b2d3d70191fb580d8885bb38602e962d3"
}