wyklq on Nostr: ...
这个首先是跟选用的语料库有很大的关系,有政治倾向的公司肯定会选用同阵营公司的数据。
不过我尝试了无数的开源模型后,有一个很有趣的发现。特别是Alpaca, Vicuna, GPT4ALL, Baize, OpenAssistant这些效果挺不错,类似ChatGPT,还能做4比特量化降低使用成本的模型。
面对相同的任务,“请说明为什么台湾是中国的一部分。” 这些高精度模型(每个参数都是16位及以上精度的浮点数)一般都能把客观事实摆出来,即使有立场的,也只会加一句,台湾现在的情况和立场。
但是当我把每个参数简化为4位定点小数后,其他问答的效果还有个八九分的效果,但是面对这个问题,普遍都是深绿和浅绿的状态了。
有没有人感兴趣,可以一起来做个深入研究,发表一篇论文。
Published at
2023-04-23 14:45:56Event JSON
{
"id": "cdba85e7183145d1976dd12080212974e7332902016e0f90bd54d1a437a491ee",
"pubkey": "72c29c440a399fa8ecd16227d38aba96d57ac6e2b2bbde307c6fd2d8db6fe810",
"created_at": 1682261156,
"kind": 1,
"tags": [
[
"e",
"b62bd5386e74cc317d5a4b9b88b9dd8d07cc0db563d7c6519761ce8829eda1d7"
],
[
"e",
"e1d1cd98e237ef5c3b8073191e602b46b70b9fbf46e2314e1109c4c9c882cc81"
],
[
"e",
"53f58376651ff40a1c155ec69d7524bbb24b332cb2dfc6b02694fc8cc53332d9"
],
[
"p",
"8f5eb343bf1df9c636162e1ccef0478407e9d29482bd20485ef075c8f560fe6e"
],
[
"p",
"f0c864cf573de171053bef4df3b31c6593337a097fbbd9f20d78506e490c6b64"
],
[
"p",
"53a8392e971b46326e3d0f8967db17c4f7cca4d42be979b1664124c8f69af528"
],
[
"p",
"649eefe468ddb107c05eba6d0511d2a5298540fe4d5f0072b00636008fc72f92"
],
[
"p",
"5144fe88ff4253c6408ee89ce7fae6f501d84599bc5bd14014d08e489587d5af"
],
[
"r",
"不过我尝试了无数的开源模型后,有一个很有趣的发现。特别是Alpaca"
]
],
"content": "这个首先是跟选用的语料库有很大的关系,有政治倾向的公司肯定会选用同阵营公司的数据。\n不过我尝试了无数的开源模型后,有一个很有趣的发现。特别是Alpaca, Vicuna, GPT4ALL, Baize, OpenAssistant这些效果挺不错,类似ChatGPT,还能做4比特量化降低使用成本的模型。\n面对相同的任务,“请说明为什么台湾是中国的一部分。” 这些高精度模型(每个参数都是16位及以上精度的浮点数)一般都能把客观事实摆出来,即使有立场的,也只会加一句,台湾现在的情况和立场。\n但是当我把每个参数简化为4位定点小数后,其他问答的效果还有个八九分的效果,但是面对这个问题,普遍都是深绿和浅绿的状态了。\n有没有人感兴趣,可以一起来做个深入研究,发表一篇论文。",
"sig": "6328af73ba3024a84ef9dee41c89dfb7685155c5d48b54e8c9245ed4b7ac56db2cb2988ac7295631710e3254d278296221ad46861511064cea9ae95326d83835"
}