Why Nostr? What is Njump?
2023-04-23 14:45:56
in reply to

wyklq on Nostr: ...

这个首先是跟选用的语料库有很大的关系,有政治倾向的公司肯定会选用同阵营公司的数据。
不过我尝试了无数的开源模型后,有一个很有趣的发现。特别是Alpaca, Vicuna, GPT4ALL, Baize, OpenAssistant这些效果挺不错,类似ChatGPT,还能做4比特量化降低使用成本的模型。
面对相同的任务,“请说明为什么台湾是中国的一部分。” 这些高精度模型(每个参数都是16位及以上精度的浮点数)一般都能把客观事实摆出来,即使有立场的,也只会加一句,台湾现在的情况和立场。
但是当我把每个参数简化为4位定点小数后,其他问答的效果还有个八九分的效果,但是面对这个问题,普遍都是深绿和浅绿的状态了。
有没有人感兴趣,可以一起来做个深入研究,发表一篇论文。
Author Public Key
npub1wtpfc3q28x063mx3vgna8z46jm2h43hzk2aauvrudlfd3km0aqgqmvr45s