中文语料库真是厉害了。
有人打印出chatgpt-4o的分词表最长字符串中文token，前十是这些
https://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374
185118 _日本毛片免费视频观看
116852 中国福利彩票天天
128031 久久免费热在线精品
154809 无码不卡高清免费v
172750 大发快三大小单双
177431 给主人留下些什么吧
181679 qq的天天中彩票
184969 _日本一级特黄大片
187822 大发快三开奖结果
49649 彩神争霸邀请码
海马 /
npub1mv…gtc8c
2024-05-14 05:43:33
Author Public Key
npub1mv6ju6d7z8nfx9lcsvydzhxapx8rjtc0xjs5sexj586xxlxcs9yqjgtc8cPublished at
2024-05-14 05:43:33Event JSON
{
"id": "3f9d2fa291ed42463f466e094deb734ac836ddeaa0af2afd397579b7c6d10894",
"pubkey": "db352e69be11e69317f88308d15cdd098e392f0f34a14864d2a1f4637cd88148",
"created_at": 1715665413,
"kind": 1,
"tags": [
[
"proxy",
"https://m.cmx.im/users/mach/statuses/112437848561413475",
"activitypub"
]
],
"content": "中文语料库真是厉害了。\n有人打印出chatgpt-4o的分词表最长字符串中文token，前十是这些\n\nhttps://gist.github.com/ctlllll/4451e94f3b2ca415515f3ee369c8c374\n\n185118 _日本毛片免费视频观看\n116852 中国福利彩票天天\n128031 久久免费热在线精品\n154809 无码不卡高清免费v\n172750 大发快三大小单双\n177431 给主人留下些什么吧\n181679 qq的天天中彩票\n184969 _日本一级特黄大片\n187822 大发快三开奖结果\n49649 彩神争霸邀请码",
"sig": "ada128cc6c1a2042004bc953a3daa1e14c3385486a68600f9d73a68fcb6b4cd4bc5e242f3b944842b957e543a69c3d96b88e3ee032c67ac55dbe7971795a59db"
}