李沐估计没少看玄幻小说，这个对大语言模型原理的解释类比太好玩了。
“我说机器学习像是老中医，深度学习可能跟玄幻小说的炼丹有点像。
所以你看现在的语言模型就很像炼丹，你要把一些材料放进一个丹炉里面，然后有个丹方去把它炼出来。
那么数据就是你要找的材料。
你看那些小说里面，主角大部分时间都在找材料，包括去深山里面找、去拍卖会上买，所以搞数据是很难的事情，是个体力活。
但是你必须得有这些数据，而且要多弄一些，因为你不知道到时候会不会毁掉一些。
算力也很重要，就是说火要大一点，设备要先进一点，因为越好的设备炼出来的东西越好。
算法就是你的丹方了。
丹方这个东西可能跟小说不一样。
它每年都在进步，而且对于细节的把控非常重要。
就算别人告诉过你这个东西怎么弄，但在真实的场景里面，你会发现还是挺不一样的。
这就有点像你去徒手发射火箭，发之前你要动手调一调，没调好的话就炸掉了。”
原文地址：https://t.co/YCdpN0hYv1
向阳乔木 /
npub1m3…v70lp
2024-09-01 14:26:22
Author Public Key
npub1m3uw6cg4fysn0uq288mfgzx8zgx3vtckgdjj9df6km4m9rqkffhqpv70lpPublished at
2024-09-01 14:26:22Event JSON
{
"id": "78d9762c890c3fd997d204ac1ebae162c36ed1117071409f39899f9057e8ad53",
"pubkey": "dc78ed6115492137f00a39f69408c7120d162f16436522b53ab6ebb28c164a6e",
"created_at": 1725200782,
"kind": 1,
"tags": [],
"content": "李沐估计没少看玄幻小说，这个对大语言模型原理的解释类比太好玩了。\n\n“我说机器学习像是老中医，深度学习可能跟玄幻小说的炼丹有点像。\n\n所以你看现在的语言模型就很像炼丹，你要把一些材料放进一个丹炉里面，然后有个丹方去把它炼出来。\n\n那么数据就是你要找的材料。\n\n你看那些小说里面，主角大部分时间都在找材料，包括去深山里面找、去拍卖会上买，所以搞数据是很难的事情，是个体力活。\n\n但是你必须得有这些数据，而且要多弄一些，因为你不知道到时候会不会毁掉一些。\n\n算力也很重要，就是说火要大一点，设备要先进一点，因为越好的设备炼出来的东西越好。\n\n算法就是你的丹方了。\n丹方这个东西可能跟小说不一样。\n它每年都在进步，而且对于细节的把控非常重要。\n\n就算别人告诉过你这个东西怎么弄，但在真实的场景里面，你会发现还是挺不一样的。\n\n这就有点像你去徒手发射火箭，发之前你要动手调一调，没调好的话就炸掉了。”\n\n原文地址：https://t.co/YCdpN0hYv1",
"sig": "1929b1de6e5d5154ca67b0998c7cf4f2e9d21500dbe4fe1d624597c05d93f6427e96084ad6ead3b73ddb116234d9f5bb1bf4c34a26baab64949abfd12bca1a30"
}