Targoyle on Nostr: 言語モデルの物理学ですぐ使える（？）知見は「int8 ...
言語モデルの物理学ですぐ使える（？）知見は「int8 量子化をしても記憶容量は下がらないが int4 量子化をすると記憶効率が下がる」ではないか
デバイスを買うときに見るべき指標として
Nvidia の DGX Spark の TOPS 性能は 4ビット相当でしょ
Published at
2025-03-27 00:15:29Event JSON
{
"id": "0ffa9eea972bf27b81727f54d5f061bb55c3d0e0ec6b642570b562346ac34098",
"pubkey": "5f468793f9a7bd70827cdad5c5677e3e5997fa53d0920aaac4e302ac0d48e8e7",
"created_at": 1743034529,
"kind": 1,
"tags": [],
"content": "言語モデルの物理学ですぐ使える（？）知見は「int8 量子化をしても記憶容量は下がらないが int4 量子化をすると記憶効率が下がる」ではないか \nデバイスを買うときに見るべき指標として \nNvidia の DGX Spark の TOPS 性能は 4ビット相当でしょ",
"sig": "b6d9cfbb1846ae5703717002ba60289e7111c661d0dd11582f9ad39da78b944fc6a868bf5aa7d10ac34e27b2f5f693947dc4c7dabf61978549a91000566e98a8"
}
