williamlong on Nostr: 谷歌DeepMind推出Mixture of Depths ...
谷歌DeepMind推出Mixture of Depths
日前有消息显示，谷歌DeepMind方面发布的Mixture-of-Depths（MoD），改变了以往Transformer架构的计算模式。
据了解，通过动态分配大模型中的FLOPs（运算次数或计算资源），优化不同层次模型深度中的分配，限制给定层的自注意力和MLP计算的token数量，MoD可跳过一些不必要计算，迫使神经网络学会主要关注真正重要的信息， 实现只给需要准确预测的token分配更多计...
https://www.williamlong.info/archives/7419.htmlPublished at
2024-04-07 09:25:20Event JSON
{
"id": "805867c82b21192f623a50ac303e812c3c003be2643d54dc1eb250c5b3cd8a94",
"pubkey": "31fec43e0ffd5af5c7ad4ee0a8c58ad65c80aee72aa63ac7e27b9d8de2342c4a",
"created_at": 1712481920,
"kind": 1,
"tags": [],
"content": "谷歌DeepMind推出Mixture of Depths\n\n日前有消息显示，谷歌DeepMind方面发布的Mixture-of-Depths（MoD），改变了以往Transformer架构的计算模式。\n\n据了解，通过动态分配大模型中的FLOPs（运算次数或计算资源），优化不同层次模型深度中的分配，限制给定层的自注意力和MLP计算的token数量，MoD可跳过一些不必要计算，迫使神经网络学会主要关注真正重要的信息， 实现只给需要准确预测的token分配更多计...\n\nhttps://www.williamlong.info/archives/7419.html",
"sig": "5abefe0cc2e8f94014bda6990aac0ac1b7de8cdd2ace589987deb96d26e0311dc7bed18ac2674883fa240e3e8b714034fcbe888987a01834ba5b7bb9e18bd4de"
}