nprofile1qy2hwumn8ghj7un9d3shjtnddaehgu3wwp6kyqpqzgrs3mhqfuhzrcesq8e6axrka4pj4nvh0edv8j08dfgwgaem0ukseus8f8 (nprofile…s8f8)
> я подозреваю, что на домашнем железе реально хорошо думающие модели просто не сделать
Вот как раз "думающие" скорее можно. DeepSeek R1 (дистиллированный) ведёт себя неплохо в рассуждениях. Но косячит со знаниями.
А "знающие" - скорее нет. Если не придумают как сильно оптимизировать, новую архитектуру какую-то.
> может наконец подянется кто-нибудь разбавить монополию
Да давно уже. Я дома гоняю на AMD модели. На Runpod самая мощная опция по памяти - AMD.
> какая-то известная ssd компания предлагает заменить vram на быстрые ssd
Да ещё до этого AI-хайпа думали о том, что привычную архитектуру памяти возможно стоит менять.
Будет круто, если со временем у нас появятся плашки по терабайту, да ещё и шины будут сделаны так, что ускоритель, который матрицы множит имел к ним быстрый доступ.
Alexey Skobkin /
npub1vw…rde7w
2025-04-05 19:47:44
in reply to nevent1q…snjv
Author Public Key
npub1vwl5wd8j98l66lkcpsytgkx88r2p66x3qzrzqveuppej44sf8kgqyrde7wPublished at
2025-04-05 19:47:44Event JSON
{
"id": "1a11149238fee4d74e596a4517bc5c61a1764757ceaee4631f1c1f2d02d7e981",
"pubkey": "63bf4734f229ffad7ed80c08b458c738d41d68d1008620333c08732ad6093d90",
"created_at": 1743882464,
"kind": 1,
"tags": [
[
"p",
"120708eee04f2e21e33001f3ae9876ed432acd977e5ac3c9e76a50e4773b7f2d",
"wss://relay.mostr.pub"
],
[
"p",
"a6e49105f149a53fa28a3d9bdb51e8910386fdc28a013905d951024e51c42e64",
"wss://relay.mostr.pub"
],
[
"e",
"c61ddc66df953f86a465237a20fad25e795a5e73818c8dfa862c000ec2c53a45",
"wss://relay.mostr.pub",
"reply"
],
[
"proxy",
"https://lor.sh/users/skobkin/statuses/114287081194498119",
"activitypub"
],
[
"client",
"Mostr",
"31990:6be38f8c63df7dbf84db7ec4a6e6fbbd8d19dca3b980efad18585c46f04b26f9:mostr",
"wss://relay.mostr.pub"
]
],
"content": "nostr:nprofile1qy2hwumn8ghj7un9d3shjtnddaehgu3wwp6kyqpqzgrs3mhqfuhzrcesq8e6axrka4pj4nvh0edv8j08dfgwgaem0ukseus8f8 \n\u003e я подозреваю, что на домашнем железе реально хорошо думающие модели просто не сделать\n\nВот как раз \"думающие\" скорее можно. DeepSeek R1 (дистиллированный) ведёт себя неплохо в рассуждениях. Но косячит со знаниями.\nА \"знающие\" - скорее нет. Если не придумают как сильно оптимизировать, новую архитектуру какую-то.\n\n\u003e может наконец подянется кто-нибудь разбавить монополию\n\nДа давно уже. Я дома гоняю на AMD модели. На Runpod самая мощная опция по памяти - AMD.\n\n\u003e какая-то известная ssd компания предлагает заменить vram на быстрые ssd\n\nДа ещё до этого AI-хайпа думали о том, что привычную архитектуру памяти возможно стоит менять.\n\nБудет круто, если со временем у нас появятся плашки по терабайту, да ещё и шины будут сделаны так, что ускоритель, который матрицы множит имел к ним быстрый доступ.",
"sig": "3a664bf7b93064fff9be2021b2181f3b2dce8f8477a4db59a290201d2fe020de01dec0330450f5cf66b115027ca066fcdecfbd9c48d0fc5fb7848e9a1d1b4cb4"
}