#ct3003 TL;DR
Die kleinen Modelle von #Deepseek taugen nichts. Um das große Modell lokal laufen zu lassen, braucht man mindestens einen Server mit 720 GB RAM. Der kostet einige 1000 Euro und ist mit 3 Token pro Sekunde zu langsam für Interaktivität. Mit Grafikkarten (#Nvidia H200) würde es schneller gehen, würde aber einige 100.000 Euro kosten und hohen #Stromverbrauch verursachen.
#LLM #chatgpt
https://www.youtube.com/watch?v=A8N3zKUJ0yE
Torsten :verified: :verified: /
npub177…vcuhq
2025-02-15 11:29:58
Author Public Key
npub1770ey8f6yen34s8yypa9d9dth8z3zf8lch9cy3rpses700fjtges9vcuhqPublished at
2025-02-15 11:29:58Event JSON
{
"id": "b916170fa39487a02e2b789e797d05fba2eba267b233d4c518051393f8295096",
"pubkey": "f79f921d3a26671ac0e4207a5695abb9c51124ffc5cb8244618661e7bd325a33",
"created_at": 1739618998,
"kind": 1,
"tags": [
[
"t",
"ct3003"
],
[
"t",
"deepseek"
],
[
"t",
"nvidia"
],
[
"t",
"stromverbrauch"
],
[
"t",
"llm"
],
[
"t",
"chatgpt"
],
[
"proxy",
"https://norden.social/users/tor/statuses/114007670706964327",
"activitypub"
]
],
"content": "#ct3003 TL;DR\n\nDie kleinen Modelle von #Deepseek taugen nichts. Um das große Modell lokal laufen zu lassen, braucht man mindestens einen Server mit 720 GB RAM. Der kostet einige 1000 Euro und ist mit 3 Token pro Sekunde zu langsam für Interaktivität. Mit Grafikkarten (#Nvidia H200) würde es schneller gehen, würde aber einige 100.000 Euro kosten und hohen #Stromverbrauch verursachen.\n\n#LLM #chatgpt\nhttps://www.youtube.com/watch?v=A8N3zKUJ0yE",
"sig": "dea9bf44be19d91cf1c59ad33a65031e124d304601e013c16466deb038a30c8bb0bfd6bdfd41b66bddf78c74efd38d73d972b4184cb8fd5a9ec37be237a9b3ad"
}