Das sind 120*320 = 38400 Wattsekunden auf der Nvidia, und 120*45 Wattsekunden auf dem Mini.
In kWh sind es 0.0015 kWh auf dem Mac und 0.010 kWh auf der Nvidia. Das sind mikroskopische Mehrverbräuche.
Es gibt jede Menge Dinge, die man an LLMs kritisieren kann – Sourcing der Daten, Bias, Zuverlässigkeit, Energieverbrauch vom TRAINING.
Aber INFERENZ, also das LLM zu verwenden, ist es nicht.
Kris /
npub1v5…lxe4h
2024-09-20 14:13:13
in reply to nevent1q…xkvw
Author Public Key
npub1v5n76jecsme7ng2ys0ecq90fvmltaju9zfv4zrl4fjeva07yumaqglxe4hPublished at
2024-09-20 14:13:13Event JSON
{
"id": "14028e76a48300db90074e04d65dafff9cbbb36ff2071214e301eeb826aa861b",
"pubkey": "6527ed4b3886f3e9a14483f38015e966febecb851259510ff54cb2cebfc4e6fa",
"created_at": 1726841593,
"kind": 1,
"tags": [
[
"e",
"6ab101270006e0dd06534ae45cee21d99a9feaa72a4e74838cdc501aa5119a25",
"wss://relay.mostr.pub",
"reply"
],
[
"proxy",
"https://chaos.social/users/isotopp/statuses/113170290650287946",
"activitypub"
]
],
"content": "Das sind 120*320 = 38400 Wattsekunden auf der Nvidia, und 120*45 Wattsekunden auf dem Mini.\n\nIn kWh sind es 0.0015 kWh auf dem Mac und 0.010 kWh auf der Nvidia. Das sind mikroskopische Mehrverbräuche.\n\nEs gibt jede Menge Dinge, die man an LLMs kritisieren kann – Sourcing der Daten, Bias, Zuverlässigkeit, Energieverbrauch vom TRAINING.\n\nAber INFERENZ, also das LLM zu verwenden, ist es nicht.",
"sig": "c199f37a69ae7f9cd965d2a77be8247046e6eb372e8351f35f64399a67765ba351defcd9e848acb70295f370961d11e123353722c7e664191795032de3f99a0c"
}