Willst Du Dein eigenes LLM "from scratch" trainieren?
Hier steht wie es geht:
https://imbue.com/research/70b-infrastructure/
Da kann man auch lernen, wie instabil und grenzwertig (d.h. an der blutigen Kante des technischen Fortschritts) diese ganze GPU-Technik noch ist. Das heißt auch, daß sie nicht effizient ist, d.h. daß mindestens eine bis zwei Größenordnungen technische Optimierungen darin stecken.
via Christoph Petrausch (npub1pgy…kmrc)
Kris /
npub1rm…pgnxv
2024-06-28 09:27:43
Author Public Key
npub1rm3dsclhpkn2d8la5ekau6je58pwuqkxa50ajkz5kjylzrevrqpqapgnxvPublished at
2024-06-28 09:27:43Event JSON
{
"id": "089772b888713047fa620fb409808441bed383f0d9b7bf67b214566475dc2e50",
"pubkey": "1ee2d863f70da6a69ffda66dde6a59a1c2ee02c6ed1fd95854b489f10f2c1802",
"created_at": 1719566863,
"kind": 1,
"tags": [
[
"p",
"0a0985fb98c3d0d649c11defc35fc70a758e067905eff742e2d3e563355b98ee"
],
[
"proxy",
"https://chaos.social/@isotopp/112693533964751967",
"web"
],
[
"proxy",
"https://chaos.social/users/isotopp/statuses/112693533964751967",
"activitypub"
],
[
"L",
"pink.momostr"
],
[
"l",
"pink.momostr.activitypub:https://chaos.social/users/isotopp/statuses/112693533964751967",
"pink.momostr"
],
[
"expiration",
"1722183898"
]
],
"content": "Willst Du Dein eigenes LLM \"from scratch\" trainieren?\n\nHier steht wie es geht:\n\nhttps://imbue.com/research/70b-infrastructure/\n\nDa kann man auch lernen, wie instabil und grenzwertig (d.h. an der blutigen Kante des technischen Fortschritts) diese ganze GPU-Technik noch ist. Das heißt auch, daß sie nicht effizient ist, d.h. daß mindestens eine bis zwei Größenordnungen technische Optimierungen darin stecken.\n\nvia nostr:npub1pgyct7ucc0gdvjwprhhuxh78pf6cupneqhhlwshz60jkxd2mnrhq7zkmrc",
"sig": "a7cfa60b242c90ad518a621b27e9af08d1f430b9a1f89dbe04d491d6e6d6f59ce7d4d1e4d75f1738b661921c168f28dc68d1d1e76ade1d4980fdae8f74592d23"
}