Scaling Law の限界については、データセットが近い将来枯渇するのでは、という議論があります。
言語データでは2030年から2040年の間に、視覚データでは2030年から2060年の間に、データセットの増加が止まる可能性がある。
> Our models show this is likely to happen between 2030 and 2040 for language data, and between 2030 and 2060 for vision data.
AI が人間と同程度のデータを生成できるようになるとまた話は違ってくるのかもしれませんが。
https://arxiv.org/abs/2211.04325
s_ota / S. Ota
npub1su…w0yu8
2023-03-25 03:44:45
Author Public Key
npub1susumuq8u7v0sp2f5jl3wjuh8hpc3cqe2tc2j5h4gu7ze7z20asq2w0yu8Published at
2023-03-25 03:44:45Event JSON
{
"id": "09826b410784363481edf1a3bbccc9ba9f52ef777e82604f511dda07f9a295b2",
"pubkey": "8721cdf007e798f80549a4bf174b973dc388e01952f0a952f5473c2cf84a7f60",
"created_at": 1679715885,
"kind": 1,
"tags": [],
"content": "Scaling Law の限界については、データセットが近い将来枯渇するのでは、という議論があります。\n\n言語データでは2030年から2040年の間に、視覚データでは2030年から2060年の間に、データセットの増加が止まる可能性がある。\n\u003e Our models show this is likely to happen between 2030 and 2040 for language data, and between 2030 and 2060 for vision data.\n\nAI が人間と同程度のデータを生成できるようになるとまた話は違ってくるのかもしれませんが。\n\nhttps://arxiv.org/abs/2211.04325",
"sig": "cdfb13948d4d535354d167ea095e15c1d0e15be920c4df72c99315e5417374fc05aa97f8fbd7f74b35fe10f6b777619949077318deed414f89bf2313f15c1529"
}