ruto on Nostr: ...

仮に今後また何かあってOpenAIのメンバーが全員Microsoftに移籍した場合、GPT-4相当のLLMを作るのにどのくらい時間がかかるんだろうか。RLHFの手続きはやり直しだろうから結構時間かかりそう。
事前学習用のデータもオープンなデータが多いとはいえ、そうでないデータもそれなりにあるだろうからその代わりの確保も必要そう。