尋夢新聞LINE@每日推播熱門推薦文章，趣聞不漏接❤️
![Re: [新聞] 輝達H100顯卡「訂價139萬」...上架就秒殺 未分類 第1張](https://img.gemarketing.com.tw/20180207200350_12.jpg "Re: [新聞] 輝達H100顯卡「訂價139萬」...上架就秒殺 未分類 第1張-尋夢新聞")
※ 引述《sxy67230 (charlesgg)》之銘言：
: H100真正的目的就是拿來訓練LLM跟NN模型而已，普通人根本沒Data是要訓練三小模型= =
: ？
看你講那麼大聲 結果根本外行
訓練LLM的dataset網路上都找得到 根本看不完
從wikipedia擷取到從fandom蒐集次文化資料、pdf電子書等等
還有專門RolePlay的chat資料集
跟從遊戲擷取的對話文本等等…..
只要你的運用不偏門 大部分的資料都找得到
自己寫一個爬蟲也沒多難 我上週才寫了一個爬pixiv dict的程式
LLM的pretrain跟fine tuning資料來源不是問題 時間跟錢才是
大部分的做法是拿現有pretrain過的model在runpod上租GPU來再訓練
Be the first to comment