IT之家3月1日消息,科技媒体smartprix昨日(2月28日)发布博文,报道称OpenAI在介绍GPT-4.5模型的视频中,意外泄露了GPT-6训练可能需要的GPU数量,暗示其规模将远超以往。
IT之家注:在GPT-4.5模型介绍视频的2分26秒处,OpenAI展示GPT4.5功能的聊天记录中,出现了“NumGPUsforGPT6Training”(训练GPT-6所需的GPU数量)的字样。
虽然视频中未对此进行任何解释,但“Num”可能暗示了一个前所未有的数字,该媒体推测高达10万块GPU。
此前有消息称,OpenAI在训练GPT-3时使用了约1万块GPU,而随着模型的不断迭代,对计算资源的需求也在不断增加。
内部代号为“Orion”的GPT4.5在自然度和减少“幻觉”方面取得了重大进展,其参数量可能超过3到4万亿。据推测,GPT4.5的训练使用了3万到5万块NVIDIAH100GPU,训练成本约7.5亿到15亿美元(IT之家备注:当前约54.69亿到109.37亿元人民币)。
截图中“Num”的含义尚不明确,它可能代表“Numerous”(大量),暗示GPT-6的训练规模远超以往。当然,这也有可能只是OpenAI的一个烟雾弹,就像之前用“Strawberry”(草莓)作为o1系列的代号一样。