GPT-4模型架构、训练成本和数据集信息泄露

2023-07-11 16:05:31
来源:DoNews快讯


(资料图片)

SemiAnalysis发布了一篇付费订阅的内容,「揭秘」了有关GPT-4的信息,包括模型架构、训练成本、数据集等。GPT-4是由8个混合专家模型组成的集成系统,每个模型有2200亿个参数。文章还介绍了A100上GPT-4的训练和推理成本,以及如何拓展到下一代模型架构H100。(站长之家)

关键词:

[责任编辑:]

为您推荐

时评

内容举报联系邮箱:58 55 97 3 @qq.com

沪ICP备2022005074号-27 营业执照公示信息

Copyright © 2010-2020  看点时报 版权所有,未经许可不得转载使用,违者必究。