大模型算力需求超过半导体增长曲线，Chiplet是满足需求关键

奇异摩尔产品及解决方案副总裁在接受采访时说：“大数据算力需求的参数和训练数据量以及Deep learning时期相比有明显的提升。举例GPT-3有1750亿模型的参数和四十五TB的训练数据集，与以前相比差了10倍以上。大模型需要更大规模的计算平台以及片上储存。”祝俊东在2023年国际集成电路展览会上谈到对于大模型来讲是有很大挑战的，主要工程方面怎样减少算力和人工干预实现，毕竟要获得高质量高规模的算力。“尽管当下在大力发展网络仍然很难达到需求，毕竟GPT-3.5需要1万个CPU，更不要讲GPT-4、GPT-5这样高难度的算力。
高性能计算挑战 祝俊东讲述AI发展整个历史曲线能够看出过去算力，需求以倍数增加，当下指数仍然以倍数增加，大模型本身具有10倍签约，接下来仍然会保持当下的速度，增长超过了半导体可以提供的增长曲线。高性能计算领域更大的挑战，在三个方面首先保持算力计算增加同时提高算力功能比。提升算力，功耗比的5年后算力中心会变成100,000亿亿字节时需要能量则是0.5个原子弹单量。另外的问题发生在储存方面，储存访问占有功率越来越高，互联网效率成为瓶颈，计算规模，逐渐加大单一芯片不会满足要求，能量会消耗在互联网部分。祝俊东对媒体表示基于同构与班级互联的数据架构是无法满足大规模需求的。 国际巨头思路
英伟达创始人黄仁勋在刚结束不久的2023GPT大会中讲述了两件事，首先是超大规模的计，使用H100、A100，将8个H100连接起来，成为超大规模引擎，足矣满足训练需求。祝俊东向媒体解释“它的提升不局限于提高三倍芯片算力，以整个系统来讲，高速级联让整个效率达到了从前9倍以上。”这样的方式形成了大规模集群，将上万个超级计算机连接，以这种形式满足未来需求。另外是异构计算将GPU和CPU连接在一起。