《芯片战争》作者Chris Miller在最近一次访谈中称:美国下一步对中国芯片的动作,就是要让中国的GPU死得不能再死。作为算力基础设施的高性能GPU如果无法自研自产,未来中美算力资源将不在一个维度,人工智能水平也不会在一个维度。
在ChatGPT横空出世后,中国国内大部分的讨论停留在什么样的工作不会被AI取代,下面要开始玩AIGC了,大家要开发自己的大模型了——而完全没有意识到事态的严重性:美国要封堵中国芯片业发展的那堵墙,已经砌上了最后一块砖。国内半导体、芯片业一直以来最紧急的就是国产替代,而一夜之间美国仅仅用一个AI模型把我们所有的尝试,变成了徒劳之功。
为什么这么说?
ChatGPT的本质,是一种大语言模型(LLMs),基于人类反馈的强化学习(RLHF,),而且有着只关注上文信息来推测下文的特征,通过一定的奖励模型来优化自身回答。
它几乎是在短短2个月内让人类社会进入了生成型+通用型AI的新时代,无论是写文章敲代码、分辨图像、翻译、绘画还是自然地和人聊天,它都做到了超过预期的内容生成。AI大模型这艘曲率驱动太空飞船的出现,瞬间让现存各类AI模型变成了一支支燃料动力小火箭。
那么要实现ChaGPT这样的AI,需要什么资源呢?首当其冲地便是GPU芯片,而且不是普通的GPU芯片:至少7nm以下工艺制程、双精度FP64的AI训练、推理用高端GPU。
实际上看看下面微软给予OpenAI(ChatGPT的爹)多少超常规的支持,就能窥见一斑:
- 超过1万颗英伟达GPU芯片A100提供算力支持
- 每个大模型的单次训练成本约500万美元
- 日成本超过10万美元。这已然是目前行业公认的门槛。
根据研究机构TrendForce在3月1日的报告中的测算,处理1800亿个参数的 GPT-3.5大模型,需要的A100芯片数量高达2万枚。
事实确实如此,微软投资了几亿美元,在自家Azure的60多个数据中心部署了几十万张GPU卡,其中甚至集成了最先进当然也是最贵(24万人民币一张)的英伟达H100 GPU,为GPT-4为期6个月的成功训练提供硬件支持。而且这不是购买一大堆GPU,将它们连在一起就可以开始协同工作的事儿。为了获得最佳性能,需要进行大量系统级优化,微软用上了几代员工积累的丰富 经验。这些还不算微软初期直接投给OpenAI的人力物力财力。也正是所有这些努力,在短短几个星期让GPT从3.5版本迭代到了4.0版本。中国国内的能勉强用的GPU卡主要为AI推理用的,其瓶颈在性能比和带宽上,优化后的性能最高只有A100卡的六分之一。
简单来说,微软训练一个大模型可能要6个月,我们则至少需要3年。这样的代差,如果不做改变,会越来越大。
美国人能做,中国人还做不出来吗?
是钱的问题?我们中国的头部企业现在不缺钱。百度2022财年营收1236.75亿元人民币,阿里2477.56亿,腾讯4095.98亿,没哪家缺钱。钱,从来不是真正的问题。
堵住中国AI行业发展创新的,恰恰是美国对中国的芯片禁令。就算没有美国的禁运,打造这样一个AI训练基础设施难度依然不小。何况美国已经动手,誓要勒住中国脖子不松手,开始环环审查不漏一点光给中国的AI大模型行业。
在GPT出现之前,芯片禁令看上去针对的是华为、是中芯国际、是浪潮曙光,是对已知的技术的限制。但现在我们应该意识到,美国的禁令产生了超过预期判断的效果——重大技术创新和产业变革中,围堵中国芯片的各项法令都起到了类似三体中智子封锁人类科技的作用。我们的AI创新之路,很可能已经被美国封死:
1. 先进GPU禁令:美国以英伟达A100 GPU为基准,限制中国获得A100及以上性能的GPU芯片,我们现在无卡可买。AI行业已经进入了算力为王的时代,无论是GPT还是文心一言,只有足量的算力它们才有机会迭代。
全国用上A100卡算一台8卡的服务器也仅仅几万台而已,其余很多是阉割版的A800,加钱都不卖那种,因为一个国家GPU硬件资源就那么多。而更高级的H100卡,国内几乎为零。即便中国AI企业人才济济(实际上全国能做大模型的人只有区区百人)、资金雄厚,但在算力资源上美国已经处于另一个维度。美国人10万张卡算出的模型,我们需要上百万张卡加上大量软件支持才可能算接近。
2. 14nm及以下半导体制造设备禁令:
“禁止未经许可向中国大陆芯片制造商出售大多数可以制造14nm或更先进制程的芯片的设备” 国内目前能量产14nm芯片的只有中芯国际一家企业,而提供更高算力的GPU芯片需要7nm甚至更高制造工艺,在先进光刻、量测等设备禁运的状态下,国产制造的路目前几乎被堵死。
3. 国内的先进计算芯片设计公司,无法寻求国际晶圆加工厂(Foundry)的流片和代工服务。先进GPU需要先进半导体制程的加持,而国内没有厂商能做,就只能寻求国外厂商的帮助。美国把这条路也掐了。全球有该量产工艺能力的企业大概有三家:台积电、三星、英特尔。三家都在美国芯片法案前后获得了美国政府的补助在美国建先进制程工厂。站队已经很清楚,幻想什么的可以完全放弃了。
4. 美国方面也注意到了大量中国企业租用美国高算力的情况,开始调查。相关禁令很可能接踵而至,这些企业危险将至。
5. ChatGPT从3.5版本取消开源,并对任何疑似来自中国的用户进行封禁处理。
美国这堵墙,似乎在目前和近未来已经将我们围死得不能再死了。
先进的制造工艺、设备都没有,租也不让租,直接买也不让买,那我们的AI行业只能停滞在现有维度吗?
1. 我们的GPU企业还有得打吗?
国内GPU设计企业有大约50家,真正宣称高算力上有突破的目前只有壁仞和另外一家。而壁仞最新BR100宣称能效比上超过英伟达A100卡78.8%。但传说由于赶上美国最新禁令加上工艺是7nm,无奈被台积电砍单。
那壁仞这样的企业,是否还有机会?
首先是在没有先进光刻机的前提下,国产化的先进制程何时能量产。技术大佬梁孟松在2020年已经透露过,中芯国际的7nm会在2021年进入小型量产。中芯国际很可能是最后的一缕希望,只要站上了7nm量产台阶,不仅仅是国产GPU,芯片产业链上很多问题就能迎刃而解。
其次,先进制程设备国内厂商在加速快跑。国外设备厂商因为禁令纷纷退出中国时,留下的是巨大的市场空缺。作为最为关键的光刻设备,我们的独苗某厂已经在发力。“临渊羡鱼,不如退而结网”可能是半导体设备厂商乃至整个半导体国产替代链条最为现实的道路。
1. GPT有着庞大的AI应用落地场景,这方面的创新能力,我们一向能让世界刮目相看。ChatGPT给自己定义了15个应用领域,其中很多领域还可以进一步细分。人工智能大牛吴恩达就表示,未来的AI行业不仅仅有大模型,还有数据(Data Centric)和小模型,也不断有新的思路出现比如量子人工智能。
他说过:“别人的健美身材不会影响你的美丽。一项热门新技术的出现也并不意味着你当前所做的研究没有价值,前提是它在技术上是合理的,有合理的影响预期,并且没有被新技术淘汰(这种情况鲜有发生)。各种形式和规模的项目都可以很出彩,今天的大热门只是在未来会被证明有价值的众多内容之一。”是不是很有道理?当你发现一扇门关上时,往往有另外几扇门打开。中国的商业环境、业务模式和大洋彼岸的差异性非常明显,自主创新依然是核心思路。
2. 绕开超巨算力的门槛。训练多模态大模型需要巨大的算力,这是事实,动不动就是几亿美元上万块GPU。但还有一种方式能让单颗GPU训练效率大大提升:比如国人开发的Colossal-AI这样的系统将项目能直接扩展到大规模计算机集群,你家的笔记本电脑也能帮忙训练几十亿参数的模型,算是在主流方案之外的另一个可能性。
3. 最重要的是,美国厂商心心念念在中国庞大的市场,从美国企业的整体利益上来说,继续跟随美国政府封锁中国高科技行业获得自家高利润率的产品,都是伤敌一千自损八百的招数,美国方面实际利益的边际效益在极速递减。而且这效应不仅仅体现在美国厂商身上,现在日本厂商内部也有大量不愿意跟进美国的声音,割自己肉去“为虎作伥”。傻子都知道这是赔本的买卖,何况这是历史上美国第二次这样挖坑给日本厂商了。
禁到这个份上,美国自己很清楚:什么时候中国突破先进芯片制造工艺,美国围起来的这堵墙就会轰然倒塌。7nm工艺的旗帜,我们会拿下的!
版权声明:内容来源于互联网和用户投稿 如有侵权请联系删除