商汤科技联合创始人杨帆：大模型浪潮带来的AI产业发展新机遇｜WISE2023颠覆AIGC产业发展峰会
5月23日，36氪举办「颠覆·AIGC」产业发展峰会。本次峰会汇聚产业力量，共同探讨企业、行业在面临变革时的应对策略，分享思考，探索和发现产业中最具潜力的企业与最具价值的技术，在激荡的环境中探寻前行的方向。
大会上，商汤科技联合创始人、大装置事业群总裁杨帆发表了题为《大模型浪潮带来的AI产业发展新机遇》的主题演讲。杨帆认为，新一轮AI浪潮有两个特点：一是从技术突破到商业模式创新的周期更短，技术成果被更快地用于商业和产业探索、实践；二是相较于过去十年，当前的人工智能产业化更容易将技术优势转化为数据壁垒和规模优势。
对人工智能技术能取得突破性进展的原因，杨帆也发表了自己的看法。他认为，尽管大模型的成功仍然印证了人工智能的“数据、算力、算法”暴力美学，但这三要素背后实际上是一个综合系统工程。以OpenAI为例，杨帆指出，如何做好数据工程，如何提升芯片的有效资源利用率，如何设计更低成本但结构优良的算法，每一个环节都需要专家经验知识和系统工程能力支撑。在他看来，这是模型层企业核心基础技术能力积累的最终体现，也是向市场提供AI基础设施服务的关键能力。
以下为杨帆演讲实录（经36氪整理编辑）：
大家好！很荣幸今天能够在36氪的活动和大家一起交流大模型的一些产业趋势。
在这样一个产业极度变化期，我分享几个观点。首先，我们今天讲大模型，是没有被精确定义说法的，到底是千亿较大，还是百亿较大？在我看来，人工智能从2012年到现在，过去十几年，模型结构一直在变大，参数量也一直在变大，为什么现在大家好像突然有了一个概念，引爆更多的关注热点？我们可以看到，在2016年以AlphaGo为代表的新应用，和个人消费者之间有一个强关联，最近两年，人工智能技术取得了新的进展和突破，首先这些进展、突破和每个人更直接相关，大家能够直接感受到它，第二这些突破确实形成了更大的影响力，我觉得人工智能可以完成一些其他学科在科研领域里的创新工作，不管是生物、物理、化学，还是其他领域，比如：今天大家所关注的ChatGPT模型，就很有意义，因为它有可能驱动我们整个底层的科技，产生新的进步。这样新的进步有可能在未来给人类带来更多的增量。
从2021年开始，陆陆续续产生比较多的技术突破，同时我们看到一个很有意思的现象，这轮技术突破从技术形成一定的成果后，我们开始到产业、商业上做探索和实践，这个周期变得比原来更短。在此之后，国内外有大量的创新公司成立，教授、学者开始创业，我觉得可能过去市场上对此已有一些路径，投资人的认可度也变得更高，包括一些文生图的API公布后，很快就有人在小红书上做网红尝试。
我们看到很多趋势，从技术突破到商业化创新，这个周期似乎更短。在最近参加的一些论坛里面，我发现大多数人都在讲，想要做一个什么样的大模型，模型有多大，有多厉害，要拿这个模型做什么事情，在某些特定场景下去打造一个超级新的APP，等等。在中国现在还没有任何一个大模型得到政府监管正式API许可的情况下，在最近两个月的时间内就有这样一个很大的扩张变化。
所以我觉得这是一个更值得我们去关注的现象，我们看到这轮大模型的商业化进程更快，为什么会产生这样的效果？很重要的一点是我们看到很多新技术，可以做更多C端应用，与此同时，可以天然形成数据积累闭环，这比起过去技术性创业更加容易建立起商业壁垒。我觉得这是我们看到的最近几个月在产业方面的趋势。
商汤科技联合创始人、大装置事业群总裁 杨帆
第二，是我们今天做大模型技术背后的东西。大家有一个共识，不管是大模型，还是回顾过去10年，整个人工智能产业发展变迁，基本上都是一个暴力美学的成功，包括人工智能的传统三要素：数据、算力、算法。算法，大家可以理解成模型结构，今天我们所谓的这些大模型，或者技术上取得更新成绩的模型，几乎所有的模型在每个领域不管是数据集尺度所使用的算力规模，还是算法本身的结构，以及模型的参数量，其实都保持着非常高的增速，Transformer这个模型非常稳定，效果非常好，可以解决很多领域问题，并能得到很好的结果。当我们发现数据量足够多，可以拿到很好泛化性的结果时，其实在某种意义上，也更加验证了人工智能技术的进步大方向就是暴力出奇迹，把更多资源整合起来就可以拿到更好的结果。
但是，光有这样一个资源，其实是远远不够的，我们去看对应的三要素，每个要素在形成好的结果之前，在每个领域都要做大量的专业工程实践。
其实刚才嘉宾的演讲就解释了在算力领域，为什么我们需要大算力，这些大算力怎么连起来？如果今天有1000块卡，我们是不是能让它们发挥出好的性价比，是不是有效利用率能做到60%、80%，甚至90%？再或者，如果我们今天连了1000块，2000块、4000块卡，又会是什么样的效果？OpenAI之前连了一万块V100，目前国内还没有人可以把一万块卡连在一起去跑同一个训练任务，并使有效资源利用率达到50%、60%以上，现在可能有些人正在做，但还没有这样的成绩，为什么？其背后就是非常复杂的工程事件。比如：一个千亿参数量的模型，在训练时需要做大量数据交互和中间梯度信息交互，当你把分在成千上万块GPU卡上的大量传输数据和运算结果传输之间形成有效平衡，很多时候模型是在点对点之间进行，在网络结构上要做两两传输。我们把成千上万块卡连在一起时，效果有一个怎样的可接受状态，这背后其实也不复杂，就是大量的工程实践，就像你干过这件事，你踩过足够多的坑，就会比别人调的更好，这个事情就是很重要的经验问题。
算法也一样，今天的算法结构设计可以比原来成本更低。结构设计的好，用更少量参数、更小数据就可以达到类似一个设计不做特别优化的最终算法效果，这中间也存有大量专家知识，数据就更不用说了。
OpenAI做ChatGPT4的时候，最后在收集到的数据中只取了中间可能不到10%的很小一部分做训练，这对于资源节省和全量训练的差距非常大，互联网量数据非常大，到底哪些数据更加有效，哪些数据有更高蕴含价值？我们在做训练的时候，先丢哪些数据，后丢哪些方式，这个中间其实也都有大量试错。为什么算力这么紧缺，大家需要拿更多算力？因为做大模型的很多人在试错，可能同时分三四个小组，在不同方向上试错，然后再逐步做迭代优化，暴力美学或者规模化资源聚集是今天能够让AI技术、AI算法能够持续取得的原因。
更重要原因，是我们在每一个环节上，需要一些专家的经验知识和系统的工程能力，其实是一个综合系统工程。这也是看到OpenAI让最优秀的科学家去做数据工程，而不是去做算法，这极大的超出了我们以往对于领域的认知，在未来，这可能会成为一个关键性的门槛，也会成为我们给市场提供服务的核心能力。
为什么在人工智能新技术出来以后，产业浪潮跟进的非常快，我们看到模型服务天然符合很多领域，互联网圈的人非常激动，投资人觉得它会像互联网一样飞速增长。大模型在商业化的门槛和壁垒上能够有一些更新的机会，当然这些机会的获得取决于不同的差距和特色特长。无论如何，相比过去10年，如今的人工智能产业化会有非常大的优势，因为不是单一技术壁垒，今天的技术优势是有可能转化成数据壁垒和规模优势，我们相信在未来会有更多的产业应用。
商汤科技联合创始人、大装置事业群总裁 杨帆
商汤从2019年开始做早期的大模型，在我们看来，整个AI模型其实一直处在越来越大的状态，所以我们内部积累了大量能力，包括自研了一些CV、NLP的模型。在今年4月份，商汤把一些模型的API开放出来，给产业伙伴试用，包括一些大语言类的模型，在我们看来，这更多是核心基础技术能力积累的最终体现。
我们今年发布了一系列的模型，为市场提供服务支撑的背后是我们的大装置，我们觉得，人工智能整个产业往前走，需要有人提供这样大规模的高效率的基础设施，这基本是一个必然路径。整个AI技术浪潮，未来如果变成越来越多资源消耗加专家经验累计的游戏的话，其实门槛极高，是不利于AI被产业大量快速应用的，所以我们判断势必会形成分化，一定会有人提供基础设施服务，不管是调用模型API形式，还是在此基础上做小模型的方式，再或者以其他的方式，都可以低门槛、低成本的快速使用AI基础性的资源和能力，从而快速完善自己的商业模式闭环。
商汤大装置的定位就是做AI基础设施提供者，今天我们有全亚洲最大的人工智能的计算节点，我们拥有超过5000P的资源算力，也提供非常多的业界合作，让合作伙伴们能够使用他们的大模型在大装置上做训练，这体现了商汤的深厚积累，不管是在资源层面还是在专家工程认知层面，我们的能力一部分可以标准化，变成软件和服务，不能标准化的部分，我们可以把它变成专业类型分类服务，我们希望把这些能力打包提供给整个行业，帮助客户做好属于自己的领域模型或模型应用。
训AI大模型，用商汤大装置。
整理｜沈筱