与行业客户共创,软通动力大模型生态开辟新路径

美通社 2023-09-01 09:58:17 金融创新

扫一扫分享微信

"大模型的未来在于行业应用",对此业界已经达成了共识,下一步则是如何将大模型在行业中落地。

"大模型的未来在于行业应用",对此业界已经达成了共识,下一步则是如何将大模型在行业中落地。

于是,我们能够看到,既前一阶段的基础大模型之后,近来又掀起了行业大模型的热潮。据粗略统计,仅在国内,已经和计划发布的大模型就达到上百个。

那么,对于有志于大模型业务的IT企业来说,是不是只有这两条路可走,是否存在第三条可达路径呢?

软通动力给出的答案是:不做通用大模型,而是为行业客户提供平台工具、专业人才和技术服务,与他们共创定制化的私有大模型,以此推动大模型行业应用的快速落地。


行业头部企业将扮演重要角色

在第一波热潮中,大模型的发布者主要是ICT企业,尤其以互联网公司为主导。最近一段时间,各个行业的头部企业也开始参与其中。

IDC前不久发布的报告预测,金融行业、能源行业等头部机构,会率先在1年内在相对成熟的场景中尝试引入大模型。而且,随着技术的普及,行业头部企业在该市场的角色,也不再只是最终用户,而有望成为新一代AI技术的提供商。

无论作为最终用户还是技术提供商,头部企业参与行业大模型的趋势已经建立,因为他们已经看到大模型能够为企业降本增效,建立起业务竞争优势。这些行业头部企业,正是软通动力所长期服务的客户,也在大模型领域走在前列。

软通动力数字化创新服务线副总裁霍宇认为,要做好行业大模型,企业需要在两个方面加大投入,一是算力,二是语料。对于算力的重要性,大家已经都认识到了,其实语料对于行业大模型的训练更为重要。

他表示,相比国外,国内的语料多集中在企业内部,可以公开获得的则比较少。因此,他建议,行业客户应该先"补数据的课",把更多预算投入到提升大模型的输入质量上,这样不仅不耽误时间,反而可以节省成本。

当然,在这一过程中,如何治理数据、如何把数据语料化、如何更好地训练模型,都将是对企业能力的考验。软通动力正致力于帮助企业提升这些方面的能力,从而利用大模型来升级数智化转型战略,在外部产业链和内部企业管理两个领域实现全面数字化。

坚持走与客户共创的路径

在过去半年时间里,ICT企业都纷纷加入到大模型产业当中,发挥自身专长来获取一席之地。目前,围绕大模型的产业生态正逐步形成,虽然这一生态体系仍不稳定,处于快速发展演化的过程中。

霍宇认为,软通动力不做通用基础大模型,因为这需要巨额投入,是行业头部企业才能做的;也不会做通用行业大模型,因为软通动力虽然懂行业,但缺乏相应的数据资源。因此,在行业大模型赛道里,软通动力坚持走与客户共创的路径,为行业客户提供数学建模、规则设定、模型优化等服务,帮助他们定制自己的私有大模型。这也可以充分发挥软通动力的优势:定制开发能力强、技术服务能力强。

在这一路径中,软通动力也坚持生态合作,在底层基础设施和基础大模型方面,与微软、华为、亚马逊、阿里云等巨头合作——他们原本就是软通动力的长期战略伙伴。

在行业选择方面,霍宇介绍说,金融、零售两个行业是当前的重点。选择这两个行业,是因为他们的客户是个人消费者,数据量比较充足,同时也是软通动力长期服务的行业,对其业务逻辑非常熟悉。

在大模型的规模方面,软通动力则侧重在六七十亿到一百多亿参数量的行业大模型,因为这个规模的大模型最具性价比。

对于大模型这个新鲜事物,很多行业头部企业都表达出了强烈的兴趣,但需求并不明确,目前仍处于尝试阶段。对此,软通动力决定自己先探路,今年在基础算力方面预计会投入近亿元,同时,搭建服务工具平台,让工程师们去"练手"。"未来还会继续加大投入力度。"霍宇表示。

目前,行业大模型相对成熟的应用场景是软件开发和知识管理,其中软件开发是公司的主要业务。软通动力正在利用大模型,来优化软件工程研发及测试效率,争取在年内实现提效30%的目标。在知识管理方面,软通动力则开发了律师行业助手类应用LawCopilot,帮助律师进行文献检索、案例分析、录音分析和法律咨询。

不过,霍宇强调说,目前to B大模型的行业应用都处于Copilot的阶段,即辅助人工进行驾驶,而达不到脱离人工的完全自动驾驶。

围绕工具和人才进行能力打造

与传统ICT生态类似,在大模型生态系统中,技术服务商扮演着为客户提供贴身服务的关键角色。

IDC也认为,提供各种工具和服务,是大模型技术厂商的集中发力方向,包括模型训练、部署和推理,以及相关的数据集、API和工具软件等,以帮助开发者更加高效地使用大型模型,从而快速实现各种应用场景的落地。

软通动力前不久发布了自己的模型即服务平台——软通天璇2.0 MaaS平台。这一平台包括三层,底层的大模型技术底座(L0级)、中间层的行业大模型(L1级)及管理、顶层的场景大模型应用(L2级);除此之外,软通动力还为客户提供大模型一站式运营服务、数据治理及安全服务


在天璇2.0中,软通动力训推一体化平台发挥了核心作用。其基于昇腾硬件底座+昇思MindSporeAI框架,采用软通G420K训练平台和G210K推理平台,整合欧拉操作系统等组件,搭载软通自有AI中台,为客户提供多种交互式AI模型,深度适配不同AI应用场景,支持多模态场景,提供了涵盖大模型训练、测评、部署的一整套端到端的安全可信体系。

霍宇介绍说,软通动力训推一体化平台,同时提供对商用和开源大模型的支持,客户既可以直接接入商用大模型,也可以基于开源大模型进行本地化部署。实际上,大模型的开源化趋势已经非常明显,正在成为大模型生态的主流。

除了工具平台,软通动力也加紧致力于AI专业人才的培养,这也成为其在大模型生态中的核心竞争优势之一。

毫无疑问,大模型的流行将带来人才结构的变革,未来会需要大量的AI训练师、机器学习工程师、数据科学家等新型人才。在霍宇看来,未来的AI人才,不仅需要懂AI,也需要懂架构。基于过去的业务积累,软通动力已经储备了一大批相关人才,目前正在加紧培训及在内部的算力平台上实践,帮助他们实现从编码逻辑到提示词逻辑的转换。

这些专业人才,将会帮助软通动力的行业客户构建自己的大模型,并最大程度地发挥大模型的作用,将其付诸落地实践。

当下,基础大模型的热潮正在逐渐消退,但定制化大模型和大模型应用才刚刚开始。随着应用的普及,大模型将带来新的服务范式和商业模式。霍宇也认为,未来SaaS会被基于大模型的SaaS所取代。整个软件领域甚至ICT行业生态的变革正在路上。

以上内容由品牌方授权数央网转载。2024年,数央网将陆续举办国际绿色零碳节、第十三届财经峰会、第五届国际科创节、第十四届公益节,合作垂询:010-56139250,或关注公众号:数央网。