收起左侧
发新帖

实现AI普惠,浦东企业给出大模型推理“千倍降本”新策略

时间:2024-9-9 09:30 0 85 | 复制链接 |

马上注册,结交更多好友

您需要 登录 才可以下载或查看,没有账号?立即注册

x
DSC0000.gif

一场发布会,重新将张江创业“老兵”姚欣拉到浦东科技界的“大银幕前”,从PPTV网络电视创始人,到投资人,他最新的身份是:PPIO派欧云联合创始人、董事长兼CEO。
近日,由PPIO派欧云主办的“Power to Pioneers·2024分布式云计算论坛暨PPIO AI产品发布会”在浦东软件园召开。会上,PPIO推出全新的派欧算力云Serverless和模型API服务产品,通过大幅降低AI推理成本,最终实现大模型应用算力普惠。
值得关注的是,作为浦东创新企业,PPIO派欧云计划用三年时间,让大模型推理性价比实现千倍提升。同时其透露,正在对接部分张江科学城现有的算力平台,将助力AI基础设施进一步整合碎片化的资源。
DSC0001.jpg

有效降低创新企业的开发和运营成本
当前,数字化与智能化浪潮席卷全球,引发新一轮科技革命和产业变革。数字时代,算力的重要性日益凸显。但同时,高昂的算力成本成为模型应用大规模落地难的重要原因之一。
中国信通院云大所政企数字化转型部主任徐恩庆就指出:“随着数字经济时代的全面开启,算力成为新的关键生产力,也成为大国博弈的核心竞争力。”在他看来,“中心训练+边缘推理”的模式将普及,分布式边缘算力需求必将爆发。
PPIO团队关注的正是下一代分布式推理加速技术产品。“在计算资源成本高昂而需求剧增的市场格局下,分布式算力将成为引领下一轮科技革命的重要推动力,正在逐步改变全球计算资源的供给和利用方式。我们的核心理念是利用分布式云的优势,三年实现千倍降本,以算力普惠推动AI普惠,助力新时代的开拓者创造出全新的发展机遇。”姚欣表示。
简单而言,当业务场景变得越来越多时,为了满足各种复杂和多样的需求,通常需要设计和训练更为复杂和庞大的模型。这些模型往往需要更高的计算资源和存储资源,导致推理过程中所需的计算成本增加。
“我们做的就是通过分布式云的方式,将大量GPU算力资源汇聚起来,形成一个庞大的分布式GPU算力网络,从而降低算力成本。同时,通过合理的能源管理和调度,进一步降低推理成本。”PPIO派欧云联合创始人兼CTO王闻宇介绍道。
PPIO派欧云通过算法、系统和硬件协同创新,推出了专为AI推理场景设计的Serverless产品,提供模型部署、运行优化、弹性伸缩及API服务,帮助客户在自定义模型时获得高效的弹性效率和极致的运行成本。
同时,还推出了全新的Model API服务产品,支持AIGC应用开发所需的全模态API,开发者无需精通机器学习即可快速部署和调用大模型功能。结合PPIO强大的分布式计算能力和派欧算力云Serverless产品的弹性支持,Model API服务不仅显著提升了AI应用的开发效率,还通过按需付费模式有效降低了企业的开发和运营成本。
作为中国分布式计算领域的知名学者,华中科技大学教授、长江学者特聘教授、中国计算机学会副理事长金海教授这样评价PPIO在分布式云领域的前沿探索和创新实践:“他们不仅展现了技术推动行业变革的深远影响,更预示着一个全新的计算时代的到来。”
金海教授已成为PPIO公司技术委员会主席,将与PPIO技术团队携手,把分布式云计算的技术边界进一步拓展,推动其在更多行业中的深度应用,助力PPIO实现全球领先的分布式计算资源优化配置和行业数字化转型。
整合张江科学城算力平台资源,提升利用率
算力已成为浦东科技竞争的战略资源,也是浦东高质量发展人工智能产业,激发更多企业创新活力的重要助推力。
当前,浦东已部署约5.5万卡智算中心,规划新建超10万卡规模的算力集群。接下来,将建设“智算服务平台”,远期提供2万P智能算力。现场,张江集团党委书记、董事长袁涛透露,随着浦东“模力社区”在科学城正式启用,金融数据港也正在建立5千卡的算力集群,并向姚欣发出邀请加入“模力社区”生态圈。
据悉,目前在中国铁塔的智能算力调度管理项目中,为了实现在城市广泛分布的产业园、写字楼、住宅、文娱和高校等园区进行算力入园的管理服务,PPIO已通过打造分布式算力网络,实现不同地区、不同时间、不同业务的弹性算力调度和大模型推理加速,为园区内的AI应用提供高性价比的智算服务。
“我们类似于是算力版的‘滴滴’,来整合企业闲置的碎片化资源。”姚欣透露,将与张江集团合作,通过纳管科学城已有算力平台,提升算力利用率。
各界也正通过“联合”模式,最大限度发挥算力新质生产力的作用,希望降低算力使用门槛、让算力像水电一样成为普惠化社会服务。
PPIO派欧云就联合PingCap、Zilliz、AscentStream和CSDN,共同启动“Pioneers AI初创加速计划”。该计划面向AI初创企业和开发者,提供包括分布式算力、分布式关系型数据库、分布式向量数据库、分布式消息队列等在内的全面资源和技术服务,助力初创团队在分布式云上实现快速成长,加速其创新成果的落地。
20年前,姚欣来到张江创立了PPTV,带来了全球首款网络电视直播软件;20年后,他与PPTV伙伴们再次以PPIO派欧云为阵地,希望在人工智能时代找到下一个“姚欣”。“我们站在新时代的门槛前,也正在见证一批又一批满怀梦想的开拓者,正如当年那个年轻的姚欣一样,我们要找到新时代的开拓者,让我们一起在新的AI时代,共同把握创新机遇。”姚欣说。
特别声明:本文经上观新闻客户端的“上观号”入驻单位授权发布,仅代表该入驻单位观点,“上观新闻”仅为信息发布平台,如您认为发布内容侵犯您的相关权益,请联系删除!
您需要登录后才可以回帖 登录 | 立即注册

本版积分规则

关闭

站长推荐上一条 /1 下一条

扫码添加微信客服
快速回复 返回列表 返回顶部