时间:2024-10-26 21:33:22
编辑:同欣资源网
阅读:4
近日,摩尔线程与识因智能的战略合作标志着国产全功能GPU技术与先进的人工智能大模型应用的深度融合。双方携手完成了摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配,这一协作不仅强化了双方在AI行业的影响力,还预示着将为客户提供更加强大、灵活的智能化解决方案,加速推进各行业数字化转型的进程。
识因智能的“一叶轻舟”多模态大模型,拥有行业领先的多模态、多任务通用人工智能能力,覆盖自然语言处理、智能内容生成、语音及视觉识别等关键技术领域。该模型通过量化压缩技术,构建了从0.7B到45B多个规模的可商用模型,满足实际应用场景中多样化的业务需求。基于循环门控网络的混合专家模型(MoE)展现了高度的可配置性和普适性,为AI应用实践提供了高效平台。
摩尔线程夸娥智算集群的强大算力支持下,识因智能完成了70亿参数大模型的训练测试,测试结果表明兼容适配程度高,训练效率达到预期,充分验证了智算集群的高效能。此次深度融合将进一步增强大模型的应用场景和服务能力,为客户提供更强大和定制化的解决方案。
识因智能的产品与服务已广泛应用于政务服务、金融证券、智慧办公、智能制造等多个场景,为产业智能化转型升级提供了有力支撑。未来,摩尔线程与识因智能将继续深化合作,推动国产算力与国产大模型的结合,共同打造深耕行业的解决方案,更好地为各行业赋能。
近日,摩尔线程公司近期宣布了一项重大举措,开源其创新成果——MooER(摩耳)音频理解大模型。作为业内首个在国产全功能GPU上完成训练与推理的大型语音模型,MooER的发布凸显了摩尔线程在人工智能技术创新方面的前沿地位,为开源社区贡献了宝贵的资源,同时也展现了其在推进本土化GPU应用上的深厚积累。
MooER大模型在摩尔线程夸娥(KUAE)智算平台上,仅用38小时便完成了5000小时音频数据和伪标签的训练。这一成就得益于公司自研的创新算法和高效计算资源的结合。MooER不仅支持中文和英文的语音识别,还具备中译英的语音翻译能力,在多个语音识别领域的测试集中展现出优异表现。特别在Covost2中译英测试集中,MooER-5K取得了25.2的BLEU分数,接近工业级效果。
摩尔线程AI团队开源了推理代码和5000小时数据训练的模型,并计划进一步开源训练代码和基于8万小时数据训练的模型。MooER的模型结构包括Encoder、Adapter和Decoder三个部分,使用开源的Paraformer语音编码器、Qwen2-7B-instruct大语言模型来初始化Encoder和LLM模块。
在技术对比中,MooER-5K在中文和英文测试集上的表现均优于其他开源模型。摩尔线程通过这一开源项目,为数据资源和计算资源有限的开发者提供了宝贵的参考和支持。
近日消息,摩尔线程最新发布的“夸娥智算集群 KUAE”1.2版本,在软硬件集成优化方面迈出了重要一步,不仅实现了对64K长文本的支持,还纳入了LLaMA2全系列、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等多种大模型,显著增强了其在人工智能和高性能计算领域的服务能力,为用户提供了更加强大和多元化的智能计算解决方案。
整理此次更新内容如下:
MFU 提升 10%,最高可达 55%
新版本使用千卡集群训练千亿模型,MFU 提升 10%。
稠密模型集群训练 MFU 最高达到 55%。
Flash Attention2 优化
通过集成最新的 MUSA SDK 平台与优化后的 Flash Attention2 技术,结合新版 Torch MUSA 和算子融合,提升了大模型训练的效率与资源利用率,缩短训练周期并降低了整体成本。
64K 长文本支持
新版本增强了对长文本大模型训练的支持,优化处理长文本理解和生成任务的能力,能够更好地应对文档摘要、文章写作等复杂语言处理任务。
支持混合专家模型 MoE
MCCL 通信库完成 All2All 优化,针对 muDNN 算子在不同形状下的矩阵运算进行优化,以更好地支持 MoE(Mixture of Experts)大模型的训练。
断点续训
进一步提升大模型训练的 Checkpoint 读写性能,写入时间小于 2 秒,提高训练效率。
优化 DeepSpeed
实现了基于摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses 的适配和性能优化,强化长文本训练支持。
适配国内外多款大模型,在 Hugging Face 上支持训练和微调主要开源大模型。
稳定性提升
千卡集群软硬件进一步成熟,实现连续无故障训练 15 天。
新版本引入了 KUAE Aegis 可靠性功能,加强对 GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。
可视化 / 可观测
引入 PerfSight 性能监控系统,可实时显示模型训练过程中的资源消耗与性能分析数据。
内置模型库中新增大模型
KUAE 内置模型库 Model Zoo 新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
摩尔线程 AI 旗舰产品夸娥(KUAE)智算集群解决方案从当前的千卡级别扩展至万卡规模,具备万 P 级浮点运算能力。摩尔线程将开展三个万卡集群项目,分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。
近日,摩尔线程与百度地图的战略合作标志着双方将在数字孪生地图领域深度联手,结合摩尔线程的图形处理技术实力与百度地图的丰富产品经验,共同探索技术创新路径,推动地图服务向更高精度、更智能化方向发展。
根据合作协议,双方将围绕数字孪生地图项目建设,利用百度地图的地图引擎优势、数字孪生技术优势、地图大数据应用优势和摩尔线程全功能 GPU 的 3D 图形渲染和 AI 计算等技术优势,积极开展深入广泛的持续性合作,共同推动数字孪生地图解决方案的应用和规模化落地。
注:数字孪生是指充分利用物理模型、传感器、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。
据摩尔线程官方介绍,地图数据作为国家的关键资产,数字孪生地图尤其凸显了其在高负载渲染场景中的重要性,这对 GPU 的渲染效能及数据安全设定了极高的标准。摩尔线程与百度地图的合作,标志着我国在数字孪生地图领域向着减少技术外依度的目标迈出了实质性的一步。
百度地图方面介绍称,其推出的新版本数字孪生地图 DuEarth 在技术架构和性能要求上旨在解决传统数字孪生在超大规模应用场景下的“卡顿”“不可用”问题。以往的数字孪生业务集成能力仅限于少量 IoT 设备,完全不能满足城市级数字孪生、全息仿真、智能决策的初衷。百度地图 DuEarth 实现了 360 城市、360 万公里道路的大规模上图,引擎不卡顿;同时通用性孪生地图服务接口突破了 300+。
目前,百度数字孪生地图已完成国产 GPU、CPU、操作系统的全面适配,是当前全国 360 城大规模数字孪生体量下,全面支持全国产信创环境的超大规模数字孪生地图引擎。
摩尔线程的全功能 GPU 集成了四大核心计算引擎:3D 图形渲染、AI 计算加速、物理仿真与科学计算、和智能多媒体处理。在图形渲染领域,摩尔线程已全面兼容 OpenGL、Vulkan、DirectX 等主流渲染 API,并与 UE(Unreal Engine)、Unity 以及 OSG、Lumverse 等国产渲染引擎实现了无缝对接,可以为数字孪生解决方案构建计算平台。
摩尔线程“夸娥智算集群KUAE”最新1.2版来袭:64K长文本处理无忧
阿里云推出第八代企业级实例g8i,基于“飞天+CIPU”的全新计算架构体系
北京市解除暴雨橙色预警,局部地区仍有大雨
日本一波音737航班飞行过程中驾驶舱玻璃出现裂痕,人员均未受伤
阅读:112
阅读:5
阅读:9
阅读:37
阅读:6
角色扮演331.90MB
2025-03-18
角色扮演99MB
棋牌扑克264.64MB
棋牌扑克0KB
2025-03-17
角色扮演7.60MB
趣味益智80.37MB
理财金融99.40MB
工具好物0KB
社交通讯52.46MB
其他0KB
亲子教育9.53MB
新闻资讯12.30MB
联系方式:tongxinyuesaocom@163.com
版权所有2023 tongxinyuesao.com AII版权所有备案号 渝ICP备20008086号-37
摩尔线程携手识因智能,成功适配“一叶轻舟”多模态大模型
时间:2024-10-26 21:33:22
编辑:同欣资源网
阅读:4
近日,摩尔线程与识因智能的战略合作标志着国产全功能GPU技术与先进的人工智能大模型应用的深度融合。双方携手完成了摩尔线程夸娥智算集群与识因智能“一叶轻舟”多模态大模型的适配,这一协作不仅强化了双方在AI行业的影响力,还预示着将为客户提供更加强大、灵活的智能化解决方案,加速推进各行业数字化转型的进程。
识因智能的“一叶轻舟”多模态大模型,拥有行业领先的多模态、多任务通用人工智能能力,覆盖自然语言处理、智能内容生成、语音及视觉识别等关键技术领域。该模型通过量化压缩技术,构建了从0.7B到45B多个规模的可商用模型,满足实际应用场景中多样化的业务需求。基于循环门控网络的混合专家模型(MoE)展现了高度的可配置性和普适性,为AI应用实践提供了高效平台。
摩尔线程夸娥智算集群的强大算力支持下,识因智能完成了70亿参数大模型的训练测试,测试结果表明兼容适配程度高,训练效率达到预期,充分验证了智算集群的高效能。此次深度融合将进一步增强大模型的应用场景和服务能力,为客户提供更强大和定制化的解决方案。
识因智能的产品与服务已广泛应用于政务服务、金融证券、智慧办公、智能制造等多个场景,为产业智能化转型升级提供了有力支撑。未来,摩尔线程与识因智能将继续深化合作,推动国产算力与国产大模型的结合,共同打造深耕行业的解决方案,更好地为各行业赋能。
摩尔线程MooER模型开源:音频理解新纪元,摩耳大模型引领创新
近日,摩尔线程公司近期宣布了一项重大举措,开源其创新成果——MooER(摩耳)音频理解大模型。作为业内首个在国产全功能GPU上完成训练与推理的大型语音模型,MooER的发布凸显了摩尔线程在人工智能技术创新方面的前沿地位,为开源社区贡献了宝贵的资源,同时也展现了其在推进本土化GPU应用上的深厚积累。
MooER大模型在摩尔线程夸娥(KUAE)智算平台上,仅用38小时便完成了5000小时音频数据和伪标签的训练。这一成就得益于公司自研的创新算法和高效计算资源的结合。MooER不仅支持中文和英文的语音识别,还具备中译英的语音翻译能力,在多个语音识别领域的测试集中展现出优异表现。特别在Covost2中译英测试集中,MooER-5K取得了25.2的BLEU分数,接近工业级效果。
摩尔线程AI团队开源了推理代码和5000小时数据训练的模型,并计划进一步开源训练代码和基于8万小时数据训练的模型。MooER的模型结构包括Encoder、Adapter和Decoder三个部分,使用开源的Paraformer语音编码器、Qwen2-7B-instruct大语言模型来初始化Encoder和LLM模块。
在技术对比中,MooER-5K在中文和英文测试集上的表现均优于其他开源模型。摩尔线程通过这一开源项目,为数据资源和计算资源有限的开发者提供了宝贵的参考和支持。
摩尔线程“夸娥智算集群KUAE”最新1.2版来袭:64K长文本处理无忧
近日消息,摩尔线程最新发布的“夸娥智算集群 KUAE”1.2版本,在软硬件集成优化方面迈出了重要一步,不仅实现了对64K长文本的支持,还纳入了LLaMA2全系列、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等多种大模型,显著增强了其在人工智能和高性能计算领域的服务能力,为用户提供了更加强大和多元化的智能计算解决方案。
整理此次更新内容如下:
MFU 提升 10%,最高可达 55%
新版本使用千卡集群训练千亿模型,MFU 提升 10%。
稠密模型集群训练 MFU 最高达到 55%。
Flash Attention2 优化
通过集成最新的 MUSA SDK 平台与优化后的 Flash Attention2 技术,结合新版 Torch MUSA 和算子融合,提升了大模型训练的效率与资源利用率,缩短训练周期并降低了整体成本。
64K 长文本支持
新版本增强了对长文本大模型训练的支持,优化处理长文本理解和生成任务的能力,能够更好地应对文档摘要、文章写作等复杂语言处理任务。
支持混合专家模型 MoE
MCCL 通信库完成 All2All 优化,针对 muDNN 算子在不同形状下的矩阵运算进行优化,以更好地支持 MoE(Mixture of Experts)大模型的训练。
断点续训
进一步提升大模型训练的 Checkpoint 读写性能,写入时间小于 2 秒,提高训练效率。
优化 DeepSpeed
实现了基于摩尔线程 GPU 集群的 DeepSpeed 与 Ulysses 的适配和性能优化,强化长文本训练支持。
适配国内外多款大模型,在 Hugging Face 上支持训练和微调主要开源大模型。
稳定性提升
千卡集群软硬件进一步成熟,实现连续无故障训练 15 天。
新版本引入了 KUAE Aegis 可靠性功能,加强对 GPU、显存、集合通信等方面的监控、自动诊断与故障恢复能力。
可视化 / 可观测
引入 PerfSight 性能监控系统,可实时显示模型训练过程中的资源消耗与性能分析数据。
内置模型库中新增大模型
KUAE 内置模型库 Model Zoo 新增 LLaMA2 全系列大模型、百川、雅意、Qwen2、Mixtral(MoE 8x7B)等模型。
摩尔线程 AI 旗舰产品夸娥(KUAE)智算集群解决方案从当前的千卡级别扩展至万卡规模,具备万 P 级浮点运算能力。摩尔线程将开展三个万卡集群项目,分别为青海零碳产业园万卡集群项目、青海高原夸娥万卡集群项目、广西东盟万卡集群项目。
摩尔线程携手百度地图,共绘下一代数字孪生地图蓝图
近日,摩尔线程与百度地图的战略合作标志着双方将在数字孪生地图领域深度联手,结合摩尔线程的图形处理技术实力与百度地图的丰富产品经验,共同探索技术创新路径,推动地图服务向更高精度、更智能化方向发展。
根据合作协议,双方将围绕数字孪生地图项目建设,利用百度地图的地图引擎优势、数字孪生技术优势、地图大数据应用优势和摩尔线程全功能 GPU 的 3D 图形渲染和 AI 计算等技术优势,积极开展深入广泛的持续性合作,共同推动数字孪生地图解决方案的应用和规模化落地。
注:数字孪生是指充分利用物理模型、传感器、运行历史等数据,集成多学科、多物理量、多尺度、多概率的仿真过程,在虚拟空间中完成映射,从而反映相对应的实体装备的全生命周期过程。
据摩尔线程官方介绍,地图数据作为国家的关键资产,数字孪生地图尤其凸显了其在高负载渲染场景中的重要性,这对 GPU 的渲染效能及数据安全设定了极高的标准。摩尔线程与百度地图的合作,标志着我国在数字孪生地图领域向着减少技术外依度的目标迈出了实质性的一步。
百度地图方面介绍称,其推出的新版本数字孪生地图 DuEarth 在技术架构和性能要求上旨在解决传统数字孪生在超大规模应用场景下的“卡顿”“不可用”问题。以往的数字孪生业务集成能力仅限于少量 IoT 设备,完全不能满足城市级数字孪生、全息仿真、智能决策的初衷。百度地图 DuEarth 实现了 360 城市、360 万公里道路的大规模上图,引擎不卡顿;同时通用性孪生地图服务接口突破了 300+。
目前,百度数字孪生地图已完成国产 GPU、CPU、操作系统的全面适配,是当前全国 360 城大规模数字孪生体量下,全面支持全国产信创环境的超大规模数字孪生地图引擎。
摩尔线程的全功能 GPU 集成了四大核心计算引擎:3D 图形渲染、AI 计算加速、物理仿真与科学计算、和智能多媒体处理。在图形渲染领域,摩尔线程已全面兼容 OpenGL、Vulkan、DirectX 等主流渲染 API,并与 UE(Unreal Engine)、Unity 以及 OSG、Lumverse 等国产渲染引擎实现了无缝对接,可以为数字孪生解决方案构建计算平台。
摩尔线程“夸娥智算集群KUAE”最新1.2版来袭:64K长文本处理无忧
2024-10-21阿里云推出第八代企业级实例g8i,基于“飞天+CIPU”的全新计算架构体系
2024-10-08北京市解除暴雨橙色预警,局部地区仍有大雨
2024-10-26日本一波音737航班飞行过程中驾驶舱玻璃出现裂痕,人员均未受伤
2024-10-22阅读:112
阅读:5
阅读:9
阅读:37
阅读:6
角色扮演331.90MB
2025-03-18
角色扮演99MB
2025-03-18
棋牌扑克264.64MB
2025-03-18
棋牌扑克0KB
2025-03-17
角色扮演7.60MB
2025-03-17
趣味益智80.37MB
2025-03-17
理财金融99.40MB
2025-03-18
工具好物0KB
2025-03-18
社交通讯52.46MB
2025-03-18
其他0KB
2025-03-18
亲子教育9.53MB
2025-03-18
新闻资讯12.30MB
2025-03-18