智谱清言融合创新：CogView3-Plus文生图模odel新功能盛大登场

近日消息，智谱技术研究团队对外宣布了一项重大进展，他们正式开放了先进的文本生成图像模型 CogView3 及其增强版 CogView3-Plus-3B 的源代码。

这一创新成果已成功整合进他们的旗舰应用“智谱清言”，标志着用户现在可以亲身体验到由尖端AI技术支持的图像创造功能，进一步推动了AI技术在创意领域的广泛应用。

据介绍，CogView3 是一个基于级联扩散的 text2img 模型，其包含如下三个阶段：

第一阶段：利用标准扩散过程生成 512x512 低分辨率的图像。

第二阶段：利用中继扩散过程，执行 2 倍的超分辨率生成，从 512x512 输入生成 1024x1024 的图像。

第三阶段：将生成结果再次基于中继扩散迭代，生成 2048×2048 高分辨率的图像。

官方表示，在实际效果上，CogView3 在人工评估中比目前最先进的开源文本到图像扩散模型 SDXL 高出 77.0%，同时只需要 SDXL 大约 1/10 的推理时间。

CogView3-Plus 模型则在 CogView3（ECCV'24）的基础上引入了最新的 DiT 框架，以实现整体性能的进一步提升。据介绍，其采用 Zero-SNR 扩散噪声调度，并引入了文本-图像联合注意力机制。与常用的 MMDiT 结构相比，它在保持模型基本能力的同时，有效降低训练和推理成本。CogView-3Plus 使用潜在维度为 16 的 VAE。

智谱揭晓基础模型新纪元，《清言》App领跑国内市场：C端视频通话服务全面开放

近日消息，智谱AI在知识发现与数据挖掘领域的顶级会议KDD 2024上，骄傲地推出了他们的新一代基础模型，宣称该模型在相关领域已跻身国际顶尖水平。

更令人振奋的是，他们决定在MaaS平台上无偿开放GLM-4-Flash API的使用权，此举无疑将促进AI技术的普及与创新合作，为研究人员和开发者提供强大的工具支持，加速AI技术在各行各业的应用探索和实践。

语言模型 GLM-4-Plus：在语言理解、指令遵循、长文本处理等方面性能得到全面提升。

文生图模型 CogView-3-Plus：具备与当前最上面的 MJ-V6 和 FLUX 等模型接近的性能。

图像 / 视频理解模型 GLM-4V-Plus：具备卓越的图像理解能力，并具备基于时间采集的视频理解能力。该模型将上线开放平台（bigmodel.cn），并成为国内首个通用视频理解能力模型 API。

视频生成模型 CogVideoX：在发布并开源 2B 版本后，5B 版本也正式开源，其性能进一步增强。

GLM-4-Flash API：推理服务免费，并提供完全强大的服务。

除此之外，智谱还宣布在清言 App 上线了视频通话功能，这是国内首个面向 C 端用户开放的视频通话服务。

智谱表示，GLM-4-Plus 基础模型在各项指标上，实现与 GPT-4o 等第一梯队模型持平。此外，在 GLM-4-Plus 模型的训练过程中，智谱通过采用更精准的长短文本数据混合策略，显著增强了模型在长文本推理方面的表现。

对于 CogView-3-Plus，智谱采用 Transformer 架构替代了传统的 UNet 架构来训练扩散模型，并深入研究了扩散模型的噪声规划，其效果目前接近一线水平的 MJ-V6 和 FLUX 等模型。

目前 GLM-4-Plus 模型已正式上线开放平台（bigmodel.cn），对外提供 API 服务；同时也即将在清言 App 中上线；CogView-3-Plus 模型已经正式上线清言 App 供大家使用。

智谱AI宣布GLM-4-Flash大模型开源盛典：26种语言全覆盖，中文英语日韩语皆精通

智谱 AI 于8月27日宣布了一项激动人心的决定，其GLM-4-Flash大模型现面向公众免费开放访问权限。用户可通过智谱 AI 的大模型开放平台直接调用该模型，这一举措无疑将促进AI技术的普及与创新应用的发展。

GLM-4-Flash 适用于完成简单垂直、低成本、需要快速响应的任务，生成速度能达到 72.14 token/s，约等于 115 字符/s。

GLM-4-Flash 具备多轮对话、网页浏览、Function Call（函数调用）和长文本推理（支持最大 128K 上下文）等功能，同时支持包括中文、英语、日语、韩语、德语等在内的 26 种语言。

官方表示，通过采用自适应权重量化、多种并行化方式、批处理策略以及投机采样等多种方法，在推理层面实现模型的延迟降低与速度提升，更大并发量和吞吐量不仅提升了效率，而且让推理成本显著降低，从而免费推出。

在预训练方面，官方引入了大语言模型进入数据筛选流程，获得 10T 高质量多语言数据，数据量是 ChatGLM3-6B 模型的 3 倍以上；同时采用了 FP8 技术进行预训练，提高了训练效率和计算量。