欢迎光临,我们是一家专注中小型企业营销推广服务的公司!

咨询热线:400 9868 577
淮南兰乔电子商务有限公司
新闻中心News
淮南兰乔电子商务有限公司

开源跨平台大模型工具 Ollama 发布 0.11.9-rc0 测试版

作者:聖光之護 | 点击: | 来源:聖光之護
0309
2025
Ollama团队最近推出了0.11.9-rc0版本的测试更新,重点优化了CPU与GPU的并行处理能力。本次升级引入了一种全新的任务调度机制,允许GPU在执行当前计算批次的同时,CPU提前准备下一个批次的数据,从而显著降低GPU等待时间,提升多平台下大语言模型运行的整体效率。实际测试数据显示,在macOS的Metal架构环境下,token生成速度提升了约2–3%;而在搭载GeForceRTX4090的设备上,性能提升幅度达到约7%。此次更新还解决了AMD显卡...

Ollama 团队最近推出了 0.11.9-rc0 版本的测试更新,重点优化了 CPU 与 GPU 的并行处理能力。本次升级引入了一种全新的任务调度机制,允许 GPU 在执行当前计算批次的同时,CPU 提前准备下一个批次的数据,从而显著降低 GPU 等待时间,提升多平台下大语言模型运行的整体效率。

实际测试数据显示,在 macOS 的 Metal 架构环境下,token 生成速度提升了约 2–3%;而在搭载 GeForce RTX 4090 的设备上,性能提升幅度达到约 7%。

此次

更新还解决了 AMD 显卡无法被正确识别的问题,并修复了在 macOS 与 Linux 系统中因异常未捕获而导致的程序崩溃问题,进一步增强了跨平台的稳定性和硬件兼容性。这意味着 ollama 在本地运行大模型时将更加高效且可靠。

核心性能改进

  • 实现了新的执行流程:通过后台并发构建下一轮计算图,使 CPU 与 GPU 的工作重叠进行,有效减少 GPU 处于空闲等待的状态,提高整体吞吐量。

  • 此项优化由 VMware 工程师 Daniel Hiltgen 主导,他在 Pull Request 中提到:

    “这次重构了 ollama 的主运行循环,将主要的 GPU 密集型操作(如 Compute+Floats)移至 Go 协程中执行,从而实现与下一批任务准备工作的并行化,减少 GPU 停顿。” “在 macOS 的 metal 后端测试中,token 输出速度提升了 2–3%;单块 GeForce RTX 4090 上则实现了约 7% 的性能增长。”

其他更新内容

  • 修复了部分 AMD GPU 无法识别所引发的错误,改善了对 AMD 显卡的支持。
  • 修复了若干导致 macOS 和 Linux 平台出现崩溃的未处理异常,增强了系统稳定性。

下载地址:https://www./link/11b53f23ad385f735495083c7327faf9

源码地址:点击下载

相关推荐
我要咨询做网站
成功案例
建站流程
  • 网站需
    求分析
  • 网站策
    划方案
  • 页面风
    格设计
  • 程序设
    计研发
  • 资料录
    入优化
  • 确认交
    付使用
  • 后续跟
    踪服务
  • 400 9868 577
    info#ilanqiao.cn
Hi,Are you ready?
准备好开始了吗?
那就与我们取得联系吧

咨询送礼现在提交,将获得兰乔电子商务策划专家免费为您制作
价值5880元《全网营销方案+优化视频教程》一份!
下单送礼感恩七周年,新老用户下单即送创业型空间+域名等大礼
24小时免费咨询热线400 9868 577
合作意向表
您需要的服务
您最关注的地方
预算

直接咨询