登录
注册
开源
企业版
高校版
搜索
帮助中心
使用条款
关于我们
开源
企业版
高校版
私有云
模力方舟
登录
注册
代码拉取完成,页面将自动刷新
捐赠
捐赠前请先登录
取消
前往登录
扫描微信二维码支付
取消
支付完成
支付提示
将跳转至支付宝完成支付
确定
取消
Watch
不关注
关注所有动态
仅关注版本发行动态
关注但不提醒动态
7
Star
3
Fork
16
src-openEuler
/
vllm
代码
Issues
29
Pull Requests
7
Wiki
统计
流水线
服务
JavaDoc
PHPDoc
质量分析
Jenkins for Gitee
腾讯云托管
腾讯云 Serverless
悬镜安全
阿里云 SAE
Codeblitz
SBOM
我知道了,不再自动展开
5
add cpu bind patch
开启的
存在冲突
madao_rui:master
src-openEuler:master
madao_rui
创建于 2025-03-20 20:58
克隆/下载
HTTPS
SSH
复制
下载 Email Patch
下载 Diff 文件
新增CPU绑核优化patch,本patch在vllm启动worker的时候,根据NPU-SMI查到的numa topo信息,提供两种进程绑核策略: 1.合并模式:2个NPU共享numa节点,原生默认绑核策略; 2.隔离模式:每个NPU独享numa节点; 在910B3双机场景下,采用隔离模式可以获得更好的吞吐性能提升,从1300TPS-->1400TPS,提升7.7% 当前仅支持NPU环境下进行绑核优化,GPU&纯CPU绑核优化暂不支持,后续计划: 1.优化MS运行时CPU主存占用,支持NUMA亲和性更好的绑核策略; 2.当前隔离模式只适用于特定机型(8 numa),后续更多的平台、机型适配完成后,往上游社区提交
此 Pull Request 需要通过一些审核项
类型
指派人员
状态
审查
openeuler-ci-bot
进行中
(0/1人)
测试
openeuler-ci-bot
进行中
(0/1人)
此 Pull Request 无法自动合并
尝试通过 WebIDE 解决冲突
怎样手动合并此 Pull Request
git checkout master
git pull https://gitee.com/maodaorui/vllm.git master
git push origin master
评论
98
提交
1
文件
2
检查
代码问题
0
批量操作
展开设置
折叠设置
审查
Code Owner
审查人员
jimmy_hero
jimmy_hero
Weixi
weixizhu94
sinever
sinever
zhushoukui
zhushoukui
安宏奎
anhongkui
gongzequn
gongzequn
openeuler-ci-bot
openeuler-ci-bot
未设置
最少人数
1
测试
jimmy_hero
jimmy_hero
Weixi
weixizhu94
sinever
sinever
zhushoukui
zhushoukui
安宏奎
anhongkui
gongzequn
gongzequn
openeuler-ci-bot
openeuler-ci-bot
未设置
最少人数
1
优先级
不指定
严重
主要
次要
不重要
标签
openeuler-cla/yes
ci_successful
sig/ai
关联 Issue
未关联
Pull Request 合并后将关闭上述关联 Issue
里程碑
未关联里程碑
合并选项
合并后删除提交分支
提交分支为默认分支,无法删除
合并后关闭提到的 Issue
接受 Pull Request 时使用扁平化(Squash)合并
勾选此选项后,将建议使用 Squash Merge 方式合并以精简提交历史记录
参与者
(5)
1
https://gitee.com/src-openeuler/vllm.git
git@gitee.com:src-openeuler/vllm.git
src-openeuler
vllm
vllm
点此查找更多帮助
搜索帮助
Git 命令在线学习
如何在 Gitee 导入 GitHub 仓库
Git 仓库基础操作
企业版和社区版功能对比
SSH 公钥设置
如何处理代码冲突
仓库体积过大,如何减小?
如何找回被删除的仓库数据
Gitee 产品配额说明
GitHub仓库快速导入Gitee及同步更新
什么是 Release(发行版)
将 PHP 项目自动发布到 packagist.org
仓库举报
回到顶部
登录提示
该操作需登录 Gitee 帐号,请先登录后再操作。
立即登录
没有帐号,去注册