tkestack/gpu-manager在k8s1.23版本之后的使用方法
异常
在1.25版本的k8s集群中部署gpu-manage时，虽然显示gpu节点上gpu-manage的pod实例都是running状态，但是给pod申领tencent.com/vcuda-memory资源时，却始终找不到有资源的节点。
查看节点的详情时，返回的allocatable字段中也没有相关资源:
Allocatable: cpu: 48 ephemeral-storage: 48294789041 hugepages-1Gi: 0 hugepages-2Mi: 0 memory: 65291520Ki pods: 110 System Info: Machine ID: 50ca20960ea94552bd5ef84a20ce7e47
说明gpu-manager并没有正确运行。
排查
查看任意gpu-manager的pod日志，可以看到如下异常信息：
rebuild ldcache
launch gpu manager
E0426 06:17:06.729262 2384 server.go:131] Unable to set Type=notify in systemd service file?
E0426 06:17:11.731947 2384 server.go:152] can't create container runtime manager: context deadline exceeded
说明gpu-manager和容器运行时接口通信失败了。
查看异常信息指向的代码：
...
containerRuntimeManager, err := containerRuntime.NewContainerRuntimeManager(
m.config.CgroupDriver, m.config.ContainerRuntimeEndpoint, m.config.RequestTimeout)
if err != nil {
klog.Errorf("can't create container runtime manager: %v", err)
return err
}
klog.V(2).Infof("Container runtime manager is running")
...可以看到是访问m.config.ContainerRuntimeEndpoint超时，这个变量的默认值定义在cmd/manager/options/options.go
const ( DefaultDriver = "nvidia" DefaultQueryPort = 5678 DefaultSamplePeriod = 1 DefaultVirtualManagerPath = "/etc/gpu-manager/vm" DefaultAllocationCheckPeriod = 30 DefaultCheckpointPath = "/etc/gpu-manager/checkpoint" DefaultContainerRuntimeEndpoint = "/var/run/dockershim.sock" DefaultCgroupDriver = "cgroupfs" )
可以看到这里用的运行时接口是/var/run/dockershim.sock，但是在k8s1.23版本之后，接口路径已经改为/var/run/cri-dockerd.sock，所以修改默认之后重新编译即可。
编译
使用make img既可以用源码的Makefile自动编译打包成新的镜像，但是源码的/home/zp/work/gpu-manager/build/Dockerfile中的git222不一定能装上，可以改成git，另外有一些依赖需要国际上的支持。
编译后的镜像在1.25版本的k8s中可以正常使用。
到此这篇关于tkestack/gpu-manager在k8s1.23版本之后的使用的文章就介绍到这了,更多相关tkestack/gpu-manager在k8使用内容请搜索脚本之家以前的文章或继续浏览下面的相关文章希望大家以后多多支持脚本之家！
相关文章
这篇文章主要为大家介绍了Rainbond配置组件自动构建部署官方文档讲解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-04-04
Docker是一种流行的容器化技术,它允许开发人员在不同的环境中构建、打包和运行应用程序,下面这篇文章主要给大家介绍了关于k8s目录和文件挂载到宿主机的相关资料,需要的朋友可以参考下2024-01-01
这篇文章主要介绍了使用sealos快速搭建K8s集群环境,主要包括sealos安装方法，虚拟机设置方法，本文给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2022-09-09
这篇文章主要为大家介绍了K8S节点本地存储被撑爆问题彻底解决方法，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-11-11
这篇文章主要为大家介绍了云原生要素配置分离ConfigMap以及多种创建方式，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步早日升职加薪2022-03-03
Rainbond云原生部署开源社区Discourse的配置过程
这篇文章主要为大家介绍了Rainbond云原生部署开源社区Discourse配置过程，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多进步，早日升职加薪2022-04-04
Ingress是一种向k8s集群外部的客户端公开服务的方法,下面这篇文章主要给大家介绍了关于k8s之ingress-nginx详解和部署方案的相关资料,文中通过实例代码介绍的非常详细,需要的朋友可以参考下2022-07-07
这篇文章主要介绍了Spark实现K-Means算法代码示例，简单介绍了K-Means算法及其原理，然后通过具体实例向大家展示了用spark实现K-Means算法，需要的朋友可以参考下。2017-10-10
这篇文章主要为大家介绍了k8s入门定义一个Pod以及破底的定义内容详解，有需要的朋友可以借鉴参考下，希望能够有所帮助，祝大家多多计步，早日升职加薪2022-03-03
这篇文章主要介绍了在K8S中实现会话保持的两种方案,每种方案结合示例代码给大家介绍的非常详细，对大家的学习或工作具有一定的参考借鉴价值，需要的朋友可以参考下2023-03-03
最新评论