概述 大模型时代,GPU 已经了各个大模型和互联网公司的重要资产,如何高效地使用 GPU 资源,最大限度地满足业务需求变成了基础架构部门的重点项目。而传
概述 很多人会在一个服务前面部署一个 Nginx 并且配置密码,来保证基础的访问安全,所以同理在 Ingress 上,一样是有一些参数可以进行这样的配置。 操作 1 2 3 4 5 6
概述 node-local-dns 的作用主要如下: 使用当前的dns体系结构,如果没有本地kube-dns/coredns实例,则具有最高dns qps的pod可能必须延伸
概述 nvitop 可以提升 GPU 的可观测性,而 nvitop 项目里还提供了 nvitop-exporter 可以将相关的 GPU 指标以 Prometheus 的表格格式提供采集,对提升 GPU 的可观测性是非常有帮助的。 镜像 nvitop 在v1.5
概述 因为个人常用的 AI 工具是 Poe,且已经是订阅用户了,但比较可惜的是,Poe 没有提供 OpenAI API 的接入方式,所以无法直接使用 Poe 的 API 来调用 OpenAI 的模型。G
概述 当 K8S 集群引入越来越多的组件之后,要维护的 Helm Charts 的数量会越来越多,业界关于存储 Helm Charts 的方式也有很多种,常见的有 Harbor,以及 ChartMuseum 等等,笔者一