• 热门搜索 热门搜索
菜单

您现在的位置是：博客 > 文章详情文章详情

k8s "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"

原创
时间2023/09/02 00:44:38 发布 预览数量1100
分类： docker k8s 标签： k8s

一、问题描述

服务器夜间异常断电后在k8s Master主节点发现挂了。并且所有的容器都起不来，乍一看头皮发麻，没办法只能一步一步的排查问题了。

[root@t224yuntu1 ~]# kubectl get node
E0901 09:29:47.011209    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.011679    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.013172    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.014891    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
E0901 09:29:47.015849    9042 memcache.go:265] couldn't get current server API group list: Get "https://10.1.20.224:6443/api?timeout=32s": dial tcp 10.1.20.224:6443: connect: connection refused
The connection to the server 10.1.20.224:6443 was refused - did you specify the right host or port?

二、解决思路

1、检查环境变量情况（正常）

env | grep -i kub

检查环境变量情况

2、检查docker服务（正常）

systemctl status docker.service

检查docker服务

3、检查kubelet服务（异常）

systemctl status kubelet.service

检查kubelet服务

发现 kubelet.service起不来，如下：

[root@t224yuntu1 ~]# systemctl status kubelet.service
● kubelet.service - kubelet: The Kubernetes Node Agent
   Loaded: loaded (/usr/lib/systemd/system/kubelet.service; enabled; vendor preset: disabled)
  Drop-In: /usr/lib/systemd/system/kubelet.service.d
           └─10-kubeadm.conf
   Active: activating (auto-restart) (Result: exit-code) since 五 2023-09-01 09:36:28 CST; 2s ago
     Docs: https://kubernetes.io/docs/
  Process: 9544 ExecStart=/usr/bin/kubelet $KUBELET_KUBECONFIG_ARGS $KUBELET_CONFIG_ARGS $KUBELET_KUBEADM_ARGS $KUBELET_EXTRA_ARGS (code=exited, status=1/FAILURE)
 Main PID: 9544 (code=exited, status=1/FAILURE)

9月 01 09:36:28 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:28 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:28 t224yuntu1 systemd[1]: kubelet.service failed.

我们尝试通过 journalctl -xeu kubelet 来查询日志，日志内容如下：

[root@t224yuntu1 ~]# journalctl -xeu kubelet
-- 
-- The start-up result is done.
9月 01 09:36:48 t224yuntu1 kubelet[9571]: E0901 09:36:48.727154    9571 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:36:48 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:48 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:48 t224yuntu1 systemd[1]: kubelet.service failed.
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service holdoff time over, scheduling restart.
9月 01 09:36:58 t224yuntu1 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished shutting down.
9月 01 09:36:58 t224yuntu1 systemd[1]: Started kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished starting up.
-- 
-- The start-up result is done.
9月 01 09:36:58 t224yuntu1 kubelet[9585]: E0901 09:36:58.980725    9585 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:36:58 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:36:58 t224yuntu1 systemd[1]: kubelet.service failed.
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service holdoff time over, scheduling restart.
9月 01 09:37:09 t224yuntu1 systemd[1]: Stopped kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished shutting down
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished shutting down.
9月 01 09:37:09 t224yuntu1 systemd[1]: Started kubelet: The Kubernetes Node Agent.
-- Subject: Unit kubelet.service has finished start-up
-- Defined-By: systemd
-- Support: http://lists.freedesktop.org/mailman/listinfo/systemd-devel
-- 
-- Unit kubelet.service has finished starting up.
-- 
-- The start-up result is done.
9月 01 09:37:09 t224yuntu1 kubelet[9596]: E0901 09:37:09.237987    9596 run.go:74] "command failed" err="failed to parse kubelet flag: unknown flag: --network-plugin"
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service: main process exited, code=exited, status=1/FAILURE
9月 01 09:37:09 t224yuntu1 systemd[1]: Unit kubelet.service entered failed state.
9月 01 09:37:09 t224yuntu1 systemd[1]: kubelet.service failed.

三、原因分析

根据日志可以初步判断，应该是网络模块除了问题，kebelet重启后，启动网络插件的命令无法执行。然后我又分别在master和node节点上查看下kubelet的版本，结果发现了问题：
原因分析

即master节点的 kubeadm、kubelet、kubernetes-cni、kubectl和node节点的版本不一致，且master节点使用的版本的高于node节点。

四、解决办法

我尝试将 master 节点和 node 节点的版本统一一下。

yum downgrade   kubeadm-1.23.0-0.x86_64 kubectl-1.23.0-0.x86_64 kubelet-1.23.0-0.x86_64

完成后重启kubelet

systemctl restart kubelet.service
systemctl daemon-reload

最后我们在看下k8s 服务的状态
K8s服务运行状态

大功告成！

版权声明：本文为Converts的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。

原文链接：https://www.converts.cn/article/3443750.html

相关文章

暂无评论

暂无评论

点击排行

推荐阅读

  • 移除Linux系统启动时的等待时间

    一、前言 VMware 虚拟机中安装了很多Linux 系统，每次启动的时候， 都卡在系统选择的界面上，除非手动选择， 否则要等很久才会进入系统，如下图所示： ![移除Linux系统启动时的等待时间](/ArticleFile/2024-06-24/e3ab02212cc946bd9c23159895177fb3.png '移除Linux系统启动时的等待时间') 二、关闭系统等待的事件 我们

  • GitLab 私有化部署

    一、GitLab 概述 git作为目前最流行的代码管理工具，已经成为了程序员必备的技能。虽然目前有 github(对国人不太友好) 、gitee 两个比较大的代码托管平台。但是出于各种原因，搭建自己的私有代码平台也成了一部分开发人员的选择。针对这种需求，这里为大家介绍的是其中的佼佼者gitlab，也是我们公司内部正在使用的一个代码管理平台。 GitLab是一个基于Git的开源代码管理平台，它

  • 云服务器购买按量付费实例，并搭建私有网络图解

    一、前言 最近在自学 k8s 集群化部署， 奈何云服务器包年包月太贵了， 学习成本飙升。好在各大云服务商支持按量计费 ， 接下来就带大家一起过一下购买流程，并且使用私有网络。 二、私有网络 在购买云服务器之前，先了解下什么是私有网络。官网给出的解释是：私有网络（Virtual Private Cloud，VPC）是一块在云服务器上自定义的逻辑隔离网络空间，可以使云服务器， 云数据库资源构建逻

  • Docker 部署FastTunnel，实现内网穿透

    一、前言 最近在学习搭建Elasticsearch集群，但是发现云服务（2核4G）资源根本就不够用，部署上去就直接宕机了。想着服务器资源太贵， 家里刚好有一台64G内存的闲置电脑。不如做一个内网穿透，可以远程访问。工作学习两不误。其实目前市面上已经有很多穿透工具了，比如向日葵~~ ,但是奈何带宽太小了，免费的才1M~~~ 二、什么是 FastTunnel FastTunnel 是用.net

  • IP地址和子网掩码的关系

    一、概述 IP地址（Internet Protocol Address）和子网掩码（Subnet Mask）是计算机网络中两个核心的概念，它们共同工作以确保数据能够正确地在复杂的网络环境中传输到目标设备。 二、IP地址 `IP地址`是IP协议提供的一种统一的地址格式，它为互联网上的每一个网络和每一台主机分配一个逻辑地址，以此来屏蔽物理地址的差异。它是一个32位的二进制数，但是在习惯上，我们

  • 修改Docker默认的存储驱动程序目录

    一、前言 今天使用jenkins对程序进行更新的时候，发现更新失败。经排查是因为系统磁盘满了，然而通过堡垒机看了下，系统空间还有很多，于是看了下系统分区： ![修改Docker默认的存储驱动程序目录](/ArticleFile/2024-06-06/444ede8a1b1b42058db18690fa995952.png '修改Docker默认的存储驱动程序目录') ![修改Docker默认

  • Windows 安装git的详细安装步骤 ,以及TortoiseGit 图形化工具

    一、前言 `Git` 是一个开源的分布式版本控制系统，用于有效、高速地处理从很小到非常大的项目版本管理。Git 与常用的版本控制工具 CVS, Subversion 等不同，它采用了分布式版本库的方式，不需要服务器端软件支持。 二、安装Git 1、Git 下载地址 [Git 下载地址](https://git-scm.com/downloads "Git 下载地址") ![Windows

  • 免费的 GIF 录屏工具下载

    一、前言 在写博客或者文档的时候，经常需要附上一些gif动图，可以让快速展示操作流程。下面`小C`就介绍几款我经常用到的几款免费的gif工具。 二、免费的Gif工具 1、GifCam GifCam是一款免费绿色软件，它能够录制屏幕上的动态内容，并将其保存为GIF动画图像。用户可以调整录制区域、帧速率等参数，以满足不同的录制需求。除了连续录制外，GifCam还支持单帧录制功能。用户可以手

  • 对比MySQL不同版本下表结构和数据存储的差异

    一、前言 在开始之前， 我们需要先了解一下 MySQL 的存储引擎有哪些。 `MySQL`常用的存储引擎有 InnoDB 和 MyISAM，而且两者都有各自的特点，适用于不同的场景。下面是对这两种存储引擎的简要对比： - InnoDB存储引擎 - 支持事务处理 - 支持行级锁 - 支持外键约束 - 可以根据事务日志实现数据恢复 - MyISAM存储引擎 - MyISAM 的读取性能

  • Linux系统定时任务 -- crontab命令

    一、前言 有时候需要在 Linux 系统中定时执行一些任务，我们就需要使用 `crontab` 命令创建定时任务。crontab 是“cron table”的缩写，其功能是管理定时计划任务。在Linux系统中的crond是一个定时计划任务服务，用户只要能够按照正确的格式（分、时、日、月、星期、命令）写入到配置文件中，那么就会按照预定的周期时间自动地执行下去，而crontab命令则是用于配置的工具

加载中