k8s http: server gave HTTP response to HTTPS client

一、问题

k8s 在拉取私有仓库镜像的时候报http: server gave HTTP response to HTTPS client错，网络上的答案都是千篇一律的，根本就没有抓住问题的根源。下面就有我来剖析一下问题的原因。

Type     Reason          Age                    From               Message
  ----     ------          ----                   ----               -------
  Normal   Scheduled       6m5s                   default-scheduler  Successfully assigned sims/resources-deploy-5fb85bf986-6s7bj to node2
  Normal   BackOff         5m39s (x3 over 6m4s)   kubelet            Back-off pulling image "10.1.20.175:8082/cwcssims_pro_resource:latest"
  Warning  Failed          5m39s (x3 over 6m4s)   kubelet            Error: ImagePullBackOff
  Normal   Pulling         5m27s (x3 over 6m5s)   kubelet            Pulling image "10.1.20.175:8082/cwcssims_pro_resource:latest"
  Warning  Failed          5m27s (x3 over 6m5s)   kubelet            Failed to pull image "10.1.20.175:8082/cwcssims_pro_resource:latest": failed to pull and unpack image "10.1.20.175:8082/cwcssims_pro_resource:latest": failed to resolve reference "10.1.20.175:8082/cwcssims_pro_resource:latest": failed to do request: Head "https://10.1.20.175:8082/v2/cwcssims_pro_resource/manifests/latest": http: server gave HTTP response to HTTPS client
  Warning  Failed          5m27s (x3 over 6m5s)   kubelet            Error: ErrImagePull

二、原因

从报错来看，拉取镜像失败的原因是因为 server gave HTTP response to HTTPS client,翻译过来就是 服务器向HTTPS客户端提供了HTTP响应，简单的讲就是通讯协议不一致。我们需要设置通过http的方式去拉取镜像（我的私有仓库不支持https）

三、解决

网络上大部分的教程都是通过修改/etc/docker/daemon.json 配置文件中的 insecure-registries选项来解决。这种方式不能说错误， 只能说太片面了。

因为 k8s 的容器运行时支持 containerd、CRI-O、Docker Engine、Mirantis Container Runtime等方式，不同的运行时配置文件存放的地址也是不一样的。如果连运行时都没区分清楚，如何从根源上解决问题。有些小伙伴就比较纳闷：“那我按照网络上的方式修改成功了呢”。那我只能告诉你，你运气好罢了。

在k8s 1.24版本以前，默认使用的是 Dockershim 运行时，但是在官方版本 k8s 1.24以后， Dockershim 已从 Kubernetes 项目中移除。这也就意味着，不同的版本，解决方法是不一样的。

运行时相关的官方文档请看：《kubernetes 容器运行时》

1、判断k8s使用的容器运行时

判断k8s的容器运行时，可以根据下属命令来查询：

# 查询运行时
kubectl get nodes -o jsonpath='{.items[*].status.nodeInfo.containerRuntimeVersion}'

如果开头是 containerd 就是 containerd 运行时，如果是 docker，那么就是用的是 Docker Engine 运行时,然后根据各自的运行时去执行下述的代码。如图所示：

2、containerd 容器运行时

1、编辑配置文件/etc/containerd/config.toml

vim /etc/containerd/config.toml

2、在 plugins."io.containerd.grpc.v1.cri".registry.configs 节点和 plugins."io.containerd.grpc.v1.cri".registry.mirrors 节点下增加相应配置，如下所示：

    [plugins."io.containerd.grpc.v1.cri".image_decryption]
      key_model = "node"

    [plugins."io.containerd.grpc.v1.cri".registry]
      config_path = ""

      [plugins."io.containerd.grpc.v1.cri".registry.auths]

      [plugins."io.containerd.grpc.v1.cri".registry.configs]
        [plugins."io.containerd.grpc.v1.cri".registry.configs."10.1.20.175:8082".tls]
          insecure_skip_verify = true  # 是否跳过安全认证

      [plugins."io.containerd.grpc.v1.cri".registry.headers]

      [plugins."io.containerd.grpc.v1.cri".registry.mirrors]
        [plugins."io.containerd.grpc.v1.cri".registry.mirrors."10.1.20.175:8082"]
          endpoint = ["http://10.1.20.175:8082"]

    [plugins."io.containerd.grpc.v1.cri".x509_key_pair_streaming]
      tls_cert_file = ""
      tls_key_file = ""

3、配置生效并重启Containerd

systemctl daemon-reload && systemctl restart containerd.service

更多相关配置语法请看：《Configure Image Registry》

3、Docker Engine 容器运行时

# 1、编辑 /etc/docker/daemon.json文件
vim /etc/docker/daemon.json

# 2、增加 insecure-registries 选项，如下所示：
{
  "exec-opts":["native.cgroupdriver=systemd"],
  "registry-mirrors":["https://akchsmlh.mirror.aliyuncs.com"],
  "insecure-registries": ["私有仓库ip:端口"]
}

# 3、重启容器
sudo systemctl daemon-reload  
sudo systemctl restart docker