Ingress-http配置

Ingress简介

ingress就是从外部访问k8s集群的入口，将用户的URL请求转发到不同的service上。ingress相当于nginx反向代理服务器，它包括的规则定义就是URL的路由信息；它的实现需要部署Ingress controller(比如 traefik ingress-nginx 等)，Ingress controller通过apiserver监听ingress和service的变化，并根据规则配置负载均衡并提供访问入口，达到服务发现的作用。

• 未配置ingress：

集群外部 -> NodePort -> K8S Service

• 配置ingress:

集群外部 -> Ingress -> K8S Service

• 注意：ingress 本身也需要部署Ingress controller时使用以下几种方式让外部访问

  • 使用NodePort方式
  • 使用hostPort方式
  • 使用LoadBalancer地址方式

• 以下讲解基于Traefik，如果想要了解ingress-nginx的原理与实践，推荐阅读博客烂泥行天下的相关文章

部署 Traefik

Traefik 提供了一个简单好用 Ingress controller，下文侧重讲解 ingress部署和测试例子。

安装 traefik ingress-controller

kubectl create -f /etc/ansible/manifests/ingress/traefik/traefik-ingress.yaml

• 注意需要配置 RBAC授权
• 注意trafik pod中 80端口为 traefik ingress-controller的服务端口，8080端口为 traefik 的管理WEB界面；为后续配置方便指定80 端口暴露NodePort端口为 23456(对应于在hosts配置中NODE_PORT_RANGE范围内可用端口)

验证 traefik ingress-controller

# kubectl get deploy -n kube-system traefik-ingress-controller
NAME                         DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
traefik-ingress-controller   1         1         1            1           4m

# kubectl get svc -n kube-system traefik-ingress-service
NAME                      TYPE       CLUSTER-IP     EXTERNAL-IP   PORT(S)                       AGE
traefik-ingress-service   NodePort   10.68.69.170   <none>        80:23456/TCP,8080:34815/TCP   4m

• 可以看到traefik-ingress-service 服务端口80暴露的nodePort确实为23456

测试 ingress

• 首先创建测试用K8S应用，并且该应用服务不用nodePort暴露，而是用ingress方式让外部访问

kubectl run test-hello --image=nginx:alpine --expose --port=80
##
# kubectl get deploy test-hello
NAME         DESIRED   CURRENT   UP-TO-DATE   AVAILABLE   AGE
test-hello   1         1         1            1           56s
# kubectl get svc test-hello
NAME         TYPE        CLUSTER-IP      EXTERNAL-IP   PORT(S)   AGE
test-hello   ClusterIP   10.68.124.115   <none>        80/TCP    1m

• 然后为这个应用创建 ingress，kubectl create -f /etc/ansible/manifests/ingress/test-hello.ing.yaml

# test-hello.ing.yaml内容
apiVersion: networking.k8s.io/v1beta1 
kind: Ingress
metadata:
  name: test-hello
spec:
  rules:
  - host: hello.97hjh.cn
    http:
      paths:
      - path: /
        backend:
          serviceName: test-hello
          servicePort: 80

• 集群内部尝试访问: curl -H Host:hello.97hjh.cn 10.68.69.170(traefik-ingress-service的服务地址) 能够看到欢迎页面 Welcome to nginx!；
• 在集群外部尝试访问(假定集群一个NodeIP为 10.0.0.10): curl -H Host:hello.97hjh.cn 10.0.0.10:23456，也能够看到欢迎页面 Welcome to nginx!，说明ingress测试成功

为 traefik WEB 管理页面创建 ingress 规则

kubectl create -f /etc/ansible/manifests/ingress/traefik/traefik-ui.ing.yaml

# traefik-ui.ing.yaml内容
---
apiVersion: networking.k8s.io/v1beta1 
kind: Ingress
metadata:
  name: traefik-web-ui
  namespace: kube-system
spec:
  rules:
  - host: traefik-ui.97hjh.cn
    http:
      paths:
      - path: /
        backend:
          serviceName: traefik-ingress-service
          servicePort: 8080

• 在集群外部可以使用 curl -H Host:traefik-ui.97hjh.cn 10.0.0.10:23456 尝试访问WEB管理页面，返回 <a href="/dashboard/">Found</a>.说明 traefik-ui的ingress配置生效了。

• 在客户端主机也可以通过修改本机 hosts 文件，如上例子，增加两条记录：

10.0.0.10	hello.97hjh.cn
10.0.0.10	traefik-ui.97hjh.cn

打开浏览器输入域名 http://hello.97hjh.cn:23456 和 http://traefik-ui.97hjh.cn:23456 就可以访问k8s的应用服务了。
如图所示：
hello.97hjh.cn

traefik-ui.97hjh.cn

可选1: 使用LoadBalancer服务类型来暴露ingress，自有环境（非公有云）可以参考metallb文档

# 修改traefik-ingress 使用 LoadBalancer服务
$ sed -i 's/NodePort$/LoadBalancer/g' /etc/ansible/manifests/ingress/traefik/traefik-ingress.yaml
# 创建traefik-ingress
$ kubectl apply -f /etc/ansible/manifests/ingress/traefik/traefik-ingress.yaml
# 验证
$ kubectl get svc --all-namespaces |grep traefik
kube-system   traefik-ingress-service   LoadBalancer   10.68.163.243   10.0.0.12   80:23456/TCP,8080:37088/TCP   1m

这时可以修改客户端本机 hosts文件：(如上例10.0.0.12)

10.0.0.12     hello.97hjh.cn
10.0.0.12     traefik-ui.97hjh.cn

打开浏览器输入域名 http://hello.97hjh.cn 和 http://traefik-ui.97hjh.cn可以正常访问。

可选2: 部署ingress-service的负载均衡

• 利用 nginx/haproxy 等集群，可以做代理转发以去掉 23456这个端口。如果你的集群根据本项目部署了高可用方案，那么可以利用LB 节点haproxy 来做，当然如果生产环境K8S应用已经部署非常多，建议还是使用独立的 nginx/haproxy集群。

具体参考配置转发 ingress nodePort，如上配置访问集群MASTER_IP的80端口时，由haproxy代理转发到实际的node节点暴露的nodePort端口上了。这时可以修改客户端本机 hosts文件如下：(假定 MASTER_IP=10.0.0.11)

10.0.0.11    hello.97hjh.cn
10.0.0.11    traefik-ui.97hjh.cn

打开浏览器输入域名 http://hello.97hjh.cn 和 http://traefik-ui.97hjh.cn可以正常访问。