在 KubeSphere 中使用 DevOps 部署 Java 微服务配置监控预警-六虎

作者：酱油瓶，携程后端技术专家， KubeSphere 社区用户

开发 Java 微服务并引进监控组件

咱们根据 Spring Cloud +Nacos 开发 Java 微服务，Java 服务开发不做过多的叙说。

项目中引进 Actuator

咱们在项目的 bom 中引进 Spring Boot Actuator，它供给了多种特性来监控和办理运用程序，能够根据 HTTP，也能够根据 JMX。

         <dependency>
            <groupId>org.springframework.boot</groupId>
            <artifactId>spring-boot-starter-actuator</artifactId>
        </dependency>

装备 Actuator

引进 Actuator 后，原则上咱们无需做任何装备即可运用，在咱们项目中咱们结合实际需求及提高安全性做了如下装备：

management.health.elasticsearch.enabled=false
management.endpoints.web.exposure.include=*
management.endpoints.web.base-path=/api/actuator
management.metrics.tags.application=${service.name}
management.metrics.tags.appid=${service.appid}
management.server.port=8090

management.server.port：启用独立的端口来供给监控，避免监控相关 api 暴露在服务外；
management.metrics.tags.xxx：在计算信息中增加自定义的标签；
management.endpoints.web.exposure.include：用于包括咱们要揭露的端点列表 , 咱们这儿设置为* 代表一切。

观察运用程序监控数据

当咱们运行编写好的程序后，经过拜访 http://localhost:8090/api/actuator/prometheus 能够看到类似如下数据，其中就有咱们经过装备增加的 tag 数据，后续咱们布置的 monitor 会经过如下地址将数据收集到 Prometheus 中。

运用布置装备

1. 编写 DevOps 文件

pipeline {
  agent {
    node {
      label 'maven'
    }
  }
    options{
      buildDiscarder(logRotator(numToKeepStr: '10'))
    }
    parameters {
        string(name:'APP_NAME',defaultValue: 'accounts-service',description:'运用称号 有必要运用小写 需跟maven构建中一致')
        string(name:'PROJECT_NAMESPACE',defaultValue: 'basebiz',description:'布置项目集称号')
        string(name:'SERVICE_SRC_PATH',defaultValue: 'accounts-service-webapp',description:'war包路径')
        string(name:'PROGECT_GIT_PATH',defaultValue:'basebiz/accounts-service.git',description:'项目gitlabpath ')
        string(name:'TAG_NAME',defaultValue: '',description:'tag 发布线上有必要填写 格局v20210101(v+当时日期)')
        string(name:'PODCOUNT',defaultValue: '2',description:'布置pod数量')
        string(name:'HEALTH_CHECK_URI',defaultValue: '/api/actuator/health',description:'健康检测地址')
    }
    environment {
        //构建镜像
        REGISTRY = 'hub.xxxx.cn'
        DOCKERHUB_NAMESPACE = 'app'
        DOCKER_CREDENTIAL_ID = 'dockerhub-account' //hub账号密钥
        GITHUB_CREDENTIAL_ID = 'gitlab-account' //gitlab账号密钥
        //环境布置凭证
        KUBECONFIG_CREDENTIAL_ID_DEV = 'testing-kubeconfig'
        KUBECONFIG_CREDENTIAL_ID_VIEW = 'xxxxaliyun-testing'
        KUBECONFIG_CREDENTIAL_ID_PROD = 'xxx-prod'
        DOWNLOAD_BASEDOMAIN = 'gitlab.xxxx.cn' //公共资源下载
        COMMIT_ID= sh(  returnStdout: true, script: 'git rev-parse --short HEAD').trim()
    }
 stages {
        stage ('迁出代码') {
            steps {
                checkout(scm)
            }
        }
        stage ('编译') {
            steps {
                container ('maven') {
                    //***************************************
                    //**************下载通用模版***************
                    sh 'curl -o `pwd`/start.sh https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/shell/springboot-start.sh'
                    sh 'curl -o `pwd`/settings.xml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/setting.xml'
                    sh 'curl -o `pwd`/Dockerfile https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/dockerfile/javaservice/dockerfile'
                    //***************************************
                    sh 'mkdir `pwd`/yaml'
                    sh 'curl -o `pwd`/yaml/devops-java.yaml https://${DOWNLOAD_BASEDOMAIN}/base/basicevn/-/raw/master/yaml/java-service-v1.0.0.yaml'
                    sh 'mvn -Dmaven.test.skip=true -gs `pwd`/settings.xml clean package -U -Denv.trackerror=true'
                }
            }
        }
        stage('构建并推送镜像'){
           steps{
                container ('maven') {
                  sh 'docker build --build-arg SERVICE_SRC_PATH=$SERVICE_SRC_PATH \
                     --build-arg GENERATE_PATH=generated-resources/appassembler/jsw/$APP_NAME \
                     --build-arg RELEASE_NAME=$BRANCH_NAME-$BUILD_NUMBER \
                     --build-arg APP_NAME=$APP_NAME \
                     -f Dockerfile \
                     -t $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID \
                     --no-cache .'
                  withCredentials([usernamePassword(passwordVariable : 'DOCKER_PASSWORD' ,usernameVariable : 'DOCKER_USERNAME' ,credentialsId : "$DOCKER_CREDENTIAL_ID" ,)]) {
                        sh 'echo "$DOCKER_PASSWORD" | docker login $REGISTRY -u "$DOCKER_USERNAME" --password-stdin'
                        sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID'
                  }
                  sh 'docker tag  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '
                  sh 'docker push  $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:latest '
                }
           }
        }
         stage("gitlab 打 tag"){
          when{
            expression{
              return params.TAG_NAME =~ /v.*/
            }
          }
         steps {
                withCredentials([usernamePassword(credentialsId: "$GITHUB_CREDENTIAL_ID", passwordVariable: 'GIT_PASSWORD', usernameVariable: 'GIT_USERNAME')]) {
                                       sh 'git config --global user.email "xxxx@xxxx.cn" '
                                       sh 'git config --global user.name "xxxx" '
                                       sh 'git tag -a $TAG_NAME-$BUILD_NUMBER -m "$TAG_NAME" '
                                       sh 'git push https://$GIT_USERNAME:$GIT_PASSWORD@$DOWNLOAD_BASEDOMAIN/$PROGECT_GIT_PATH --tags --ipv4'
                                     }
                }
         }
        stage('布置测试环境') {
         // when{
         //   branch 'master'
         // }
          steps {
            //input(id: 'deploy-to-dev', message: 'deploy to dev?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_DEV")
          }
        }
        stage('布置出产环境') {
          when{
            expression{
              return params.TAG_NAME =~ /v.*/
            }
          }
          steps {
            input(id: 'deploy-to-prod', message: '是否允许发布出产?')
            kubernetesDeploy(configs: 'yaml/**', enableConfigSubstitution: true, kubeconfigId: "$KUBECONFIG_CREDENTIAL_ID_PROD")
          }
        }
    }
}

Jenkinsfile 文件描绘了如下几个过程：

下载通用模版文件（maven setting、布置的 yaml 文件，构建容器镜像的 Dockerfile）
运用 Maven 编译 Java 运用程序
将编译后的 Java 运用程序打包为 Docker 镜像
将构建好的 Docker 镜像推送到私有 DockerHub 中
将容器镜像布置到各个环境中

界面执行效果为：

2. 编写布置的 yaml 文件

# java deployment基本装备
apiVersion: apps/v1
kind: Deployment
metadata:
  labels:
    app: $APP_NAME
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
    tier: backend
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
spec:
  progressDeadlineSeconds: 600
  replicas: ${PODCOUNT}
  selector:
    matchLabels:
      app: $APP_NAME
      component: ${PROJECT_NAMESPACE}-${APP_NAME}
      tier: backend
  template:
    metadata:
      labels:
        app: $APP_NAME
        component: ${PROJECT_NAMESPACE}-${APP_NAME}
        tier: backend
        release: java-actuator-prometheus
      annotations:
        prometheus.io/path: /api/actuator/prometheus
        prometheus.io/port: '8090'
        prometheus.io/scrape: 'true'
    spec:
      volumes:
        - name: base-config
          configMap:
            name: base-config
            items:
              - key: server.properties
                path: server.properties
            defaultMode: 420
        - name: logconfig
          configMap:
            name: logconfig
            items:
              - key: logging-config.xml
                path: logging-config.xml
            defaultMode: 420
      containers:
        - env:
            - name: HOST_IP
              valueFrom:
                fieldRef:
                  apiVersion: v1
                  fieldPath: status.hostIP
            - name: DEPLOY_ENV
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: env
            - name: NACOS_SERVER
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: nacos-server
            - name: DB_SERVER_ADDRESS
              valueFrom:
                configMapKeyRef:
                  name: base-config
                  key: DB_SERVER_ADDRESS
          image: $REGISTRY/$DOCKERHUB_NAMESPACE/$APP_NAME:$BRANCH_NAME-$TAG_NAME-$BUILD_NUMBER-$COMMIT_ID
          readinessProbe:
            httpGet:
              path: ${HEALTH_CHECK_URI}
              port: 8090
            initialDelaySeconds: 30
            timeoutSeconds: 10
            failureThreshold: 30
            periodSeconds: 5
          imagePullPolicy: Always
          name: ${PROJECT_NAMESPACE}-${APP_NAME}
          ports:
            - containerPort: 8080
              protocol: TCP
            - containerPort: 8090
              protocol: TCP
          resources:
            limits:
              cpu: 2000m
              memory: 600Mi
            requests:
              cpu: 1m
              memory: 100Mi
          terminationMessagePath: /dev/termination-log
          terminationMessagePolicy: File
      dnsPolicy: ClusterFirst
      restartPolicy: Always
      terminationGracePeriodSeconds: 30
---
# 服务svc装备信息
apiVersion: v1
kind: Service
metadata:
  labels:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    release: java-actuator-prometheus
  name: ${PROJECT_NAMESPACE}-${APP_NAME}
  namespace: ${PROJECT_NAMESPACE}
  annotations:
    prometheus.io/path: /api/actuator/prometheus
    prometheus.io/port: '8090'
    prometheus.io/scrape: 'true'
spec:
  ports:
    - name: http
      port: 8080
      protocol: TCP
      targetPort: 8080
    - name: http-actuator
      port: 8090
      protocol: TCP
      targetPort: 8090
  selector:
    app: ${APP_NAME}
    component: ${PROJECT_NAMESPACE}-${APP_NAME}
    tier: backend
  sessionAffinity: None
  type: ClusterIP

经过如上的 yaml 咱们会布置运用负载容器及服务 SVC。

咱们在 Deployment 的 metadata 中进行了如下的描绘后期在布置 ServiceMonitor 的时分会运用到。

在 Kubernetes 中布置 ServiceMonitor

预备咱们对应 Java 服务的 ServiceMonitor 布置文件

apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus

yaml 描绘了咱们将收集什么 namespace 下面的数据，在这儿咱们将 namespace 设置为了 default，将收集一切 namespace 下面的数据，同时咱们将 selector 下的 release：xx 设置成了与咱们布置的微服务的 metadata 的 release 一致，那么 ServiceMonitor 将收集到一切 namespace 下面标示了 release 为 java-actuator-prometheus 的一切服务的数据。

将 ServiceMonitor 布置到集群中

咱们能够经过 kubectl apply 将其布置到集群中。

kubectl apply -f - <<EOF
apiVersion: monitoring.coreos.com/v1
kind: ServiceMonitor
metadata:
  labels:
    app: java-actuator-prometheus
    component: java-actuator-prometheus
    heritage: Tiller
    release: prometh-java-actuator
  name: monitor-java-actuator-prometheus
  namespace: default
spec:
  endpoints:
    - honorLabels: true
      interval: 5s
      path: /api/actuator/prometheus
      port: http
  jobLabel: java-actuator-prometheus
  namespaceSelector:
    any: true
  selector:
    matchLabels:
      release: java-actuator-prometheus
EOF

执行成功后咱们能够在集群的 CRD 下面查找 ServiceMonitor 并翻开能够找到咱们布置的 ServiceMonitor 装备。如图所示：

当然你也能够经过命令行进行查询验证。

验证数据收集并装备 Grafana

检查系统 Prometheus 地址并查询数据

咱们能够在集群中的如下地址找到 KubeSphere 系统集成的 Prometheus 服务，如图所示

拜访 Prometheus Web 界面。

经过 3.1.1 咱们能够看到普罗米修斯服务的 ip 地址为 172.17.107.29，默认端口为 9090。咱们在浏览器输入 http://172.17.107.29:9090，能够看到如图所示：

在 KubeSphere 中装备自定义监控及告警

1. 自定义监控

咱们能够拜访-集群-> 监控告警-> 自定义监控进入，如图所示：

咱们点击创立能够看到 KubeSphere 现已集成了部分监控面板，这儿咱们挑选 Grafana。

在下一步后系统会让咱们上传 JSON 模版咱们能够经过 grafana 官网下载一些通用的模版装备，这儿咱们运用的是 JVM (Micrometer)。在右侧能够下载 JSON 文件。

导入后咱们就能够看到相关监控指标了。

2. 自定义告警

咱们也能够运用系统集成的告警战略设置根据收集数据的自定义告警设置。例如：

运用外置的 Grafana

装置 Grafana

装备运用库房
- 为了快速的装置 Helm 运用咱们能够顺次翻开企业空间-运用办理-运用库房；
- 在点击右边的增加按钮这儿咱们增加的是 bitmap 的运用库房地址：charts.bitnami.com/bitnami；
- 增加完成后稍等片刻运用列表就加载完毕。
装置 grafana 运用
- 咱们顺次翻开企业空间-项目-点击要装置到的详细项目-点击运用-点击右侧的创立按钮；
- 弹出对话框中点击从运用模版，从运用库房列表中挑选咱们刚刚增加的 bitnami 的库房，查找 Grafana 点击后装置即可。

Grafana 数据源

咱们运用办理员账号登录进 Grafana，默认暗码能够在项目的保密字典中的 grafana-admin 中找到；
登录后咱们点击左侧的小齿轮-datasource 在翻开页面中挑选 Add data source 然后挑选 Prometheus 在 URL 中填入咱们上面提到的 Prometheus 的 URL 地址。如图所示：
填写后拖到最下面，点击 save&test。

导入 Dashbord

咱们点击页面左侧➕-import；
输入咱们从 grafana 官网取得的对应的模版的 id 点击 load；
在下一步中挑选 Prometheus 为咱们装备的数据源点击 import 即可。

本文由博客一文多发平台 OpenWrite 发布！

在 KubeSphere 中使用 DevOps 部署 Java 微服务配置监控预警

开发 Java 微服务并引进监控组件

项目中引进 Actuator

装备 Actuator

运用布置装备

在 Kubernetes 中布置 ServiceMonitor

预备咱们对应 Java 服务的 ServiceMonitor 布置文件

将 ServiceMonitor 布置到集群中

验证数据收集并装备 Grafana

检查系统 Prometheus 地址并查询数据

在 KubeSphere 中装备自定义监控及告警

运用外置的 Grafana

相关文章

透过inode来理解硬链接和软链接

== 和 equals：对象相等性比较的细微差别

数据科学在文本分析中的应用 ：中英文 NLP（上）

论文解析：Inception_V2(Batch Normalization)

作者信息

数据科学在文本分析中的应用：中英文 NLP（上）