SiameseUIE中文-base部署教程：阿里云ACK集群中GPU资源弹性伸缩配置

当前位置：资讯 > 日本CN2服务器 >SiameseUIE中文-base部署教程：阿里云ACK集群中GPU资源弹性伸缩配置

SiameseUIE中文-base部署教程：阿里云ACK集群中GPU资源弹性伸缩配置

1. 引言

信息抽取是自然语言处理中的一项核心任务，它就像从一篇文档里快速找出关键信息，比如人名、地点、事件关系等。传统方法往往需要为每个任务单独训练模型，费时费力。今天要介绍的 SiameseUIE 模型，则像一把“万能钥匙”，一个模型就能搞定命名实体识别、关系抽取、事件抽取等多种任务，而且支持“零样本”学习，这意味着你只需要告诉它你想找什么，它就能从没见过的文本里帮你找出来。

2. 环境准备与模型概览

在开始配置弹性伸缩之前，我们需要先了解要部署的应用和准备基础环境。

2.1 SiameseUIE模型简介

SiameseUIE是一个基于StructBERT的通用信息抽取模型。它的核心思路很巧妙：结合提示（Prompt） 和文本（Text），利用指针网络（Pointer Network） 来精准定位文本中的信息片段。

模型来源：阿里达摩院 ModelScope
模型大小：约391 MB
核心功能：支持零样本（Zero-shot）信息抽取，无需针对特定领域数据进行训练。
- 命名实体识别 (NER)：识别人物、地点、组织机构等。
- 关系抽取 (RE)：抽取实体之间的关系，如“人物-工作于-公司”。
- 事件抽取 (EE)：识别事件类型及其要素，如“比赛-时间、地点、参赛者”。
- 属性情感抽取 (ABSA)：分析评论中的属性及其情感倾向，如“手机-电池-好评”。

2.2 基础环境要求

我们的目标是将这个模型部署为云原生应用。你需要准备：

一个阿里云ACK集群：确保集群版本为1.20及以上，并已安装NVIDIA设备插件（nvidia-device-plugin），以便集群能识别GPU。
配置好的kubectl命令行工具：能够连接到你的ACK集群。
Docker镜像：我们已经将SiameseUIE模型及其Gradio Web界面打包成镜像。你可以直接从阿里云容器镜像服务ACR的公共仓库拉取，或根据提供的Dockerfile自行构建。

3. 在ACK中部署SiameseUIE应用

首先，我们完成基础部署，让应用能在ACK集群中运行起来。

3.1 创建Kubernetes部署文件

创建一个名为 siamese-uie-deployment.yaml 的文件，内容如下。这个文件定义了一个Deployment（部署）和一个Service（服务）。

apiVersion: apps/v1
kind: Deployment
metadata:
  name: siamese-uie
  namespace: default
spec:
  replicas: 1 # 初始副本数为1
  selector:
    matchLabels:
      app: siamese-uie
  template:
    metadata:
      labels:
        app: siamese-uie
    spec:
      containers:
      - name: siamese-uie-container
        image: registry.cn-hangzhou.aliyuncs.com/your-namespace/siamese-uie:latest # 请替换为你的镜像地址
        ports:
        - containerPort: 7860 # Gradio默认端口
        resources:
          limits:
            nvidia.com/gpu: 1 # 申请1块GPU
            memory: "4Gi"
            cpu: "2"
          requests:
            nvidia.com/gpu: 1
            memory: "2Gi"
            cpu: "1"
        env:
        - name: MODEL_CACHE_PATH
          value: "/app/models"
---
apiVersion: v1
kind: Service
metadata:
  name: siamese-uie-service
spec:
  selector:
    app: siamese-uie
  ports:
  - port: 80
    targetPort: 7860
  type: LoadBalancer # 创建公网SLB，方便从外部访问

关键点说明：

replicas: 1：一开始只启动1个应用副本。
nvidia.com/gpu: 1：为该Pod（应用实例）申请1块GPU。这是GPU弹性伸缩的基础。
type: LoadBalancer：服务类型，阿里云会自动创建一个公网SLB，并分配一个IP地址，通过这个IP就能访问我们的信息抽取Web界面。

3.2 执行部署

使用kubectl命令将应用部署到集群：

kubectl apply -f siamese-uie-deployment.yaml

部署完成后，查看服务状态，获取公网访问地址：

kubectl get svc siamese-uie-service

等待EXTERNAL-IP从<pending>变为一个具体的IP地址。在浏览器中访问 http://<EXTERNAL-IP>，你应该能看到SiameseUIE的Gradio操作界面。

4. 配置GPU弹性伸缩

现在应用已经跑起来了，但只用了1块固定的GPU。接下来我们配置弹性伸缩，让GPU数量能根据需求自动调整。这里我们使用Kubernetes的Cluster Autoscaler (CA) 和阿里云ACK的弹性节点池来实现。

4.1 创建带GPU的弹性节点池

登录阿里云ACK控制台，进入你的集群。
在左侧导航栏，选择节点管理 > 节点池。
点击创建节点池。
关键配置：
- 节点池类型：选择弹性节点池。
- 实例类型：选择包含GPU的实例规格，例如 ecs.gn6i-c4g1.xlarge（搭载1颗NVIDIA T4 GPU）。
- 操作系统：选择阿里云Linux 2或Ubuntu。
- 数量：设置最小实例数为0，最大实例数根据你的预算和需求设置（例如5）。这意味着平时可以没有GPU节点，需要时再自动创建。
- 节点标签：添加一个标签，例如 gpu-type: t4，方便后续调度。
完成其他网络、安全组配置后，点击确认创建。

4.2 配置Cluster Autoscaler伸缩策略

ACK集群默认已安装Cluster Autoscaler。我们需要确保其配置能识别我们的GPU节点池并进行伸缩。

查看CA配置：

kubectl get configmap -n kube-system cluster-autoscaler-status -o yaml

你需要确保CA的启动参数中包含了你的GPU节点池的伸缩组ID。这通常在创建弹性节点池时自动完成。你可以在节点池详情页找到伸缩组ID。
更精细的控制可以通过为Deployment添加**资源请求（requests）和限制（limits）**来实现，正如我们在 siamese-uie-deployment.yaml 中已经做的那样。当所有GPU节点的资源都被占用，且有新的待调度Pod（例如，我们手动扩容了副本）申请GPU时，CA就会触发弹性节点池扩容，新增一个GPU节点。

4.3 实践：触发GPU弹性伸缩

让我们模拟一个高并发场景，触发自动扩容。

水平扩容应用副本：假设我们预期流量增长，需要更多应用实例来处理请求。
```
kubectl scale deployment siamese-uie --replicas=3
```
这条命令希望将SiameseUIE的副本数从1增加到3。但当前集群只有1块GPU（被第一个Pod占用），剩下的2个Pod会因为“找不到可用GPU”而处于Pending状态。
观察自动伸缩：
```
# 查看Pod状态，会看到有Pod处于Pending
kubectl get pods -l app=siamese-uie -w

# 查看节点池和节点变化
kubectl get nodes
```
此时，Cluster Autoscaler检测到有无法调度的Pod（因为GPU资源不足），就会向你的GPU弹性节点池发出扩容请求。大约2-5分钟后，一个新的GPU节点会被创建并加入集群。随后，处于Pending状态的Pod会被自动调度到这个新节点上运行。
流量下降，自动缩容：当夜间或业务低峰期，我们可以将副本数调回。
```
kubectl scale deployment siamese-uie --replicas=1
```
一段时间后（默认10分钟，可配置），CA会检测到GPU节点利用率过低，并逐步安全地驱逐节点上的Pod（将其重新调度到其他节点），最终缩容并释放空闲的GPU节点，从而节省成本。

5. 使用示例与效果验证

部署并配置好弹性伸缩后，让我们验证一下服务是否正常，并体验一下SiameseUIE的强大功能。

通过之前获取的公网IP访问Web界面。你可以直接使用以下示例进行测试：

5.1 命名实体识别测试

在Web界面的“输入文本”框填入：

1944年毕业于北大的名古屋铁道会长谷口清太郎等人在日本积极筹资，共筹款2.7亿日元，参加捐款的日本企业有69家。

在“Schema”框填入：

{"人物": null, "地理位置": null, "组织机构": null}

点击提交，模型会快速抽取出：

人物：谷口清太郎
地理位置：日本、名古屋
组织机构：北大、名古屋铁道

5.2 关系抽取测试

输入文本：

在北京冬奥会自由式中，2月8日上午，滑雪女子大跳台决赛中中国选手谷爱凌以188.25分获得金牌。

Schema：

{"人物": {"比赛项目": null, "参赛地点": null}}

结果将显示：

人物：谷爱凌
- 比赛项目：滑雪女子大跳台决赛
- 参赛地点：北京冬奥会

这些测试成功运行，即证明我们的SiameseUIE应用在ACK集群中部署成功，且背后的GPU资源能够根据我们手动调整的副本数（模拟的负载变化）进行弹性伸缩。

6. 总结

通过本教程，我们完成了从零到一，在阿里云ACK集群中部署SiameseUIE通用信息抽取模型，并配置GPU资源弹性伸缩的全过程。

核心步骤回顾：

理解模型：认识了SiameseUIE这个支持零样本、多任务合一的信息抽取利器。
基础部署：编写Kubernetes YAML文件，将模型以Web服务的形式部署到集群，并申请GPU资源。
配置弹性：创建GPU弹性节点池，并依托Kubernetes Cluster Autoscaler，实现了根据应用负载（Pod副本数）自动创建和释放GPU节点。
验证效果：通过实际用例测试了服务功能，并观察了弹性伸缩的触发过程。

这种部署方式的优势非常明显：