ansible-devops/scripts/deploy_gpu_monitor.sh

#!/bin/bash

# 脚本部署工具 - 下载并配置GPU监控脚本
set -euo pipefail
IFS=$'\n\t'

# 颜色定义
RED='\033[0;31m'
GREEN='\033[0;32m'
YELLOW='\033[0;33m'
BLUE='\033[0;34m'
NC='\033[0m' # 恢复默认颜色

# 配置信息
SCRIPT_URL="http://116.205.97.109/scripts/gpu_metrics.sh"  # 脚本下载地址
TARGET_DIR="/opt/scripts"                     # 脚本存放目录
TARGET_SCRIPT="${TARGET_DIR}/gpu_monitor.sh" # 目标脚本路径
CRON_SCHEDULE="*/3 * * * *"                  # 定时任务执行频率
LOG_FILE="/var/log/gpu_monitor.log"          # 日志文件路径
METRICS_DIR="/var/lib/node_exporter/textfile_collector"  # 指标文件目录
METRICS_FILE="${METRICS_DIR}/gpu_metrics.prom"  # 指标文件
NODE_EXPORTER_SERVICE="node_exporter.service"  # node_exporter服务名


# 帮助信息
show_help() {
    echo -e "${BLUE}用法: $0 [选项]${NC}"
    echo -e "${BLUE}GPU监控脚本部署工具（必须指定--install或--uninstall）${NC}"
    echo ""
    echo -e "${GREEN}选项:${NC}"
    echo -e "  ${YELLOW}--install${NC}    安装并配置GPU监控脚本，重启node_exporter"
    echo -e "  ${YELLOW}--uninstall${NC}  卸载GPU监控脚本及配置，删除指标文件并重启node_exporter"
    echo -e "  ${YELLOW}--help${NC}       显示此帮助信息"
    echo ""
}

# 检查是否以root权限运行
check_root() {
    if [ "$(id -u)" -ne 0 ]; then
        echo -e "${RED}错误: 此脚本需要root权限运行，请使用sudo${NC}" >&2
        exit 1
    fi
}

# 检查服务是否存在
service_exists() {
    systemctl list-units --all --full -t service --no-legend "$1" | grep -q "$1"
}

# 重启node_exporter并检查状态
restart_node_exporter() {
    echo -e "${BLUE}检查node_exporter服务状态...${NC}"
    if service_exists "${NODE_EXPORTER_SERVICE}"; then
        echo -e "${BLUE}正在重启node_exporter服务...${NC}"
        systemctl restart "${NODE_EXPORTER_SERVICE}" || true  # 允许失败，不中断流程
        
        echo -e "${BLUE}检查node_exporter状态...${NC}"
        if systemctl is-active --quiet "${NODE_EXPORTER_SERVICE}"; then
            echo -e "${GREEN}node_exporter状态: 运行中${NC}"
        else
            echo -e "${YELLOW}警告: node_exporter未正常运行，请查看日志：journalctl -u ${NODE_EXPORTER_SERVICE}${NC}" >&2
        fi
    else
        echo -e "${YELLOW}警告: node_exporter服务不存在，跳过重启${NC}" >&2
    fi
}

# 安全添加定时任务（避免重复）
add_cron_job() {
    local cron_line="${CRON_SCHEDULE} bash ${TARGET_SCRIPT} > ${LOG_FILE} 2>&1"
    
    # 检查任务是否已存在（精确匹配）
    if crontab -l 2>/dev/null | grep -qxF "${cron_line}"; then
        echo -e "${YELLOW}定时任务已存在，跳过添加${NC}"
        return 0
    fi
    
    # 备份现有crontab
    local backup_file="/tmp/crontab_backup_$(date +%s)"
    crontab -l 2>/dev/null > "${backup_file}" || true
    
    # 添加新任务
    echo -e "${BLUE}添加定时任务: ${cron_line}${NC}"
    (
        crontab -l 2>/dev/null || true  # 获取现有crontab（如果有）
        echo "${cron_line}"             # 添加新任务
    ) | crontab -
    
    # 验证添加结果
    if crontab -l 2>/dev/null | grep -qxF "${cron_line}"; then
        echo -e "${GREEN}定时任务添加成功${NC}"
    else
        echo -e "${RED}错误: 定时任务添加失败${NC}" >&2
        # 恢复备份
        if [ -f "${backup_file}" ]; then
            crontab "${backup_file}"
            echo -e "${BLUE}已恢复原crontab${NC}"
        fi
        return 1
    fi
}

# 安装函数
install_script() {
    echo -e "${GREEN}===== 开始安装GPU监控脚本 =====${NC}"
    
    # 1. 清理旧指标文件（避免残留数据）
    echo -e "${BLUE}清理旧指标文件...${NC}"
    if [ -f "${METRICS_FILE}" ]; then
        rm -f "${METRICS_FILE}"
        echo -e "${GREEN}已删除旧指标文件: ${METRICS_FILE}${NC}"
    fi
    
    # 2. 创建目标目录并下载脚本
    mkdir -p "${TARGET_DIR}"
    cd "${TARGET_DIR}"
    
    echo -e "${BLUE}正在下载GPU监控脚本...${NC}"
    wget -q -O "${TARGET_SCRIPT}" "${SCRIPT_URL}" || {
        echo -e "${RED}错误: 无法从 ${SCRIPT_URL} 下载脚本${NC}" >&2
        exit 1
    }
    chmod +x "${TARGET_SCRIPT}"
    
    # 3. 脚本配置（确保GPU总数为8）
    echo -e "${BLUE}配置脚本参数...${NC}"
    sed -i 's/EXPECTED_GPUS=".*"/EXPECTED_GPUS="0 1 2 3 4 5 6 7"/' "${TARGET_SCRIPT}"
    
    # 4. 准备metrics目录
    mkdir -p "${METRICS_DIR}"
    chmod 755 "${METRICS_DIR}"
    
    # 5. 配置定时任务（安全添加，避免重复）
    echo -e "${BLUE}配置定时任务...${NC}"
    add_cron_job || exit 1
    
    # 6. 首次执行脚本生成指标
    echo -e "${BLUE}测试执行脚本...${NC}"
    "${TARGET_SCRIPT}" || {
        echo -e "${RED}错误: 脚本执行失败，请检查日志: ${LOG_FILE}${NC}" >&2
        exit 1
    }
    
    # 7. 重启node_exporter使配置生效
    restart_node_exporter
    
    # 8. 验证结果
    echo -e "${GREEN}===== 安装完成 =====${NC}"
    echo -e "${BLUE}脚本位置:${NC} ${TARGET_SCRIPT}"
    echo -e "${BLUE}定时任务:${NC} $(crontab -l | grep "${TARGET_SCRIPT}")"
    echo -e "${BLUE}日志文件:${NC} ${LOG_FILE}"
    echo -e "${BLUE}指标文件:${NC} ${METRICS_FILE}${GREEN}（已生成）${NC}"
    echo -e "${BLUE}node_exporter状态:${NC} $(systemctl is-active "${NODE_EXPORTER_SERVICE}" 2>/dev/null || echo -e "${YELLOW}未安装${NC}")"
}

# 卸载函数
uninstall_script() {
    echo -e "${YELLOW}===== 开始卸载GPU监控脚本 =====${NC}"
    
    # 1. 移除定时任务
    echo -e "${BLUE}删除定时任务...${NC}"
    local cron_line="${CRON_SCHEDULE} ${TARGET_SCRIPT} >> ${LOG_FILE} 2>&1"
    
    if crontab -l 2>/dev/null | grep -qxF "${cron_line}"; then
        # 备份现有crontab
        local backup_file="/tmp/crontab_backup_$(date +%s)"
        crontab -l > "${backup_file}"
        
        # 移除任务
        crontab -l | grep -vxF "${cron_line}" | crontab -
        
        # 验证移除结果
        if ! crontab -l 2>/dev/null | grep -qxF "${cron_line}"; then
            echo -e "${GREEN}已成功删除定时任务${NC}"
        else
            echo -e "${RED}错误: 定时任务删除失败${NC}" >&2
            # 恢复备份
            crontab "${backup_file}"
            echo -e "${BLUE}已恢复原crontab${NC}"
            exit 1
        fi
    else
        echo -e "${YELLOW}未找到相关定时任务，跳过${NC}"
    fi
    
    # 2. 删除脚本文件
    echo -e "${BLUE}删除监控脚本...${NC}"
    if [ -f "${TARGET_SCRIPT}" ]; then
        rm -f "${TARGET_SCRIPT}"
        echo -e "${GREEN}已删除脚本: ${TARGET_SCRIPT}${NC}"
    else
        echo -e "${YELLOW}脚本文件不存在，跳过${NC}"
    fi
    
    # 3. 删除指标文件
    echo -e "${BLUE}删除指标文件...${NC}"
    if [ -f "${METRICS_FILE}" ]; then
        rm -f "${METRICS_FILE}"
        echo -e "${GREEN}已删除指标文件: ${METRICS_FILE}${NC}"
    else
        echo -e "${YELLOW}指标文件不存在，跳过${NC}"
    fi
    
    # 4. 删除日志文件
    echo -e "${BLUE}删除日志文件...${NC}"
    if [ -f "${LOG_FILE}" ]; then
        rm -f "${LOG_FILE}"
        echo -e "${GREEN}已删除日志文件: ${LOG_FILE}${NC}"
    else
        echo -e "${YELLOW}日志文件不存在，跳过${NC}"
    fi
    
    # 5. 重启node_exporter
    restart_node_exporter
    
    # 6. 验证结果
    echo -e "${YELLOW}===== 卸载完成 =====${NC}"
    echo -e "${BLUE}node_exporter状态:${NC} $(systemctl is-active "${NODE_EXPORTER_SERVICE}" 2>/dev/null || echo -e "${YELLOW}未安装${NC}")"
}

# 主逻辑
check_root

# 参数检查
if [ $# -ne 1 ]; then
    echo -e "${RED}错误: 必须指定--install或--uninstall${NC}" >&2
    show_help
    exit 1
fi

# 执行对应操作
case "$1" in
    --install)
        install_script
        ;;
    --uninstall)
        uninstall_script
        ;;
    --help)
        show_help
        exit 0
        ;;
    *)
        echo -e "${RED}错误: 未知参数 '$1'${NC}" >&2
        show_help
        exit 1
        ;;
esac