一键受控巡检

/opt/bnt-ops/bin/verify-services.sh

失败 Unit 与核心状态

systemctl --failed --no-pager
systemctl is-active bnt-backtest bnt-ai-analysis market-data-mcp \
  bnt-qmt-trace-service bnt-ai-live-fact-bridge \
  hermes-gateway hermes-dashboard nginx

容器健康

docker ps --format 'table {{.Names}}\t{{.Status}}\t{{.Ports}}'
docker inspect --format '{{.Name}} {{.State.Health.Status}}' bt_mysql bt_redis

资源基线

uptime
free -h
df -h / /data /opt
systemd-cgtop --depth=2

异常日志窗口

journalctl -p warning --since '30 min ago' --no-pager
journalctl --disk-usage

• 磁盘空间足够容纳新 release 与数据库备份
• 可用内存满足构建或研究任务预算
• 变更前现网没有未解释的 DOWN/DEGRADED
• 交易时段不操作 QMT Trace 等高风险服务

实时日志

journalctl -u bnt-ai-analysis -f
journalctl -u bnt-backtest -f
journalctl -u market-data-mcp -f
journalctl -u hermes-gateway -f
journalctl -u bnt-qmt-trace-service -f
journalctl -u bnt-ai-live-fact-bridge -f
journalctl -u bnt-platform-control-center -f

最近记录与启动周期

journalctl -u bnt-ai-analysis -n 200 --no-pager
journalctl -u bnt-ai-analysis --since '1 hour ago' --no-pager
journalctl -u bnt-ai-analysis -b --no-pager
systemctl status bnt-ai-analysis --no-pager --full

优先记录首次异常时间、Unit、release ID、错误类型和依赖状态。不要只截取最后一行异常。

推荐入口

Jenkins: BNT-Service-Operations
ACTION: status | logs | restart
LOG_LINES: 1–1000

服务器受控脚本

/opt/bnt-ops/bin/service-action.sh bnt-ai-analysis status
/opt/bnt-ops/bin/service-action.sh bnt-ai-analysis logs 200
/opt/bnt-ops/bin/service-action.sh bnt-ai-analysis restart

终端应急命令

systemctl status bnt-backtest bnt-ai-analysis market-data-mcp --no-pager
systemctl is-active bnt-backtest bnt-ai-analysis market-data-mcp
systemctl restart bnt-backtest
systemctl restart bnt-ai-analysis
systemctl restart market-data-mcp

应急重启前先记录状态与日志；完成后运行全局健康检查。不要用 restart 代替发布。

推荐入口

https://jenkins.bntinvestment.com

公网只开放 Nginx 443；Jenkins 宿主端口 127.0.0.1:18088 继续保持 loopback，不加入云安全组公网规则。

应急 SSH 隧道

ssh -L 18088:127.0.0.1:18088 root@47.106.221.211
http://127.0.0.1:18088

发布前后

1. 运行 BNT-Health-Check 并记录现网基线
2. 确认仓库、分支和 40 位 commit
3. 核对测试开关、交易窗口与配置版本
4. 在 Confirm 页面核对 release 与摘要
5. 发布后检查 Unit、健康接口、Nginx 和核心业务
6. 记录 commit、release、迁移、操作人和验收结果

创建与核对数据库备份

/opt/bnt-ops/bin/backup-bt-ai.sh
find /data/backup/bnt/releases -maxdepth 1 -name 'bt_ai_*.sql.gz' \
  -printf '%TY-%Tm-%Td %TH:%TM %s %f\n' | sort -r | head
gzip -t /data/backup/bnt/releases/bt_ai_YYYYMMDDHHMMSS.sql.gz

备份使用 single-transaction，落盘为 0600；小于 1 KiB 或 gzip 校验失败会拒绝成功。

恢复前检查单

1. 确认恢复目标、备份时间、文件大小和 gzip 完整性
2. 记录当前 release、migration 版本与所有依赖状态
3. 停止会继续写入目标 Schema 的业务流量
4. 先在隔离 Schema 验证备份可导入和关键表完整
5. 明确回退方案和维护窗口后再执行生产恢复
6. 恢复后运行 migration、健康检查和核心业务验收

本页面不提供数据库导入命令，避免把破坏性恢复误当作日常操作。

生效配置

/etc/nginx/sites-enabled/bnt-backend
/etc/nginx/snippets/bnt-control-center.conf
/etc/nginx/sites-enabled/ops.bntinvestment.com
/etc/nginx/sites-enabled/jenkins.bntinvestment.com
/etc/nginx/conf.d/jenkins-upstream.conf
/etc/nginx/snippets/jenkins-proxy.conf

验证与重载

nginx -t
systemctl status nginx --no-pager
journalctl -u nginx -n 200 --no-pager
systemctl reload nginx
tail -n 200 /var/log/nginx/jenkins.error.log

固定入口

• bntinvestment.com → 主站 Web/API
• ops.bntinvestment.com → 独立运维中心
• jenkins.bntinvestment.com → Jenkins HTTPS 入口
• www.bntinvestment.com/ops/ → 兼容入口
• /internal 与 /actuator 在运维域名公网返回 404
• Jenkins 18088 仅 loopback，经 Nginx 443 反向代理

TLS 自动续期

systemctl status certbot.timer --no-pager
certbot renew --dry-run

禁止事项

• 禁止在浏览器、聊天或构建日志中显示 ENV、Token 和密码
• 禁止把 Jenkins 密码文件内容复制出服务器
• 禁止用 root 运行新的业务进程
• 禁止绕过 Jenkins 直接覆盖不可变 release 制品
• 禁止在交易窗口发布或重启实盘高风险服务
• 禁止对不明目录、数据卷执行递归删除

变更验收

• 目标 commit / release / 配置 revision 已记录
• 所有受影响 Unit 为 active
• 健康接口和 BNT-Health-Check 通过
• Nginx 配置与公网核心路径通过
• 秘密 ENV 的权限和 SHA 未被意外改变
• 数据库 migration 与备份可定位
• 关键业务流程完成真实验收
• 操作人、时间、结果和异常已记录