SkyRL GRPO：SageMaker HyperPod上Qwen3-VL-8B RL训练加速

SkyRL GRPO：SageMaker HyperPod上Qwen3-VL-8B RL训练加速

分类：开发工具

摘要： Learn how to run SkyRL, an open-source reinforcement learning framework, on Amazon SageMaker HyperPod to post-train a Qwen3-VL-8B vision-language model with GRPO. This walkthrough shows you how to set up a multi-node Ray cluster, use colocated inference and training on shared GPUs, and accelerate multimodal RL training for vision-language models.

slug： ch-skyrl-grpo-sagemaker-hyperpod-qwen3-vl-8b-rl-training

模式： feed

原因： 信源 rss-aws-ml（T1）2026-09-25：SkyRL GRPO多模态RL训练是编程/Ray集群相关，适合Cursor用户优化IDE编程环境

什么是SkyRL GRPO及适用场景

SkyRL是开源强化学习框架，GRPO是其Group Relative Policy Optimization算法，专为多轮、多模态RL训练设计。Qwen3-VL-8B是阿里通义千问视觉语言模型，结合GRPO后可从视觉迷宫SFT基础模型进一步提升到95%以上解题率。

谁适用？

• 需要在多GPU Ray集群上运行大规模RL训练的用户
• 已有SageMaker HyperPod集群且想用共享存储同步LoRA
• 熟悉Python、Ray和vLLM的用户

如何决策

若您使用Cursor订阅Cursor Pro或Business版，可通过Cursor的AI编码助手快速生成SkyRL训练脚本，节省从零搭建环境的时间。建议优先考虑HyperPod的EKS原生集群和Ray能力，避免自行管理复杂分布式存储。更多Cursor订阅详情请访问Cursor订阅页面。

前提条件

• SageMaker HyperPod集群（至少3个ml.g7e.12xlarge实例 + 1个ml.r5d.16xlarge头节点）
• 已安装KubeRay、HyperPod Observability EKS插件和HyperPod Ray Endpoint Operator
• Amazon FSx for Lustre文件系统及ReadWriteMany PVC（挂载到/shared）
• SageMaker Studio域与HyperPod连接权限
• toolkit-for-ray-on-sagemaker-ai Python包

集群拓扑

SkyRL在3个GPU worker节点 + 1个CPU头节点上运行：

• 策略模型Qwen3-VL-8B LoRA（rank 32）用FSDP分片到6个GPU
• 6个vLLM rollout引擎每GPU1个（colocate_all=true）
• LoRA权重通过/shared同步

详细步骤

#### 1. 准备容器镜像

构建包含SkyRL、VisGym和vLLM的Dockerfile，推送至ECR。镜像URI示例：${ACCOUNT}.dkr.ecr.us-west-2.amazonaws.com/ray/skyrl-visgym:latest。

#### 2. 从SageMaker Studio创建Ray集群

在SageMaker Studio选择HyperPod集群，创建RayCluster。

• 名称：skyrl-visgym
• 头节点：ml.r5d.16xlarge
• worker：3个ml.g7e.12xlarge
• 镜像：您推送的IMAGE_URI
• 开启Remote endpoints
• 挂载FSx for Lustre PVC到/head和/worker的/shared路径

集群Running后，在Tasks标签页可直接打开Ray Dashboard和Grafana。

#### 3. 准备训练脚本

保存为train_job.sh。脚本会先下载VisGym SFT checkpoint（Qwen3-VL-8B），生成数据集，再启动GRPO训练。关键参数：

• trainer.placement.colocate_all=true
• generator.inference_engine.gpu_memory_utilization=0.45
• trainer.eval_interval=10（每10步评估64个迷宫）
• trainer.ckpt_interval=20（完整checkpoint）

#!/usr/bin/env bash

# GRPO fine-tune from the VisGym SFT checkpoint on maze_2d/easy.

set -euxo pipefail

cd /home/ray/skyrl

# ...（完整脚本见原文，包含SFT下载、dataset生成、entrypoint.py调用）

#### 4. 远程提交训练任务

使用ray job submit命令：

ray job submit \

 --address sagemaker_ray://skyrl-visgym/default \

 --submission-id sft-train \

 --working-dir . \

 -- bash train_job.sh

#### 5. 监控训练进度

• Ray Dashboard：查看步数、GPU利用率
• Amazon Managed Grafana：CPU/GPU/内存面板
• 评估指标：grep日志中的"eval/all/pass_at_1"，目标>95%

#### 6. 部署训练后模型

将LoRA adapter复制到S3 prefix，配置Ray Serve RayService。

• model_loading_config.model_source指向FSx SFT模型
• lora_config.dynamic_lora_loading_path指向S3
• 部署OpenAI兼容endpoint：model=visgym-qwen3vl:maze-grpo 即可调用

性能对比表

训练方式	集群复杂度	GPU闲置时间	训练加速效果	推荐场景
单独训练 + 单独推理	高	高	基础	小规模调试
SkyRL GRPO on HyperPod	中	低	显著（colocate）	多模态RL生产训练
纯CPU本地开发	低	N/A	低	原型验证

结论：SkyRL GRPO在SageMaker HyperPod上的colocation设计让训练与推理无缝切换，显著缩短多模态RL周期。建议将此模式应用于复杂视觉RL任务。

延伸阅读

• SageMaker HyperPod官方文档
• Cursor Pro订阅详情
• AI编程工具比价
• Windsurf价格参考
• Claude Code订阅指南
• Cursor模板集

风险与边界

强烈建议不要在非HyperPod集群上运行SkyRL GRPO，因Ray集群管理、LoRA同步和vLLM显存占用极易出错，导致训练中断或成本失控。同一账号若未按官方集群配置，可能出现超支或数据丢失风险。

非法律意见声明：本文基于AWS 2026-09-25公开博客整理，仅供技术参考，非投资或专业咨询。实际以AWS官方文档及挂牌价格为准，建议咨询AWS专业服务。