reServer Jetson-50-1-H4是一款AI推理边缘服务器,它由Jetson AGX Orin 64GB提供支持,具有高达275 TOPS的AI性能,与矽递科技(Seeed Studio)去年推出的基于英特尔酷睿Tiger Lake SBC的reServer 2-盘位多媒体NAS有相同的外形尺寸。
这个12核的Arm服务器配备了32GB LPDDR5、1个预装了Jetpack SDK和开源Triton Inference Server的256GB NVMe SSD、两个用于2.5英寸和3.5英寸驱动器的SATA托架、高达10 Gbps的以太网、可实现双8K视频输出的HDMI和DisplayPort、USB 3.2端口等。
reServer Jetson-50-1-H4的初步规格:
- SoM – Jetson AGX Orin模块
- CPU – 12核Arm Cortex-A78AE v8.2 64位处理器,具有 3MB L2 + 6MB L3缓存
- GPU / AI加速器
- NVIDIA Ampere架构,具有2048个NVIDIA CUDA内核和64个Tensor Cores @ 1.3 GHz
- DL加速器 – 2x NVDLAv2.0
- 视觉加速器 – PVA v2.0(可编程视觉加速器)
- AI性能 – 高达275 TOPS (INT8) @ 60W
- 视频编码 – 2x 4K60 | 4x 4K30 | 8x 1080p60 | 16x 1080p30 (H.265)
- 视频解码 – 1x 8K30 | 3x 4K60 | 7x 4K30 | 11x 1080p60| 22x 1080p30 (H.265)
- 系统内存 – 32GB、256位LPDDR5 @ 204.8 GB/s
- 存储 – 64GB eMMC 5.1闪存
- 存储 – 256GB M.2 NVMe SSD、2x SATA端口和用于2.5英寸和3.5 英寸驱动器的托架
- 视频输出 – 高达8Kp60分辨率的HDMI 2.1和DisplayPort 1.4a
- 网络
- 10Gbps以太网RJ45端口
- 千兆以太网RJ45端口
- WiFi和蓝牙
- 用于Lora、4G LTE、5G的M.2 B-Key
- USB – 3x USB 3.2 Type-A端口,1x USB 3.2 Type-C端口
- 调试 – 用于串行控制台的UART接头
- 其他 – 带有大型vapor chamber的被动散热器(使用的是真空腔均热板散热技术)、风扇连接器(底部似乎有一个风扇)、蜂鸣器、RTC、AutoPwrOn跳线
- 电源 – 通过直流电源插孔提供24V电源
- 尺寸 – 233 x 132 x 124 mm
reServer Jetson-50-1-H4 AI推理边缘服务器会配有Jetson AGX Orin 64GB模块,以及24V的电源适配器。
因为我在此之前从未听说过Triton inference Server,我就去查了一下资料。以下是NVIDIA的描述:
Triton Inference Server通过能够让团队在任何GPU或CPU基础设施的框架上去部署、运行和缩放训练有素的AI模型,从而简化了AI推理。它为AI研究人员和数据科学家提供了为他们项目选择正确框架的自由,而且不会影响生产部署。它还可以帮助开发人员的跨云、本地、边缘和嵌入式设备提供高性能推理。
(它)支持所有的主要框架,例如TensorFlow、NVIDIA TensorRT、PyTorch、MXNet、Python、ONNX、RAPIDS™ FIL(用于XGBoost、scikit-learn等)、OpenVINO、自定义C++等等。
矽递科技还列出了该产品可以使用的几个应用场景,比如:SOHO服务器、工业自动化、机器人技术、医疗保健、智能农业和NAS。就我个人而言,我无法想象有人会把它用作办公服务器或NAS,因为它会很贵。目前该公司还没有提供定价,他们还表示它目前只是测试版硬件。不过,我们可以参考一下NVIDIA Jetson AGX Orin开发套件的售价,大约是2,000 美元,模块本身的售价是 1,599美元(1000个起购时的价格)。所以,我猜测reServer Jetson-50-1-H4上市时价格可能大约2,500美元或也可能会更高一些。矽递科技的商店可能很快就会提供更多信息了。
文章翻译者:Jacob,嵌入式系统测试工程师、RAK高级工程师,物联网行业多年工作经验,熟悉嵌入式开发、测试各个环节,对不同产品有自己专业的分析与评估。