reServer Jetson-50-1-H4,由NVIDIA Jetson AGX Orin 64GB驱动的AI边缘服务器

原文链接:reServer Jetson-50-1-H4 is an AI Edge server powered by NVIDIA Jetson AGX Orin 64GB 由Jean-Luc Aufranc撰写。
本文共计983字,预计阅读3分钟容

reServer Jetson-50-1-H4是一款AI推理边缘服务器,它由Jetson AGX Orin 64GB提供支持,具有高达275 TOPS的AI性能,与矽递科技(Seeed Studio)去年推出的基于英特尔酷睿Tiger Lake SBC的reServer 2-盘位多媒体NAS有相同的外形尺寸。

这个12核的Arm服务器配备了32GB LPDDR5、1个预装了Jetpack SDK和开源Triton Inference Server的256GB NVMe SSD、两个用于2.5英寸和3.5英寸驱动器的SATA托架、高达10 Gbps的以太网、可实现双8K视频输出的HDMI和DisplayPort、USB 3.2端口等。

Jetson AGX Orin 64GB AI推理边缘服务器
Jetson AGX Orin 64GB AI推理边缘服务器

reServer Jetson-50-1-H4的初步规格:

  • SoM – Jetson AGX Orin模块
    • CPU – 12核Arm Cortex-A78AE v8.2 64位处理器,具有 3MB L2 + 6MB L3缓存
    • GPU / AI加速器
      • NVIDIA Ampere架构,具有2048个NVIDIA CUDA内核和64个Tensor Cores @ 1.3 GHz
      • DL加速器 – 2x NVDLAv2.0
      • 视觉加速器 – PVA v2.0(可编程视觉加速器)
      • AI性能 – 高达275 TOPS (INT8) @ 60W
    • 视频编码 – 2x 4K60 | 4x 4K30 | 8x 1080p60 | 16x 1080p30 (H.265)
    • 视频解码 – 1x 8K30 | 3x 4K60 | 7x 4K30 | 11x 1080p60| 22x 1080p30 (H.265)
    • 系统内存 – 32GB、256位LPDDR5 @ 204.8 GB/s
    • 存储 – 64GB eMMC 5.1闪存
  • 存储 – 256GB M.2 NVMe SSD、2x SATA端口和用于2.5英寸和3.5 英寸驱动器的托架
  • 视频输出 – 高达8Kp60分辨率的HDMI 2.1和DisplayPort 1.4a
  • 网络
    • 10Gbps以太网RJ45端口
    • 千兆以太网RJ45端口
    • WiFi和蓝牙
    • 用于Lora、4G LTE、5G的M.2 B-Key
  • USB – 3x USB 3.2 Type-A端口,1x USB 3.2 Type-C端口
  • 调试 – 用于串行控制台的UART接头
  • 其他 – 带有大型vapor chamber被动散热器(使用的是真空腔均热板散热技术)、风扇连接器(底部似乎有一个风扇)、蜂鸣器、RTC、AutoPwrOn跳线
  • 电源 – 通过直流电源插孔提供24V电源
  • 尺寸 – 233 x 132 x 124 mm
reServer Jetson-50-1-H4的硬盘
reServer Jetson-50-1-H4的硬盘

reServer Jetson-50-1-H4 AI推理边缘服务器会配有Jetson AGX Orin 64GB模块,以及24V的电源适配器。

因为我在此之前从未听说过Triton inference Server,我就去查了一下资料。以下是NVIDIA的描述

Triton Inference Server通过能够让团队在任何GPU或CPU基础设施的框架上去部署、运行和缩放训练有素的AI模型,从而简化了AI推理。它为AI研究人员和数据科学家提供了为他们项目选择正确框架的自由,而且不会影响生产部署。它还可以帮助开发人员跨云、本地、边缘和嵌入式设备提供高性能推理。

支持所有主要框架,例如TensorFlow、NVIDIA TensorRT、PyTorch、MXNet、Python、ONNX、RAPIDS™ FIL(用于XGBoost、scikit-learn等)、OpenVINO、自定义C++

矽递科技还列出了该产品可以使用的几个应用场景,比如:SOHO服务器、工业自动化、机器人技术、医疗保健、智能农业和NAS。就我个人而言,我无法想象有人会把它用作办公服务器或NAS,因为它会很贵。目前该公司还没有提供定价,他们还表示它目前只是测试版硬件。不过,我们可以参考一下NVIDIA Jetson AGX Orin开发套件的售价,大约是2,000 美元,模块本身的售价是 1,599美元(1000个起购时的价格)。所以,我猜测reServer Jetson-50-1-H4上市时价格可能大约2,500美元或也可能会更高一些。矽递科技的商店可能很快就会提供更多信息了。

分享这篇文章
订阅评论
提醒
0 评论
内联反馈
查看所有评论