IT 之家 3 月 14 日音信，清华大学高性能计较商讨所翟季冬阐明团队、清华系科创企业清程极智当天结合布告，大模子推理引擎"赤兔 Chitu "现已开源。

据先容，该引擎初度斥逐在非英伟达 Hopper 架构 GPU 及各样国产芯片上原生开动 FP8 精度模子，斥逐 DeepSeek 推理资本裁减一半、性能翻番。其定位为"坐蓐级大模子推理引擎"，提供如下特色：

多元算力适配：不仅搭救 NVIDIA 最新旗舰到旧款的多系列居品，也为国产芯片提供优化搭救。

全场景可伸缩：从纯 CPU 部署、单 GPU 部署到大边界集群部署，赤兔引擎提供可延伸的科罚决议。

永久褂讪开动：可诈欺于骨子坐蓐环境，褂讪性足以承载并发业务流量。

官方默示，刻下开源的赤兔引擎在部署 DeepSeek-R1-671B 满血版时，在 A800 集群的测试中，比较部分国际开源框架，斥逐了 GPU 使用量减少 50% 的同期，推理速率擢升 3.15 倍。

IT 之家附开源地址：https://github.com/thu-pacman/chitu开yun体育网