↗ 周榜项目详情

📝 项目描述

FasterTransformer是NVIDIA开源的高性能Transformer推理优化库，包含BERT、GPT等模型的编码器和解码器优化实现。它利用CUDA、cuBLAS和Tensor Cores加速，支持FP16/INT8精度，提供TensorFlow、PyTorch和Triton后端接口，适用于服务器端大规模NLP模型推理。