算力基础KV Cache知识 · 算力基础
大模型KV Cache容量计算与实测：从单请求上下文推导生产并发上限
解释KV Cache由层数、KV头、头维度、精度、上下文和并发共同决定，并用加载前后显存与阶梯压测校正理论容量。
网昱原创4 分钟
算力基础KV Cache算力基础compute-basics知识 · 算力基础
大模型显存怎么计算：权重、KV Cache、激活与运行余量
依据官方资料整理大模型显存怎么计算：权重、KV Cache、激活与运行余量的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型
依据官方资料整理FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理
依据官方资料整理PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟