算力基础compute-basics知识 · 算力基础
大模型显存怎么计算：权重、KV Cache、激活与运行余量
依据官方资料整理大模型显存怎么计算：权重、KV Cache、激活与运行余量的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics算力基础compute-basics知识 · 算力基础
FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型
依据官方资料整理FP32、BF16、FP16、FP8、INT8与INT4：AI精度格式选型的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理
依据官方资料整理PCIe、NVLink与NVSwitch：多GPU互联怎么影响训练和推理的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟
算力基础compute-basics知识 · 算力基础
KV Cache容量规划：上下文、并发、分页缓存与OOM边界
依据官方资料整理KV Cache容量规划：上下文、并发、分页缓存与OOM边界的完整操作流程，包含环境检查、启动命令、参数说明、验收方法、故障排查和生产边界。
网昱原创3 分钟