腾讯云弹性伸缩实战:应对流量洪峰,自动扩缩容的完整方案

云服务器与选型 - 公有云AI技术文章封面

上个月帮客户做电商活动的支撑,预估流量是平时的10倍,要是手动扩容,不仅慢,还容易漏配,活动开始前半小时才发现扩容不够,差点出事故。后来用腾讯云的弹性伸缩(AS)做了自动扩缩容,整个活动期间零故障,成本比手动扩容省了45…

大模型蒸馏实战:用 3 步蒸馏小模型,达到大模型90%性能,推理成本降低80%

大模型技术实战 - 公有云AI技术文章封面

最近帮客户做私有化部署,7B的大模型推理成本太高,老板要求把成本降下来,还要保证效果不下滑。试了一圈,最终用大模型蒸馏的方案,把Qwen2.5-7B的能力蒸馏到1.5B的小模型上,效果达到原模型的92%,推理成本直接降了…