#sglang

27 октября 2026 г.October 27, 2026 день целиком 1 новостьstory

DevOps Постмортем Cloudflare: модель GLM-5.3 в Workers AI отдавала данные чужих запросов из-за бага SGLangCloudflare postmortem: GLM-5.3 on Workers AI leaked other customers' data via an SGLang bug Из-за несоответствия размера KV-кэша и контекстного окна, а также ошибки в SGLang, 155 ответов модели содержали фрагменты чужих запросов. Исправления уже в апстриме — всем, кто запускает SGLang в режиме disaggregated prefill/decode, нужно обновиться до 0.5.22.A mismatch between KV cache size and context window, plus a bug in SGLang, caused 155 model responses to include fragments of other customers' requests. Fixes are upstream — anyone running SGLang in disaggregated prefill/decode mode should upgrade to 0.5.22.