内存占用异常

[lfshao]

例行检查

• 我已确认目前没有类似 issue
• 我已确认我已升级到最新版本
• 我已完整查看过项目 README，尤其是常见问题部分
• 我理解并愿意跟进此 issue，协助测试和提供反馈
• 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述
在服务刚启动的时候，如果并发较高，会出现内存占用突增
复现步骤

1. 重启服务
2. 使用压测工具进行并发测试：如 hey -n 10000 -c 800 -m POST -H "Authorization: Bearer ***" -d '{"model": "gpt-3.5-turbo", "messages": [{"role": "user", "content": "hi"}]}' http://localhost:3000/v1/chat/completions
3. 在压测过程中观察内存占用
4. 压测完后一段时间内存占用会慢慢下降
5. 内存恢复正常后，再次压测不会出现内存占用异常
   预期结果

相关截图

[c121914yu]

#414

可能与这个有关

[songquanpeng]

我改成了初始化时直接全部初始化，不再使用 lazy initialization

[songquanpeng]

可以再试一下，如果仍有异常，请重开