batch 聚合数据库写，以缓解数据库压力

[c121914yu]

例行检查

• 我已确认目前没有类似 issue
• 我已确认我已升级到最新版本
• 我已完整查看过项目 README，尤其是常见问题部分
• 我理解并愿意跟进此 issue，协助测试和提供反馈
• 我理解并认可上述内容，并理解项目维护者精力有限，不遵循规则的 issue 可能会被无视或直接关闭

问题描述

并发请求 oneapi 接口时候，从监控中可以看到 mysql 的连接数一直在上升，没被释放。

复现步骤

1. 设置最大连接数为 100，超时时候 60s
2. 连续发送 embedding 请求（一轮30个，调用结束后继续发送，累计发送100轮）
3. SHOW STATUS LIKE 'Threads_connected'; 命令查看实时连接数

会发现连接数一直在上涨，最终到 100 附近。此时所有请求会被阻断，无法继续进行。需要等待 SQL 超时后，才会继续执行。

按道理来说，30并发，连接数在 50，60 差不多了，但是现在会持续增长。目测是没在请求后释放连接，或者连接被其他请求复用，而是等连接超时才去释放，其他任务才能创建新的连接。

相关截图

[chikasaki]

embedding构建向量时，input是批量构建的吗，每批是多少个文本？

[c121914yu]

embedding构建向量时，input是批量构建的吗，每批是多少个文本？

1

[chikasaki]

向量构建是支持文本批量构建的吧，为什么不合并请求呢？
看日志应该是因为锁冲突导致db更新都是串行的，其他更新等锁期间一直拿着连接所以连接不释放

[c121914yu]

向量构建是支持文本批量构建的吧，为什么不合并请求呢？

因为可能不同记录是不同用户的，前面还会有个鉴权，合并起来比较麻烦。

[songquanpeng]

确实，没法单独计费了

[chikasaki]

向量构建是支持文本批量构建的吧，为什么不合并请求呢？

因为可能不同记录是不同用户的，前面还会有个鉴权，合并起来比较麻烦。

不同用户之间的token是不一样的，所以用户之间的更新不会相互影响。对接用户的接口是否提供了批量接口？

[c121914yu]

向量构建是支持文本批量构建的吧，为什么不合并请求呢？

因为可能不同记录是不同用户的，前面还会有个鉴权，合并起来比较麻烦。

不同用户之间的token是不一样的，所以用户之间的更新不会相互影响。对接用户的接口是否提供了批量接口？

不是，是指另一个系统的用户。
我请求时候，都是用同一个oneapi key，不会涉及oneapi多用户。

[songquanpeng]

相关 issue #304

[songquanpeng]

mysql 连接未及时释放是锁争用的问题，改为 batch 聚合可以解决该问题。