blade-broker服务中接收一条数据就保存一条数据进入influxdb逻辑,是否有考虑过还可以优化下性能

Blade 未结 2 236
xiaoliu
xiaoliu 2024-11-01 09:09

一、该问题的重现步骤是什么?

1. 物联网平台的broker服务中,比如EventPropertyPostFunction里保存数据进入influxdb中,目前看到代码是接收一条数据就保存一条数据进入influxdb。我用jmeter试了下,qps达到1w的时候,会导致连接influxdb连接不上,进而导致broker服务oom。请问这块的接收一条数据就保存一条数据进入influxdb逻辑,是否有考虑过还可以优化下?

deviceDataService.saveDeviceProperty(topicVariables, params);

image.png

image.png

image.png

二、你期待的结果是什么?实际看到的又是什么?

期待的结果:希望能优化下blade-broker服务中接收一条数据就保存一条数据进入influxdb的逻辑性能

实际看到的:目前blade-broker服务中,接收一条数据就直接保存一条数据进入influxdb


三、你正在使用的是什么产品,什么版本?在什么操作系统上?

正在使用的产品:BladeX物联网平台

版本:1.1.0

操作系统:Windows11


四、请提供详细的错误堆栈信息,这很重要。


五、若有更多详细信息,请在下面提供。

2条回答
  •  admin
    admin (楼主)
    2024-11-01 09:40

    可以配置批量入库,你把数量和时间调大点试试

    CleanShot20241101094038@2x.png

    作者追问:2024-11-01 09:40

      已经调高了:batch-size: 10000,flush-duration: 5s。但是还是报上面的错误,不知还有其他办法优化吗?

    image.png

    回答: 2024-11-01 09:40

    jmeter测试的哪个,调用的什么接口,参数是什么

    作者追问:2024-11-01 09:40

    接口是我自己写的一个简单的controller,如下:

    image.png

    image.png

    image.png

    image.png

    回答: 2024-11-01 09:40

    如果是并发环境下通过调用controller来开启模拟器,你还得做分布式部署或者单boot服务做配置调优。简单些你可以先用这个测试类试试

    CleanShot20241101113536@2x.png

    作者追问:2024-11-01 09:40

    按报错的提示来看,应该是influxdb保存数据有瓶颈。但是目前我只有qps1w的写入请求(按官方influxdb说的写入qps,应该远高于1w),是不是influxdb还可有有更高的什么优化配置?

    回答: 2024-11-01 09:40

    调高broker与influxdb的内存,先不要用jmeter(jmeter本身也很占用内存),用我们提供的测试类测试看看。我们之前压测5w个设备起批量是没问题的。

    回答: 2024-11-01 09:40

    还有批量的时间先改回默认的1s试试,5秒有点多了,数据内存占用多了,容易oom

    作者追问:2024-11-01 09:40

    好,下午我用测试类调下

提交回复