blade-broker服务中接收一条数据就保存一条数据进入influxdb逻辑，是否有考虑过还可以优化下性能

xiaoliu 剑圣 3小时前

deviceDataService.saveDeviceProperty(topicVariables, params);

• 

  admin - BladeX作者

  3小时前

  可以配置批量入库，你把数量和时间调大点试试

  

  作者追问:1小时前

    已经调高了：batch-size: 10000，flush-duration: 5s。但是还是报上面的错误，不知还有其他办法优化吗？

  

  回答: 1小时前

  jmeter测试的哪个，调用的什么接口，参数是什么

  作者追问:1小时前

  接口是我自己写的一个简单的controller，如下：

  

  

  

  

  回答: 1小时前

  如果是并发环境下通过调用controller来开启模拟器，你还得做分布式部署或者单boot服务做配置调优。简单些你可以先用这个测试类试试

  

  作者追问:54分钟前

  按报错的提示来看，应该是influxdb保存数据有瓶颈。但是目前我只有qps1w的写入请求（按官方influxdb说的写入qps，应该远高于1w），是不是influxdb还可有有更高的什么优化配置？

  回答: 40分钟前

  调高broker与influxdb的内存，先不要用jmeter（jmeter本身也很占用内存），用我们提供的测试类测试看看。我们之前压测5w个设备起批量是没问题的。

  回答: 25分钟前

  还有批量的时间先改回默认的1s试试，5秒有点多了，数据内存占用多了，容易oom

  作者追问:15分钟前

  好，下午我用测试类调下
  0 讨论(0)
  评论:

  提交评论

  ---

  •  加载中...
• 

  如梦技术

  44分钟前

  broker 服务的 jvm 内存配置的多少，批量之后数据会堆在内存队列里。压测比较耗内存，建议用2台机器 jmeter 移到另外一台。 

  
  

  添加 JVM 参数 -Xmn2G -Xms4G -Xmx4G 试试，实际生产可以按需再调大点。

  作者追问:16分钟前

  我把broker的内存，分别从8g、16g、32g都试过，最后都出现了oom。下面是当时之前配置的8g的截图（16g和32g的当时没有记截图，效果也是像下面蓝色部分打满，最后oom）

  

  作者追问:12分钟前

  这是当时配置的8g内存，并且使用的是zgc

  

  作者追问:10分钟前

  device-simulator和broker在用的是docker上的2台服务器，jmeter是在本地windows上压测docker上的 device-simulator接口
  0 讨论(0)
  评论:

  提交评论

  ---

  •  加载中...

验证码

 看不清?

提交回复