Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

graph内存不断上涨,直到OOM #930

Open
Lambbbbo opened this issue Apr 21, 2021 · 5 comments
Open

graph内存不断上涨,直到OOM #930

Lambbbbo opened this issue Apr 21, 2021 · 5 comments

Comments

@Lambbbbo
Copy link

我有5个graph,都部署在容器上,8核16G内存资源。
最近发现,有2个graph内存不断上涨,直到OOM容器自动重启。
image

这是日志:
image

同样的配置,其他3个graph是正常的。

@laiwei
Copy link
Member

laiwei commented Apr 30, 2021

可以先统计一下这5个graph,没台机器上的指标量。 @Lambbbbo

@SolemnJoker
Copy link

SolemnJoker commented Jul 5, 2021

[我也遇上类似的问题,graph组件在docker容器里,给了8G内存,指标300多k,但是大概一个小时左右就会OOM,
2021-07-05_11-04
image
2021-07-05_11-03
@laiwei

@Lambbbbo
Copy link
Author

Lambbbbo commented Jul 5, 2021

@SolemnJoker 我怀疑是磁盘问题,数据不能及时落盘,导致内存一直在涨。

@SolemnJoker
Copy link

SolemnJoker commented Jul 6, 2021

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s
image
在容器里面dd命令没有打印出速度,不过看时间比宿主机慢不到一倍理论上也有100多M每秒,这个速度应该是足够落盘的把
image

@JimmyTinsley
Copy link
Contributor

@Lambbbbo 我刚测试了在宿主机磁盘写入速度为246M/s
image
在容器里面dd命令没有打印出速度,不过看时间比宿主机慢不到一倍理论上也有100多M每秒,这个速度应该是足够落盘的把
image

由于底层数据库RRDTool的特性,graph数据点落盘基本上都是小数据随机读写,测试大文件连续读写速度意义不大。
建议测试一下硬盘IOPS,如果是云上的机器,还需要了解一下使用的云硬盘IOPS限制以及是否有性能突增机制。

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

4 participants