Replies: 8 comments 37 replies
-
不好意思说错了, 不是数小时, 是十多分钟 |
Beta Was this translation helpful? Give feedback.
-
参考 $ curl -X POST http://ip:be_port/api/update_config?memory_mode=compact&persist=true
{
"status": "BAD",
"msg": "set memory_mode=compact failed, reason: [NOT_IMPLEMENTED_ERROR]'memory_mode' is not support to modify"
} 咱也不知道官方文档里面写的内容到底适用于哪些版本的 |
Beta Was this translation helpful? Give feedback.
-
select count(*) from t_yyy;
+----------+
| count(*) |
+----------+
| 94043916 |
+----------+
1 row in set (1.66 sec)
select count(*) from t_xxx where times between '2023-01-01 00:00:00' and '2023-01-01 23:59:59';
+----------+
| count(*) |
+----------+
| 9358 |
+----------+
1 row in set (0.05 sec)
insert into t_result(...)
select x.a, x.b, x.c, y.d
from t_xxx x left join t_yyy y on x.xid = y.xid
where x.times between '2023-01-01 00:00:00' and '2023-01-01 23:59:59';
Query OK, 9358 rows affected (19.20 sec)
{'label':'insert_xx_yy', 'status':'VISIBLE', 'txnId':'zz'} 就这样的一条 insert sql, 在运行前系统的空闲内存有 19G, 在运行的过程中, 内存一直掉到 17G... 11G 最低的时候 是 4.3G, 之后开始回升到 6.2G, 执行完之后回落到了 11G ... 有谁可以在出出主意? |
Beta Was this translation helpful? Give feedback.
-
我测试下来insert into性能非常差,建议使用Stream load(http)进行批量插入。 |
Beta Was this translation helpful? Give feedback.
-
|
Beta Was this translation helpful? Give feedback.
-
谁能帮忙看一下啊, @yagagagaga @dataroaring 当初看一堆文章, 说这个多好多好, 改造公司的统计服务, 数据量就上面那点, 实现也不复杂, kafka-consumer -> 可问题是去服务器看, 进程是还在的, 可用内存也还有 10 多个 G, 当初跟上面信誓旦旦说 doris 很强, 引进来改造统计服务, 后面要加新统计指标也只是 sql 层面的改动, 结果一个坑接着一个坑!!! mysql 几个 G 哪怕慢一点也不会这样啊. 真的应了那个笑话 "应聘财务, 123 * 456, 结果 12345, 别管对不对, 你就说快不快吧" 不是每个地方都能内存无限的啊 |
Beta Was this translation helpful? Give feedback.
-
唉 刚想提一个join的support,你这个都还算好的了能分区 |
Beta Was this translation helpful? Give feedback.
-
我这边大概2T的数据,想把目前的架构往Doris上面做迁移;根据这个情况反馈,我也动摇了 |
Beta Was this translation helpful? Give feedback.
-
32G 内存, 1 fe + 1 be, doris 版本
2.0-beta
, 主表 6 个表, 表字段在 30 个左右, 使用 unique key 模型, id + times, 其中 times 是 partition key 按月自动, 消费 kafka-consumer 批量写进这 6 个表有数个定时任务,
insert into select
到结果表(select 中通常是单表或小表 left join 大表, 都有条件, 查询条件是小表的时间列, 一条就处理一天或一个月, 时间是 partition key, 一个月一个 partition), 写进去的时候就是 bitmap 或 sum 已经统计好了的数据这应该不算是很复杂的处理了, 单表的数据量在 400 ~ 9000 万之间, 所有表加起来的日数据在 30 万左右, 老实说就这点数据量... 结果, 日志里全是
之后又是大量的
次数多了之后, be 进程直接被操作系统杀掉了. 重启后数小时又继续, 虽然用 supervisor 做了自动重启, 但是内心的无奈真的是无以言表.
!!!快用出心理阴影来了!!! 没理由这点数据量还要整上集群, 每台还 64G+ 吧(这点量真的说服不了上面让堆硬件), 机器成本也不便宜啊!!! 你们就不能优化一下内存吗?!!! 或者有什么「内存不够的时候 -> 哪怕慢一点您也别崩啊」的 be 配置吗? 翻遍了官方文档也没有相关的信息
Beta Was this translation helpful? Give feedback.
All reactions