单条数据量级限制

[littleunicorn]

Issue Type

Running

Have you searched for existing documents and issues?

Yes

OS Platform and Distribution

docker服务

All_in_one Version

v1.6.1b0

Module type

secretpad

Module version

v1.6.1b0

What happend and What you expected to happen.

隐私求交，特征比较多时，执行报错

Log output.

特征比较多时，执行报错

[littleunicorn]

[aokaokd]

你好，你的维度是多少。

[littleunicorn]

你好，你的维度是多少。

800维，float型

[littleunicorn]

[aokaokd]

好的。我们复现一下，一会给你同步

[aokaokd]

你好，请问你的数据量是多少行的，数据是脱敏的吗，可以提供下吗

[littleunicorn]

你好，你的数据是脱敏的吗，可以提供下吗

就是隐私求交后，全表统计执行的时候，报错，两个图片都是报错信息

[aokaokd]

1.确认下双方的数据量级，是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

[littleunicorn]

1.确认下双方的数据量级，是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

100w行，800维，因为报错信息，我看是报的单条数据过大，所以和行数无关
容器的内容我已经调整过了100+G的内存，我理解属于单条数据容量限制问题

[aokaokd]

好的，辛苦。稍等一下，我们这边看下

[aokaokd]

您好。 辛苦您提供下日志的上下文呢

[littleunicorn]

您好。 辛苦您提供下日志的上下文呢

[littleunicorn]

您好。 辛苦您提供下日志的上下文呢

很多数据，数据格式用的都是之前能跑通流程的格式搞的

[littleunicorn]

1.确认下双方的数据量级，是多少行的
2.两方的维度都是800维吗
3.提供下你的error日志。
在 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

100w行，800维，因为报错信息，我看是报的单条数据过大，所以和行数无关 容器的内容我已经调整过了100+G的内存，我理解属于单条数据容量限制问题

我的数据文件是100w行 * 1000维的特征，我选了top的800维，报错的，我看日志，读入数据的时候，还是1000维都读入的，数据处理是800维的，这个数据处理报错，请问是什么原因？列限制？还是单条数据容量限制？
之前沟通是列没有限制的，但根据报错情况分析，感觉是这个因素，麻烦帮忙看下

[aokaokd]

好的，收到您的反馈。请稍等一下

[littleunicorn]

好的，收到您的反馈。请稍等一下

还有个疑问，就是我复现之前能跑通的流程现在也跑不通了，这个是啥情况？也没有日志信息

[aokaokd]

辛苦您到目录里面看下执行日志：

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

[littleunicorn]

辛苦您到目录里面看下执行日志：

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

没有这个日志

[aokaokd]

对侧机构方有日志吗

[littleunicorn]

对侧机构方有日志吗

这个目前不大方便看，不过两个取数都是OK的，到隐私求交这里一直报错了，之前这里不报错的，也没有调度侧的日志

[littleunicorn]

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题，单行内容超限制导致失败的这个有结论了么？

[zimu-yuxi]

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题，单行内容超限制导致失败的这个有结论了么？

尝试减少下维度试一下呢

[littleunicorn]

对侧机构方有日志吗

最主要的 是之前反馈的那个列数比较多的情况的问题，单行内容超限制导致失败的这个有结论了么？

尝试减少下维度试一下呢

之前沟通的时候，和我说是没有维度限制，但发现其实是有限制的；所以让你们看看，一方面是确认维度的具体限制情况，其次是看下能否解决入模隐私求交后续流程的维度限制问题
不然对于特征维度比较多的场景就没法用了

[littleunicorn]

辛苦您到目录里面看下执行日志：

 kuscia 容器内   /home/kuscia/var/stdout/pods/{ taskId }/secretflow/0.log，在pad 页面上可以看到你的taskId。

没有这个日志

你提供的路径，无此路径，相关路径找了，也没有对应taskid对应的日志路径生成
没有报错日志，我看info的相关情况应该是这个原因，但机器我没做过调整，为啥b接收不到a的资源呢？

[zimu-yuxi]

对于维度个数没有限制。但是过多，请求体会超出服务器配置的限制，默认的限制大小应该是3MB（3145728字节）。

[littleunicorn]

对于维度个数没有限制。但是过多，请求体会超出服务器配置的限制，默认的限制大小应该是3MB（3145728字节）。

这个请问怎么调整配置？内存配置调整过，所以行数应该OK了，现在维度这个限制怎么调整还请告知下