Replies: 4 comments 31 replies
-
GraphScope 的语句执行都在一个会话(Session)里发生，默认会话是一个单机的 Session。由于这里没有显式的指定 Session，所以载图命令会在默认的单机 Session 里执行。具体各组件在哪的问题，根据Session的类型而定：单机模式下各组件是进程，在k8s模式下，各组件是单独的pods。
由于当前设计下整个 Session 是由 Python 端指定和驱动的，Python客户端作为主程序入口，而不是通过后台起Server，再通过 Python client 去 connect 这样的方式，所以 GraphScope 并不会带一个内置的 Jupyter notebook。用户也可以直接在 Jupyter Notebook 中拉起session 去使用。
第二个是图的持久存储组件对应的 chart，当前这部分还在快速迭代中。 https://graphscope.io/docs/persistent_graph_store.html
感谢指正！我们记录了一个issue #1121，尽快修复！
我不知道我是否理解正确问题，这里的127.0.0.1是 jupyter 输出的日志，只能将它手动改为 k8s node 的ip
v6d 管理的数据对象在 engine container 的内存中，v6d container 的内存只会存储一些对象的 meta信息，所以不需要太大；而engine container 内存和 shared_mem 需要根据预判为实际数据预留大小。此部分也会在文档中做一些补充 #1121，感谢你的建议！
这个没有在 value.yaml 中，后续可以透出。
Exactly~
很好的建议！之后我们会针对真实大数据场景补上实际的例子，记录在 #1121
谢谢！记录在issue #1122，我们尽快修复。
这部分我们还没有特别好的方案，当前是把内置数据集放在了一个public OSS bucket，启动会话时通过ossfs挂载到 pod内某个路径，再通过 v6d 载图。普通用户暂时可能还是需要通过 PVC/NFS 的方式。我们也会在 #1121 中补上若干针对用户场景的示例和解决方案。
目前还没有， 我们已经在考虑，有一个issue #769
这个是由于 NetworkX 不支持 Python3.6 引入的，我们会给出更友好的错误提示，记录在 #1123。
是的，也会生成对应的 vLabel。
是可以载入相同label的边，但是要求边上对应的点的 src_label 以及 dst_label 是不同的。
默认 etcd pod 的数量是3个， 可以通过 k8s_etcd_num_pods 参数配置。
是的！GIE,GAE,GLE 均运行在 engine pod 中，通过 vineyard 进行数据交互。
三个执行不同任务的引擎在同一个Pod 中会是分别的独立进程，按需拉起。
存储进程没有额外 RPC， 通过 v6d 提供的进程间共享内存服务多个引擎。
感谢指出～ 我们将在后续的迭代逐步改进，包括且不限于改进文档、架构解读、代码注释、错误提示等工作。 |
Beta Was this translation helpful? Give feedback.
-
|
非常感谢详细的回复, 后续会一并将还不确定或已解决地方再回复一下, 先尝试跑通数据导入, 目前更换了py3.8之后导数据报了错 (同样也是先卡了许久), 因为错误信息过长, 就单独引用一个 gist 方便查看, 详见链接内错误提示. 简短的如下: import graphscope
from graphscope.dataset import load_ogbn_mag
graphscope.set_option(show_log=True)
sess = graphscope.session(cluster_type='k8s', mount_dataset='/dataset')
graph = load_ogbn_mag(sess, '/dataset/ogbn_mag_small')执行后 [ERROR][rpc:222]: Runstep failed with code: ANALYTICAL_ENGINE_INTERNAL_ERROR, message: Error occurred during preprocessing, The traceback is: Traceback (most recent call last):
File "/home/graphscope/.local/lib/python3.8/site-packages/gscoordinator/coordinator.py", line 349, in run_on_analytical_engine
response = self._analytical_engine_stub.RunStep(request)
File "/home/graphscope/.local/lib/python3.8/site-packages/grpc/_channel.py", line 946, in __call__
return _end_unary_response_blocking(state, call, False, None)
File "/home/graphscope/.local/lib/python3.8/site-packages/grpc/_channel.py", line 849, in _end_unary_response_blocking
raise _InactiveRpcError(state)
grpc._channel._InactiveRpcError: <_InactiveRpcError of RPC that terminated with:
status = StatusCode.INTERNAL |
Beta Was this translation helpful? Give feedback.
-
感谢详细解答... 明白了, 是说为啥昨天不配置 我刚才是根据报错提示, 自己进到 pod 手动创建了文件夹, 然后下载了数据集解压... (也倒好像可以导了 😢 , 更新在笔记里了). 不知这样的做法是不是也可以自己下载一些定制的数据, 然后用 graph-api 创建 schema 和映射导入呢? (好像比挂 nfs 至少简单不少). 这样手动的下数据到每个 pod, 有什么问题么~ |
Beta Was this translation helpful? Give feedback.
-
|
手动下载数据当然可以work～ 就是用户比较麻烦些～ 也不失为一条可走的路 |
Beta Was this translation helpful? Give feedback.
-
今天换了个思路, 又发现一些问题, 主要的可能是 bug 的我在这直接回复一下, 细节或疑问就放文档一起更新好了 (因为还有图)
图算法代码: import graphscope
from graphscope import pagerank
from graphscope import lpa
# 这里为何不需要传入 session 参数(链接到已有的 session 了, 是空则会默认查找当前存在的 session 么, 尝试传入也是一样的报错
g = graphscope.g()
# 定义在属性图上的算法可以直接调用。
result = lpa(g)
# 其他一些算法可能只支持在简单图上进行计算，因此我们需要先通过顶点和边的类型来生成一个简单图。
# 另外为何 pagerank 只支持在简单图上计算? 简单图是怎么定义的..
simple_g = g.project(vertices={"users": []}, edges={"follows": []})
result_pr = pagerank(simple_g)
s.close()图算法执行报错:
Traceback (most recent call last):
File "/usr/local/python3/lib/python3.8/site-packages/graphscope/deploy/hosts/cluster.py", line 161, in start
self._launch_coordinator()
File "/usr/local/python3/lib/python3.8/site-packages/graphscope/deploy/hosts/cluster.py", line 129, in _launch_coordinator
process = subprocess.Popen(
File "/usr/local/python3/lib/python3.8/subprocess.py", line 854, in __init__
self._execute_child(args, executable, preexec_fn, close_fds,
File "/usr/local/python3/lib/python3.8/subprocess.py", line 1702, in _execute_child
raise child_exception_type(errno_num, err_msg, err_filename)
FileNotFoundError: [Errno 2] No such file or directory: '/usr/local/python3/lib/python3.8/coordinator'
The above exception was the direct cause of the following exception: Traceback (most recent call last): |
Beta Was this translation helpful? Give feedback.
-
|
Beta Was this translation helpful? Give feedback.
-
这个是因为在当前的 container 中，只是安装了 正常来说，通过 Helm 方式部署的 GraphScope，在 jupyter 中需要通过 |
Beta Was this translation helpful? Give feedback.
-
|
@imbajin，针对 Issue 1122 这个问题，能否较详细的描述一下嘛？包括GraphScope的版本，是否以Helm的方式部署，以及修改路径后测试的Python脚本。 |
Beta Was this translation helpful? Give feedback.
-
|
可以, gs 0.9, helm 部署, 完整环境可参考源文档 (后续需要我再补充一下报错信息之类的) 脚本也就是参考的文档的映射版本, 其实主要点不在于修改路径测试, 而是似乎大部分的 py 执行后都容易卡住一段时间, 然后提示一大堆不太看得明白的错误, 就像上面这个使用内置数据源导入一样, 也会卡好一段时间. 感觉是比较通用的问题, 应该不局限在某个case? 更新: 感觉默认把执行的容器日志输出, 就会好很多了至少 (如果觉得多可以控制粒度或重定向) |
Beta Was this translation helpful? Give feedback.
-
|
Helm 部署方式下，默认 coordinator 和 engine 的 cpu 比较小，python 语句在执行的时候确实有一段时间的停顿，甚至超时（尤其是拉起GIE引擎部分，因为要创建一些进程），所以报的错是等待超时的异常。 我这边将配置调大一些就可以了，你可以试试看。后续helm下的默认配置我们也会更新下。 # Mount hostpath `/testingdata` to `/testingdata` in pod.
# cat values.yaml
volumes:
enabled: true
items:
data:
type: hostPath
field:
type: Directory
path: /testingdata
mounts:
- mountPath: /testingdata
coordinator:
resources:
requests:
cpu: 3.0
memory: 4Gi
limits:
cpu: 3.0
memory: 4Gi
engines:
resources:
requests:
cpu: 2.0
memory: 4Gi
limits:
cpu: 2.0
memory: 4Gi
# 我为了少占用CPU，就关掉了
withJupyter: false |
Beta Was this translation helpful? Give feedback.
-
|
感谢, 我之前已经在文档里把 engines(worker) 的 cpu 给到 10core 了, 不过 coordinator 的确没改 (是应该一起改大点的, 之前第一次启动没太注意不好意思~) 另外 v6d 我看 cpu 也给的很小, 需要调大一点么? 如果它只是单纯用来作为内存共享存储似乎就不太消耗 CPU倒是 (也许模板可默认给个1) 更新: 同时调大 coordinator 和其他组件的 cpu 和部分内存后, 执行 py 脚本报错返回快了不少, 尤其是刚创建启动服务的时候 |
Beta Was this translation helpful? Give feedback.
-
|
v6d 的container 主要处理一些meta的遍历，暂时用不到太多的CPU，目前执行 py 是在哪里报的错，可以贴一下嘛 |
Beta Was this translation helpful? Give feedback.
-
可以, 后续流程走通来单独复现补一下, 因为日志现在重起服务清了, 不过这个看起来倒不是 bug, 应该是这两个原因:
|
Beta Was this translation helpful? Give feedback.
-
@lidongze0629 这个 helm 无法删除根据自定义 今天尝试按这个办法, 也不行, 准确说是 helm 就没有使用我单独提前创建的 role, 这个是可以稳定复现的. 步骤和环境如下:
麻烦看看那边是否能复现, 再确认一下具体的原因和解决方案. 当然这个不紧急, 只是因为 pod 挂掉现在只能全部重装, 所以都需手动操作比较麻烦 |
Beta Was this translation helpful? Give feedback.
-
Thanks Jin for trying GraphScope out and writing a post,
图计算系统GraphScope上手(二)
We are grateful to hear and get feedbacks from the community!
The post raises some questions about GraphScope, we try to address them here. Discussions are welcome!
Beta Was this translation helpful? Give feedback.
All reactions