Skip to content
New issue

Have a question about this project? Sign up for a free GitHub account to open an issue and contact its maintainers and the community.

By clicking “Sign up for GitHub”, you agree to our terms of service and privacy statement. We’ll occasionally send you account related emails.

Already on GitHub? Sign in to your account

网络区如果分有DMZ区和内网区,数据库只能在内网区。如果是中心化架构,scqlEngine应该怎么部署 #371

Open
YuChangF opened this issue Oct 14, 2024 · 13 comments

Comments

@YuChangF
Copy link

Issue Type

Others

Have you searched for existing issues?

Yes

Link to Relevant Documentation

No response

Question Details

网络区如果分有DMZ区和内网区,数据库只能在内网区。
如果是中心化架构。因为数据库在内网区,scqlEngine部署在内网区,因为内网区只能和DMZ区得服务进行连接,如果DMZ区没有一个类似网关一样得服务,则无法和其他scqlEngine进行交互,这个有解决方案吗
@jingshi-ant
Copy link
Collaborator

请教下:scqlEngine(包括scdb)能否部署在DMZ区?(只有数据库在内网)

@YuChangF
Copy link
Author

scdb部署在云端。现在就是边缘端的scqlEngine部署问题,如果scqlEngine部署在DMZ区的话,就得直连内网得数据库,这样其实不太符合DMZ和内网区交互得安全规范,一般不允许DMZ区得服务直连内网区数据库。有一种方法是scqlEngine部署在内网区,然后通过DMZ得网关和其他engine交互,这种是比较理想得方案,但是没看到SCQL有这个网关

请教下:scqlEngine(包括scdb)能否部署在DMZ区?(只有数据库在内网)

@jingshi-ant
Copy link
Collaborator

SCQL不提供网关相关能力,相关的网关选择、路由配置需要用户结合具体部署环境自行决策。

@YuChangF
Copy link
Author

SCQL不提供网关相关能力,相关的网关选择、路由配置需要用户结合具体部署环境自行决策。

那针对网络区如果分有DMZ区和内网区,数据库只能在内网区这个场景。ScqlEngine有啥好的解决方案吗

@jingshi-ant
Copy link
Collaborator

如果DMZ不能访问内网数据库(SCQLEngine不能部署在DMZ),暂时没太好的思路:此时相当于不同机构的SCQLEngine需要跨越内网互通,这本身和网络隔离的目的感觉有冲突。

@YuChangF
Copy link
Author

如果DMZ不能访问内网数据库(SCQLEngine不能部署在DMZ),暂时没太好的思路:此时相当于不同机构的SCQLEngine需要跨越内网互通,这本身和网络隔离的目的感觉有冲突。

我看了下engine的通信走的是brpc,默认配置是走的http,那spu中的通信也是使用http吗,包括rayfed,我看了下rayfed有在处理http_header,如果都是http,我们自己考虑加网关

@tongke6
Copy link
Collaborator

tongke6 commented Oct 21, 2024

engine 中的 spu 不会走另外的通讯信道,会复用 engine 创建的 link context

@YuChangF
Copy link
Author

engine 中的 spu 不会走另外的通讯信道,会复用 engine 创建的 link context

我看了yacl和spu的代码,是会使用link context 中的brpc,brpc配置中配置走HTTP协议, 但是我记得spu不是有使用rayfed吗,rayfed走brpc吗?

@tongke6
Copy link
Collaborator

tongke6 commented Oct 22, 2024

@YuChangF spu 没有依赖 rayfed

@YuChangF
Copy link
Author

YuChangF commented Nov 5, 2024

@YuChangF spu 没有依赖 rayfed

那SCQL使用的SPU以及PSI这些算法的通信路由路径有不,我们打算自己弄网关来对通信进行路由

@tongke6
Copy link
Collaborator

tongke6 commented Nov 14, 2024

@YuChangF
Copy link
Author

通信都是走的:https://github.com/secretflow/scql/blob/main/engine/link/mux_receiver.proto#L24
我改了这2个参数
--peer_engine_protocol=http:proto
--peer_engine_connection_type=pooled
然后--listen_port=8190是这个端口
那alice,bob的ScqlEngine之间运行隐私协议,通信的URL是不是就是post https://alice的ip:8190/MuxReceiverService/Pushhttps://bob的ip:8190/MuxReceiverService/Push

@tongke6
Copy link
Collaborator

tongke6 commented Nov 18, 2024

@YuChangF 可以尝试一下哈,上手验证就可以立马得到反馈的

Sign up for free to join this conversation on GitHub. Already have an account? Sign in to comment
Labels
None yet
Projects
None yet
Development

No branches or pull requests

3 participants