最近在做跨国的实时大数据相关 flink 任务,有个网络传输问题。数据源是在泰国发到国内阿里云,最早采用 kafka 外网直连,时断时续。后来在泰国搞了个 udp 的中心数据 server ,再由 udpserver 发送到国内。还有几个问题:
各位有没有类似情况,或者通用解决方案。
1
idblife 2021-12-03 19:07:25 +08:00
落地香港
然后中港专线? |
2
CEBBCAT 2021-12-03 20:00:17 +08:00
是租用云服务商的机器吗?联系他们试试呢?一般来说他们有自己维护的链路
|
3
liuxu 2021-12-03 20:08:05 +08:00
泰国的话,用香港 CN2 线路中转,或者 IPLC 穿透,便宜点你就 udp over tcp 了
|
4
rouzip 2021-12-03 20:25:12 +08:00
可以通过 multipath 去做?
|
5
leeg810312 2021-12-03 20:29:11 +08:00 via Android
我们客户不少跨国公司,跨地区传输很多数据,一般都是走专线 VPN
|
6
huangsen365 2021-12-04 00:20:41 +08:00 via iPhone
腾讯云的 anycast ,但是要大公司才可以申请。如果小公司的话就用 ucloud 的 pathx
|
7
Nnq 2021-12-04 05:03:01 +08:00
看你数据源是不是集中,如果集中的话,直接走专线比较好。 不集中的话,看数据的大小,小的数据注意校验,大的数据看能不能分割之类的。
|
8
Kinnice 2021-12-04 11:11:00 +08:00 via Android
腾讯云 aia 网络
|
9
yuguorui96 2021-12-04 11:38:11 +08:00
|
10
markgor 2021-12-04 12:56:01 +08:00
专线 VPN 正解,其余别折腾了;
所谓的中转,udp over tcp 这些都是为了防止被 GFW 封了; UDP 常用的话也会被封端口,只能一直换着端口用。 想无后顾之忧,可以办理专线 VPN ,云服务商有提供,但涉境外业务需要报备。 以前异地联网,考虑的是技术上的事情; 现在异地联网,首要考虑就是 GFW 的事情。 |
11
loveminds 2021-12-05 03:48:53 +08:00
|
12
GeekGao 2021-12-05 17:26:43 +08:00
sd-wan 专线啊,企业还是要用合法的跨境专线的,严格的说不然会有法律风险
|
13
fastcache 2021-12-05 21:03:42 +08:00
1 、目前有带宽保障、稳定且比较经济实用的方案:国内 CEN 先打到 Region HK ,HK 开个 vpn 网关,与泰国 site2site 打通内网,比 sd-wan ( SAG )便宜
2 、2022 年 ali 在泰国开站,方案同上,国内可以直接打到泰国(费用更高),目测泰国几个 carrier 到 hk ( hkix )带宽通畅,估计质量变化不大 |
14
patrickyoung 2021-12-06 09:11:09 +08:00
纯软件的方案有 kcp 协议( kcptun 作为一个套娃),但是动态扩张上存在的问题比较严重。
至于被封的问题,除了正面迎接监管 and 加钱之外,无解。 |
15
cheng6563 2021-12-06 09:23:46 +08:00
不保可用性吗?那不是随便搞。
|
20
youxiachai 2021-12-06 16:04:49 +08:00
想省钱,只能放弃稳定性了...
|
21
sbilly 2021-12-06 16:28:02 +08:00
快 /稳 /宽
三个都要就贵,只要一个或者两个就用另外的换吧 |
22
markgor 2021-12-08 11:47:04 +08:00
@dafen7 #19
我之前有个香港的业务,用的是 IPLC 专线,除了线路维护(提前 1 周会通知)外,5 年来基本没出过任何问题。 听说是 2000HKD/月,从香港那边申请办理的,2M 带宽。 后来有个业务需要也需要涉及港澳,自行在良心云购买了两地的服务器,自建 openVPN ,运行 2~3 个月的就被封端口。流量也不算大。折腾过很多方案,二次封包,加密等的....基本无解,感觉流量识别并不是解密流量后进行封,而是识别长期连接同一个端口触发封禁,当然具体我也不知道,GFW 规则那么神秘。 而且你们的还是数据同步,这种对于稳定性要求比较高的,考慮国情因素,因此建议 IPLC |
23
dafen7 OP @markgor 多谢,我们的场景主要是数据量比较大,带宽现在是 15M ,专线都比较贵上头不给批才用的 udp 直连,还跟我们要解决方案。苦逼啊
|
24
markgor 2021-12-08 18:08:52 +08:00
@dafen7 #23 这要求我们之前也提交过工单和腾讯云工程师了解过,他们也表示出无奈,因为某些原因他们无法处理类似这种跨境业务的网络问题,而且他们也明确表示了,如果真有技术方案能解决这种问题(前提是稳定性),那专线将变得毫无意义。我觉得这句话挺合理的。
而且封禁这个并不属于技术问题,而是政策问题。 打个比方就是 如果你们通过 UDP 进行收发,但是服务偶尔挂起,那你遇到的是技术问题;但是当 UDP 收发时,端口偶尔被禁,这属于政策问题;哪怕你当时更换了端口或使用别的方法绕过去,但一段时间后也许 GFW 也会把你的方式给封了。所以回到源头这种政策问题就应该按政策形式去处理,而不是找技术方式进行绕过。除非接受稳定性降低。 |
25
blening 2022-08-12 11:37:25 +08:00
可以找我
|