hadoop是不是很慢,无法满足实时性?

GoGoRoger
逝者如斯夫 2021-11-11 字数 138

最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

Programming 编程技术
15 个回复
stub
stub 2021-11-11

hadoop了还考虑啥实时性

RuralHunter
渔父 2021-11-11

hadoop上的hbase就是实时的

【 在 GoGoRoger (逝者如斯夫) 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

hgoldfish
老鱼 2021-11-11

想要实时的,你得用流处理啊。

hadoop 现在不流行了。

个人感觉十台机器以下的 hadoop 集群,都可以用制作精良的 c++ /go 程序替换。

【 在 GoGoRoger (逝者如斯夫) 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

lokta
部落 2021-11-11

看你啥需求.

用的人少,并发要求不高,用clickhouse.

用的人多,并发要求高,简单key-value形式,可以用hbase

介于两者之间的,greenplum,doris都可以试试..

【 在 GoGoRoger (逝者如斯夫) 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

litguy
随风而行 2021-11-11

这是咋比较的,不是一类东西,前者复杂得多

【 在 GoGoRoger 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

GoGoRoger
逝者如斯夫 2021-11-11

应该是hdfs吧

发自「今日水木 on M2007J17C」

【 在 litguy 的大作中提到: 】

: 这是咋比较的,不是一类东西,前者复杂得多

: --

todaysm
百炼成钢 2021-11-11

go已经这么牛逼了吗

发自「今日水木 on iPhone XS」

【 在 hgoldfish 的大作中提到: 】

: 想要实时的,你得用流处理啊。

: hadoop 现在不流行了。

: 个人感觉十台机器以下的 hadoop 集群,都可以用制作精良的 c++ /go 程序替换。

: --

: 灭绝人性啊

lushan5436
密如 2021-11-16

Hadoop不是一个系统,这本书作者是三脚猫吧,连这个都

【 在 GoGoRoger 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

GoGoRoger
逝者如斯夫 2021-11-16

Hdfs吧,应该还是有些水平的。

发自「今日水木 on M2007J17C」

【 在 lushan5436 的大作中提到: 】

: Hadoop不是一个系统,这本书作者是三脚猫吧,连这个都

: --

LYMing1986
LYMing1986 2021-11-16

能先定义下 实时 么

【 在 GoGoRoger 的大作中提到: 】

: 最近看一个分布式存储系统的,说hadoop和Cassandra是比较典型的分布式程序,但是怎么用起来差别那么大,感觉hadoop延迟特别大,而Cassandra就很快。

GoGoRoger
逝者如斯夫 2021-11-16

额,我也说不好,差不多就是mysql了Cassandra那种,在几十毫秒至100毫秒内对几十数百K的数据进行读写。

【 在 LYMing1986 的大作中提到: 】

: 能先定义下 实时 么

Loveni
ainibaobei 2021-11-16

十台机器整啥hadoop啊

【 在 hgoldfish (老鱼) 的大作中提到: 】

: 想要实时的,你得用流处理啊。

: hadoop 现在不流行了。

: 个人感觉十台机器以下的 hadoop 集群,都可以用制作精良的 c++ /go 程序替换。

: ...................

victorjrc
悠蓝 2021-11-16

这场景描述跟hadoop应该干的根本就不是一回事儿

【 在 GoGoRoger 的大作中提到: 】

: 额,我也说不好,差不多就是mysql了Cassandra那种,在几十毫秒至100毫秒内对几十数百K的数据进行读写。

: 【 在 LYMing1986 的大作中提到: 】

: : 能先定义下 实时 么