设为首页 - 加入收藏 大连站长网 (https://www.0411zz.cn)- 大型站长资讯类网站,站长百科,建站经验,电子商务,云计算!
热搜: 公开 隔空手势
当前位置: 首页 > 大数据 > 正文

【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

发布时间:2021-05-14 19:15 所属栏目:[大数据] 来源:网络整理
导读:副标题#e# 【本文系互联网技术联盟(ITA1024)原创首发,转载或节选内容前需获授权(授权后一周以后可以转载),且必须在正文前注明:本文转自互联网技术联盟(ITA1024)技术分享实录,微信公众号:ita1024k】 申贤强 搜狗 资深工程师 互联网技术联盟 ITA102

【本文系互联网技术联盟(ITA1024)原创首发,转载或节选内容前需获授权(授权后一周以后可以转载),且必须在正文前注明:本文转自互联网技术联盟(ITA1024)技术分享实录,微信公众号:ita1024k】


【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

申贤强

搜狗

资深工程师

互联网技术联盟

ITA1024讲师团成员

本篇文章整理自申贤强4月23日在『1024大数据技术峰会』上的分享实录:大数据处理和统一任务调度系统优化。

正文如下


我是来自搜狗基础平台部申贤强,今天给大家分享的话题是大数据处理和统一任务调度系统优化。

???

【PPT+实录】搜狗资深工程师申贤强:大数据处理和统一任务调度系

我们基于Hadoop系统建设搜狗海量数据存储和计算平台。提供一站式数据处理服务,每天数十亿的数据增量,推动开源数据的发展。

???

重要的事情先跟大家讲一下,开源的项目,一个是Kafka实时入Hive的sink工具,一个是任务管理系统核心组件。也欢迎大家借鉴和使用。


Github地址:

https://github.com/sogou/flume-hive-batch-sink

https://github.com/sogou/docker-on-yarn.git


今天分享主要内容分为两个方面:

???

第一,数据分析。

第二,大规模统一调度系统。


【免责声明】本站内容转载自互联网,其相关言论仅代表作者个人观点绝非权威,不代表本站立场。如您发现内容存在版权问题,请提交相关链接至邮箱:bqsm@foxmail.com,我们将及时予以处理。

推荐文章