-
大数据应用广进展快
所属栏目:[大数据] 日期:2022-06-25 热度:176
近日召开的2022年中国国际大数据产业博览会上,工业和信息化部部长肖亚庆指出,近年来,中国推动大数据产业发展取得明显成效,产业规模快速增长,十三五时期,中国大数据产业年均复合增长率超过30%,2021年产业规模突破1.3万亿元,大数据产业链初步形成,[详细]
-
如何使用Google Cloud Data Studio进行数据解析
所属栏目:[大数据] 日期:2022-06-25 热度:124
Google Cloud Data Studio是一种将数据转换为有用的报告和数据仪表板的工具。截至目前,GoogleData Studio拥有22个内置的Google连接器和571个不同的合作伙伴连接器,它们有助于连接来自BigQuery、Google Ads、Google Sheets、Cloud Spanner、Facebook Ads[详细]
-
Flink CDC + Hudi 海量数据入湖在顺丰的践行
所属栏目:[大数据] 日期:2022-06-25 热度:92
摘要:本文整理自顺丰大数据研发工程师覃立辉在 5月 21 日 Flink CDC Meetup 的演讲。主要内容包括: 顺丰数据集成背景 Flink CDC 实践问题与优化 未来规划 一、顺丰数据集成背景 顺丰是快递物流服务提供商,主营业务包含了时效快递、经济快递、同城配送以[详细]
-
为啥云原生数据湖值得关注
所属栏目:[大数据] 日期:2022-06-25 热度:193
最近几年,数据湖正在被越来越多人提起,尽管各方对数据湖的定义并不统一,但这不妨碍企业纷纷下水实践,比如亚马逊、阿里、腾讯、华为等,都在探索建设数据湖。为何众多企业在数据湖是什么上还没有达成共识的情况下,就开始着手进军数据湖领域呢?一个可[详细]
-
大数据如何通过销售自动化创造更多的机遇
所属栏目:[大数据] 日期:2022-06-25 热度:90
大数据技术如今在各行业领域的业务方面非常重要。销售行业是受大数据影响最大的领域之一。仅在2020年,全球各地的企业就在营销分析上花费了28亿美元,这个数字每年都在大幅增长。 这就是数据分析将发挥重要作用的地方。销售公司可以仔细查看数据,了解渠道[详细]
-
高考结束 用 Python 来解析下哪里的高考是地狱级难度
所属栏目:[大数据] 日期:2022-06-25 热度:52
一年一度的高考,可以说是广大学子必经的磨练,正所谓十年寒窗苦,一朝天下知。而高考,也成为了当前中国最为广泛,最为公平的晋升之路,可以说考上了一个名牌大学,那么未来的道路会好走很多。 但是又由于我国幅员辽阔,各地的教育资源又不尽相同,从而导[详细]
-
何为数据湖?用于大数据分析的大规模可扩展存储
所属栏目:[大数据] 日期:2022-06-25 热度:200
从那时起,数据湖技术不断发展,现在正在与数据仓库争夺大数据存储和分析的市场份额。各种工具和产品支持数据湖中更快的SQL查询,而全球三个主要云计算提供商都提供了数据湖存储和分析。甚至还推出了将治理、安全性和分析与成本更低的存储结合起来的数据湖[详细]
-
不良数据会造成更严重后果的几个原由
所属栏目:[大数据] 日期:2022-06-25 热度:130
现在回想起来,这是有道理的。当时不仅存在基础设施方面的挑战,而且使用网络的人并不多,网站也没有那么有价值。随着云计算、电子商务和SaaS的兴起,这种情况发生了变化,确保可靠性成为企业的关键任务,站点可靠性工程(SRE)应运而生。 数据如今处于相似[详细]
-
数据分析常见的误区有哪几种
所属栏目:[大数据] 日期:2022-06-25 热度:143
数据分析常见的误区有哪些? 1、盲目的收集数据 一个正常运营的产品每天会产生大量的数据,如果把这些数据都收集起来进行分析,不仅会使工作量增加,浪费大量时间,很可能还会得不到想要的分析结果。作为一名数据分析人员,更不应该为了分析而分析,而是应[详细]
-
如何管理高度可扩大系统中的元数据
所属栏目:[大数据] 日期:2022-06-25 热度:97
元数据过去对数据中心架构的影响很[详细]
-
做数据治理前 应该明白并避开的几大坑
所属栏目:[大数据] 日期:2022-06-25 热度:123
Gartner 的一项调查显示,超过90%的数据治理项目都以失败告终。 这个数据可能会劝退一大波正准备做或者正在观望数据治理的企业:既然这笔投资90% 的概率失败,那为什么要继续。 1. 目标不明晰 数据治理是一个复杂的系统工程,一个明确合理的目标,能让数据[详细]
-
大数据平台核心架构图鉴 提议收藏
所属栏目:[大数据] 日期:2022-06-25 热度:105
大数据的核心层应该是:数据采集层、数据存储与分析层、数据共享层、数据应用层,可能叫法有所不同,本质上的角色都大同小异。 所以我下面就按这张架构图上的线索,慢慢来剖析一下,大数据的核心技术都包括什么。 01数据采集 数据采集的任务就是把数据从各[详细]
-
新时代开源数据调度在1000+企业的进化之途
所属栏目:[大数据] 日期:2022-06-25 热度:157
近年来,随着互联网的飞速发展,业务量在短时间内呈现爆发式增长,对应的数据量快速从数百 G 涨至数百 T。无论数据存储还是数据调度,当前数据量已经远超处理能力的上限。若信息处理技术仍渐进式发展,数据处理能力的提升将远落后于指数级增长的数据量。[详细]
-
大数据如何改变制造业
所属栏目:[大数据] 日期:2022-06-10 热度:58
区块链如何改变制造业 由于该领域的独家技术突破,制造业正处于一场革命之中。 制造业的大数据正在实现明智的战略,并制定未来的路线图。 制造业是在过去几十年里经历了巨大变化的行业之一。除了简单地自动化相关流程之外,制造业还利用技术实现各种其他目[详细]
-
一文读懂元数据管理!
所属栏目:[大数据] 日期:2022-06-10 热度:185
一文读懂元数据管理! 一、什么是元数据? 元数据(metadata)是关于数据的组织、数据域及其关系的信息,简言之,元数据就是描述数据的数据。概念总是生涩,对于没有IT背景的人来说比较抽象,不容易理解,下面举几个例子。 示例1:歌词中的元数据 有一首很[详细]
-
为何大厂选择减人而不是降薪?
所属栏目:[大数据] 日期:2022-06-10 热度:75
为何大厂选择减人而不是降薪? 01 前2天写了大厂裁人和招人为何同时进行的原理,后台也收到了很多有趣的私信,其中有一个问题让我觉得特别有意思。 问的是大厂为控制成本他能理解,但同样是控制成本,裁掉30%的人,以及不裁人集体降薪30%,区别是啥? 为什[详细]
-
终于有人把数据的属性讲明白了
所属栏目:[大数据] 日期:2022-06-10 热度:199
终于有人把数据的属性讲明白了 1.结构化与非结构化数据 某些数据集具有很好的结构性,就像数据库中的数据表或电子表程序中一样。而其他的数据以更多样的形式记录着有关世界状况的信息。它们可能是像维基百科这样包含图像和超级链接的文本语料库,也可能是[详细]
-
价值变现的关键是组织优化和数据治理
所属栏目:[大数据] 日期:2022-06-10 热度:130
大数据、数据治理、数据湖以及目前被热议的数据中台概念,无不让企业信息化部门疲于跟进,而不是根据企业的实际情况决定建设节奏。企业A的IT部门,就曾受到业务部门要求建设数据中台的压力,但迟迟难以下决心启动数据中台项目。 从A企业的视角来看,目前,[详细]
-
反映数据质量的八个指标
所属栏目:[大数据] 日期:2022-06-10 热度:66
数据的质量直接影响着数据的价值,并且还影响着数据分析的结果以及我们依此做出的决策的质量。质量不高的数据不仅仅是数据本身的问题,还会影响企业的经营管理决策;数据错误还不如没有数据,因为没有数据时,我们会基于经验和常识做出不见得是错误的决策,[详细]
-
如何采用大数据技术帮助制定数字化策略?
所属栏目:[大数据] 日期:2022-06-10 热度:170
数字化采用被定义为通过优化遗留系统和利用新技术来重塑企业。近年来,大数据一直是数字化采用的中心。这就是全球各地方的公司去年在大数据技术上花费1620亿美元以上的原因。 整个过程远不止这些,但采用新技术并将其集成到业务工作流程中是关键。为了简化[详细]
-
数据中台虚火?数据管控体系应该这么搭
所属栏目:[大数据] 日期:2022-06-10 热度:59
大数据、数据治理、数据湖以及被热议的数据中台概念,无不让企业信息化部门疲于跟进,而不是根据企业的实际情况决定建设节奏。企业A的IT部门,就曾受到业务部门要求建设数据中台的压力,但迟迟难以下决心启动数据中台项目。 从A企业的视角来看,目前,行业[详细]
-
大数据和道路安全如何携手共进?
所属栏目:[大数据] 日期:2022-06-10 热度:95
大数据现在被广泛用于预测交通和避免事故 道路交通事故仍然是一个主要问题,因为全球每年有超过 125 万人丧生。根据世界卫生组织的一份报告,它仍然是 15 至 29 岁人群的主要死因。 世卫组织已承诺采取一项强有力的举措,到 2022 年减少道路交通事故造成的[详细]
-
数据科学中数据收集的终极指南
所属栏目:[大数据] 日期:2022-06-10 热度:58
在当今世界,数据对任何一家企业的成功都起着关键作用。企业的目标受众、竞争对手产生的数据、工作领域的信息以及企业自己收集的数据可能会帮助找到更多客户、分析业务决策、重新优化业务模型或进入到其他市[详细]
-
如何使云原生运维化繁为简
所属栏目:[大数据] 日期:2022-06-09 热度:165
云计算带来了集约化、效率、弹性与业务敏捷的同时,对云上运维提出了前所未有的挑战。如何面对新技术趋势的挑战,构建面向云时代的智能监测平台,让云上应用获得更好的保障,是如今摆在每一个企业面前的一道难题。 在日前的【TTalk】系列活动第八期中,51C[详细]
-
如何借助Python创建机器学习模型
所属栏目:[大数据] 日期:2022-06-09 热度:73
你是否会遇到这样的场景,当你训练了一个新模型,有时你不想费心编写 Flask Code(Python的web 框架)或者将模型容器化并在 Docker 中运行它,就想通过 API 立即使用这个模型? 如果你有这个需求,你肯定想了解MLServer。它是一个基于Python的推理服务器,[详细]