• 相关博文
  • 最新资讯
加载中...
  • 解密Elasticsearch技术,腾讯开源的万亿级分布式搜索分析引擎

    Elasticsearch(ES)作为开源首选的分布式搜索分析引擎,通过一套系统轻松满足用户的日志实时分析、全文检索、结构化数据分析等多种需求,大幅降低大数据时代挖掘数据价值的成本。腾讯在公司内部丰富的场景中大规模使用 ES,同时联合 Elastic 公司在腾讯云上提供内核增强版的 ES 云服务,大规模、丰富多样的的使用场景推动着腾讯对原生 ES 进行持续的高可用、高性能、低成本优化。今天给大家分享近期在 Elastic 中国开发者大会上的演讲内容:腾讯万亿级 Elasticsearch 技术解密。

  • 300多局点,数据接入量超过2TB/S,华为用AI优化数据中台 | BDTC 2019

    数据中台承载着华为的运营商大数据分析业务,在全球建有300多个局点,单局点最大1000+服务器,数据接入量超过2TB/S。数据中台应用spark支持批计算任务,使用yarn做spark的资源管理器。yarn虽然提供了配置参数接口,但是各局点的应用数据对容器的规格、数量有不同的需求,依赖专家配置费时、费力,且不一定最优。因此,提出应用强化学习算法,针对不同业务,学习、尝试,并最终选择spark运行时的最佳参数。该方法不仅可以用作spark运行时的最佳参数选择,对于其它需要配置运行时参数的系统仍然适用。

    2020.01.07 0
  • 如何应对大数据分析工程师面试Spark考察,看这一篇就够了

    本篇文章为大家带来spark面试指南,文内会有两种题型,问答题和代码题,题目大部分来自于网络上,有小部分是来自于工作中的总结,每个题目会给出一个参考答案。

    2019.09.03 0
  • 荔枝自由?朋友,你实现了吗?

    原以为是广东人民工资和消费水平都提高了,后来才知道,由于各种原因,水果都涨价了。到底全国各地水果价格如何呢?我们获取了某团外卖全国各城市的荔枝(妃子笑)、西瓜等销售数据,看看哪里可以实现荔枝自由、西瓜自由。

  • 大碗宽面VS律师函警告,爬取10万条微博数据分析吴亦凡自黑式圈粉

    “你看这个面它又长又宽,就像这个碗它又大又圆”。一直被网友们调侃的freestyle梗,没想到真的被说唱导师吴亦凡写成了自黑的歌——《大碗宽面》。

  • 吴恩达的Landing.ai又迎来一位AI大牛

    领英上的公开信息显示,加入Landing.ai之前,王冬岩在硅谷有20年左右的工作经验,曾是美的集团全球AI负责人,领导美的集团在智能家居、智能制造、机器人和商业应用方面的AI产品及应用研发。另外,王冬岩还曾担任过NetApp、思科、三星美国等大型企业的高级管理职位,负责带领多项复杂数据分析、商业智能,企业安全战略等大规模企业级技术应用。

  • Python告诉你:为何年终奖多发一元,到手却少两千多?

    年终奖多发一元,到手却要少两千多,甚至更多。听到这个消息的时候,大家是不是觉得有点意外,意外之余还有点淡淡的忧伤?

    2019.03.06 0
  • 数据解读2019春节档哪部电影最值得看?

    本次我们的数据主要来源于猫眼,一部分是猫眼的实时预售票房数据

    2019.03.06 0