站长工具

Elasticsearch与Clickhouse数据存储对比

作者：Jcloud

1 背景

京喜达技术部在社区团购场景下采用JDQ+Flink+Elasticsearch架构来打造实时数据报表。随着业务的发展Elasticsearch开始暴露出一些弊端，不适合大批量的数据查询，高频次分页导出导致宕机、存储成本较高。

Elasticsearch的查询语句维护成本较高、在聚合计算场景下出现数据不精确等问题。Clickhouse是列式数据库，列式型数据库天然适合OLAP场景，类似SQL语法降低开发和学习成本，采用快速压缩算法节省存储成本，采用向量执行引擎技术大幅缩减计算耗时。所以做此对比，进行Elasticsearch切换至Clickhouse工作。

2 OLAP

OLAP意思是On-Line Analytical Processing 联机分析处理，Clickhouse就是典型的OLAP联机分析型数据库管理系统(DBMS)。OLAP主要针对数据进行复杂分析汇总操作，比如我们业务系统每天都对当天所有运输团单做汇总统计，计算出每个省区的妥投率，这个操作就属于OLAP类数据处理。与OLAP类似的还有一个OLTP类数据处理，意思是On-Line Transaction Processing 联机事务处理，在OLTP场景中用户并发操作量会很大，要求系统实时进行数据操作的响应，需要支持事务，Mysql、Oracle、SQLServer等都是OLTP型数据库。

2.1 OLTP场景的特征

  • 宽表，即每个表包含着大量的列
  • 对于读取，从数据库中提取相当多的行，但只提取列的一小部分。
  • 查询相对较少(通常每台服务器每秒查询数百次或更少)
  • 查询结果明显小于源数据。换句话说，数据经过过滤或聚合，因此结果适合于单个服务器的RAM中
  • 绝大多数是读请求
  • 数据以相当大的批次(> 1000行)更新，而不是单行更新;或者根本没有更新。
  • 对于简单查询，允许延迟大约50毫秒
  • 列中的数据相对较小：数字和短字符串(例如，每个URL 60个字节)
  • 处理单个查询时需要高吞吐量(每台服务器每秒可达数十亿行)
  • 事务不是必须的
  • 对数据一致性要求低

3 特性

3.1 Elasticsearch

  • 搜索： 适用倒排索引，每个字段都可被索引且可用于搜索，海量数据下近实时实现秒级的响应，基于Lucene的开源搜索引擎，为全文检索、高亮、搜索推荐等提供了检索能力。百度搜索、淘宝商品搜索、日志搜索等
  • 数据分析： Elasticsearch提供了大量数据分析的API和丰富的聚合能力，支持在海量数据的基础上进行数据分析处理。统计订单量、爬虫爬取不同电商的某个商品数据，通过Elasticsearch进行数据分析（各个平台的历史价格、购买力等等）

3.2 Clickhouse

  • 列式存储
  • 压缩算法：采用lz4和zstd算法数据压缩，高压缩比降低数据大小，降低磁盘IO，降低CPU使用率。
  • 索引：按照主键对数据进行排序，clickhouse能在几十毫秒内完成在大量数据对特定数据或范围数据进行查找。
  • 多核心并行处理：ClickHouse会使用服务器上一切可用的资源，来全力完成一次查询。
  • 支持SQL：一种基于SQL的声明式查询语言，在许多情况下与ANSI SQL标准相同。支持group by，order by，from, join，in以及非相关子查询等。
  • 向量引擎：为了高效的使用CPU，数据不仅仅按列存储，同时还按向量(列的一部分)进行处理，这样可以更加高效地使用CPU。
  • 实时的数据更新：数据总是已增量的方式有序的存储在MergeTree中。数据可以持续不断高效的写入到表中，不会进行任何加锁等操作。写入流量在50M-200M/s
  • 适合在线查询：响应速度快延迟极低
  • 丰富的聚合计算函数

4 我们的业务场景

  1. 大宽表，读大量行少量列进行指标聚合计算查询，结果集比较小。数据表都是通过Flink加工出来的宽表，列比较多。在对数据进行查询或者分析时，经常选择其中的少数几列作为维度列、对其他少数几列作为指标列，对全表或者一定范围内的数据做聚合计算。这个过程会扫描大量的行数据，但是只用了少数几列。
  2. 大量的列表分页查询与导出
  3. Flink中数据大批量追加写入，不做更新操作
  4. 有时某个指标计算需要全表扫描做聚合计算
  5. 很少进行全文搜索

结论：数据报表、数据分析场景是典型的OLAP场景，在业务场景上列式存储数据库Clickhouse比Elasticsearch更有优势，Elasticsearch在全文搜索上更占优势，但是我们这种全文搜索场景较少。

5 成本

  • 学习成本：Clickhouse是SQL语法比Elasticsearch的DSL更简单，几乎所有后端研发都有Mysql开发经验，比较相通学习成本更低。
  • 开发、测试、维护成本：Clickhouse是SQL语法，与Mysql开发模式相似，更好写单元测试。Elasticsearch是使用Java API拼接查询语句，复杂度较高，不易读不易维护。
  • 运维成本：未知，互联网上在日志场景下Clickhouse比Elasticsearch成本更低。
  • 服务器成本：
  • Clickhouse的数据压缩比要高于Elasticsearch，相同业务数据占用的磁盘空间ES占用磁盘空间是Clickhouse的3-10倍，平均在6倍。 见图1
  • Clickhouse比ES占用更少的CPU和内存

结论：同等数据量情况下，Elasticsearch使用的存储空间是Clickhouse的3-10倍，平均在6倍。综合学习、开发、测试、维护方面，Clickhouse比Elasticsearch更友好

6 测试

6.1服务器配置

以下均基于下图配置进行测试

6.2 写入压测

以下基于wms_order_sku表，通过Flink在业务平稳情况下双写Elasticsearch和Clickhouse1000W+数据进行测试得到的结果

  • 占用CPU情况：Elasticsearch CPU一直占用很高，Clickhouse占用很少CPU。见 图2

  • 占用内存情况：Elasticsearch 内存升高频繁GC，Clickhouse占用内存较低，比较平稳。见 图3

  • 写入吞吐量：CH单机写入速度大约为50~200MB/s，如果写入的数据每行为1kb，写入速度为5-20W/s，图 4(写入吞吐量)为互联网上Elasticsearch与Clickhouse写入数据的对比图，同等数据样本的情况下CH写入性能是Elasticsearch的5倍。由于我们目前Flink任务为双写，考虑到会互相影响，后续补充压测结果。

结论：批量写入数据时Elasticsearch比Clickhouse更吃内存和CPU，Elasticsearch消耗的内存是Clickhouse的5.3倍，消耗的CPU是Clickhouse的27.5倍。吞吐量是Elasticsearch的5倍

6.3 查询性能(单并发测试)

以下场景是我们数据报表以及数据分析中出现的高频场景，所以基于此进行查询性能测试

数据对比情况

  • Clickhouse自身在集群配置差一倍的情况下查询性能差异不是很大，CH2(48C 182GB)比CH1(80C 320GB)平均慢14%。见图 5

  • Elasticsearch在集群配置差一倍的情况下查询性能受影响较大，ES2(46C 320GB)比ES1(78C 576GB)平均慢40%。见图 6

  • ES2(46C 320GB)与CH2(48C 182GB)相比，ES2与CH2 CPU核数相近，ES2内存是CH2 1.75倍的情况下，CH2的响应速度是ES2的响应速度的的12.7倍。见图 7

结论：查询数据时Elasticsearch比Clickhouse慢，在配置相近的情况下Clickhouse的响应速度是Elasticsearch的12.7倍，特别是基于时间的多字段进行聚合查询是Clickhouse比Elasticsearch快32倍。Clickhouse的查询响应素速度受集群配置大小的影响较小。

6.4 查询压测(高并发测试，数据来源于互联网)

由于准备高并发测试比较复杂耗时多，后续会基于我们的业务数据以及业务场景进行查询压力测试。以下数据来源于互联网在用户画像场景（数据量262933269）下进行的测试，与我们的场景非常类似。

结论：Clickhouse对于高并发支持的不够，官方建议最大QPS为100。高并发情况下吞吐量不如Elasticsearch更友好

7 总结

Clickhouse与Elasticsearch对比Clickhouse的优缺点。

优点:

  • 硬件资源成本更低，同等场景下，Clickhouse占用的资源更小。
  • 人力成本更低，新人学习、开发单测以及测试方面都更加友好，更容易介入。
  • OLAP场景下Clickhouse比Elasticsearch更适合，聚合计算比Elasticsearch更精缺、更快，更节省服务器计算资源。
  • 写入性能更高，同等情况下是Elasticsearch的5倍，写入时消耗的服务器资源更小。
  • Elasticsearch在大量导出情况下频繁GC，严重可能导致宕机，不如Clickhouse稳定。
  • 查询性能平均是Elasticsearch的12.7倍，Clickhouse的查询性能受服务器配置影响较小
  • 月服务器消费相同情况Clickhouse能够得到更好的性能。

缺点：

  • 在全文搜索上不如Elasticsearch支持的更好，在高并发查询上支持的不如Elasticsearch支持的更好

作者：京东物流 马红岩

内容来源：京东云开发者社区

本文转载于网络 如有侵权请联系删除

相关文章

  • 数据科学的面试的一些基本问题总结

    来源：DeephubImba本文约5000字，建议阅读10分钟本文将介绍如何为成功的面试做准备的，以及可以帮助我们面试的一些资源。复制在这篇文章中，将介绍如何为成功的面试做准备的，以及可以帮助我们面试的一些资源。 代码开发基础如果你是数据科学家或软件开发人员，那么应该已经知道一些Python和SQL的基本知识，这对数据科学家的面试已经足够了，因为大多数的公司基本上是这样的——但是，在你的简历中加入Spark是一个很好的加分项。对于SQL，你应该知道一些最简单的操作，例如：从表中选择某些列连接两个表（内连接、左连接、右连接和外连接）汇总结果（总和、平均值、最大值、最小值）在SQL中使用窗口函数日期处理对于Python，需要了解：处理df（pandas），例如读取、加入、合并、过滤操作日期和格式化日期操作字符串，例如使用正则表达式、搜索字符串包含的内容有效地使用循环使用列表和字典在Python中创建函数和类在你的编程面试中，掌握SQL和Python是很重要的。了解数据结构和算法这是一个重要的问题，可能不像对软件开发人员那么重要，但是对数据结构和算法有很好的理解肯定会让你与众不同。以下是一个

  • Python 知识点总结篇（1）

    变量变量类型： 1、数字型整形：int；浮点型：float；布尔型：bool，True和False；复数型：complex；2、非数字型字符串；列表；元祖；字典；不可变类型：内存中数据不允许被修改； 数字类型int、bool、float、complex，long(2,x)；字符串str；元祖tuple；可变类型：内存中数据可修改； 列表list；字典dict；变量命名规则： 只能是一个词；只能包含字母、数字和下划线；不能以数字开头；运算符**：代表指数，eg：2**3=8; /：代表除法，eg：22/8=2.75； //：代表整除/商数取整，eg：22/8=2； *：用于两个整形或浮点型值时，表示乘法，但用于字符串值和一个整形值时，它则变成了’字符串复制’操作符； 交互式环境窗口与文件编辑器窗口区别： 交互式环境窗口总是有>>>提示符；文件编辑器窗口没有>>>提示符；注释： 单行注释：#这是单行注释；多行注释：用三个单引号'''或者三个双引号"""将注释括起来;''&#x

  • PQ-M及函数：如何判断数据的类型？

    小勤：PowerQuery里有类似Excel的ISNUMBER等函数吗？怎么判断某一个数据是文本，还是数字？大海：PowerQuery里常用于判断数据类型的函数有两个，一个是Value.Is，还有一个是Value.Type。小勤：啊？具体怎么用？比如我要实现下面这个功能：大海：这个可以这样，比如说用Value.Is函数：小勤：也就是说，Value.Is可以用来判断各种类型的数据？只要第二个参数改为相关类型的关键字即可？大海：对的。比如还可以判断是否为文本等等：typetext……小勤：那如果用Value.Type函数呢？大海：用Value.Type函数就是先识别出这个数据是什么类型的，然后再加判断，而Value.Is函数是直接判断。比如这样：小勤：原来这样，知道这两个函数，剩下的就是对PowerQuery里各种数据类型及其关键字的熟悉了。大海：对的，一般来说你经常用到哪几类函数，那几类函数对应的数据类型就记一下，比如number、text、date、list、table等，其实，随着你对函数使用的不断熟悉，这些类型自然就记住了。小勤：好的。在线M函数快查、系列文章及配套视频链接： ht

  • iOS OC调用Swift

    前提目前TRTC官网上提供的一些场景化demo（比如TUIMeeting）是用的swift写的，下面以OC项目中集成TUIMeeting这个组件为例简单介绍下OC调用swift正文1、集成TUIMeeting组件直接参考TRTC官网文档https://cloud.tencent.com/document/product/647/456812、添加swift文件，只要是混编无论是在oc项目中添加swift文件，还是swift项目中添加oc文件，会提示添加一个桥文件名字为XXX-Bridging-Header.h创建swift文件首次创建swift文件Xcode自动生成的，点击创建3、Target->BulidSettings->输入packa设置DefinesModule为Yes4、设置圆框内为当前工程名5、在你要调swift文件的oc类中导入“项目名-Swift.h”文件，command+鼠标点击看是否能进到文件中6、进不去“项目名-Swift.h”文件就自己创建一个以”项目名-Swift.h”文件7、回到第5步进到“项目名-Swift.h”文件，你很可能进到下面这个里面8

  • 码董事 VS 码懂事 的一天

    生活不易，码仔叹气！！！当代程序员真的是在夹缝中求生存，除了要每天完成堆积如山的工作任务，还要时不时的被老板们蹂躏。在日益增长的年龄和日渐减少的发量的双重压力下各个码农只能逐渐变得“懂事”入职公司是体面工作996、007是福报修满加班工作是理所应当拉屎聊天是消极办公但是！这些并没有击垮码农们他们在压力下学会了乐观总会用自黑的方式去调节自己的情绪程序员的生活充满未知：未知的项目，未知的语言，未知的框架，未知的工具，未知的进度，未知的天坑，未知的Bug，未知的交付日期，未知的绩效评估，未知的KPI……在这种茫然四顾一切皆不可知的环境中生活，伟大的程序员，坚韧的程序员，不可思议的程序员，拥有超强耐受力的程序员，倍受蹂躏仍踯躅前行的程序员，不但奇迹般地在这个非人的环境里存活了下来，还每天乐乐呵呵屁颠屁颠的，这不是乐观是什么？还能有哪个群体如此乐观吗？程序员的日子是枯燥的。码仔希望通过漫画能给各个“码懂事”在枯燥的生活中带去一丝活力，让你有一个好心情，乐观、自信的去搬砖！加油！码懂事们！祝你们争取坐上码董事的椅子！

  • C++多态

    1.概念认知多态（Polymorphism）按字面的意思就是“多种状态”。在面向对象语言中，接口的多种不同的实现方式即为多态。引用CharlieCalverts对多态的描述——多态性是允许你将父对象设置成为一个或更多的他的子对象相等的技术，赋值之后，父对象就可以根据当前赋值给它的子对象的特性以不同的方式运作（摘自“Delphi4编程技术内幕”）。简单的说，就是一句话：允许将子类类型的指针赋值给父类类型的指针。多态性在ObjectPascal和C++中都是通过虚函数实现的。--百度百科由以上解释大致可以了解到多态的含义。对于C++来说，多态就是同一个函数不同的执行效果。实现方式就是子类根据自身需要更改了从父类继承的方法。2.基本语法C++支持多种多态，从实现形式上概括，有虚函数、重载等。从绑定时间，分为静态多态和动态多态，又称为编译期多态和运行期多态。简单地来讲：静态多态是指在编译后就已经绑定，主要实现形式有函数模板和类方法重载；动态多态是指在运行期间才能确定，主要实现形式为基类的虚函数继承。静态多态（重载）:#include<iostream> usingnamespace

  • GitHub开学大礼包：近50种专业开发者工具，最高节省32万！

    【新智元导读】GitHub学生开发者工具大礼包，近50种专业工具随你用，最高省45000美元。通过验证的学生在学校期间可免费获得GithubPro，Github教育合作伙伴提供的独家优惠。该项目自六年前推出以来，已经为150多万学生免费提供了最好的开发和练习工具。GitHub推出学生礼包计划已经有6年了。至今已经为150多万学生提供了免费的最佳实践开发工具和培训。这个项目的初衷是帮助学生利用真实的工具进行实操来获取项目经验，从而提高毕业生求职的命中率。 无论是在开发一套产品组合、构建一个新的桌面应用程序、还是创建一个交互式地图，这个包都可以提供联系所需的精确工具。成功加入礼包计划同学可以在学期内免费获得GitHubPro，以及GitHub教育合作伙伴的独家优惠。今年的礼包供应商增加了21个，近50种专业工具随你用！差不多是成倍的增加。今年的礼包最高可以为同学们节省奖金45000美元。本月新加的工具如下：BetterCodeHub：在线代码分析服务ConfigCat：功能标志和配置管理服务Cryptolens：基于云的软件许可平台Gitpod：用于GitHub的在线IDEFrontend

  • 【干货】DevOps的演进与落地价值

    DevOps是当前IT领域最热门的话题之一，了解、掌握、应用DevOps对于提升软件交付与管控具有重要的意义。然而时至今日DevOps尚无统一的定义。本文主要从业务及IT的发展对DevOps的诞生背景、定义演进以及落地价值等方面进行了分析和阐述，以期对DevOps的内涵进行探讨。DevOps在2009年提出以来，已经走过了十个年头。近几年来，DevOps的热度呈快速上涨趋势，从DORA的年度报告也可以看出来，到2018年末全球主要行业的DevOps的应用程度已达到30%，上升势头迅猛。 然而，时至今日，对于DevOps仍没有一个准确的定义，这对于我们理解DevOps，或者说在落地DevOps的过程中会带来不小的困扰，各方都有自己的理解。那么，DevOps的内涵究竟是什么呢？我们期望从DevOps的发展背景、定义演进以及落地价值等方面进行一次探讨。DevOps发展背景业务发展对软件的依赖民用软件系统的应用崛起于上个世纪八十年代，2000年后蓬勃发展，其中，作为重要组成部分的软件系统，逐渐深入到社会的每一个角落，从整体的发展过来来看，业务与软件系统的关系可分为三个阶段。轻度依赖在这个阶段主

  • VS搭建一个WEB的简历第二天,,,最终目标写个好看的简历，再搭建一个自己脑海的网页

    VS做简历的第二天第二天吸取了第一天的教训写的代码第一天写的代码https://www.cnblogs.com/pythonywy/p/10816215.html，写了一堆错误TT非常感谢Lieber-l大佬的指点谢谢<!DOCTYPEhtml> <htmllang="en"> <head> <title>个人简历</title> </head> <body> <style> body{ background:rgb(129,123,123); font-family:'FranklinGothicMedium','ArialNarrow',Arial,sans-serif; color:aliceblue } .info{ margin:(10px10px10px40px) } .header{ background:rgb(87,87,87); font-size:30px; } .work_experience{ backg

  • 挑战程序竞赛系列（38）：4.1模运算的世界（1）

    版权声明：本文为博主原创文章，未经博主允许不得转载。https://blog.csdn.net/u014688145/article/details/77679432挑战程序竞赛系列（38）：4.1模运算的世界（1）详细代码可以fork下Github上leetcode项目，不定期更新。 练习题如下：POJ1150:TheLastNon-zeroDigitPOJ1150:TheLastNon-zeroDigit总算刷到了登峰造极，看了一些关于模运算的相关知识，但还是云里雾里，索性就直接开题，该系列每题都开篇博文讲解吧，知识点比较多。此题推荐博文：http://www.hankcs.com/program/algorithm/poj-1150-the-last-non-zero-digit.html更详细的解法：http://duanple.blog.163.com/blog/static/7097176720081016113033592/数论入门推荐书籍：《初等数论及其应用》.思路： 进行质因数分解，分解2和5，因为只有2和5的乘积才能构成10。在一个序列中：12345678910

  • 【51nod-1239&amp;1244】欧拉函数之和&amp;莫比乌斯函数之和 杜教筛

    题目链接： 1239：http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1239 1244：http://www.51nod.com/onlineJudge/questionCode.html#!problemId=1244   杜教筛裸题，不过现在我也只会筛这俩前缀和... $$s(n)=\sum_{i=1}^{n}f(i)$$ 那么就有： $$\sum_{i=1}^{n}f(i)\lfloor\frac{n}{i}\rfloor=\sum_{i=1}^{n}s(\lfloor\frac{n}{i}\rfloor)=s(n)+\sum_{i=2}^{n}s(\lfloor\frac{n}{i}\rfloor)$$ 移项得到： $$s(n)=\sum_{i=1}^{n}f(i)\lfloor\frac{n}{i}\rfloor-\sum_{i=2}^{n}s(\lfloor\frac{n}{i}\rfloor)$$   对于欧拉函数，$f(n)=\phi(n)$ $$\sum_{i=1}^{n

  • *p++=i怎么理解?

    #include<stdio.h> voidfibonacci(int*p,intn) { *p++=1; *p++=1; while(n>2) { *p++=*(p-1)+*(p-2); n--; } } voidmain() { inti,f[20]; fibonacci(f,20); for(i=0;i<=19;i++) printf("%d\n",f[i]); } 复制 求大佬帮我解释下这段代码，中间的*p++=1是什么意思？？？？_慕课猿问 https://www.imooc.com/wenda/detail/351407?t=246589 5回答 已采纳 望远 *p++有运算符运算顺序的问题，首先*和++运算符同级，但是结合性是从右往左，先执行p++后执行* 所以*p++=1即： 指针p指向的地址先自增1（此时指针p还是指向原地址空间），然后它指向的地址空间赋值为1，完成这一操作后指针指向下一个地址。  反对 回复2017-06-08 安之4183388 同等级的运算符运算顺序是从右到左么？？？？

  • 工厂模式

    工厂模式理论我不长篇大论了。其核心功能是根据“需求”生产“产品”，设计模式的核心是解耦。工厂模式就是为了解耦“需求”和“产品”，但是别忘了，工厂模式工厂模式，还有一个重要元素，就是“工厂”，所以工厂模式的核心思想，就是解耦“需求”“工厂”和“产品”。   工厂模式，实际上也会根据业务情景不同会有不同的实现方式。一般分为3种。简单工厂，工厂和抽象工厂。 关键点： 一、三种工厂的实现是越来越复杂的 二、简单工厂通过构造时传入的标识来生产产品，不同产品都在同一个工厂中生产，这种判断会随着产品的增加而增加，给扩展和维护带来麻烦 三、工厂模式无法解决产品族和产品等级结构的问题 四、抽象工厂模式中，一个工厂生产多个产品，它们是一个产品族，不同的产品族的产品派生于不同的抽象产品（或产品接口）。 五、用哪种工厂模式，取决于业务需求，不要认为简单工厂是用switchcase就觉得一无是处，也不要觉得抽象工厂比较高大上就到处套。要根据三种工厂模式的特质，来确定使用哪种解决问题。 简单工厂 1intprodNo; 2publicSimpleFactory(intprodNo)//构造工厂时告知工

  • Adaptive Card 和 Power Automate

    AdaptiveCard是微软推出的动态卡片功能。可以在Web,Android,iOS,JS,WPF,Windows上使用。这里附上AdaptiveCard的Docs和designer 我们很多powerautomate中的功能就是基于AC去做的。比如说approval功能，还比如说使用bot给teams发信息。 我们也可以通过自己创建AC   <scripttype="application/adaptivecard+json"> { "$schema":"http://adaptivecards.io/schemas/adaptive-card.json", "type":"AdaptiveCard", "version":"1.0", "body":[ { "type":"ColumnSet", "columns":[ { "type":"Column", "width":2, "items":[ { "type":"TextBlock", "text":"Tellusaboutyourself", "weight":"Bolder", "size":"M

  • pgm11

    这里简要的讨论hybridnetwork与一些时序数据的分析。 hybridnetwork指网络中存在离散随机变量与连续随机变量，这种情况下一般非常麻烦，这主要是因为连续型随机变量需要使用某个参数族来进行刻画，某些情况下对应的margin却不属于给定的参数族。常用的处理手段是离散化，即将某些连续分布离散化成为离散随机变量，这样虽然处理起来容易，但是会丢失非常多的信息，也引入了一个也非常困难的问题，如何离散化才有意义？很显然离散化只是为了计算效率进行近似的折衷。因此关于hybridnetwork的讨论其实主要集中在一些特殊情况。前面讲过的Gaussiannetwork是一种分析性质良好的连续r.v.s.，我们首先讨论一下前面一些技术在它上面的应用，继而讨论上面hybridnetwork的性质、近似与精确inference的策略。 我们首先引入所谓的canonicalform，这其实和exponentialfamily的有一定相似 我们不难获得这些参数与矩参数之间的关系，在这种表示下，相乘相除的factor就可以通过这些系数的相加相减进行计算了。这样sum-product进行VE的时候每

  • 4.Hadoop集群搭建之启动

    配置好Hadoop、HDFS、YARN、Zookeeper集群后，需要按照顺序启动。 前期准备 配置好Hadoop、HDFS、YARN、Zookeeper集群 先stop掉所有的hadoop服务 使用jps命令查看进程，确保只有Jps进程存在，没有其他的Hadoop服务进程。若存在Hadoop服务进程，使用命令kill-9进程id来关闭进程。 1.启动zookeeper集群（分别在master、slave1、slave2上启动zk） 在~/zookeeper-3.4.5/bin/下执行 ./zkServer.shstart 复制 验证：分别在节点上执行 ./zkServer.shstatus 复制 可以查看节点状态，一个leader，两个follower。 2.启动journalnode（分别在在master、slave1、slave2上执行） 使用命令hadoop-daemon.shstartjournalnode 验证：运行jps命令检验，master、slave1、slave2上多了JournalNode进程 3.格式化HDFS(在master

  • 本周总结（Docker）

    docker是一门容器技术，作用是一次配置出这个软件及这个软件的运行环境，就是开发人员做着运维人员的工作（比如我写了一个适配tomcat10和一个适配tomcat9的war包，要使这两个网站在一台服务器上运行，运维人员要下载两套不同的toncat，关键是这两套tomcat不能相互干扰；再比如，一个适配mysql8的网站，一个适配mysql12的网站，保证这两套运行环境都能稳定运转）。运行环境原理是在linux系统中虚拟出一个“虚拟机”，不过需要的资源很小，很轻便。每个软件都运行在它独有的运行环境上，互不干扰。 FROMcentos MAINTAINERzzx<2953488214@qq.com> ADDjdk-8u212-linux-x64.tar.gz/usr/local ADDapache-tomcat-9.0.65.tar.gz/usr/local RUNyum-yinstallvim ENVMYPATH/usr/local WORKDIR$MYPATH ENVJAVA_HOME/usr/local/jdk1.8.0_212 ENVCLASSPATH$JAVA

  • windows系统下的快捷指令

    winver-----------------------检查windows版本 wmimgmt.msc---------------打开windows管理体系结构 wscript----------------------windows脚本宿主设置 write-------------------------写字板 msconfig.exe-----------------系统配置实用程序 mspaint----------------------画图版 mstsc------------------------远程桌面连接 magnify----------------------放大镜实用程序 mmc-------------------------打开控制台 mobsync--------------------同步命令 dxdiag----------------------检查directx信息 devmgmt.msc---------------设备管理器 diskmgmt.msc--------------磁盘管理实用程序 dcomcnfg---------------

  • mysql双机热备实现

    说明  机器A：（172.16.1.251），机器B：（172.16.1.252） 两台机器都创建数据库web：createdatabasehellodefaultcharsetutf8;   实现步骤 双向热备份：首先设置A上数据库为master，B上的备份数据库为slave；然后配置B上的数据库为master，A上数据库为slave （1）修改A和B上的配置文件my.cnf，加入以下内容    #机器A配置  server-id=7      # 主ID，与从ID不能相同 log-bin=mysql-0-bin     #设定生成log文件名         binlog-do-db=web #设置同步数据库名   binlog-ignore-db=mysql   #忽略同步

  • 流行的FPGA的上电复位

    在实际设计中，由于外部阻容复位时间短，可能无法使FPGA内部复位到理想的状态，所以今天介绍一下网上流行的复位逻辑。 在基于verilog的FPGA设计中，我们常常可以看到以下形式的进程： 信号rst_n用来对进程中所用变量的初始化，这个复位信号是十分重要的，如果没有复位，会导致一些寄存器的初始值变得未知，如果此时FPGA就开始工作的话，极易导致错误。 那么，这个复位信号来自何处？难道我们做好的系统，每次上电后都要手动按一下reset按钮么？ 答案是否定的！这个复位信号其实是由特定的程序来产生的，系统每次上电，都会由该程序产生一个复位信号，从而避免了手动复位。 复位的方案很多，下面介绍一个简单方案。 clk：50M时钟输入 rst_n：异步复位输入 sys_rst_n：系统全局同步复位信号 第一个进程用来延时，当上电后，延时100ms，以保证FPGA内部达到稳定状态；此时sys_rst_n始终为0，也就是系统时钟处于复位状态中；2.当100ms延时结束后，sys_rst_n与系统时钟同步释放，即sys_rst_n拉高，复位结束，系统开始正常工作。 版权所有权归卿萃科技&nbs

  • C++的面向对象

    类及其继承就像是生物学上的分类，是对共性和个性整理得出的逻辑结构。 当我们看到一个猴子，我们说它是一只猴子；然后当我们看到一只黑色的猴子，我们发现它和之前的猴子不一样，之前的猴子是一只棕色的猴子，所以我们说之前的猴子是一只棕猴，新看到的这只是一只黑猴。再然后我们看到一只大棕猴，我们会我们发现它和之前的两只猴子不一样，所以我们说这是一只大棕猴或者棕大猴。 当我们发现第二只猴子并对第一只猴子作对比的时候，我们对它们做了共性和个性的分析，将颜色作为个性，将其他属性作为共性，建立了三个类，一个类是共性，剩下两个类分别是共性加上各自的个性。 当我们发现第三只猴子时，又对这三个东西做了共性和个性的分析，这时候就难办了，究竟是体型更重要还是颜色更重要呢，我们只能二选一，也许我们会选择让颜色作为上一层分类依据，而把体型作为下一层分类依据，所以我们又建立了三个类，一个是棕猴类，一个是小棕猴类，一个是大棕猴类。（也许我们会选择让体型作为上一层分类依据，而把颜色作为下一层分类依据，所以我们又建立了三个类，一个是小猴类，一个是猴类，一个是大猴类。） 这样建立起来的结构是一个有向树，建立的过程就是树的向下延伸和

相关推荐

推荐阅读