站长工具

混沌演练实践（二）-支付加挂链路演练

作者：Jcloud

1. 背景

当前微服务架构下，各个服务间依赖高，调用关系复杂，业务场景很少可以通过一个系统来实现，常见的业务场景实现基本涉及多个上下游系统，要保证整体链路的稳定性，需要尽量减少系统之间的耦合性，避免因为单点失效引起整个链路的故障。

2. 目标

通过混沌演练验证链路中部分系统发生故障时候的整体链路的表现，对链路保持正常运作的能力进行校验和评估,提前识别未知隐患并进行修复,进而保障整个链路更好地抵御生产环境中的失控条件,提升整体场景功能的稳定性。

3. 演练链路

对真实的业务场景进行混沌演练，就需要对业务场景的相关服务和调用关系进行链路梳理，一般需要根据实际业务场景，画出系统交互图，通过链路串联、数据追踪、和上下游确认等方式整理链路图。

4. 演练计划

混沌演练之前，一定要好可行性评估，评估可以演练的服务部署环境、演练工具的成熟度、演练场景的爆炸半径等，然后决策演练场景，进行实践操作。

5. 内容加载演练实践

5.1 链路梳理

内容加载链路演练，通过内容加载的系统交互梳理出加载链路：摹略引擎执行-AB分流-CMS资源获取-鹰眼内容发送

5.2 接口梳理

根据调链路调用关系用梳理出具体的接口：

5.3 制定演练计划

演练时间：2023.03.28 14:00-22:00

演练攻击人员：孙X英、陈X然； 演练防守人员：张X雷、付X军、刘X、韩X

针对链路接口设计演练场景，一般根据系统特色来设计更容易发生的故障，比如应用偏计算比较消耗CPU的话，故障设计包含CPU满载，应用对于响应的时效有严格的要求的话一般包含方法延迟故障设计。

本次链路故障场景设计如下：

具体演练场景设计可参考：混沌实战演练（一）

5.4 演练执行

目前借助天权自动化运维平台进行混沌攻防演练，进入工具市场—演练类，选择不同的故障方案，点击“立即执行”；

如选择Java进程满载场景演练，选择满载率100%，满载核数为演练应用部署服务的CPU核数，演练时长是执行满载的持续时间，选择演练的具体应用和指定IP，执行演练计划。

演练示例，根据演练的场景配置好故障参数，如下图为精准触达系统-消息触达方法延迟增加30ms参数设定：

演练执行结果检查，下图为分流服务-JAVA进程满载，指定分流进程CPU满载，故障执行结果：

5.5 演练监控

使用监控工具实时收集服务器在混沌演练运行期间的性能状态，如系统层面的 CPU、内存等使用情况，观察方法的响应时间、成功率等指标，一方面验证在混沌场景执行期间系统状态是否达到预期的效果，同时记录演练期间发生的问题，记录现场，另一方面通过监控发现有风险问题进行人工干预，立刻终止演练。

场景一：精准触达系统-消息触达方法延迟增加30ms

演练监控方法执行的成功率和 TP 999：

场景二：分流服务-JAVA进程满载，指定分流进程CPU满载

监控平台实时观测系统的CPU使用率：

5.6 演练反馈

检查系统故障发生时候监控手段是否完善，研发人员是否可以根据系统告警，快速的定位并解决问题。检查团队的响应、协同效率。

邮件事故告警：

事故恢复告警：

5.7 环境恢复

场景演练可等待演练时长结束后自行中止，也可根据手工取消、终止演练场景。

演练完成后建议需要重启容器，保证服务恢复正常状态。

5.8 演练复盘

演练结束之后，我们需要对演练进行复盘。不同的故障下，系统的表现以及整体业务场景所受到的影响，演练过程中所发现的问题，需要在复盘报告中呈现出来。

6.总结

链路演练通过提前主动注入故障，发现系统之间的强弱依赖，对链路进行检验，降低生产环境中故障发生的概率。

“居安思危，思则有备，有备无患。”

作者：京东科技 孙民英

内容来源：京东云开发者社区

本文转载于网络 如有侵权请联系删除

相关文章

  • sparkstreaming遇到的问题

    这篇文章介绍sparkstreaming对接kafka时遇到的两个offset的问题，首选我们介绍下offset的存储。 sparkstreamingoffset存储sparkstreaming采用kafkaUtils的createDirectStream()处理kafka数据的方式，会直接从kafka的broker的分区中读取数据，跳过zookeeper，并且没有receiver，是spark的task直接对接kafkatopicpartition。由于这种方式没有经过ZK，topic的offset没有保存，当job重启后只能从最新的offset开始消费数据，造成重启过程中的消息丢失。如果spark自动提交，会在sparkstreaming刚运行时就立马提交offset，如果这个时候Sparkstreaming消费信息失败了，那么offset也就错误提交了。所以要在sparkstreaming中实现exactly-once恰好一次，必须1.手动提交偏移量2.处理完业务数据后再提交offset手动维护偏移量需设置kafka参数enable.auto.commit改为false手动维护提

  • codeforces 377A（dfs）

    题意描述给你一个NxM的网格，要求你添k堵墙，最后仍使所有的空地是联通的思路我们可以反过来想，添k堵墙可以想成给cnt-k个空地构成的连通块打上标记，没有打上标记的即为空地AC代码#include<bits/stdc++.h> #definexfirst #defineysecond #defineIOSios::sync_with_stdio(false);cin.tie(0); usingnamespacestd; typedefunsignedlonglongULL; typedefpair<int,int>PII; typedefpair<long,long>PLL; typedefpair<char,char>PCC; typedeflonglongLL; constintN=505; constintM=150; constintINF=0x3f3f3f3f; constintMOD=998244353; charg[N][N]; boolused[N][N]; intdx[4]={0,0,1,-1},dy[4]={1,-1,

  • Android 在子线程中更新UI的几种方法示例

    本文介绍了Android在子线程中更新UI的几种方法示例，分享给大家，具体如下：方式一：Handler和Message①实例化一个Handler并重写handlerMessage()方法privateHandlerhandler=newHandler(){ publicvoidhandleMessage(Messagemsg){ //处理消息 super.handleMessage(msg); switch(msg.what){ case1: button1.setText("点击安装"); break; case2: button1.setText("打开"); break; } }; };复制②在子线程中获取或创建消息，并使用handler对象发送。Messagemsg=handler.obtainMessage(); msg.what=1; handler.sendMessage(msg);复制方式二：在子线程中直接调用Activity.runOnUiThread(Runnableaction)方法runOnUiThread(newRunn

  • 【Flutter 专题】89 图解基本 Overlay 悬浮新手引导

    随着业务的扩展和延伸，需要的功能也是多种多样，而同一种效果可以有多种实现方案；和尚今天学习一下通过Overlay实现基本的悬浮引导效果；Overlay以浮层的方式管理单独的item存储在栈中(后进先出)；Overlay其源码也是采用的Stack浮层，将OverEntry逐个加入到Overlay中进行展示，OverEntry可以使用Positioned或AnimatedPositioned在Overlay中定义自身的位置；当创建MaterialApp时，它会自动创建一个Navigator，之后创建一个Overlay，然后利用这个Navigator来管理路由中的界面；源码分析constOverlay({ Keykey, this.initialEntries=const<OverlayEntry>[], }) classOverlayEntry OverlayEntry({ @requiredthis.builder, boolopaque=false, boolmaintainState=false, }) }复制分析源码可知，Overlay主要是由OverlayEntry

  • 关于PB求解器的弱化策略（CS AI)

    当前的伪布尔解决器实现不同的变种切割面证明系统推断新的约束在冲突分析。其中一个变量是广义分辨率，它允许推断出强制约束，但是在结合伪布尔约束时，会受到系数增长的影响。另一种变体包括使用削弱和分割，这在实践中更有效，但可能推断出较弱的约束。在这两种情况下，削弱都是强制性的，以产生相互冲突的约束。然而，它对伪布尔求解器性能的影响到目前为止还没有被评估。本文针对小系数强约束问题，研究了该规则的新的应用策略。我们在sat4j中实现了它们，并且观察到它们每个都改进了求解器的运行时。虽然在所有基准测试中，没有一个测试表现比其他测试表现更好，但是在冲突一方使用弱化方法有着惊人的优异表现，而在冲突和原因双方使用部分弱化和分裂方法提供了最佳的总体结果。原文题目：OnWeakeningStrategiesforPBSolvers原文：Currentpseudo-Booleansolversimplementdifferentvariantsofthecuttingplanesproofsystemtoinfernewconstraintsduringconflictanalysis.Oneoftheseva

  • 2020 年 Spring Cloud 发布了，更新线图！

    作者|局长 来源|oschina.net/news/112295/spring-cloud-roadmap-2020SpringCloud开发团队公布了SpringCloud2020年的路线图，并对SpringCloudGreenwich和Hoxton的生命周期进行了一些讲解。SpringCloudIlford开发团队称SpringCloudIlford将是下一个主要版本，这也将是自SpringCloudFinchley发布以来的第一个主要版本。此版本将提供对SpringBoot2.x和SpringFramework5.x的支持。通过使Ilford成为主要版本，开发团队将能够删除进入维护模式（maintenancemode）的模块，并兑现今年早些时候宣布的简化新版本的承诺。此外，团队成员还会对一些API进行重构，这可能会引入重大变更。SpringCloudIlford将在2020年第四季度的某个时候随SpringFramework5.3和SpringBoot2.4一起发布。SpringCloudHoxton根据Pivotal对开源项目的支持政策（https://pivotal.io/s

  • 移动端时间选择器

    本文作者：IMWeb郭明慧原文出处：IMWeb社区未经同意，禁止转载 开发的一个简单的移动端时间选择器，支持多种主题，现在来共享一下。Github地址：https://github.com/IronPans/LazyPicker效果图：你也可以扫描二维码用手机体验：如果你使用PC浏览器，那么你需要切换到手机模式才可使用。步骤：按F12或鼠标右键--点击检查，再点击控制台左上角的手机模式按钮即可。使用方法引入CSS和JavaScript脚本：<linkrel="stylesheet"href="lazyPicker.min.css"/><scriptsrc="lazyPicker.min.js"></script>简单的表单（input）<inputtype="text"class="date-picker"placeholder="选择日期"/>初始化时间选择器varpicker=newLazyPicker('

  • 使用VS2012调试ReactOS源码

    一.下载并安装VS2012我安装的是VS2012_ULT_chs.iso,网上随便下载二.下载并安装WDK8.0下载地址:http://msdn.microsoft.com/zh-cn/windows/hardware/hh852365安装完之后打开VS2012,会发现新建项目中多了一些Driver项目,菜单栏上也多了一个菜单项DRIVER三.下载ReactOS0.3.15源码下载地址:http://download.reactos.org/reactos/ReactOS/0.3.15/下载ReactOS-0.3.15-REL-src.zip,解压缩到D:\ReactOS四.下载并安装RosBE2.1.1下载地址:http://download.reactos.org/reactos/RosBE-Windows/i386/2.1.1/下载RosBE-2.1.1.exe,安装完之后记得导入生成的注册表文件,然后把bin目录添加到环境变量path中我的安装路径为D:\ProgramFiles\RosBE,把D:\ProgramFiles\RosBE\Bin添加到环境变量path中五.用Ro

  • 【面试题】牛顿法和梯度下降法有什么不同？

    机器学习深度学习长按二维码关注牛顿法和梯度下降法有什么不同？复制参考答案：解析：牛顿法（Newton'smethod）牛顿法是一种在实数域和复数域上近似求解方程的方法。方法使用函数f(x)的泰勒级数的前面几项来寻找方程f(x)=0的根。牛顿法最大的特点就在于它的收敛速度很快。具体步骤：首先，选择一个接近函数f(x)零点的x0，计算相应的f(x0)和切线斜率f'(x0)（这里f'表示函数f的导数）。然后我们计算穿过点(x0,f(x0))并且斜率为f'(x0)的直线和x轴的交点的x坐标，也就是求如下方程的解：我们将新求得的点的x坐标命名为x1，通常x1会比x0更接近方程f(x)=0的解。因此我们现在可以利用x1开始下一轮迭代。迭代公式可化简为如下所示：已经证明，如果f'是连续的，并且待求的零点x是孤立的，那么在零点x周围存在一个区域，只要初始值x0位于这个邻近区域内，那么牛顿法必定收敛。并且，如果f'(x)不为0,那么牛顿法将具有平方收敛的性能.粗略的说，这意味着每迭代一次，牛顿法结果的有效数字将增加一倍。由于牛顿法是基于当前位置

  • 上海游谷网络科技CEO张辉：数据创造电视游戏新机遇（内附视频&PPT）

    数据猿导读电视游戏行业实际上是有机会的，但是机会是留给那些有耐心，有毅力，有能力的人。作者|张辉伴随应用商店和社交网络的兴起，游戏市场规模空前扩大，大数据和人工智能对于游戏运营特别是延长产品寿命的积极作用越发明显。但什么样的数据有价值？如何更有效的利用数据的价值？以及人工智能具体可以将游戏行业颠覆到何种程度？都逐渐成为游戏行业共同关注的问题。3月23日，由数据猿联合上海大数据联盟、上海超级计算中心以及ThinkingGame共同举办了“魔方大数据（14）：数据智能助力游戏产业升级”活动，携手产业内众大咖，共同探讨数据智能如何助力游戏产业升级。—视频版—视频内容注：获取演讲嘉宾干货PPT后台回复关键词“张辉”即可—文字版—以下是由数据猿精编整理发布的上海游谷网络科技CEO张辉的精彩分享：分享长度为2000字，建议阅读4分钟我今天演讲的题目是“数据创造电视游戏新机遇”。我做电视游戏四年了。电视游戏的发展速度比较缓慢，这是有很多原因的，所以我希望通过相关的信息数据分享，跟大家交流。今天主要说五大块的内容：OTT介绍、电视游戏介绍、电视游戏数据、行业格局、建议和分析。1.OTT介绍OTT是“o

  • 【Java入门提高篇】Day13 Java中的反射机制

    　　前一段时间一直忙，所以没什么时间写博客，拖了这么久，也该更新更新了。最近看到各种知识付费的推出，感觉是好事，也是坏事，好事是对知识沉淀的认可与推动，坏事是感觉很多人忙于把自己的知识变现，相对的在沉淀上做的实际还不够，我对此暂时还没有什么想法，总觉得，慢慢来，会更快一点，自己掌握好节奏就好。　　好了，言归正传。　　反射机制是Java中的一个很强大的特性，可以在运行时获取类的信息，比如说类的父类，接口，全部方法名及参数，全部常量和变量，可以说类在反射面前已经衣不遮体了（咳咳，这是正规车）。先举一个小栗子，大家随意感受一下：publicvoidtestA(){ Stringname="java.lang.String"; try{ Classcl=Class.forName(name); Classsupercl=cl.getSuperclass(); Stringmodifiers=Modifier.toString(cl.getModifiers()); if(modifiers.length()>0){ System.out.print(modifiers

  • WTFPL 开源协议

    中文翻译： 　　　　　　　你他妈的随便公共许可 　版本2,2004年12月 版权所有(C)2004SamHocevar<sam@hocevar.net> 每个人都允许复制和散布或修改本授权文件的副本,并允许改变它的名字。复制 有关复制、分发和修改你他妈的随便公共许可条款和条件: 0.你就他妈的随便搞.复制   http://www.wtfpl.net/

  • 对象去耦的方法之二：中介者模式

    中介者模式定义了一个对象，该对象封装了一组对象是如何交互的。这种模式被认为是一个行为模式，因为它可以改变程序的运行行为。它解决了类与类之间趋于复杂的依赖关系。当功能种出现了多对多的复杂对象群时就可以使用中介者模式。将一定的复杂度移到了Mediator中，所以Mediator类的功能维护需要谨慎处理。 中介者模式一个重要的应用就是，通过设置路由器来管理VC之间的跳转关系。 如何实现： 思想：实现一个管理VC的功能类，这个类的作用是给每个VC绑定一个URL。当需要打开某个新的VC时，可以通过功能类的openURL传入新VC的URL即可。 举例： [MRRouteropenURL:@"scheme://test?aa=11&bb=22"];复制 [MRRouteropenURL:@"scheme://test3"parameters:@{@"ccc":@"333",@"ddd":@"444"}];//通过字典传参数复制 进而：我们需要创建一个映射表来建立URL和VC之间的映射关系，每增加一个VC就在这个表里头增加一个对应关系。（可以根据OC的runtime来动态的根据类名去映射）。可

  • 乘法逆元

    乘法逆元在学扩展欧几里得时就接触过了，但是那时并不知道它有什么作用，今天又学，现做总结。 什么是逆元 \(a∗x\equiv1(mod\)\(b)\)（b和a互质），那么称x是a的乘法逆元。 应用 我们知道取余运算具有可加性，可减行，可乘性，但不具备可除性，即\((a/b)mod\)\(p\)不一定等于\((a\)\(mod\)\(p)/(b\)mod\(p)\)。这时逆元就有大作用了，当\(k\equivb^{-1}(mod\)\(p)\)时，\((a*k)\equiv(a/b)(mod\)\(p)\)，那么就可以用\((a\)\(mod\)\(p)*(k\)\(mod\)\(p)mod\)\(p=(a/b)mod\)\(p\)。 求法 费马小定理 \(a^{p-1}\equiv1(mod\)\(p)\)（p是质数，gcd(a,p)=1)。 证明：建一个p的完全剩余系{1,2,3,……,p-1}，因为\(gcd(a,p)=1\)，所以{a,2a,3a,……,(p-1)a}也是p的完全剩余系，这里需要用反证法证明，设\(i,j\in\){\(1,2,3……,p-1\)}且\(i\ne

  • EFCore动态切换Schema

    最近做个分库分表项目，用到schema的切换感觉还是有些坑的，在此分享下。   先简要说下我们的分库分表 分库分表规则 我定的规则是，订单号（数字）除以16，得出的结果为这个订单所在的数据库，然后他的余数代表他所在这个库里面的哪个表。 然后在一个库里面有16个表，这个怎么实现呢？比较龊的办法是Order1/Order2这样，不过后来我想了下，数据库默认（我们是SqlServer)是有schema的（默认是dbo的那个东西）， 然后我就打起这个东西的主意，后续跟dba确认方案可行后，就决定比如在同一个库里，第一套订单表是p0.Order,第二套订单表就是p1.Order(有效取值p0~p15)。   代码设计 如果说每次操作订单，你都要记得要先根据订单号拆分规则，找到这是哪个数据库，再去找这是哪个schema，我觉得这代码也别写了，放弃把，这是不可维护的代码，不具备可持续发展性。 我们必须要将一个分库分表这么一件事，抽象为某个单一的逻辑。 于是乎，DbContext是个好东西！ 当我们在说Ef的时候，实际上我们在讨论的主要就是他里面的DbContext。而一个DbCo

  • 评价微软拼音输入法

    目前正在使用的一款输入法就是win10自带的微软拼音输入法， 用户界面，一直在用个人感觉最大的特点就是十分简洁，界面的布局十分清晰，可以隐藏悬浮窗让他显示在菜单栏，   另外其记住用户输入习惯方面也十分优秀，按照输入次数的提升，逐步提升候选词中的顺序 例如：输入”xiguan“最常用的习惯在第一位 而选择”吸管“这个词之后，位次进行了提前 所以在记住用户选择方面是十分优秀的； 短期刺激方面，它可能会让用户觉得这款输入法是十分简洁的，只是一款单纯的输入法，没有其他的皮肤造型的修饰，也没有广告的引入，但是对于那些追求更炫酷界面的人来说，可能无法满足需求。 长期使用，他会记住用户的自造词，并把它放在排序的最前面，有时候会非常好用方便，比如写一个名字，他就会把名字放在最前面 但是有时候不经意间的一个错误词也会被保存，可以通过右键来删除，所以在长期使用中，这款输入法还是十分方便的。    不让用户犯简单错误方面，存在许多的智能纠错和自学习，在用户输入错误的拼音时能够进行自动纠正

  • BZOJ2626: JZPFAR

    BZOJ2626:JZPFAR BZOJ氪金无极限。。。 洛谷大好！ 洛谷P2093[国家集训队]JZPFAR 题目描述 平面上有n个点。现在有m次询问，每次给定一个点(px,py)和一个整数k，输出n个点中离(px,py)的距离第k大的点的标号。 如果有两个(或多个)点距离(px,py)相同，那么认为标号较小的点距离较大。 输入输出格式 输入格式：   第一行，一个整数n，表示点的个数。 下面n行，每行两个整数x_i,y_i，表示n个点的坐标。点的标号按照输入顺序，分别为1..n。 下面一行，一个整数m，表示询问个数。 下面m行，每行三个整数px_i,py_i,k_i，表示一个询问。   输出格式：   m行，每行一个整数，表示相应的询问的答案。   输入输出样例 输入样例：  3 00 01 02 3 112 003 011复制 输出样例：  3 1 1复制 说明 50%的数据中，n个点的坐标在某范围内随机分布。 100%的数据中，n<=10^5,m<=10^4,1<=k<=20，所有点(包

  • 局部变量和全局变量

      出了循环后，i并没有认for里的i，所以这里的i只作用于for语句里的i  因为蓝色和红色定义相同，所以在for里面屏蔽了外部的蓝色i，但出来后外部的i只认蓝色的i    全局变量 所以说全局变量可以被任何函数use   如果我们把全局变量写在后面是会出错的哦! 这时候我们要用extern      这样就可以了   要让每个函数的功能尽可能的单一，只实现一个功能    

  • 记录Docker拉取镜像时报错

    报错信息如下(系统环境为CENTOS7): 当我执行拉取镜像的命令时， dockerpullcentos:latest Errorresponsefromdaemon:Gethttps://registry-1.docker.io/v2/:net/http:requestcanceledwhilewaitingforconnection(Client.Timeoutexceededwhileawaitingheaders) 复制 解决方案： root用户执行命令： su-root vim/etc/docker/daemon.json 如果docker目录下没有daemon.json，那么会自动创建，执行上面命令时。 添加如下内容： { "registry-mirrors":["https://registry.docker-cn.com","http://hub-mirror.c.163.com"] } 复制 重启docker systemctlrestartdocker 再次拉取镜像 dockerpullcentos:latest 努力有用的话，还要天才做什么呢？

  • phonegap工程中修改app的名字

      针对phonegap比较高的版本，我的是6.4.0。 在phonegap工程中，当添加了iOS和android平台或多个平台后，工程进行了开发，然后觉得app的名字想修改一下（比如在手机上显示的app名字，或者通过ipa导入安装或者apk包点击安装时提示的名字），那么该怎么做？   原生app中修改app名字的做法： iOS：通过Xcode打开或者直接打开info.plist文件，修改app的displayname即可。   android：到res/values/string.xml中，修改   在phonegap工程中，根据phonegap包含的支持平台分为2种情况。 情况一 phonegap工程中就只有一个iOS平台或者安卓平台，那么直接去修改config.xml中的<name>标签即可，或者通过原生的方法修改也行。 情况二 phonegap中包含了多个平台（比如同时支持iOS、android），如果直接去修改config.xml中的<name>标签，编译的时候就会报错，提示工程名字不匹配等错误。这个时候的做

  • 类型判断总结

    1.能用typeOf检测出的类型 　　undefined,string,number,boolean。 　　注：undefined也可使用undefined===void(0);来检测。   2.能用Objcet.prototype.toString.call(obj)检测的类型 　　function,array,null,object,reg,error。 　　注：null也可以使用obj===null判断。   3.window 　　window对象用Objcet.prototype.toString.call(obj)在IE9及以上版本中均可以使用，但在IE6,7,8中调用结果是[objectObject]，我们可以用一个技巧来识别IE6,7,8下的window window==document;//true document==window;//false复制 　　jQuery中，是这样做的： isWindow:function(obj){ /*jshinteqeqeq:false*/ returnobj!=null&&obj==obj

相关推荐

推荐阅读