中国武术,门派林立,都是号称多少代的XXX传人,结果在面对现代武术时,经常被KO秒杀,为啥,光靠宣传和口号撑门面,终究是靠不住,必须得有真货 ,得经得住考验,所以不能只说Sentinel有多好,也得给出些证据,那么,前文实践了规则生成和使用,再来看看SentinelDashboard,体验下是否真如宣传的那么强大,并配合Nacos做规则统一配置和推送,下面我们就来操作一把,内容较多,分两部分。
工具: Idea201902/JDK11/ZK3.5.5/Gradle5.4.1/RabbitMQ3.7.13/Mysql8.0.11/Lombok0.26/Erlang21.2/postman7.5.0/Redis3.2/RocketMQ4.5.2/Sentinel1.6.3/SpringBoot2.1.6/Nacos1.1.3
难度: 新手--战士--老兵--大师
目标:
1、 使用SentinelDashboard实现规则配置;
2、 使用Nacos实现规则统一管理、持久化和推送;
步骤:
整体框架依旧,多模块微服务架构商城系统后台,一个共享模块,多个功能模块,暂时无前台。
Part One:用SentinelDashboard实现规则配置
1、 先看下SentinelDashboard界面:左侧为接入的应用和机器,并将各类规则独立管理,工作区之一就是各类监控数据,实现了规则管理的可视化操作和系统监控台;
2、 引入sentinel-dubbo-adapter
这个依赖,可以将Dubbo的服务接口和方法(包括调用端和服务端)自动设置成为Sentinel中的资源,;
compile group: 'com.alibaba.csp', name: 'sentinel-dubbo-adapter', version: '1.6.3'
3、 进入SentinelDashboard的jar包目录,使用命令运行:;
java -Dserver.port=8718 -Dcsp.sentinel.dashboard.server=localhost:8718 -Dproject.name=sentinel-dashboard -Dcsp.sentinel.api.port=8719 -jar sentinel-dashboard.jar
- Dserver.port=8718 控制台端口,sentinel控制台是一个spring boot程序。
- Dcsp.sentinel.dashboard.server=localhost:8718 控制台的地址,指定控制台后客户端会自动向该地址发送心跳包。
- Dproject.name=sentinel-dashboard 指定Sentinel控制台程序的名称
- Dcsp.sentinel.api.port=8719 (默认8719) 客户端提供给Dashboard访问或者查看Sentinel的运行访问的参数
另外:csp.sentinel.dashboard.server这个配置是用在客户端,这里Sentinel控制台也使用是用于自己监控自己程序的api,否则无法显示控制台的api情况,当然这个也可以根据情况不显示。
启动成功,注意下图中的log地址,所有规则执行过程都有日志记录:
4、 启动项目,ZK-->Redis-->RabbitMQ-->RocketMQ-->Nacos-->business-->stock-->logistic-->finance,RabbitMQ我安装为window服务,设置为自动启动,当然,其他如Redis也可以照做,只要你硬件够硬;
5、 URL访问:http://localhost:8718,可以看到business模块中有dubbo的@Service注解服务都自动识别为resource,这样代码中就可以直接使用了,印证前面的第2点,![*][nbsp2]同时,前文通过代码设置的流控规则也可见于此:;
this.initFlowQpsRule("saveOrder");
优先级问题:
- 如果我这里将saveOrder阀值设置为0,结果会怎样?测试-->`保存订单成功,说明代码内规则优先级高于外部配置。
- 如果有多个对同一resource的相同类型的规则,经验证,结论为按最严格规则执行,下图中情形将按照阀值为0执行热点规则:
6、 再对saveOrder修改为一个“热点规则”,即可实时注入到应用内存中,规则立即生效,![*][nbsp5]运行postman测试,就会显示拒绝结果!;
另外:当应用关闭,那么这些规则将全部清除,因心跳检测会失败,没有应用可以使用这些规则,也说明规则并未持久化
。
Part Two:使用Nacos实现规则统一管理、持久化和推送
1、 背景知识:sentinel规则缓存在应用机器内存中,前篇通过API硬编码规则的方式一般仅用于测试和演示,生产上一般通过动态规则源的方式来管理规则,数据源扩展常见的实现方式有:;
拉模式:客户端主动向某个规则管理中心定期轮询拉取规则,这个规则中心可以是 RDBMS、文件,甚至是 VCS 等。简单,缺点是无法及时获取变更;
推模式:规则中心统一推送,客户端通过注册监听器的方式时刻监听变化,比如使用 Nacos、Zookeeper 等配置中心。有更好的实时性和一致性保证。
流程为:配置中心控制台/Sentinel 控制台 * 配置中心 * Sentinel 数据源 * Sentinel
Sentinel 目前支持以下数据源扩展:
Pull-based: 文件、Consul (since 1.7.0)
Push-based: ZooKeeper, Redis, Nacos, Apollo
2、 这里实现基于Nacos的push模式的动态流控规则,以改造stock模块为例,添加依赖:;
testCompile group: 'com.alibaba.csp', name: 'sentinel-datasource-nacos', version: '1.6.3'
//
compile group: 'com.alibaba.nacos', name: 'nacos-api', version: '1.1.3'
3、 因为SentinelDashboard原始版本没有同步Nacos的逻辑,故需要修改源码做适配,下载源码项目(V1.7.0)后,pom文件中,注释掉scope行,使datasource-nacos生效:;
<!-- for Nacos rule publisher sample -->
<dependency>
<groupId>com.alibaba.csp</groupId>
<artifactId>sentinel-datasource-nacos</artifactId>
<!--此行注释掉<scope>test</scope>-->
</dependency>
4、 将\Sentinel\sentinel-dashboard\src\test\java\com\alibaba\csp\sentinel\dashboard\rule\nacos
这个nacos目录复制到\Sentinel\sentinel-dashboard\src\main\java\com\alibaba\csp\sentinel\dashboard\rule
下,形成如下结构:![*][nbsp8];
5、 看下这几个类:com.alibaba.csp.sentinel.dashboard.rule.nacos.NacosConfigUtil工具类,实际就是定义了一些常量,略,;
public final class NacosConfigUtil {
public static final String GROUP_ID = "SENTINEL_GROUP";
public static final String FLOW_DATA_ID_POSTFIX = "-flow-rules";
public static final String PARAM_FLOW_DATA_ID_POSTFIX = "-param-rules";
public static final String CLUSTER_MAP_DATA_ID_POSTFIX = "-cluster-map";
/**
* cc for cluster-client
*/
public static final String CLIENT_CONFIG_DATA_ID_POSTFIX = "-cc-config";
/**
* cs for cluster-server
*/
public static final String SERVER_TRANSPORT_CONFIG_DATA_ID_POSTFIX = "-cs-transport-config";
public static final String SERVER_FLOW_CONFIG_DATA_ID_POSTFIX = "-cs-flow-config";
public static final String SERVER_NAMESPACE_SET_DATA_ID_POSTFIX = "-cs-namespace-set";
private NacosConfigUtil() {}
}
com.alibaba.csp.sentinel.dashboard.rule.nacos.NacosConfig 配置类,注入String和List函数
:
@Configuration
public class NacosConfig {
@Bean
public Converter<List<FlowRuleEntity>, String> flowRuleEntityEncoder() {
return JSON::toJSONString;
}
@Bean
public Converter<String, List<FlowRuleEntity>> flowRuleEntityDecoder() {
return s -> JSON.parseArray(s, FlowRuleEntity.class);
}
@Bean
public ConfigService nacosConfigService() throws Exception {
return ConfigFactory.createConfigService("localhost");
}
}
com.alibaba.csp.sentinel.dashboard.rule.nacos.FlowRuleNacosProvider 即从Nacos获得应用的流控规则:
@Component("flowRuleNacosProvider")
public class FlowRuleNacosProvider implements DynamicRuleProvider<List<FlowRuleEntity>> {
@Autowired
private ConfigService configService;
@Autowired
private Converter<String, List<FlowRuleEntity>> converter;
@Override
public List<FlowRuleEntity> getRules(String appName) throws Exception {
String rules = configService.getConfig(appName + NacosConfigUtil.FLOW_DATA_ID_POSTFIX,
NacosConfigUtil.GROUP_ID, 3000);
if (StringUtil.isEmpty(rules)) {
return new ArrayList<>();
}
return converter.convert(rules);
}
}
根据应用名,将规则发布到远程配置中心:
@Component("flowRuleNacosPublisher")
public class FlowRuleNacosPublisher implements DynamicRulePublisher<List<FlowRuleEntity>> {
@Autowired
private ConfigService configService;
@Autowired
private Converter<List<FlowRuleEntity>, String> converter;
@Override
public void publish(String app, List<FlowRuleEntity> rules) throws Exception {
AssertUtil.notEmpty(app, "app name cannot be empty");
if (rules == null) {
return;
}
configService.publishConfig(app + NacosConfigUtil.FLOW_DATA_ID_POSTFIX,
NacosConfigUtil.GROUP_ID, converter.convert(rules));
}
}
6、 修改com.alibaba.csp.sentinel.dashboard.controller.v2.FlowControllerV2,原文:;
@Autowired
@Qualifier("flowRuleDefaultProvider")
private DynamicRuleProvider<List<FlowRuleEntity>> ruleProvider;
@Autowired
@Qualifier("flowRuleDefaultPublisher")
private DynamicRulePublisher<List<FlowRuleEntity>> rulePublisher;
修改要注入的Bean,使用前面复制来的Provider和Publisher,修改为:
@Autowired
@Qualifier("flowRuleNacosProvider")
private DynamicRuleProvider<List<FlowRuleEntity>> ruleProvider;
@Autowired
@Qualifier("flowRuleNacosPublisher")
private DynamicRulePublisher<List<FlowRuleEntity>> rulePublisher;
7、 修改文件:Sentinel\sentinel-dashboard\src\main\webapp\resources\app\scripts\directives\sidebar\sidebar.html将;
<!--<li ui-sref-active="active">-->
<!--<a ui-sref="dashboard.flow({app: entry.app})">-->
<!--<i class="glyphicon glyphicon-filter"></i>**流控规则V1</a>-->
<!--</li>-->
修改为如下,开启SentinelDashboard左侧的菜单:
<li ui-sref-active="active" ng-if="entry.appType==0">
<a ui-sref="dashboard.flow({app: entry.app})">
<i class="glyphicon glyphicon-filter"></i>**流控规则同步</a>
</li>
8、 重新打包,运行sentinel-dashboard.jar(见第3点),重新生成的jar运行效果:![*][nbsp9];
9、 测试:;
测试1:在SentinelDashboard【流控规则同步】中新建流控规则,规则会存储到Nacos;
测试2:直接在Nacos上修改流控规则,然后刷新SentinelDashboard,显示也会被修改;
测试3:重启Sentinel控制台,并重启微服务;刷新控制台,可以发现规则依然存在。
SentinelDashboard中建立一个流控规则:对应Nacos中的生成的内容:至此,完成了流控规则的持久化!其他规则持久化类似,略。
10、 最后是微服务中同步Nacos,需使用sentinel-datasource-nacos
依赖,然后创建NacosDataSource并将其注册至对应的RuleManager上即可:改造下logistic模块,先写一个工具类:com.biao.mall.logistic.util.SentinelRuleUtil注意这里的变量值是从bootstrap.yml加载的,为啥?因为从application.yml中将无法取值;
public class SentinelRuleUtil {
// nacos server ip
private static final String remoteAddress = "${spring.cloud.sentinel.datasource.flow.nacos.server-addr}";
// nacos group
private static final String groupId = "${spring.cloud.sentinel.datasource.flow.nacos.groupId}";
// nacos dataId
private static final String dataId = "${spring.cloud.sentinel.datasource.flow.nacos.dataId}";
// if change to true, should be config NACOS_NAMESPACE_ID
private static boolean isDemoNamespace = false;
// fill your namespace id,if you want to use namespace.
// for example: 0f5c7314-4983-4022-ad5a-347de1d1057d,you can get it on nacos's console
private static final String NACOS_NAMESPACE_ID = "0f5c7314-4983-4022";
public static void loadFlowRules(){
// public NacosDataSource(final String serverAddr, final String groupId, final String dataId,
// Converter<String, T> parser)
ReadableDataSource<String, List<FlowRule>> flowDataSource = new NacosDataSource<>(remoteAddress,groupId,dataId,
source -> JSON.parseObject(source, new TypeReference<List<FlowRule>>(){
}));
FlowRuleManager.register2Property(flowDataSource.getProperty());
}
private static void loadMyNamespaceRules() {
Properties properties = new Properties();
properties.put("serverAddr",remoteAddress);
properties.put("namespace",NACOS_NAMESPACE_ID);
//NacosDataSource(final Properties properties, final String groupId, final String dataId,
// Converter<String, T> parser)
ReadableDataSource<String, List<FlowRule>> flowRuleDataSource = new NacosDataSource<>(properties,groupId,dataId,
source -> JSON.parseObject(source, new TypeReference<List<FlowRule>>() {
}));
FlowRuleManager.register2Property(flowRuleDataSource.getProperty());
}
11、 再修改下com.biao.mall.logistic.controller.DubboDeliveryController使用注解定义一个资源,然后使用上面的Util加载从Nacos获取规则,;
@SentinelResource(value = "saveOneDelivery")
@PostMapping("/delivery/one")
public ResEntity<String> saveOneDelivery(@RequestBody String jsonString) throws BlockException {
// Method method = this.getClazz().getMethod("saveOneDelivery");
// String resourceName = "saveOneDelivery";
// try(Entry entry = SphU.entry(resourceName)){
JSONObject jsonObject = (JSONObject) JSON.parse(jsonString);
String orderId = jsonObject.getString("orderId");
//保存待发一个物流单
deliveryService.saveLogisticSheet(orderId);
//响应封装
ResEntity<String> resEntity = new ResEntity<>();
resEntity.setCode(ResConstant.SUCCESS_CODE);
resEntity.setMsg(ResConstant.SUCCESS_STRING);
resEntity.setData("delivery received.");
return resEntity;
}
12、 在com.biao.mall.logistic.controller.DubboDeliveryController中使用静态块动态加载规则;
@RestController
public class DubboDeliveryController {
static {
//从Nacos动态加载规则,static标签,可以让规则只加载一次
SentinelRuleUtil.loadFlowRules();
}
...
}
13、 测试:先在SentinelDashboard中建一个流控规则,然后可以看到自动同步到Nacos中,访问logistic模块,SentinelDashboard中就可以看到监控数据,贴图,略;
14、 代码地址:其中的day14;
https://github.com/xiexiaobiao/dubbo-project.git
后记:1.目前SentinelDashboard可下载官方版本为1.6.3,下载地址:https://github.com/alibaba/Sentinel/releases,1.7.0需要自行编译打包生成,生成jar包可能遇到的问题,我已在前文(Dubbo学习系列之十(Sentinel之限流与降级))中的后记部分做了些说明。
2、 若RocketMQ安装在Linux虚拟机上,推荐在正常运行时,保存个Snapshot,每次使用,直接恢复到快照,快捷迅速,;
3、 必须注意:QPS统计的是通过REST调用的请求数量;
4、 SentinelDashboard运行后,需要应用先运行产生实际流量,才会开始统计规则监控数据;