kafka 重试机制 kafka 消息的重试机制作为kafka 生产者端的数据不丢失的重要保障，对我们学习和理解kafka 大有裨益，前面我们学习kafka 生产者的时候，了解了kafka 异步生产者的Callback 机制，合理使用Callback机制也可以保证我们生产者端的数据不丢失，但是Callback我们往往是在重试机制之后使用的，也会是说重试之后依然失败的情况下，可以作为我们生产者端最后的保障。 重试源码 首先我们从KafkaProducer的send 方法入手我们看到其实客户端是不会...阅读全文
每一个成功人士的背后，必定曾经做出过勇敢而又孤独的决定。放弃不难，但坚持很酷~由于消费者模块的知识涉及太多，所以决定先按模块来整理知识，最后再进行知识模块汇总。今天学习一下消费者如何指定位移消费。一、auto.offset.reset值详解在 Kafka 中，每当消费者组内的消费者查找不到所记录的消费位移或发生位移越界时，就会根据消费者客户端参数 auto.offset.reset 的配置来决定从何处开始进行消费，这个参数的默认值为 “latest” 。auto.offset.reset 的值可...阅读全文
Mac M1 Brew install 报错Command failed with exit 128:git 记录一个问题，原因是今天使用Mac上面的Brew安装一个Redis发生了错误，我也是头一次使用Brew。报错Commandfailedwithexit128git。理论上来说使用brew安装出现这种Error都是可以解决的！后会提示你执行两个配置命令，直接复制执行就ok了！... 复制链接阅读全文
缘起最近部署一套系统，使用nginx作反向代理，其中nginx是使用docker方式运行： 1$ docker run -d --name nginx $PWD:/etc/nginx -p 80:80 -p 443:443 nginx:1.15 需要代理的API服务运行在宿主机的1234端口，nginx.conf相关配置如下： 12345678server { ... location /api { proxy_pass http://localhost:1234 } ...} 结果访问的时候发...阅读全文
系统学习大数据技术：大数据高级工程师学习路线 写在前面 如果你想通过这篇博客在本地成功搭建 Hadoop 集群的话，你需要先跟着视频课程 三天入门大数据实操课程 在本地搭建集群环境，在这个视频课程中你需要学习的章节是： 课程目标 VMWare WorkStation 安装 创建虚拟机 安装 Centos 7 操作系统 Centos 7 网络配置方式说明 Centos 7 网络配置 使用客户端登录操作虚拟机 克隆三台虚拟机 修改主机名 ip 映射主机名 配置无密钥登录 虚拟机的文件上传和下载 关闭...阅读全文
linux 命令删除命令,Linux 命令之删除命令 weixin_33019827的博客 04-28 2778 在Linux下删除文件用rm命令，具体用法如下：rm [选项] 文件选项说明：-f -force 忽略不存在的文件，强制删除，无任何提示-i --interactive 进行交互式地删除-r | -R --recursive 递归式地删除列出的目录下的所有目录和文件-v --verbose 详细显示进行的步骤命令实例：1、常规删除a.t...阅读全文
我们可以看到，免邀请码安装成功，两个用户成功绑定了邀请关系，且过程中未使用复杂的邀请码机制。总的来说，免填邀请码是基于 Xinstall 的携带参数安装功能实现的，免填邀请码只是其中一个比较典型的应用场景，实质通过携带邀请人 id 参数安装，实现用户关系绑定。而且Xinstall 只负责帮 App 传递需要的参数，具体该参数如何定义，怎么使用，企业可以大开脑洞，根据自身业务需求来实现。因此，根据携带参数安装的原理，除了免填邀请码之外，同样可以实现用户关系绑定、场景还原、推广效果统计等功能。阅读全文
Disruptor是一个开源框架，研发的初衷是为了解决高并发下队列锁的问题，最早由LMAX提出并使用，能够在无锁的情况下实现队列的并发操作，并号称能够在一个线程里每秒处理6百万笔订单官网：http://lmax-exchange.github.io/disruptor/目前，包括Apache Storm、Camel、Log4j2在内的很多知名项目都应用了Disruptor以获取高性能为什么会产生Disruptor框架「目前Java内置队列保证线程安全的方式：」ArrayBlockingQueue...阅读全文
写在开始一般来说有两种策略用来在并发线程中进行通信：共享数据和消息传递。使用共享数据方式的并发编程面临的最大的一个问题就是数据条件竞争。处理各种锁的问题是让人十分头痛的一件事。 传统多数流行的语言并发是基于多线程之间的共享内存，使用同步方法防止写争夺，Actors使用消息模型，每个Actor在同一时间处理最多一个消息，可以发送消息给其他Actor，保证了单独写原则。从而巧妙避免了多线程写争夺。和共享数据方式相比，消息传递机制最大的优点就是不会产生数据竞争状态。实现消息传递有两种常见的类型：基...阅读全文
先看看io模型 先介绍两种高性能服务器模型Reactor、Proactor Reactor模型： 1 向事件分发器注册事件回调 2 事件发生 4 事件分发器调用之前注册的函数 4 在回调函数中读取数据，对数据进行后续处理 Reactor模型实例：libevent，Redis、ACE Proactor模型： 1 向事件分发器注册事件回调 2 事件发生 3 操作系统读取数据，并放入应用缓冲区，然后通知事件分发器 4 事件分发器调用之前注册的函数 5 在回调函数中对数据进行后续处理 Preacto...阅读全文
1、前言 随着互联网的发展，面对海量用户高并发业务，传统的阻塞式的服务端架构模式已经无能为力。本文旨在为大家提供有用的高性能网络编程的I/O模型概览以及网络服务进程模型的比较，以揭开设计和实现高性能网络架构的神秘面纱。 2、关于作者 陈彩华（caison）：主要从事服务端开发、需求分析、系统设计、优化重构工作，主要开发语言是 Java。 3、线程模型 上篇《高性能网络编程(五)：一文读懂高性能网络编程中的I/O模型》介绍完服务器如何基于 I/O 模型管理连接，获取输入数据，下面将介绍基于进程/线...阅读全文
Carl Hewitt 在1973年对Actor模型进行了如下定义："Actor模型是一个把'Actor'作为并发计算的通用原语". Actor是异步驱动，可以并行和分布式部署及运行的最小颗粒。也就是说，它可以被分配，分布，调度到不同的CPU，不同的节点，乃至不同的时间片上运行，而不影响最终的结果。因此Actor在空间（分布式）和时间（异步驱动）上解耦的。而Akka是Lightbend（前身是Typesafe）公司在JVM上的Actor模型的实现。我们在了解actor模型之前，首先来了解acto...阅读全文
通过云服务器 CVM 连接云数据库 MongoDB 可以进行数据导入和导出，请注意使用最新版本的 MongoDB 客户端套件，具体操作可参见 连接实例。注意local 数据库主要存储副本集的配置信息、oplog 等元数据；admin 数据库则主要存储用户、角色等信息。为了防止数据错乱、鉴权失败等现象发生，云数据库 MongoDB 禁止将 local 和 admin 数据库导入实例。导出导入命令MongoDB 官方提供了两套数据导入导出工具：mongodump 和 mongorestore mon...阅读全文
提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档 文章目录 一、现象二、解决方法1.问题进一步描述2. 解决方法 总结 一、现象 IDEA启动springboot项目，提示java: java.lang.IllegalArgumentException，没有多余的信息，百度之后都是让修改idea的Java compiler，但是我全都设置的Java8，所以没头绪。 二、解决方法 1.问题进一步描述 谷歌搜了一下，发现Jetbrains的官网有人提这个问题，大致浏览了下，描述和我的...阅读全文
当前位置：首页 > Java开发 > Esper教程 —— Esper 入门介绍（1） 大屏阅读 Esper教程 —— Esper 入门介绍（1） 2年前 (2020-09-25) 分类：Java开发 阅读(2461) 评论(0) 一、规则引擎是什么Esper的官网：http://esper.codehaus.org/ 参考文档：https://www.cnblogs.com/yudar/tag/esper/小明历险记：规则引擎Drools教程：http://www.ibloger.net/ar...阅读全文
一、安装前准备工作 1、关闭SELINUX、防火墙 [root@localhost ~]# setenforce 0 [root@localhost ~]# sed -i "s/SELINUX=enforcing/SELINUX=disabled/g" /etc/selinux/config [root@localhost ~]# systemctl stop firewalld && systemctl disable firewalld 2、设置时间同步 [root@localhost ~]...阅读全文
目录 1 背景 2 何为Counter类型？ 2.1 Counter定义 3 何为Gauge类型？ 3.1 Gauge定义 4 Counter和Gauge的对比 1 背景 Prometheus整体架构分为Server端和Exporter端，而Exporter通常是基于官方的SDK开发（例如Go SDK）。 这里要明确一个概念：数据指标类型只是Client端的一个概念，用于维护Metric的生产，以方便在业务上有所区分。 而Server端是不区分数据类型的，因为所有的数据都是一种格式，也即时间...阅读全文
饿了么技术团队花了1年多的时间，实现了业务的整体异地多活，能够灵活的在多个异地机房之间调度用户，实现了自由扩容和多机房容灾的目标。本文介绍这个项目的整体结构，还简要介绍实现多活的5大核心基础组件，为读者建立基本的概念模型，后续会有系列文章陆续介绍每个组件的实现细节。读者能够从中了解到做异地多活的大方向，为实现自己的异地多活，或者是容灾备份提供参考。背景：为什么要做异地多活？饿了么要做多活，是受业务发展的驱动，经过几年的高速发展，我们的业务已经扩大到单个数据中心撑不住了，主要机房已经不能再加机器，...阅读全文
分布式链路追踪组件是在分布式架构中很重要的组件，用于排查分布式系统所遇到的问题。市面上有多款流行的分布式链路追踪组件，包括 Zipkin、Jaeger、Pinpoint 和 Skywalking 等，我们来了解下这几款组件的相关特性，以帮助我们选型。 分布式链路追踪规范：OpenTracingTracing 是在上世纪 90 年代就已出现的技术，但真正让该领域流行起来的还是源于 Google 的一篇 Dapper 论文。分布式追踪系统发展很快，种类繁多，但无论哪种组件，其核心步骤一般有 3 步：...阅读全文
目录 1、名词2、CEP引擎离线引擎实时引擎Esper：Fink CEP：Siddhi：3、逻辑架构图4、数据流图5、关于Storm中的数据分组6、实时Sigma引擎7、Esper规则模板8、Case Study9、结尾 1、名词 CEP（Complex Event Processing）：复杂事件处理、复合事件处理 EPL（Event Processing Language）：SQL-LIKE的事件处理语言，用于描述CEP任务 2、CEP引擎 离线引擎 待补充。 实时引擎 Esper： 优点：...阅读全文
