背景 在多核CPU机器下，为了充分利用多核计算机的资源，我们需要进行并发编程，提高对CPU的利用率， # 提示：如你已了解或无意了解并行和并发，可以跳过本段，直达标题 ”传统并发和基于消息传递的并发“ 并行(parallel): 物理上同一时间处理不同任务 并发(concurrent): 逻辑上处理同时的任务的能力 通常所说的并发编程，也就是说它允许多个任务同时执行，但实际上并不一定在同一时刻被执行。 在单核处理器上，通过多线程共享CPU时间片串行执行(并发非并行)。 而并行则依赖于多核处理器等...阅读全文
Seata 分布式事务 XA 与 AT 全面解析 2021-04-23 FUNKYE Seata Seata 目录 1.XA模式是什么？ 1.1什么是XA 1.2什么是Seata的事务模式？ 2那么什么是Seata XA 模式？ 2.1什么是Seata AT(TXC) 模式？ 2.2AT 模式如何做到对业务的无侵入 ？ AT模式一阶段 2.3 AT 模式如何保证隔离性 AT 模式二阶段提交 AT 模式二阶段回滚 3.为什么支持XA？ 4.为什么Seata要支持XA模式？ AT与XA的关系 Sea...阅读全文
west 说： 好文。全面而易懂 2014年2月 5日 20:09 | # | 引用 李狗蛋 说： 坏蛋总不放过任何一丝做恶的机会,太多不要脸的运营商在链路劫持强插广告,直接修改用户的HTTP数据包,再就是NSA之流肆无忌惮的窃听 发现一个HTTPS有意思的地方,只要53端口数据被转发,不管域名对应的DNS解析IP是不是域名真实IP,只要最后都是53端口转发到真实IP之上,就不会弹HTTPS证书错误 比如 https://a.com 对应 ipa 不通 那么劫持DNS解析 https://a.c...阅读全文
1.虚拟IP 在 TCP/IP 的架构下，所有想上网的电脑，不论是用何种方式连上网路，都必须要有一个唯一的 IP-address。事实上IP地址是主机硬件地址的一种抽象，简单的说，MAC地址是物理地址，IP地址是逻辑地址。 虚拟IP，就是一个未分配给真实主机的IP，也就是说对外提供服务器的主机除了有一个真实IP外还有一个虚IP，使用这两个IP中的任意一个都可以连接到这台主机。 虚拟IP一般用作达到HA(High Availability)的目的,比如让所有项目中数据库链接一项配置的都...阅读全文
最近在做连续数据流的缓冲系统，C语言代码实现后，粗略测试了下，功能上应该没有问题。那么，接下来就该测试性能了。输入 top 命令，的确可以看到一系列 cpu 使用率，其中一个值得注意的子项就是 io 使用率了，如下图： 上图中 io 前面的数字是什么意思呢？是指 CPU 有 63% 的时间花费在 io 上了吗？在 Linux 中输入 man 命令查看相关手册，发现 io(wait) 被解释为“等待 I/O 完成的时间”。 如果按照手册对 iowait 字面上的解释，是很容易陷入误区的。因为就上例...阅读全文
禁用 MacOS 的 Swap 分区 xiaocai • 2020 年 12 月 31 日 Loading...阅读全文
这篇文章我们以 backlog 参数来深入研究一下建连的过程。通过阅读这篇文章，你会了解到下面这些知识： backlog、半连接队列、全连接队列是什么 linux 内核是如何计算半连接队列、全连接队列的 为什么只修改系统的 somaxconn 和 tcp_max_syn_backlog 对最终的队列大小不起作用 如何使用 systemtap 探针获取当前系统的半连接、全连接队列信息 iprouter 库中的 ss 工具的原理是什么 如何快速模拟半连接队列溢出，全连接队列溢出 注：本文中的代码和测...阅读全文
Redis事务在web/activity中见过事务机制保证发券环节对券码存量校验，这是典型的并发、读写操作的实例。 Redis的事务机制Transaction通过四个命令来完成：MULTI, EXEC, DISCARD and WATCH，建议精读链接文章对Redis事务机制有详细介绍。 Redis事务机制特性 事务(transaction)的定义从multi开始，到exec结束。 同一个事务内的多个命令，具有原子性，不会被打断 It can never happen that a reques...阅读全文
1.创建服务器证书密钥文件 server.key： openssl genrsa -des3 -out server.key 2048 输入密码，确认密码，自己随便定义，但是要记住，后面会用到。 2.创建服务器证书的申请文件 server.csr openssl req -new -key server.key -out server.csr 输出内容为： Enter pass phrase for root.key: ← 输入前面创建的密码 Country Name (2 letter cod...阅读全文
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个s...阅读全文
ElasticSearch学习笔记之九 复杂数据类型和嵌套对象 复杂数据类型空域数组域多层级对象内部对象的映射内部对象的索引内部对象数组 嵌套对象嵌套对象映射 复杂数据类型 除了前面说到的简单数据类型，Elasticsearch还支持JSON 的null ，数组，和对象. 空域 字段取值可以为空，当然，数组也可以为空。 然而，在 Lucene 中是不能存储 null 值的，所以我们认为存在 null 值的域为空域。 下面三种域被认为是空的，它们将不会被索引： "null_value": null...阅读全文
ES系列之原来查看文档数量有这么多姿势犀牛饲养员发布于 2020-04-03 1、引言 有人可能觉得，查看文档数量不是很简单吗？直接 GET /_cat/count/index_name?v 不就可以了吗。 事实上远不止这么简单，比如嵌套文档的情况等。相信你看了我这篇文章之后你会感叹原来统计文档有这么多讲究啊。 2、正文 cat/count 首先是最常用的的方式，也是一种快速查询文档的优先推荐方式，cat count api我们使用kibana自带的电商索引来实验。 GET _cat/count...阅读全文
0、事出有因 您好，目前我需要将只读索引segment合并，有几个问题想要求教1、 segment是不是合并到一个最好，及max_num_segments=12、合并的时候，通过POST /my_index/_forcemerge?max_num_segments=1会不会吃光所有的机器资源，造成服务暂时不可用(optimize?max_num_segments=1就会吃光所有资源)，但是我没有从官方文档找到_forcemerger 这种方式的资源消耗。3、在es 6.7及以上中index.me...阅读全文
> 编程乐园 > 编程内功 > 架构&设计模式 > ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) ElasticSearch备份快照到HDFS-2.6(CDH5.6.0) 架构&设计模式 water 5年前 (2017-03-29) 3348℃ 0评论 repository-hdfs安装包的下载地址: https://oss.sonatype.org/content/repositories/snapshots/org/elasticsearch/elasticsea...阅读全文
一、前言| ES作为现今最流行的搜索存储库，我们需要定期去清理ES集群的数据以保证集群处在一个最佳负载状态，那么如何去删除这些数据呢，我们今天来介绍一种比较常见的通过Delete By Query的方式去删除索引中的数据。二、Delete By Query API 介绍 怎么理解这个API呢？实际是批量删除数据的意思 功能：根据特定的查询条件对ES相关索引中某些特定的文档进行批量删除。POST index_name/_delete_by_query { "query": { //这些是自定义查询...阅读全文
Automatic slicing is a way to parallelize work for a few different endpoints, such as reindex, update by query and delete by query. The three above APIs all work the same way by making a scroll query over the target index. Scroll queries provide a mo...阅读全文
掘金工作人员会尽快受理你的举报，随后将通过站内信告知你处理的结果，请尽量补充完整描述 请选择一项投诉原因 补充说明 0/100 图片示例 你可以上传相关证据或涉及举报内容具体位置的图片，帮助工作人员更快地核实处理 上传 0 / 4 取消 确定举报阅读全文
点击上方蓝字关注一下吧 看完记得点个关注呦~，了解更多职场及大数据，人工智能，java等技术文章。 在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗？Flink的并行度设置是怎样的？2.任务并行度与slot之间的关系？3.Flink并行度设置优先级？4.并行的任务，需要占用多少slot？5. slot并行的条件？6. taskmanager与slot之间的关系？7.什么是slot共享，slot共享的好处？...阅读全文
文章目录 官网参考1.任务2.通过flinkUI可以看到 有几个框就是几个Task3.程序模型4.流的分类5.Operator Chains6.Task Slot (TM = JVM)7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.ht...阅读全文
Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中...阅读全文
