前言argo 是一个基于 kubernetes CRD 实现的一个 Workflow(工作流) 工具，基于 kubernetes 的调度能力实现了工作流的控制和任务的运行，同时提供了一个 UI 来方便我们查看任务的进程和详情等等；因为基于 kubernetes CRD 来进行 Workflow 的配置，所以我们使用标准的 kubernetes 来进行相关的配置，并可以直接 kubectl 来进行管理；在 argo 配置 Workflow 的实现中，template 是一个重要的概念，他是我们配置 Workflow 的支撑；templatetemplate 在 argo 中代表可运行的节点，一共有 6 种分类，分别是 Container, Script, Resource, Suspend, ...阅读全文
TalkingData 440 Flink Slot详解与Job Execution Graph优化 flink 阅读约 18 分钟 前言 近期将Flink Job从Standalone迁移至了OnYarn，随后发现Job性能较之前有所降低：迁移前有8.3W+/S的数据消费速度，迁移到Yarn后分配同样的资源但消费速度降为7.8W+/S，且较之前的消费速度有轻微的抖动。经过原因分析和测试验证，最终采用了在保持分配给Job的资源不变的情况下将总Container数量减半、每个Container持有的资源从1C2G 1Slot变更为2C4G 2Slot的方式，使该问题得以解决。 经历该问题后，发现深入理解Slot和Flink Runtime Graph是十分必要的，于是撰写了这篇文章。本文内容分...阅读全文
企业不同的发展阶段对项目管理的形式、对项目经理有着不同的期望，企业的发展正对应着一个项目经理的发展方向。 一、从零到一组建项目管理团队，重点在理不在管 首先，对于从零开始组建项目管理团队的公司，这时候普遍的问题是技术团队开始庞大（可能超过100人了），天天加班，需求推进缓慢。 项目管理团队在这个时点介入的重点在于理而不在于管： 1、首要任务是梳理清楚目前各个业务线或者产品线的工作流程，并清晰化当前正在做的以及规划中的各种需求和资源。 2、派驻项目经理到具体的业务产品线里，跟技术团队一起工作，规范化日常的需求或小项目，例如按周或按日出进度报告，把每一个需求都具体到明确的人来跟进。 3、理清项目完成的进度，解决方案，让老板能一目了然看清楚整个团队在做些什么...阅读全文
某家婴儿车公司的CEO接到了一个严重的产品质量问题投诉，句句在理，针针见血。CEO非常重视，紧急召开高阶主管会议，研究对策。讨论几小时后，各部门都有不少改进的提议，执行长也提出很多要求。最后执行长说：「不看广告看疗效，大家要立刻行动起来。散会。」 CEO对大家的态度都很满意。直到有一天，他问负责产品的副总裁：「上次开会时，我让你派人去德国考察一下他们的质量管理体系，你们去了吗？感觉怎么样？」 副总裁说：「啊？我正在忙质量改进的事，还没空想这件事，真要去考察啊？」 这么重要的事情，副总裁居然没放在心上。为什么会这样？是因为副总裁笨吗？是因为他缺乏执行力吗？都不是。因为这家公司缺少一种叫作「PDCA循环」的管理文化。 7.获取整个算子的执行计划8.flink通过webUI的Jar包传到哪里去了 java.io.tmpdir=/tmp 官网参考 # https://ci.apache.org/projects/flink/flink-docs-release- 1.11/concepts/flink-architecture.html 1.任务 Task:任务 是一个阶段多个相同功能的subtask的集合 ==》 对比于spark中的taskSet SubTask:子任务 subTask是Flink中任务的最小单元，subta...阅读全文
Flink-Task、SubTask、并行度 ldc2013的博客 08-01 292 Task与SubTask 一个算子就是一个Task. 一个算子的并行度是几,这个Task就有几个SubTask 对应关系： 算子=Task 并行度=SubTask task是抽象概念，subtask是物力概念 Parallelism并行度 默认并行度--cpu核数 关键点 不同的并行度（subtask），肯定在不同的slot，但也可能在不同的taskmanager 一个流程序的并行度，可以认为就是其所有算子中算子并行度最大的并行度 数据传输模式： One-to-one：. 【白话Flink基础理论】Flink运行时(Runtime)架构（三）并行度&Task&SubTask&Slot&Flink中的并行剖...阅读全文
TaskManger与Slots Flink中每一个worker(TaskManager)都是一个JVM进程，它可能会在独立的线程上执行一个或多个subtask。为了控制一个worker能接收多少个task，worker通过task slot来进行控制（一个worker至少有一个task slot）。 每个task slot表示TaskManager拥有资源的一个固定大小的子集。假如一个TaskManager有三个slot，那么它会将其管理的内存分成三份给各个slot。资源slot化意味着一个subtask将不需要跟来自其他job的subtask竞争被管理的内存，取而代之的是它将拥有一定数量的内存储备。需要注意的是，这里不会涉及到CPU的隔离，slot目前仅仅用来隔离task的受管理的内存。...阅读全文
点击上方蓝字关注一下吧 看完记得点个关注呦~，了解更多职场及大数据，人工智能，java等技术文章。 在了解slot、task、并行度相关概念和原理之前先看一下企业中与之相关的高频面试题×01高频面试题1.Flink的并行度了解吗？Flink的并行度设置是怎样的？2.任务并行度与slot之间的关系？3.Flink并行度设置优先级？4.并行的任务，需要占用多少slot？5. slot并行的条件？6. taskmanager与slot之间的关系？7.什么是slot共享，slot共享的好处？8.一个流处理程序，到底包含多少个任务？ 接下来的介绍相信你会对这些问题有一个答案，当然文章最后也有对应的参考答案×02 概念解读taskmanager：Flink中每一个worker(TaskManager)都...阅读全文
本文分享自天翼云开发者社区《NUMA架构介绍及优缺点分析》，作者:郁****航什么是NUMA架构1、概念NUMA（Non-Uniform Memory Access，非统一内存访问）架构是一种针对多处理器系统的内存组织方式。在这种架构中，处理器被分配到不同的节点，每个节点拥有自己的本地内存。处理器可以访问本地内存和其他节点的内存，但访问本地内存的速度要快于访问其他节点的内存。 2、设计原理NUMA架构的设计原理主要是为了解决多处理器系统中的内存访问瓶颈问题。随着处理器数量的增加，内存带宽需求也会相应提高。然而，在传统的统一内存访问（UMA）架构中，所有处理器共享同一块内存，导致内存访问延迟增加、内存带宽成为系统性能的瓶颈。NUMA架构通过将内存分配到各个节点，使处理器优先访问本地内存，降低内...阅读全文
 一、Spark3.0.0运行环境安装 Spark常见部署模式： Local模式：在本地部署单个Spark服务 所谓的Local模式，就是不需要其他任何节点资源就可以在本地执行Spark代码的环境，一般用于教学，调试，演示等。 在IDEA中运行代码的环境称之为开发环境，和Local模式还是有区别的。 Standalone模式：Spark自带的任务调度模式。（国内常用） YARN模式：Spark使用Hadoop的YARN组件进行资源与任务调度。（国内常用） Windows模式：为了方便在学习测试spark程序，Spark提供了...阅读全文
两会期间，“新质生产力”是热点词汇之一。习总shu记在参加十四届全国人大二次会议江苏代表团审议时强调，要牢牢把握高质量发展这个首要任务，因地制宜发展新质生产力。政府工作报告提出，大力推进现代化产业体系建设，加快发展新质生产力。全国政协委员，中国电信董事长、党组书记柯瑞文特别关注科技创新和新质生产力，他在接受《人民邮电》报专访时表示，“新质生产力，特点在‘新’，关键在‘质’，落脚在‘生产力’，即以科技创新推动产业创新，特别是以颠覆性技术和前沿技术催生新产业、新模式、新动能。”柯瑞文说，当前，随着新一轮科技革命和产业变革的加速演进，人工智能、云计算、大数据、量子科技等新技术迅猛发展，为加快发展新质生产力提供了重要支撑。我们必须要把科技创新摆在更加突出的位置，加快关键核心技术攻关，进一步打通“科...阅读全文
