深入分析 web 请求响应中的编码问题 石 琎2017 年 8 月 09 日发布 乱码问题一直是困扰开发人员的比较头疼的问题，而发生在 web 请求响应中的乱码问题由于牵扯到比较多的协议框架和技术实现，又显得更加棘手。web 请求中的乱码一般容易出现在两个地方：一是所请求的资源名称，二是查询参数；更复杂的是，不同的浏览器对 URL 和查询参数采用的默认编码可能还不一样，这就更加加深了问题的难度。本文将深入浅出地分析 web 请求响应中乱码产生的原因与解决该问题的关键因素，并举例说明给出该问题的最佳解决方案。web 请求响应中乱码产生的原因相关概念URL，URI 及查询字符串URL 是统一资源定位器，是用来引导指向对应的网络资源的，狭义来说查询字符串并不是 URL 的一部分，URL 是由协议、...阅读全文
@Around是一种建议类型，可确保方法执行前后的通知可以运行。 以下是@Around通知的语法： 语法 @Pointcut("execution(* com.yiibai.Student.getAge(..))") private void selectGetName(){} @Around("selectGetAge()") public void aroundAdvice(ProceedingJoinPoint proceedingJoinPoint){ System.out.println("[aroundAdvice] Around advice"); Object[] args=jp.getArgs(); if(args.length>0){ System.out.print("...阅读全文
在用TreeMap之前我们要对TreeMap有个整体的认识。 1、TreeMap介绍 TreeMap是一个通过红黑树实现有序的key-value集合。 TreeMap继承AbstractMap，也即实现了Map，它是一个Map集合 TreeMap实现了NavigableMap接口，它支持一系列的导航方法， TreeMap实现了Cloneable接口，它可以被克隆 TreeMap introduction：A Red-Black tree based NavigableMap implementation. The map is sorted according to the natural ordering of its keys, or by a Comparator provided a...阅读全文
Fel是开放的，引擎执行中的多个模块都可以扩展或替换。Fel的执行主要是通过函数实现,运算符(+、-等都是Fel函数），所有这些函数都是可以替换的，扩展函数也非常简单。 Fel有双引擎，同时支持解释执行和编译执行。可以根据性能要求选择执行方式。编译执行就是将表达式编译成字节码（生成java代码和编译模块都是可以扩展和替换的） FEL可以进行算数运算以及逻辑运算，也可以调用类的静态方法、非静态方法。 只需要一个jar包: 1. 简单使用 1. 简单计算 private static void calculate() { // 算数运算 FelEngine fel = new FelEngineImpl(); Object result = fel.eval("1.5898*1+75"); Sy...阅读全文
我们时常遇到这样的需求：要杀死一个正在运行运行的进程。这时候可以在终端输入 1 kill -9
数据库的设计范式是数据库设计所需要满足的规范，满足这些规范的数据库是简洁的、结构明晰的，同时，不会发生插入（insert）、删除（delete）和更新（update）操作异常。反之则是乱七八糟，不仅给数据库的编程人员制造麻烦，而且面目可憎，可能存储了大量不需要的冗余信息。 范式说明 1.1 第一范式（1NF）无重复的列 所谓第一范式（1NF）是指数据库表的每一列都是不可分割的基本数据项，同一列中不能有多个值，即实体中的某个属性不能有多个值或者不能有重复的属性。如果出现重复的属性，就可能需要定义一个新的实体，新的实体由重复的属性构成，新实体与原实体之间为一对多关系。在第一范式（1NF）中表的每一行只包含一个实例的信息。简而言之，第一范式就是无重复的列。 说明：在任何一个关系数据库中，第一范式（...阅读全文
大端小端序概念 讲概念前，先插个小东西，之前搞混高字节、高地址、低字节、低地址这几个概念，之后理解大小端序就费劲了些。故画了下图： 大端序（big-Endian）：高字节保存在内存的低地址，低字节保存在内存的高地址。 小端序（little-Endian）：高字节保存在内存的高地址，低字节保存在内存的低地址。 概念较抽象，可结合下图来理解： 大小端优缺点 存在即是合理，大端的优点就是小端的缺点，反之亦然。 大端优点：符号位在所表示数据内存的第一个字节，便于快速判断数据的正负和大小。 小端优点：内存的低地址存放数据低字节，大数强制转换小数时效率高，直接丢弃高地址数据即可；cpu在做数值运算时依次从低到高取数运算即可，效率高效。 Socket通信字节序问题 IP/TCP网络传输时采用网络字节序（即...阅读全文
对于经常要浏览油管等被墙网站的人而言，利用代理来实现fq是非常有必要的。现在fq的方法中，最为主流的应该要数ssr了，因此本教程都是基于ssr的socks5代理而言的。 在windows中，ssr客户端设置的系统代理，大部分应用还是能够起到作用的，但是也有不少却不走代理。这里有个不错的解决方案就是通过sstap来实现网卡层的代理，这样一来，所有的流量都会通过代理流通转发出去了。 然而，windows并不是我们的全部，偶尔我也会用用linux，这样的话，对于linux有没有较好的全局代理方案呢？这就是本文将要介绍的。 下面我将简单介绍了linux常见的设置代理方法，以及全局代理的方法。 常见代理 最为常见的是 http_proxy=http://localhost:1080 https_pro...阅读全文
1.关于MTU MTU最大传输单元，这个最大传输单元实际上和链路层协议有着密切的关系，EthernetII帧的结构DMAC+SMAC+Type+Data+CRC由于以太网传输电气方面的限制，每个以太网帧都有最小的大小64Bytes最大不能超过1518Bytes，对于小于或者大于这个限制的以太网帧我们都可以视之为错误的数据帧，一般的以太网转发设备会丢弃这些数据帧。 由于以太网EthernetII最大的数据帧是1518Bytes这样，刨去以太网帧的帧头（DMAC目的MAC地址48bits=6Bytes + SMAC源MAC地址48bits=6Bytes + Type域2Bytes）14Bytes和帧尾CRC校验部分4Bytes那么剩下承载上层协议的地方也就是Data域最大就只能有1500Byte...阅读全文
我们知道 Golang 中变量的赋值不是并发安全的，实际情况果真如此吗？ 1.什么是并发安全并发安全就是程序在并发情况下执行的结果是正确的。比如对一个变量简单的自增操作count++，在非并发下很好理解，而在并发情况下却容易出现预期之外的结果，这样的代码就是非并发安全的。因为count++其实是分成两步执行的，当分成了两步执行，那么其他协程就可以趁着这个时间间隙作怪。如一下 a b 两个协程同时 count++：count:= 1 a > 读取count : 1 b > 读取count : 1 a > 计算count+1 : 2 b > 计算count+1 : 2 a > 赋值count : 2 b > 赋值count : 2这就会发生明明 a b 协程计算了两次，可结果还是 2。2.str...阅读全文
相关示例代码见：http://download.csdn.net/detail/hjx_1000/8374829 五、 Thrift服务器端几种工作模式分析与总结 Thrift为服务器端提供了多种工作模式，本文中将涉及以下5中工作模式：TSimpleServer、TNonblockingServer、THsHaServer、TThreadPoolServer、TThreadedSelectorServer，这5中工作模式的详细工作原理如下： 1. TSimpleServer模式 TSimpleServer的工作模式只有一个工作线程，循环监听新请求的到来并完成对请求的处理，它只是在简单的演示时候使用，它的工作方式如图5.1所示： 图5.1 TSimpleServer的工作模式 TSimpleS...阅读全文
1、MapReduce理论简介 1.1 MapReduce编程模型 MapReduce采用"分而治之"的思想，把对大规模数据集的操作，分发给一个主节点管理下的各个分节点共同完成，然后通过整合各个节点的中间结果，得到最终结果。简单地说，MapReduce就是"任务的分解与结果的汇总"。 在Hadoop中，用于执行MapReduce任务的机器角色有两个：一个是JobTracker；另一个是TaskTracker，JobTracker是用于调度工作的，TaskTracker是用于执行工作的。一个Hadoop集群中只有一台JobTracker。 在分布式计算中，MapReduce框架负责处理了并行编程中分布式存储、工作调度、负载均衡、容错均衡、容错处理以及网络通信等复杂问题，把处理过程高度抽象为两个...阅读全文
从上一节的内容可以看到，选项TCP_NODELAY是禁用Nagle算法，即数据包立即发送出去，而选项TCP_CORK与此相反，可以认为它是Nagle算法的进一步增强，即阻塞数据包发送，具体点说就是：TCP_CORK选项的功能类似于在发送数据管道出口处插入一个“塞子”，使得发送数据全部被阻塞，直到取消TCP_CORK选项（即拔去塞子）或被阻塞数据长度已超过MSS才将其发送出去。举个对比示例，比如收到接收端的ACK确认后，Nagle算法可以让当前待发送数据包发送出去，即便它的当前长度仍然不够一个MSS，但选项TCP_CORK则会要求继续等待，这在前面的tcp_nagle_check()函数分析时已提到这一点，即如果包数据长度小于当前MSS &&（（加塞 || …）|| …），那么缓存数据而不立即...阅读全文
序言最近一位非常热心的网友建议结合demo来分析一下goroutine的调度器，而且还提供了一个demo代码，于是便有了本文，在此对这位网友表示衷心的感谢！这位网友提供的demo程序可能有的gopher以前见过，已经知道了具体原因，但本文假定我们是第一次遇到这种问题，然后从零开始，通过一步一步的分析和定位，最终找到问题的根源及解决方案。虽然本文不需要太多的背景知识，但最好使用过gdb或delve调试工具，了解汇编语言及函数调用栈当然就更好了。本文我们需要重点了解下面这3个内容。调试工具无法准确显示函数调用栈时如何找到函数调用链；发生GC时，如何STOP THE WORLD；什么时候抢占调度不会起作用以及如何规避。本文的实验环境为AMD64 Linux + go1.12Demo程序及运行现象p...阅读全文
在平时的开发中，我们不可避免的会使用到Debug工具，JVM作为一个单独的进程，我们使用的Debug工具可以获取JVM运行时的相关的信息，查看变量值，甚至加入断点控制，还有我们平时使用JDK自带的JMAP、JSTACK等工具，可以在JVM运行时动态的dump内存、查询线程信息，甚至一些第三方的工具，比如说京东内部使用的JEX、pfinder，阿里巴巴的Arthas，优秀的开源的框架skywalking等等，也可以做到这些，那么这些工具究竟是通过什么技术手段来实现对JVM的监控和动态修改呢？本文会进行介绍和简单的原理分析，同时附带一些样例代码来进行分析。从JVMTI说起JVM在设计之初，就考虑到了虚拟机状态的监控、debug、线程和内存分析等功能，在JDK5.0之前，JVM规范就定义了JVMP...阅读全文
说明：在使用over()函数进行统计（尤其是求和，求平均的等）的时候，有时候需要设定一个范围（时间，数值等），因此，oracle提供了窗口函数选项 rows/rang between ... preceding and ... following 分析函数的语法结构一般是：分析函数名(参数) OVER (PARTITION BY子句 ORDER BY子句 ROWS/RANGE子句) 即由以下三部分组成：分析函数名：如sum、max、min、count、avg等聚集函数以及lead、lag行比较函数等；over： 关键字，表示前面的函数是分析函数，不是普通的集合函数；分析子句：over关键字后面挂号内的内容；分析子句又由下面三部分组成：partition by ：分组子句，表示分析函数的计算范...阅读全文
# GROUP BY # description GROUP BY GROUPING SETS ｜ CUBE ｜ ROLLUP 是对 GROUP BY 子句的扩展，它能够在一个 GROUP BY 子句中实现多个集合的分组的聚合。其结果等价于将多个相应 GROUP BY 子句进行 UNION 操作。 GROUP BY 子句是只含有一个元素的 GROUP BY GROUPING SETS 的特例。 例如，GROUPING SETS 语句： SELECT a, b, SUM( c ) FROM tab1 GROUP BY GROUPING SETS ( (a, b), (a), (b), ( ) ); 其查询结果等价于： SELECT a, b, SUM( c ) FROM tab1 GROUP ...阅读全文
粉丝朋友们，不知道大家看故事看腻了没（要是没腻可一定留言告诉我_），今天这篇文章换换口味，正经的来写写技术文。言归正传，咱们开始吧！ 本文结构： - 需求背景 - 进击的 Python - Java 和 Python - 给 Python 加速 - 寻找方向 - Jython? - Python->Native 代码 - 整体思路 - 实际动手 - 自动化 - 关键问题 - import 的问题 - Python GIL 问题 - 测试效果 - 总结 需求背景 进击的 Python 随着人工智能的兴起，Python 这门曾经小众的编程语言可谓是焕发了第二春。 以 tensorflow、pytorch 等为主的机器学习／深度学习的开发框架大行其道，助推了 python 这门曾经以爬虫见长（py...阅读全文
我写的《Flink原理与实践》已由人民邮电出版社出版，感兴趣的朋友请到电商平台购买，谢谢！微信公号：ilulaoshi 个人网站：https://lulaoshi.info/flink/chapter-time-window/window.html我们经常需要在一个时间窗口维度上对数据进行聚合，窗口是流处理应用中经常需要解决的问题。Flink的窗口算子为我们提供了方便易用的API，我们可以将数据流切分成一个个窗口，对窗口内的数据进行处理。本文将介绍如何在Flink上进行窗口的计算。一个Flink窗口应用的大致骨架结构如下所示：// Keyed Window stream .keyBy(...) <- 按照一个Key进行分组 .window(...) <- 将数据流中的元素分配到相应的窗口中 ...阅读全文
从golang诞生起是否应该添加泛型支持就是一个热度未曾消减的议题。泛型的支持者们认为没有泛型的语言是不完整的，而泛型的反对者们则认为接口足以取代泛型，增加泛型只会徒增语言的复杂度。双方各执己见，争执不下，直到官方最终确定泛型是go2的发展路线中的重中之重。 今天我们就来看看为什么我们需要泛型，没有泛型时我们在做什么，泛型会带来哪些影响，泛型能拯救我们吗？ 本文索引 没有泛型的世界 暴力穷举 依靠通用引用类型 动态类型语言的特例 动静结合 使用interface模拟泛型 interface会进行严格的类型检查 内置类型何去何从 性能陷阱 复合类型的迷思 最后也是最重要的 泛型带来的影响，以及拯救 彻底从没有泛型的泥沼中解放 泛型的代价 没有泛型的世界 泛型最常见也是最简单的需求就是创建一组操...阅读全文
在 Linux 下，我们看到的是文件夹（目录）： 在早期的 UNIX 系统中，各个厂家各自定义了自己的 UNIX 系统文件目录，比较混乱。Linux 面世不久后，对文件目录进行了标准化，于1994年对根文件目录做了统一的规范，推出 FHS ( Filesystem Hierarchy Standard ) 的 Linux 文件系统层次结构标准。FHS 标准规定了 Linux 根目录各文件夹的名称及作用，统一了Linux界命名混乱的局面。 无论何种版本的 Linux 发行版，桌面、应用是 Linux 的外衣，文件组织、目录结构才是Linux的内心。 FHS（英文：Filesystem Hierarchy Standard 中文：文件系统层次结构标准），多数 Linux 版本采用这种文件组织形式...阅读全文