消息系统设计要点

操作系统

消息传递作为进程间通信的重要一种，他提供了网络间进程通信的方式。但是相比于管程和信号量等，他具有不稳定性。

需要考的问题简单来说有这么几点

消息传递的不可靠性解决。在网络间传递时，A到B已经发送了消息，B可能没有收到，A要有一种机制可以知道B已经收到了消息。因此，B需要发送一个ACknowledge给A，来保证他已经收到。
消息传递的重复性。在A重复的发送了数据后，如果经过一定的时间后，A没有收到ACK，所以又重复发了一次相同的message，但是经过一段时间后，B收到了两个相同消息，如何进行区分？可以在发送的消息中加入连续的序列来表达不同的消息。
还有许多其他问题，这里直说两个比较普遍的问题。

Comments

Golang http server performance tuning practice (Golang HTTP服务器性能调优实践)

Golang 1.8后本身自带了pprof的这个神器，可以帮助我们很方便的对服务做一个比较全面的profile。对于一个Golang的程序，可以从多个方面进行profile，比如memory和CPU两个最基本的指标，也是我们最关注的，同时对特有的goroutine也有运行状况profile。关于golang profiling本身就不做过多的说明，可以从官方博客中了解到详细的过程。 Profile的环境 Ubuntu 14.04.4 LTS (GNU/Linux 3.19.0-25-generic x86_64) go version go1.9.2 linux/amd64 profile的为一个elassticsearch数据导入接口，承担接受上游数据，根据元数据信息写入相应的es索引中。目前的状况是平均每秒是1.3Million的Doc数量。在增加了profile后，从CPU层面发现几个问题。 runtime mallocgc 占用了17.96%的CPU。 SVG部分图如下通过SVG图，可以看到调用链为： ioutil.ReadAll -> buffer.ReadFrom -> makeSlice -> malloc.go 然后进入ReadAll的源码。 readAll()方法 func readAll(r io.Reader, capacity int64) (b []byte, err error) { buf := bytes . NewBuffer ( make ([] byte , 0 , capacity )) // If the buffer overflows, we will get bytes.ErrTooLarge. // Return that as an error. Any other panic remains. defer func() { e := recover () if e == nil { return } if panicErr , ok := e .( error ) ; ok && p...

Python 使用socket实现ftp 客服端

之前先了解ftp协议，然后解释代码连接到ftp服务器，得到一个socket（这是一个连接到ftp命令端口socket）发送必要request 第一步 Connect到服务器后，ftp_socket.recv(1024) 到服务器的欢迎消息(1 中的socket)，不要问为什么，ftp协议规定的，应该是。 *注意的是，后面ftp_socket每一次的请求后，都要recv一次，不管你是否全部接受到了都要recv一次，不然可能后面接受不到一些消息。个人觉着这可能是ftp协议的规定：每一次request，都会给client一个response。如果 client没有接受这个response，那么下次的request不会被服务器接受，所以client的recv就会卡住！第二步就像代码中直到 #LIST 都是用的命令端口。而使用数据端口时，就是用命令端口 ftp_socket.send("PASV \r\n") new_port = ftp_socket.recv(1024) 使用命令 PASV 请求一个动态的数据端口。解释我理解的动态数据端口：即你每一次请求到一个数据端口后，你只能使用一次。比如： [ INFO] 2014-11-29 22:25:44,682 [admin] [127.0.0.1] SENT: 227 Entering Passive Mode (127,0,0,1,204,82) 这是ftp服务器端发送的请求(apache ftpserver)，明显括号中是你的ip（我的是本机），然后两个数字。通过查询，你要请求的数据端口：（a,b,c,d,x,y) new_port = x*250+y 剩下的部分就很简单了。在代码中再有点解释（后面附server端log）最后还应该用发送一个quit命令，告诉server 我的请求完毕了。这里忘了。一点补充：看到server端log可以发现，服务器每一次的SEND 我们都应该recv一次 #download a folder's files import socket class ParseUrl()...

Elasticsearch error when the field exceed limit 32kb

When we post data that the field exceed the limit, elasticsearch will reject the data which error: {"error":{"root_cause":[{"type":"remote_transport_exception","reason":"[cs19-2][10.200.20.39:9301][indices:data/write/index]"}],"type":"illegal_argument_exception","reason":"Document contains at least one immense term in field=\"field1\" (whose UTF8 encoding is longer than the max length 32766), all of which were skipped. Please correct the analyzer to not produce such terms. The prefix of the first immense term is You can handle this: 1. you can udpate the mapping part at any time PUT INDEXNAME/_mapping/TYPENAME { "properties" : { "logInfo" : { "type" : "string" , "analyzer" : "keyword" , "ignore_above" : 32766 } } } ignore_above means that we will only keep 32766 bytes 2...

Jason Zhang

Search This Blog