Friday, August 15, 2014
预加载 JavaScript
(new Image()).src = url;
不过发现 Chrome 里,Image 请求会添加特殊的 Accept 头,导致后续实际创建 script tag 的时候浏览器会重新发送 Http 请求。
尝试搜索了一下,发现有人创建 object 对象,设置 data 来解决这个问题,不过,如何得知 onload 呢?
有待继续研究。
Tuesday, November 29, 2011
使用nginx记日志
做web服务和应用的时候,很多场景下需要记录日志。
如 访问日志,性能分析日志,打点日志,数据统计日志等。
假设有以下主机设置
<code>
server {
listen 80;
server_name abc.cc;
root /etc/www/abc;
access_log /var/log/www/abc/access.log;
location / {
index index.htm index.htm;
}
}
</code>
默认情况下,access_log 会使用 combined 的配置来记录访问日志
<code>
log_format combined '$remote_addr - $remote_user [$time_local] '
'"$request" $status $body_bytes_sent '
'"$http_referer" "$http_user_agent"';
</code>
通常这样就足够了。
如果是为了更加方便的日志分析,通常我们会使用特殊字符(如 ^A) 来作为日志字段的分隔符,
这样无论是过滤还是排序都会十分方便。甚至可以直接导入 mysql/hive 中,使用强大的 sql 来做查询分析。
为了排版方便,所有特殊字符都使用了展开的写法,请自行替换 ^A 为 ctrl+v,ctrl+a (nginx 日志格式不支持 \1 的写法)。
自定义日志格式:
<code>
server {
listen 80;
server_name abc.cc;
root /etc/www/abc;
# 更多日志可用字段(基本上都是 nginx 的变量),见
# http://wiki.nginx.org/NginxHttpLogModule#log_format
# http://wiki.nginx.org/NginxHttpUpstreamModule#Variables
# http://wiki.nginx.org/NginxHttpCoreModule#Variables
log_format abc "$remote_addr^A$remote_user^A$time_local^A$request_method^A$uri^A$args^A$server_protocol"
"^A$status^A$body_bytes_sent^A$http_referer"
"^A$http_user_agent";
access_log /var/log/www/abc/access.log abc;
location / {
index index.htm index.htm;
}
}
</code>
当把日志使用 ^A 分割以后,后续就可以使用 sort 和 grep 之类工具对特定url做分析了,
比如统计各url请求量倒排取前50个
<code>
awk -F^A '{print $5}' /var/log/www/abc/access.log | sort | uniq -c | sort -nr | head -50
</code>
有时候可能想对记录的字段做一些处理,比如 $arg_q 可能是搜索关键词,记录的时候如果 unescape 一下,
会更方便分析,存储上也会更小,
那么可以使用 NginxHttpSetMiscModule 模块提供的指令( http://wiki.nginx.org/NginxHttpSetMiscModule#set_unescape_uri )实现:
<code>
set_unescape_uri $q $arg_q;
log_format abc "$q";
</code>
有时候,我们需要对字段做 hash 转换,可以使用 HttpMapModule 提供的功能(http://wiki.nginx.org/HttpMapModule)
<code>
# 需要放到 http 里面,不能放到 server 里 :)
# 根据 url 地址计算分类,便于后续统计
# 具体根据需求做变换就好了
# 第一列是匹配规则,后面的是赋值 ~ 开头的匹配规则是正则
map $uri $typ {
default -;
~/login user;
~/my user;
~/static static;
}
log_format abc "$typ^A$uri";
</code>
如果使用 nginx 比较多,可能会尝试使用 if ,建议不要使用,因为nginx的if比较让人混乱。
如果有更多复杂的字段处理需求,可以使用 ngx_lua (http://wiki.nginx.org/HttpLuaModule)。
ngx_lua 里面操作 nginx 变量
<code>
# 实现上面 map 类似的功能
# 用法详见 http://wiki.nginx.org/HttpLuaModule#set_by_lua
# lua 语法见 http://www.lua.org/manual/5.1/manual.html#2.4
set_by_lua $typ "
local uri = ngx.var.uri
local _m = string.match
local v = '-'
if _m(uri, '^/login') then
v = 'user'
elseif _m(uri, '^/my') then
v = 'user'
elseif _m(uri, '^/static') then
v = 'static'
end
return v
";
</code>
某些情况下,可能我们的字段处理需要查询缓存(如redis)、数据库(如mysql)等,
这些都是可以使用 ngx_openresty 高效完成的(http://openresty.org/)。
这些功能就不在这一篇详细描述了,后续篇章会补充这些功能。
再描述一些复杂的日志记录功能吧。
有时候我们希望根据请求,来判断是否需要记录这一条日志。
在web的访问日志中这种需求比较少,但是独立的日志收集服务器一般有这样的需求的。
比如我需要判定,请求参数 arg_id 必须存在且为数字的时候我才记录日志,可以这样实现
<code>
server {
listen 80;
server_name abc.cc;
root /etc/www/abc;
log_format abc "$msec^A$args^A$q^A$ie^A$oe^A$ref"
"^A$http_user_agent";
access_log off;
location / {
# 专门记日志的服务,对非合法请求,直接断开连接 或者根据需求302到自己的站点
# 但是这种302一般不会被用户看到 可以综合考虑做法
# 444 的意义见 http://wiki.nginx.org/HttpRewriteModule#return
return 444;
}
location = /i-log {
internal;
set_unescape_uri $q $arg_q;
set_unescape_uri $ie $arg_ie;
set_unescape_uri $oe $arg_oe;
set_unescape_uri $ref $arg_ref;
# 这个很重要,否则不会记录的
log_subrequest on;
access_log /var/log/www/abc/access.log abc;
# 这个指令需要 HttpEchoModule (http://wiki.nginx.org/HttpEchoModule#echo) 的支持
# 因为这个地址只是为了辅助记录日志,所以不需要返回内容
echo '';
}
location = /1.gif {
default_type image/gif;
access_log off;
access_by_lua "
local q = ngx.var.arg_q
if q then
q = ngx.unescape_uri(q)
if q and #q > 0 then
ngx.location.capture('/i-log?' .. ngx.var.args)
end
end
";
# 这种请求一般不缓存
add_header Expires "Fri, 01 Jan 1980 00:00:00 GMT";
add_header Pragma "no-cache";
add_header Cache-Control "no-cache, max-age=0, must-revalidate";
# 一般独立记录日志的请求,都会返回一张 1x1 的空白gif图
empty_gif;
}
}
</code>
利用这个特性,我们甚至可以合并多个记录为1个http请求,在 ngx_lua 内再将多条记录拆分记录到日志文件
比如上例,我门可以添加一个字段 n 来标识有几条记录,并且给 q 之类的参数编号 q_1 .. q_n 。
<code>
# GET /1.gif?n=2&q_1=a&q_2=b&ie=gbk&oe=utf8&ref=
# 其他代码不变,只修改 1.gif 的 access_by_lua 为以下代码
local n = ngx.var.arg_n
if n then
n = tonumber(n)
if n > 0 then
local logs = {}
local prefix = string.format('/i-log?ie=%s&oe=%s&ref=%s&q=', ngx.var.arg_ie, ngx.var.arg_oe, ngx.var.arg_ref)
while n >= 1 do
-- 这里可以对 q_n 做进一步的校验,看是否需要记录下来
table.insert(logs, {prefix .. (ngx.var['arg_q_' .. n] or '')})
n = n - 1
end
-- 见 http://wiki.nginx.org/HttpLuaModule#ngx.location.capture_multi
ngx.location.capture_multi(logs)
end
end
</code>
如果请求量较大,一把需要添加写buffer,
方式为在每条 access_log 后面添加 buffer=32k 这样的设置(见 http://wiki.nginx.org/NginxHttpLogModule#access_log)
缓存的大小可以设置成 可以忍受丢失的记录数*每条记录的size
至此,各种记录功能都完成啦。
日志服务其他必要的功能,就是日志轮转了。
nginx 日志轮转的原理是
# 启动nginx收日志
# 启用cron任务
## 将日志文件move走 (文件名可以带上时间戳)
## 给 nginx master 进程发送 USR1 信号(nginx就会重新打开新的日志文件)
### 否则,日志会仍然记录到之前的日志文件中,虽然被 move 了
## cron 的频度可以根据日志大小调整,尽可能大些,能以天为单位就不要以半天为单位
具体实现可见 http://jk.aiwaly.com/wp/nginx-cut-log.html
以上操作中涉及较多 nginx 扩展模块,如果不想折腾,可以使用 ngx_openresty (http://openresty.org)
如果是淘宝系的同学,可以旺旺联系 定球 ,我们有现成的 rpm 可以使用:)
使用中有任何问题,欢迎发信到 kindy61 <at gmail> 或者 微博 @定球呀球
Tuesday, November 1, 2011
shell 下进行url编码解码
echo '测试' | perl -MURI::Escape -pe '$_ = uri_escape($_)'
echo '测试' | perl -MURI::Escape -pe '$_ = uri_escape($_)' | perl -MURI::Escape -pe '$_ = uri_unescape($_)'
:)
Thursday, October 27, 2011
nfs 网络共享基础设置
客户端一般临时使用 mount 即可,如果需要长久使用 修改 /etc/fstab 加入到自动设置里面。
假设服务器的ip为 192.168.1.123 修改 /etc/exports ,在后面添加
/home/abc/share 192.168.1.0/16(ro,async) 192.168.0.0/16(ro,async)
然后确认 $ ps aux|grep nfs 是否启动了,一般使用 $ /etc/init.d/nfs status 来确认是否运行
使用 $ /etc/init.d/nfs start 来启动服务,
这样,所有ip段在 192.168.1.x 的用户都可以使用
sudo mount -t nfs 192.168.1.123:/home/abc/share ./abc-share
来映射这个目录
如果想以后每次自动挂上这个目录,在客户端的 /etc/fstab 文件的最后添加
192.168.1.123:/home/abc/share /home/cde/abc-share nfs ro,async 0 0
just enjoy it.
Saturday, May 7, 2011
Saturday, April 2, 2011
vim 的 sort 和系统的 sort
Tuesday, March 8, 2011
ngx_openresty系列之 ngx_lua vs. node.js
Thursday, February 10, 2011
下雪了
发现下雪了,
虽不至若狂,却很是欣喜。
转又发现很多铲雪的声音和身影,
遂想,为何这会带来烦恼的雪,
会让我觉得欣喜呢?
或者是太久低迷的心情,
因为这雪而释放了。
或者是听到广播里太多的话语,
抱怨这没有雪的冬天太不像样,
现在终于下雪了,连我也感受到了这像样的冬天了
——没有雪的冬天是不完整的冬天。
早早的来到公司,
一个人静静的看窗外细碎的雪花飘舞,
无论是发呆还是遐想,
都是很不错的。
忽然想起,
19、20交际的时候,
有帮文人开始积极的探索改革,
期望能够帮助当权政府改善,
然而他们失败了,
看来即使所谓的头头想要改变,
也是困难的,
为什么呢,
可能是牵涉到的利益群体太多,
而这些利益群体又是极其重要和关键的,
比如人家有一切维护和保障权力的资格和能力。
人家反对,
当然很难做出什么实质性的改变了。
所以就导致人们出来抗议,
干脆我们重新洗牌,
总能碰到一手好牌吧。
也许社会就是这样,
就像一场牌局。
当前执政的人,就像我们的牌。
也许初抓到一首烂牌,
但只要运气好,技术好,
慢慢的也会翻势。
只是社会这场是永没有结束的牌局,
可以重新抓,只是永远打不完。
而所有的民众就是打牌的人,
随着打的越久,
也许技巧就越高,
大家只是在每一局里面不断的调整手里的牌,
保持一个良好的状态,
可是,却永远没法赢。
好牌放在手里只是一种感觉,
因为你既不会输,也不会赢。
你要做的也许只是陪着大家打牌。
雪还在下着,
心情却不如刚才那般明亮了。
何苦呢。
Saturday, October 9, 2010
jquery 事件处理研究(1)
Saturday, September 25, 2010
mac osx 上安装git
Monday, September 20, 2010
压缩好东东 lzo
Wednesday, August 18, 2010
vim 中同时滚动水平分割窗口
vim 中可以水平分割窗口, :vs file2
如果想保持滚动其中一个窗口,另一个也跟着滚动,可以这么来:
在两个窗口执行 :set scb
然后滚动其中任何一个,另一个也会滚动。
完整写法是 scrollbind ,简写为 scb
取消方法是 :set noscb
Sunday, July 18, 2010
周末小记
Wednesday, June 23, 2010
ngx_lua 终于好了
Thursday, March 4, 2010
debian console 下显示中文
Friday, December 4, 2009
移动不小心解压出来的大量文件
下载到一个 .tar.bz2 文件,
直接 tar -jxf abc.tar.bz2
忽然发现目录下一下子多了很多很多文件,几百个。
不禁犯愁。最后解决如下:
$ mkdir _abc
$ mv $(tar -jtf abc.tar.bz2) _abc/
说明:
tar -jtf abc.tar.bz2 列出压缩包里面的所有文件,也就是刚才解压出来的文件列表,把这个列表传给 mv ,那这些文件就转移了。
:)
Tuesday, November 17, 2009
linux 下获取本机ip
ifconfig |egrep -o 'inet addr:[0-9.]+'|egrep -o '[0-9.]+'
发现用 linux 越多,越来越多的知识点都糅合起来,
越来越得心应手~。
传统很强大,很好。
勤奋。。。。。。。
Tuesday, November 10, 2009
这个需求好变态
'$s = 0;while (<>){chomp;$s += $_;}print $s;'
作用:
计算 apache 总共用了多少内存,
单位是 kb。
Saturday, October 31, 2009
信用卡销卡风波
有张某银行的信用卡,因为很久不用,偶然有个短信告诉我扣了100块的年费。
愤愤然,就打算给销了。
咨询以后得知只能电话操作,我就一个电话过去。
需要输入身份证和密码(电话操作的密码,不是取款密码),然后等待数分钟,有人接听。
R 您好,请问有什么能为你服务的?
L 我想销一张信用卡。
R 请问您为什么想销卡呢?
L 不想要了。
R ... 对信用卡的功能,作用,积分一顿猛说 ...
L 我不想要了,想销卡。
R 好的,为了验证您的身份,需要您回答一些办卡时的信息。
L 好。
R 请问您当时填写的家庭住址是哪里?
L 是 XX 吧?
R 不是。请问您当时填写的公司名称是什么?
L 是 XX 吧?(因为我也不记得了,这烂记性)
R 那您当时留的办公电话是?
L 抱歉啊,这个我不记得了。
R 好的,X先生,您的答案不能匹配我们的记录,很抱歉我不能为您办理销卡业务。
L 如果我挂失,需要这些信息么?我确实不记得那些信息了。
R 挂失是可以的。
L 挂失了还有年费么?
R 有的。
L 好吧。
挂断电话...
纠结........
今天:
前几天用那张信用卡取了2000块钱,
今天周末,打算还钱去。顺带一想,是不是可以把卡给销了。
遂找了附近的银行营业厅,里面有个不用拨号的电话,拿起来就打。
R 您好,请问有什么能为你服务的?
L 我想销一张信用卡。
R 请问您为什么想销卡呢?
L 不想要了。
R ... 对信用卡的功能,作用,积分一顿猛说 ...
L 我不想要了,想销卡。
R 好的,请问您想销的卡号后4位是什么?
L 2张都想销。
R 请您报一下卡号后4位好么?
L xxxx。另外一张没收到。(其实,另外一张是银行发短信说再办信卡有什么什么活动,我一想是不是可以借此机会证明我是卡片持有人,就答应办了,不过因为我没有修改账单地址,他给寄到以前的地址去了,我确实没收到)
R 好的,X先生,您好,我查询了一下您的账户,发现里面有未还款项,您必须结清里面的款项以后才可以办理销卡业务。
L 我不还是因为我之前打电话销卡,因为记不清我当时留的用户信息,所以不让我销,我不还款可以证明这张卡是我的,是否有营业厅可以还款,同时让我销掉这张卡?
R 您可以去信用卡办理中心,不过那里只提供身份证明,然后需要提交到我们信用卡客户管理中心,然后再处理您的销卡业务,整个流程下来需要10几个工作日。
L 需要这么久?
R 是的。
L 如果我一直不还卡里的钱会怎样?
R 到时候我们会有人上门收钱。
L 那我可不可以跟着收钱的人一起回去,还钱并且销卡?
R 不可以的,收钱的人是我们委托的。
L 我现在拿着这张卡,可以刷卡,取现,还钱,结果你说不能确认我的身份,不让我销卡,销卡必须确认我的开卡信息,我就是不记得了怎么办?
R 这个我也没有办法。
L (翻卡片发现10年3月就到期了) 那这张卡片到期以后我是不是就不用交年费了?
R 卡片到期后会自动续新卡,除非用户明确拒绝。
L 我要是没有那些信息呢?
R 那就没办法了。
L 要销卡是不是必须还清卡里的钱?
R 是的。
L 好吧,我知道了。再见。
挂了电话,我去了隔壁的自动存款机上把钱都还了。
我认栽。纠结的不行........
再会电话旁,打算用穷举法,去回答当时开卡时候的信息。
拨通以后又是输入身份证号和密码,然后有人听了,这次是个男的,前2次都是女的。
R 您好,请问有什么能为你服务的?
L 我想销一张信用卡。
R 好的,销卡以后您卡里的积分都没了。
L 我知道,我要销卡。
R 您要销哪张卡呢?
L 2张都要销。
R 好的。您卡里还有16元的余额...
L 我知道,不要了,我要销卡。
R 好的,请问您是否要保留您的用户信息呢?
L 有什么用?
R 您下次申请信用卡时验证会快一些。
L 谢谢,不用了,下次申请我再填。
R 好的。
... 同时,手机上来了2条短信,说我的2张信用卡已经停用。
L 我收到短信说信用卡停用,停用就是销卡么?
R 是的。
L 是以后就没有年费了?
R 是的。
L 好的,多谢。
挂电话。
有点莫名其妙。
这也太高效了,到底是为啥呢!!
路上我在想,
信用卡中心其实是不想让人销卡的,
所以就利用了我遗忘开卡信息这个理由,
千方百计的阻止我销卡。
不过,这个理由很不靠谱。
按照他们的说法是为了验证我的身份,
但是,
卡片使用时只需要卡片和密码即可验证身份,
在卡片欠费他们索费的时候应该只是凭借卡片关联的手机号码来确认身份:谁接电话跟谁要钱(管你谁呢,给钱就行),
如果他说销卡要那些开卡信息,那么平时的卡片使用过程中为什么不要求这么做?甚至连随机都没有。
那么他们所说的保护卡片安全 又在哪里呢?
就想我上面所说,
你允许别人使用卡片和密码随便使用,却不允许别人使用卡号和密码销卡,
这明显是一种极不公平的做法。
目的也很明显,
为了阻止用户销卡。
这样做只会降低用户的好感,
挫伤用户的心情。
于长久来看,
不是什么好事。
当然了,
电话员只是按照公司的规定办事,
我是不该改迁怒于他们的(好像我也没太过分,只是据理力争了一下子)。
问题在于这些规定的指定者。
销卡必须要开卡信息,
只能通过电话来操作。
这样的方式是否太专横了?
虽然说有信用卡中心可以做身份验证,但也只是提起申请,
而且效率极低,明显就是不想用户走这条路。
这跟国内的在线支付有些类似,
使用浏览器插件、控件名义上说为了用户安全,
其实是增加了用户的使用难度和复杂度。
paypal 并没有使用任何的浏览器插件、控件,
用户数量也并不比国内的支付产品少,
国外人也并不必国内人笨(黑客和诈骗应该也不少),
为啥人家就可以做好呢?
提供用户顺畅体验,
人们下次才会再来。
你老给人们设置障碍,
除非用户别无选择,
否则为啥要再来受阻受气一把?!
__end__
Thursday, October 29, 2009
心得
下面说心得:
01. 想去一个地方工作的话,弄清楚人家是做什么的,有什么主要业务,核心产品是什么很有必要的。
人家不会怕你烦的。
02. 做技术的人年轻的时候要深入的了解与掌握自己手头上的工具。所谓了解是指明白其工作原理,
虽然你会说,我又不做这个!但是了解其深层次的原理以后,会让你更好更有效的使用工具。
就好像写html的应该看看浏览器解析页面的机制。时间有限的时候就看看别人的分析,时间充裕
的时候就自己看浏览器实现代码(ff 和 webkit 都开源)。
掌握是什么呢?就是要熟悉工具的常用知识,比如关键字、常用函数、方法、类型等。虽然大多数
时候会有文档在手,不过熟练掌握的知识越多越好,所以,我们永远都不会闲的无聊。这就像练武
之人要时常练习一样,日久生疏。你每天都用的东西,总不能每天都需要翻帮助吧。每次翻出来,
删掉自己重写一遍,如此几次,慢慢会记住的,不可以过于依赖文档。
掌握是我薄弱的地方,以后会多加练习。
03. 多沟通,很多想法憋在肚子里烂掉了自己都不知道,说出来。
有时候有些话一出口,会自然带出很多你意想不到的东西来(当然,也有可能是不好的东西,稍微慎重一些)。
04. 身边常备纸笔熊。
纸笔拿来记录及草稿,
熊拿来表达不满、困惑和纠结——效果应该跟人差不多,好处是保护了秘密、朋友和自己。
--end--