Knight's Blog
共勉
"诸君离学校而去了。在社会上立身的困难，恐怕比在学校里求学还要加甚。若非立志奋斗，则以前所受的教育，反足以增加人生的苦恼，或转为堕落的工具。这是诸君所当特别注意的。事业的成功，须经过长时间的辛苦艰难——成功的代价，走过了许多荆棘的路，方才能寻获康庄大道。立志是砍荆棘斧斤，奋斗是劳力。万不可希望以最少的劳力，获最大的成功。" -- 蒋梦麟
Knight's Blog
蚂蚁金服技术专家, 前滴滴海浪技术主管, 前百度资深研发工程师，现居杭州。 擅长于大规模的系统平台服务架构。以下为个人作品：

- 亿级别搜索平台(sov5.cn)
- 资源内容平台(p.sov5.cn )
- 阅读内容平台(jintiankansha.me )
- 语言招聘平台(51tra.com )
- 垂直社区平台(python88.com)
- 大规模分布式爬虫
- 中间件架设(disconf,CanalX)
- 广告平台(百度联盟广告)
- 租车平台(滴滴租车)
- 资源下载平台(misou.com)
- 计算机图形图像技术(一篇一作)
- 机器学习(一篇一作)

等领域具有颇有经验。
联系方式: knightliao AT gmail.com
联系
Weixin
近一个月内十大热门文章
最热结点
生活 工作
消费升降级
生活 • 480 浏览 • 2018-08-21 00:13
今天看了一篇关于社会底层人民的文章，有些感触。照目前的各种收割方式，未来社会的趋势我的判定是贫富两极分化越来越严重。因此两块市场都会有市场， 一个是做高端市场，做消费升级，譬如网易严选、高端老板阅读、高端旅游、各种高端XX等，满足该人群高人一等的感觉就对了； 另一个是低端市场，做消费降级，典型如拼多多、今日头条、抖音快手直播、小额现金贷等，这块市场会越来越大，因为高端在一二线已经被挖掘得差不多了，但是三四五十八线这些市场基数还非常之大，而且随着高房价，高房租、RMB缩水和贬值，被收割的韭菜人群会……
继续阅读
近年来的一些体会和实践
工作 • 513 浏览 • 2018-08-21 00:12
近年来的一些体会和实践， 第一是把招聘当成是最重要的事情，这是一个CEO/CTO最应该做的事，没有HR没有老板给你，你自己也要招聘，没有团队什么事都不成，空有梦想无法前行，以前总觉得自己是盖世英雄无所不能，但现实狠狠打脸，比你牛的比比皆是。目前自己攒了不少靠谱的兄弟，未来大有可为； 第二是把团队同学的成长也看成是最重要的事情，以前喜欢逞英雄总会把最难的事情留给自己打头阵，目前会把有挑战的能快速成长的事情交给团队同学，每天想的事情就是如何帮助其成长，在其简历上添上光辉的一笔； 第三，不再纠结……
继续阅读
分布式环境下如何处理分布式事务问题
工作 • 669 浏览 • 2018-05-21 15:12
分布式事务有多种处理方法，这里想讲一下最终一致性做法的一些核心点。 一般来说，为了实现最终一致性，通常会使用本地事务+消息的方式。但是这种做法又会带来一个新的分布式事务的问题，因为本地事务和消息的事务又是两个事务。 面对这个问题，有两个解法， 1. 一个是通过在本地事务处理过程中将是否发送消息的FLAG也存储在本地事务中。并且，保证先发发送未提交消息，然后再提交本地事务的方式，最后再提交确认消息。这种有一个极端情况是最后一步提交前服务当机了导致消息未发送了。因此，可以通过一个调度器，通过分……
继续阅读
5分钟创建属于自己的自定义搜索引擎(攻略)
工作 • 833 浏览 • 2018-02-19 18:15
# 5分钟创建属于自己的自定义搜索引擎(攻略) ## 前言 现在国内主流的一些搜索引擎，例如「百度」、「360搜索」、「搜狗」等，搜索结果很全应用很广泛，但是大而全则意味着不够个性化；另外，目前线上互联网处于一种「信息爆炸」的状态，信息太多造成太多噪声，个性化的搜索可以方便用户自己去自定义、挑选和甄别信息。因此，一个简单、快速、个性化搜索引擎越来越受到人们的喜爱： - 自定义搜索引擎够垂直，能够提供更精准化的搜索，满足各行各业个性化的搜索 - 可以完全自定义配置搜索引擎，例如可以配置要搜……
继续阅读
时间戳换算工具
工作 • 816 浏览 • 2018-01-08 17:02
工作中经常会用到时间的转换，搜索引擎是可以搜到不少工具，但是一进去，会有几个问题 - 很卡， - 广告实在太多了，不小心都会点到广告 因此，想自己搞个简单可用的，广告少的，清爽的，方便自己以及其它同学使用： http://tool.sov5.cn/
继续阅读
我的Python作品
工作 • 947 浏览 • 2017-12-25 01:05
因此，我做了很多跟Python有关的作品，不限于搜索、爬虫、内容平台、招聘、社区、防攻击等等， 举些例子， - SoV5搜索 http://www.sov5.cn 它就是典型的一个搜索服务。集成了网页搜索、网盘搜索、问答搜索、资源搜索等，其中，网盘搜索更是有几千万个 - 今天看啥 http://www.jintiankansha.me 它是一个典型的爬虫服务。它会自动的收集网上优秀的专栏文章，不限于微信公众号、简书、豆瓣、掘金等。并且，它还开放了RSS服务。目前已经收录了上千万篇文章。 ……
继续阅读
你的博客变慢的可能原因
工作 • 1914 浏览 • 2017-05-21 17:12
本博客系统大约是在我四年前写的吧。记得那时我和师兄在做米搜资源平台，做了一套业务框架，觉得好看就拿来用了。 四年期间，虽有过多次修整，运行效果其实不错。但在近一年来，速度不知道为啥很慢。具体表现为启动博客后速度很快，但运行时间过长后，速度就非常慢，基本是在5-10s左右，有时甚至10几秒，无法忍受。 后台代码很简单，数据量级也非常小，为了解决做这个问题，我什么方法都试过了，什么监控啊，优化啊，甚至为此还做了读写分离。。。实验证明，没啥用，问题不在于此。 我就奇怪，像 http://ww……
继续阅读
如何成功的把一块业务做成功？
生活 • 1700 浏览 • 2017-05-15 01:15
前几天听到刘强东在讲如何做好京东时的回答，我感触颇深。 他说：“不管你是做互联网，还是做传统经济，只要做好了三点就可获得成功——1）前端的用户体验；2）后端的低成本；3）高效率” 这句话从逻辑上是比较好理解的，每一点都是正确的。现在的关键是，如何将这三句话反映到工作（创业）中来呢？ 不断做什么事情，一般企业都会ToC和ToB两块业务，当然，不同业务，这里比例会有较大的不同。主打ToC的，则ToB的比例会较低。反之亦然。ToC的业务，最重要的是什么？就是拉新和留存。如果没有良好的用户体验，则……
继续阅读
AI变革
生活 • 1598 浏览 • 2017-05-04 00:50
看李开复《人工智能》部分章节，有几点很有意思，第一个观点是AI将会在近几十年里分三个阶段进行演化，其中第一阶段是在现存的一些线上化程度较高的业务领域（这些领域必须拥有大数据化的特征）开始AI改造。第二个观点是当AI普遍存在后，文化娱乐产业将会赢来顶峰（体量将是现在的几十倍至几百倍）。 ​​​​ 历史上的每次变革都会带来极大的机会。我个人觉得AI时代对于那些勇于挑战极限的有创始力的技术人员的机会会非常好。另外，对于那些具有文艺创始力的明星或者各种娱乐IP也是个很大机会，他们未来将会比现在更赚钱。 ……
继续阅读
百度网盘搜索引擎
工作 • 2505 浏览 • 2017-02-07 23:40
先占个贴。 春节末尾几天无事，花2-3天时间，写了一个网盘搜索引擎（并入sov5搜索引擎中），目前已经收录百万级别的网盘数据。 网址是 https://pan.sov5.cn 可以看最近热映的电影哦~ 欢迎大家拍砖。 ![](http://wx2.sinaimg.cn/mw690/006oy5Ulgy1fcfdqvbauzj318g0ks773.jpg) ![](http://wx4.sinaimg.cn/mw690/006oy5Ulgy1fcfdva0j40j317g1……
继续阅读
最近的担心
生活 • 2570 浏览 • 2016-11-26 17:01
最近有点沮丧。关于技术和业务的讨论，关于自身的角色定位，以及未来的发展，都有很多要考虑。思考虽有，但死结难解，事在心里难开。 回想近两年发生的事情，走了挺多的弯路，有些事情在当时总是把未来想得太美好，以至于最终发生的和自己预想的完全不是一个样。 随着年纪的增长，压力巨增。再也不能像以前刚毕业那样专注于公司业务本身，打怪升级就好了。与其说是我年纪大了，不如说我的不安感很重，总害怕一不小心就会掉队。心里总有一口气，想要施展总是各处碰壁。年纪大了一个关键问题，总会让外面不了解自己的别人觉得老年人动力不……
继续阅读
微读2.0发布
工作 • 1981 浏览 • 2016-11-26 16:28
微读2.0( http://100weidu.com ) 是继我做 sov5搜索( http://www.sov5.cn ) 之后又一款我非常喜欢、重视，并且我个人也是重度用户的个人作品。 在之前的sov5产品中，目前每天承接了全国网民几十万次搜索，这些数字中，我本人工作日每天也贡献了几百次，它已是我工作必不可手的搜索引擎。 对于这款新产品微读，目前微读已经收录了数十万篇精品文章，随着我的机器算法的升级，这个数字每天正在膨胀。并且，作为技术人的态度，这些工作都是全自动化的。我希望，在不远的未来，……
继续阅读
处理 waiting ttfb too long 的一次经历
工作 • 5997 浏览 • 2016-11-15 13:36
近几天一直有人反应我的网站速度时好时坏，我一直不在意，觉得应该不会是服务的问题，是网络的问题好嘛！ 今天试了一下，发现确实是这样的，chrome下反应某个URL时，出现惊人的 waiting ttfb too long 的问题。（时间长达20s) 在网上查了一下，[http://fex.baidu.com/blog/2015/01/chrome-stalled-problem-resolving-process/](http://fex.baidu.com/blog/2015/01/chrome……
继续阅读
在到处是泡沫的互联网混战中如何站着赚钱
生活 • 2153 浏览 • 2016-09-17 20:47
为什么是阿腾呢？一直占据流量入口的前东家因为移动时代广告被夺走失去巨头称号，而那些所谓的O2O电商平台都一直在巨亏中。。例如京东美团饿了么58到家都要建立人口密集型的线下团队进行地推，每天都过着苦逼没钱的日子。。 现在哪个产品最赚钱并且最轻松？无疑是支付宝以及微信。。只需要靠着为数不多的程序员精英团队（同估值的产品或团队对比一下，谁需要的员工最少，成本最低？）打造着平台，就可以撑起几百亿美元市值，躺着收钱，而无需富士康式的线下苦逼团队。。微信有着微信聊天、朋友圈、支付以及微信公众号平台占据着移动时代最……
继续阅读
微信公众号阅读玩转攻略
生活 • 8966 浏览 • 2016-09-01 23:49
# 微信公众号阅读玩转攻略 网站： http://www.100weidu.com ## 前言 目前微信公众号阅读已经成为人们每天的习惯，但是阅读微信公众号却不是很方便。 一来是只能在手机微信上阅读，阅读的时候无法就无法愉快的和别人聊天了。二是现在仍有不少人喜欢在电脑上、或者RSS阅读器又或者kindle来阅读各种来源的文章，微信公众号作为较为封闭的产品，现在对这种方式均无法支持。再者，微信并没有一个较好的微信公众号推荐平台，将一些高质量的、不低俗不low的公众号推荐出来让大家阅读，……
继续阅读
巨大的幸福感来袭
生活 • 1967 浏览 • 2016-07-09 11:24
什么是巨大的幸福感？我想就是当你非常非常想要一种东西，或者说当你每天都梦想的东西，在你最需要的时候到来了。 简单的说，在最正确的时间，得到最想要的东西。
继续阅读
pfrock ： 提供微服务（SOA）架构能力的 统一mock服务
工作 • 3393 浏览 • 2016-02-27 10:29
# pfrock https://github.com/knightliao/pfrock A plugin-based server for running fake HTTP and socket services (especially SOA service) using Python. _ (`-. _ .-') .-. .-') ( (OO ) (……
继续阅读
pkg_resources.ResolutionError: No script named '??'
工作 • 2665 浏览 • 2016-02-25 22:42
晚上想要将python变成一个可执行文件时， http://www.django-china.cn/topic/1464/ 一直出现这个错误， 而且，在linux环境下正常work, 但是在mac环境下一直不行。 应该是环境出问题了，但找到。 最后 我调试 pkg_resources.py 这个类，直击 python 动态库中。 从中，我发现我明明转入 版本0.2，但是他动态链接的时候却一直是0.1，奇怪！ 不过我貌似瞬间了解知道为什么了，应该就是 “链接不到正确的版……
继续阅读
微服务下如何进行框架的设计？
工作 • 2847 浏览 • 2015-11-19 22:33
待完善。
继续阅读
微服务下多个bunlde的交互问题
工作 • 2079 浏览 • 2015-11-19 22:32
spring启动时，会有一个父容器，然后根据有多少个 bundle 来生成 多个 子容器。每个子容器是并行的。是互相看不到对方的。但是他们都看得到父容器。 这里会出现一些问题 1. 依赖的jar包中如果要获取spring容器，怎么办？直接获取父容器就可以了。 2. 依赖的jar包中要扫描本容器的一些实现类，这在rpc框架中经常会遇到。这时依赖包如果还是使用父容器去获取bean就会找不到本容器的bean。因为父容器里没有子容器的数据啊。采取的办法是，依赖的jar要将所有context进行扫描……
继续阅读