吾家读书久不效，儿之成，则可待乎

        “庭有枇杷树，吾妻死之年所手植也，今已亭亭如盖矣”，刷知乎的时候经常看到这句话，而自己只是觉得比较平淡，很难体会很深很深的感情色彩。不过顺便回顾了一下《项脊轩志》，记得当时高中初读以及现在再读，令自己影响比较深刻的总是“吾家读书久不效，儿之成，则可待乎”，因为自己成长过程中几乎一直就听着周围的亲人跟我说着和这句意思几乎一模一样的话，只不过是不是文言文吧了。

        可能从小学起，由于自己的性格的原因不常与周边同龄的孩子一起玩，可能不太容易融入吧，平时也不太爱出门，也曾被亲戚嘲笑“大类女郎也”。当时可能对数学学的稍微好些，后来不断的学习成绩相比之下还挺好的，这种不淘气加学习好在别人看来真是完美的组合啊，就这样周边有的亲戚就对我寄予了一种甚至上升到家族读书荣誉的厚望。后来是我的一个堂姐先上的大学，完成了家族冲击大学梦的首发任务了，次年自己也上大学了，再后来研究生，之后博士生，亲戚们也就看淡了。这一点感觉很类似于现在中国的诺贝尔奖情节，没有的时候总看的很重很期待，或许不久有了之后才能渐渐的以平和的心态对待，而这样的心态才是健康的。

        现在每次回去的时候，好像再也没有人问考了多少分了，当然分数已是过去了，当下的关键可能是灌了多少水，不过这个太专业了， 总之已没有亲戚关心这个了。不过话题总是有的，有没有女朋友了，何时带回来看看，这成为了他们最常说的了，我想这也可能是长久不见的亲戚唯一能八卦的引起大家共鸣的话题了，难不成要问计算机视觉中物体检测的最新方法，或者《项脊轩志》为什么没被《古文观止》收录，哈哈。

        总觉得也想让自己和别人不一样，但是从大的方向来看，自己走的路却又很大众化，平凡的世界里的平凡的人。

递归

今天早上在打印店打印了几篇模式识别课程大作业相关的论文，上午一开始主要在读Locality Preserving Projections 这一篇论文，原来是用来降维的啊，加上之前PCA、LDA以及它们的Kernel化的方法自己在网上的视频好好的看了，这篇大体思路算是清楚了，实现细节可能到时要好好的琢磨一下了，看完后好像就快可以吃饭了。

然后看了看其他的题目，特别是卷积神经网络（CNN），感觉深度学习这东西最近特别火，感觉很神奇。特别是百度的识图搜索用的就是深度学习这东西，自己使用后觉得比Google的以图搜图的功能不知道强大多少数量级，Google的搜图目前好像还是主要停留在基于颜色纹理相似的检索，而百度的有点图像语义理解的效果了。上次一个讲座中百度的余凯提到Google的同行们对此觉得压力很大，确实不应该啊，Google什么时候能够把搜图升级一下啊。

然后准备中午把CNN的文章打印一下看一看，还有要打印的有2篇发在Science上的关于流形学习的文章。一直以来以为Science上只会发物理、化学、生命科学等学科的文章，想不到还有机器学习相关的文章。中午就在公寓的食堂吃的饭，这边比所里面的便宜一些，种类也多，饭后除了打印，回宿舍取了计算机视觉的两本厚书，昨天上课提到较多图像相关的内容，这些书中应该有介绍吧。

到实验室后先随便看了看计算机视觉的书，看的关于特征检测的，不过算法描述不详细，预知详情可能还是要看论文，就没看了。接着想起来各种视觉识别、模式识别都有公开测试的数据库，这样可以很好的进行算法的比较，而之前做的果实识别几乎各搞各的，没有公开的统一图像数据，不利于算法结果的重现，然后就想到是不是可以建立个该方面的公开图像数据库，然后开TeXstudio写了写方案，两点多不想写了，困了睡一会，醒来快到3点了。

然后又回到深度学习上，论文什么的太复杂，想找找有没有简单的菜鸟快速入门的tutorial，结果找到了zouxy09的博客，哇，写的太好了，看了一会，搜索下载了一些博客中提到的论文，竟然有发在Nature上的。然后觉得zouxy09博主挺厉害的，中断看深度学习相关的，转看了一些其它的博客，大多视觉相关的。

不久就到点了，吃晚饭，给爸妈打电话，回去洗衣服，接着回实验室。先看了看Solidot、Weibo，然后把关于深度学习介绍的博客整理成单个pdf文件。后来又看了看其博客的其它文章，发现一篇“用单张2D图像重构3D场景”的博客，这个和我们组的研究主题有点相关，该文介绍的是Learning 3-d scene structure from a single still image这篇论文，这篇原来当年iccv2007的best paper啊，老板竟是著名的Andrew Y. Ng，论文没认真看，好像用到了MRF，好吧昨天上课刚讲，只是没太懂，还有就是昨天课上提到最大流最小割的问题，正好前天优化课讲的，真的有意思。

后来搜索MRF过程中，各种链接，结果注册了个台湾大学的ML公开课，点开也没来得及看。然后想把博主的博客整体浏览一下，前面的模板匹配目标跟踪比较容易理解，然后看了看基于OpenCV的代码实现，后又看了看matchTemplate的实现源码，发现OpenCV的源码考虑的东西比较多，看的比较恼火，就没细看，后来想看看其中用到的minMaxLoc的源码，用了命令 find ./ -name "*" |xargs grep minMaxLoc 才找到函数所在的cpp文件，同样要考虑好多细节，代码实现比想象的复杂，也正是这样通用性好，而自己一般写东西考虑的情况较少，所以通用性就不好吧。就这样不知不觉快到11点，就想把今天的流水帐写下来。

今天除了上午看的第一篇论文，后来就没有专注干什么事了，一件件事情的递归，从一开始的LPP，到minMaxLoc函数的opencv代码的实现细节，想想一直以来只要在开机状态，基本上就这样的递归，到最后自己都不知道干什么了，由于递归的层次太多，一般很难回到最初的任务上。有的递归是需要相关知识的补充，这种状态有时让人绝望，不知道的太多了，不知道的引出另外一个不知道，不过在没有deadline情况下，心态比较平静时到可以好好补充些缺失的知识，时间比较紧时真的是让人自我怀疑悲观乃至绝望，不过今天还好，比较闲，没什么压力，这种感觉还算不错。更多的递归可能不算递归，不是基于需要解决这个问题先要解决某个问题的递归形式，而是中途中发现好玩的然后去搞其它的了，偏离了主题，今天大多算是这种情形吧，这样有广度，但是太杂，深度不够，往往不知所以然吧。

按照树的递归遍历来说，对自己可能还是深度优先搜索比广度优先搜索好吧。

注：本文中的今天指的是2013年12月6日星期五

S型曲线

关于S型曲线的印象来自当年本科搞数学建模竞赛时，CSP同学多次利用这种模型，到最终比赛中我们还是利用了这种模型。受CSP同学同学的影响，后来研究生阶段做一个模拟分析时的一个指标函数由于缺乏大量的实验的验证也假设成S型曲线的形式，最后搞的效果也还行。

这几天看书其中提到sigmoid函数的优良性能中有一条，调节其中的参数k，当k较大时，sigmoid函数接近阈值函数的效果，当k较小时其又接近线性函数的效果。

例如不同的k对应的曲线效果如下：

其实这两张图片或许可以用来解释学习的曲线：第一种算是比较平缓的曲线，一开始就有点积累，努力一点，就有一点反馈，整体近似线性的效果，可谓“一份耕耘，一份收获”；第二种的曲线比较陡，前面很长一段时间收获一直接近于零，但是一旦抵达临界点后，迅速的增长，有点“为伊消得人憔悴”后的“蓦然回首，那人却在灯火阑珊处”的感觉。这样的学习曲线的对比有人在比较Word和LaTeX时提到，其实何尝不是有点像搞技术与搞学术的区别：之前搞技术，一步一步的堆砌，有即时的反馈，可见的预期，但是最后所能达到的程度如第一图所示很是有限； 而搞学术起初有很长时间的“众里寻他千百度”的过程，“衣带渐宽”的结果，但是只要还在继续，最终打通“任督两脉”后，将一马平川，所能达到的认识境界非第一种情况所能比的。

王国维曰“古今之成大事业、大学问者，必经过三种之境界”
“昨夜西风凋碧树，独上高楼，望尽天涯路”
“衣带渐宽终不悔，为伊消得人憔悴” 
“众里寻他千百度，回头蓦见，那人正在灯火阑珊处”

或者按照《基督山伯爵》最后所言： “等待和希望”

概率

    生活中好像每当遇到一些小概率的事情，如小的倒霉、小的意外惊喜，总之是在人群中以小概率发生的事情，大家都喜欢诙谐的说，运气这么好，可以去买彩票了。我想大家都是自我嘲讽之类的，当然没有真的因此去买彩票。不过每次我听到这样的话总觉得怪怪的，也从来不觉的有什么意思，小概率事件既然发生了就是发生了，一般来说总是要发生在一小撮无组织、无预谋的人身上，总之没有什么稀奇的。我想这也不能证明这些人身上容易发生小概率事件，也即运气好和运气不好，这都是小概率事件，既不能以前面的事件来推测买彩票的情况，因为这完全是独立的事件。但为什么生活中真的有人一直很倒霉而一些一直很幸运，我想这是个时间先后的问题，因为我们先是看到某人发生了幸运的事件，然后认为他是幸运的，而不是先认为这人运气好，后来发生了许多幸运的事，反之亦然。从概率分布上说特幸运和特不幸的人是少数的，大多是幸与不幸交相呼应吧，不过我们容易把极端的情况放大。

    前面考虑的情况是每个事件均是独立的事件，例如买彩票、现场抽奖，好像也只有这些最独立，其他的事件如被点名、排队刚到最后一个东西买完了、赶上了最后一班公交车、或者被传染上了禽流感之类的还是易受其他事件影响。不过总之认为各事件是相对独立的随机事件。

    但是生活中的真正大多事件之间绝少是独立的，后一事件的发生是以前面许多事件的为条件概率的概率和。通俗的说的，后一事件的发生受前面事件的影响，如成功情况可简单归结为受个人天赋F(天赋)以及影响效果P(成功|天赋)，前期努力程度F(努力)以及影响效果P(成功|努力)，以及随机情况P(随机因素),P(成功)=P(成功|天赋)*F(天赋)+P(成功|努力)*F(努力)+P(随机因素)。根据爱迪生的天才99%汗水和1%灵感的理论，但往往1%是很关键的，可以得出P(成功|天赋)>P(成功|努力)，（这里注意99%汗水和1%灵感应该是加权后相乘的值P值）。同时根据经验P(随机因素)应该相对其他因素算是扰动和噪音，应该很小。总之是P(成功|天赋)>P(成功|努力)>P(随机因素),但是P(成功)也受F(努力)，F(天赋)权重的影响，F(天赋)我们假定是界的，而且人与人的差异不超过一个数量级，可定义F(天赋)=智商值，而F(努力)假定与付出时间成正相关，定义F(努力)=付出的时间/10（时间单位为小时）。所以可知对于F(天赋)值小的情况可以通过加大F(努力)来提高P(成功)，这也证明了"笨鸟先飞"，"10000小时天才理论"(这里10000小时的F(努力)=1000，这时远大于与智商平均值100了，可以无视天赋差异的影响了，也符合10000小时天才理论精神实质)。最后P(随机因素)很小，F(努力)，F(天赋)稍微大些，P(随机因素)就可以忽略不计了，但是如果F(努力)、F(天赋)很小很小,那么P(成功)几乎可以用P(随机因素)来近似了，这也证明了"弱者相信运气，强者只信因果"这句话了。

    总之，P(成功)=P(成功|天赋)*F(天赋)+P(成功|努力)*F(努力)+P(随机因素)，可以说是许多名言的内在数学形式吧。不过这模型的F程度函数用线型肯定有其局限性，尤其是F(天赋)的定义，线型的定义绝对不合理，例如智商110、100的差异绝对没有150、140的差异大吧，所需弥补的时间也不一样吧。细化的可以对 F(天赋)、F(努力)进行非线性的函数定义。