含码量为零--醒醒,你的模型或许是错的
进化,进化
这个社会充满了模型。
按照达尔文的进化论,从毫不起眼的微生物到如今世间万物的演变,都是在不断地优胜劣汰的追逐中自发产生的,今天的一切,都是自然选择的结果,包括你我。
走过了茹毛饮血的原始时代,熬过了奴隶社会的艰辛,在两千多年的封建社会中不断发展着,冲破了近代以来帝国列强的封锁与侵略,建立了新中国。直至今日,在马克思主义与中国实际相结合的思想的正确引领下,我国开辟了中国特色社会主义道路,并在这条道路上奋勇前行。
1 | 如何去解释其正确性? |
社会本身就是一个模型。
只是在最开始的时候,模型的权重是被随机初始化的,模型根本什么都不会。无论面对任何问题,模型只能随机的给出答案,这无疑是在碰运气。
为了进一步回答这一问题,必须回到过去。
回到过去
万物伊始时,诞生了许许多多不同种类的微小生命体,这些生命体在一开始面对这个世界的时候是茫然无措的,天敌,风雨,雷电,海啸,地震,它们任凭着自然力量的摆布。但是,在经历了些许后,某些生命体从中学到了某些机理,尽管我们很难解释这些机理是如何被学习到的,但这一点突破使得这些生命体进化了,有些进化出了感光系统,从而可以帮助它们防御天敌的捕食,有些进化出了可以快速移动的技能,从而在自然灾害来临之际有能力逃往更安全的地方,进而种族得以延续下去。这正对应着模型的学习过程。从某种程度上来说,模型的损失与物种生存受到的威胁,性质是一样的。为了更好的生存下去,生物会尽可能减小可能收到的威胁,比如,尽管不能让天敌消失,但可以让自己进化来对抗天敌,增加生存的几率,枯叶蝶进化出的保护色正是一个例子;尽管自然灾害无法停息,但在经历了许多自然灾害后,可以从中总结出一些经验,比如灾难来临之前的预兆等,以争取更多逃生的时间,增加生存下去的机会。这些都是从大量的经历中总结的,尽管不能很好的被解释,但这些确实行之有效。
这正对应了模型的学习过程。
解除谜团
最开始,模型是随机决策的,我们可以记录下来这些事件的前因后果,长此以往,便积累了大量的实例。同时,根据损失的指示,模型会从这些实例中不断学习如何使得损失最小化,在经历了足够长的时间后,便可能达到了目的。之所以说“可能”,是因为学习的过程并不是一帆风顺的。初始化权值的不合理,损失函数选取的不合理,训练过程的不合理,超参数设置的不合理等等,任何一个环节的出错都可能导致模型无法收敛,前功尽弃。不然的话,如今的世界,可能真的是物种大爆炸的局面。训练模型需要的资源是有限的,自然界能提供给我们的资源从某种程度上来说也是有限的,资源的有限性决定了“物竞天择,适者生存”的必然性。一般来说,一个能够处理复杂任务且表现良好的模型的训练过程是复杂的,同时也是难以被解释的。为何在远古时代,某些生物得以在自然的历练中不断进化,并将种族维系至今,又为何另一些生物惨遭灭绝呢?为什么它们没有进化呢?这其中涉及到的机理远超你我所想,即时是在现代科技的加持下,一些现象仍然难以被解释,这仿佛就是一个黑箱,等待着后来人去打开。
如果把国家的建设比喻成模型的训练过程,那么,模型每一步的权重更新都是前辈们前仆后继,不断探索的结果。中国古代历史经历了无数的风风雨雨,就像采用随机梯度下降法作为优化器的机器学习模型一样,在不断地试错中探索着最优解。即使刚开始的更新带来的是更多的风雨飘摇,但总能在某一点达到局部或者全局最优解。不忘初心,牢记使命,就是要始终如一的为了损失值最小化的最优目标前进。当然,一般来说,模型只能达到局部最优解。但这也是不错的选择,因为局部最优至少或许可以证明我们的模型没有过拟合。
改革开放
坚持改革开放是坚持和发展中国特色社会主义的必由之路,这已经被无数次的证明过其正确性,今天的我们所拥有的一切,就是对这句话最好的证明。
从模型学习的角度来看,评价一个训练模型的好坏,是要看其最终训练的损失值以及在未知样本上的性能表现。类比来说,在那些经济不发达的远古时代,训练的模型效果是很差的,它所学习到的仅仅能够维系自身的需要,甚至无法厘清自身的发展规律,此时的模型还处于欠拟合的状态。天灾抑或人祸在那个时代充斥着,模型很艰难的从那个时代发展着,训练着。终于,在某些时刻,模型自身的拟合能力上去了,劳动人民可以过上男耕女织,自给自足的生活了,农业,手工业也逐渐兴盛起来。从张骞出使西域,到各国使节来访中国(比如盛唐时期),中国与其他国家的友好往来,达成了国与国之间在经济文化等各方面的交流,促进了双方的共同发展,这正是古代的开放策略。此时,模型的性能似乎已经达到了一个不错的水平,泛化能力也明显提升,似乎可以停止训练了,但真的是这样吗?时间来到清朝末年,中国遭遇了列强的欺辱与打压,被迫割地,赔款,到处战火连天,百姓流离失所,文物被毁,中国人民被卷入了水深火热之中。这一切的原因之一在于,清末施行闭关锁国的政策,导致中国脱离了世界发展的大趋势,清王朝以天朝大国自居,不屑于继续吸收外来文化,殊不知世界正在经历百年未有之大变局。如果当年的康熙皇帝接纳了微积分创始人莱布尼兹的访问,如果清末不采取闭关锁国的政策,会不会是另一种结果呢?蝴蝶效应告诉我们,任何一个细微的改变都可能导致整个体系的变动,但究其结果,仍是不确定的,就像在调试机器学习模型时,需要不断地调整超参数,以获得更合理的权重参数。只有在不断的试错中,才能最终达到我们所期望的一个性能较佳的状态。而按照目前的科技水平来看,历史的年轮无法逆转。我们之前说过,中国自古便有过“开放”的历史,结果也是非常可喜的,经济文化得到了进步,那为什么还会出现近代历史的那一幕幕呢?因为缺少了“改革”。一个被充分的训练且在训练集和测试集上表现俱佳的机器学习模型,在当时的时间节点来看是不错的模型,在面对未知事物的处理与决策中可以从容应对。然而,马克思主义哲学告诉我们,一切事物都处于永恒的发展变化之中,不存在绝对静止的事物。闭关锁国导致了模型难以继续优化,而未知事物的形态却在悄然改变。于是,当时机到时,未知事物突然涌进,而模型仍是以前的模型,难以应对新的未知形态,无法合理的做出决策,从而导致模型失活。这给我们的经验教训是:模型必须是动态的,不能一成不变,即使是对于当前已经表现不错的模型,也要不断地让模型见识新生事物,这样,当模型自身无法处理新生事物时,可以及时调整模型的结构,以便适应新生事物的发展。因此,要坚持改革开放,这是坚持和发展中国特色社会主义的必由之路,无论是从历史经验方面还是模型训练角度,都应证了这一点。
全都错了
之前已经说过,这个社会充满了模型,社会本身是一个模型。同样,处于社会中的你我,也在不知不觉中成为了模型。
模型千万种,不学皆无术。
我们自身的模型学习的方式,是感知。
但感知到的事物一定是真实吗?
眼见不一定为实,感知也不是真实,感知源于模型。
大脑追求的根本不是真理,而是让我们可以依赖和坚信的模型。
意识到感知不是真实,感知源于模型后的人们很容易陷入极端,如开始追求更普遍的真理,却最终得出一切都是虚无的结论,拒绝一切社会规则。可问题的关键不在于应该怎么做,而在于为什么会这样,难道不是因为我们根本没有能力感知真实,才不得不依赖这些模型而存活,才不得不竭尽全力的去袒护自己的模型吗?难道大脑真的注意不到我们与其它生物的感知不同吗,真的注意不到眼镜可以将我们的视力调节成无数种形态吗?
是主动选择忽略了这些内容,因为感知真实无法保证我们的存活,如果不相信自己的模型,就无法做出决策,从而无法生存。虽然模型感知到的不是真实,但却是我们赖以生存的唯一工具。
所有的模型都是错的,但唯有坚信自己的模型,才能生存下去。
这也就解释了为何在考试遇到不会的选择题时,你会凭感觉选择答案(蒙一个)而不是空着并以此表明自己不会做这些题目。因为空着意味着更低的考试分数,而蒙上去尚有一丝取胜的希望,即使你并不知道是否会蒙对。
好的学习算法永远在无知与幻觉的夹缝中行走。
结束
这篇文章参考了B站UP主@YJango的学习观系列视频,以及《终极算法》这本书的思想,除了最后一部分「全都错了」(这一部分来源于YJango的视频,在此感谢原作者精心打造的这些视听盛宴)外,均为个人原创,如有不当之处,你来打我吧(手动狗头保命)~
原创不易,请多分享,感谢!
1 | 三大算法归属天下科学家, |