Informal's blog

大模型调研

背景 ChatGPT 2022.11 月问世之后引起的轰动一直在上升,但类似的做法和能力,在bert 2018年出现的时候基本就有了,一般认为 ChatGPT 的出现,是大模型大到一定程度后,能容纳的知识更加丰富,能力产生了质变,能应用几乎所有的对话类任务。 ChatGPT的训练成本过高,传言预训练一次需要200w美金,这应该也是openai 能在这个领域一骑绝尘的原因,并不是每个公司都...

自动驾驶的小玩具

从多个方面来讲,我一直觉得强化学习是解决自动驾驶问题的一个非常好的思路,于是就动手做了一个小demo,总耗时一个月左右,现在遇到了瓶颈,来记录一下 原由 强化学习在之前的博客中有介绍过,如果不引入神经网络,他是个可解释的模型,缺点是,不容易用可枚举的方式来表达当前的状态,但某些场景下,尽量用可枚举的方式表达当前的状态,强化学习就可行了。 以自动驾驶为例,当前的状态就是车所看到的所有信息,...

旅游 扬州+苏州

day1 扬州(广陵路、大运河) 了解一个城市,找旅游攻略的时候,感觉播客要比网上的内容质量好很多,因为没那么多功利的内容,或许可以考虑把播客转成文字,发表出来,做各个城市的专栏 去酒店路上,遇上一个外地的司机,我就提了扬州生活节奏慢的话题,司机师傅觉得道理很明显,因为大部分本地人都有钱,自然生活节奏慢,生活的比较舒适。感觉……跟唐山的情况如出一辙,果然经济水平是决定生活方式的主要原因,...

新年新气象-碎碎念

想开了很多,心情要比两个月前好多了。要把生活的重心放在具体要做的事情上,无论是工作,还是一个人玩、跟朋友玩,跟对象一起玩。 现在非常喜欢尝试新的事情,比如播客脱口秀、滑板、搓澡等等,体验是活力的体现,感觉又年轻了似的。 成长就是接受自己是个普通人的事实,逐渐慢慢接受了,但也在教导自己,即使作为普通人,也不影响自己追求喜欢的技术,自己热爱的事情。 多做复利的事情,即能重复获利的东西,比如...