Make life simple
Aim for long.
About Me
I’m currently a researcher at 01.ai working on large language modeling. I graduated from Chinese Academy of Sciences. Although I’ve mostly worked on natural language processing, I’m interested in a wide range of topics, including computer vision, rl, optimization.
Email: zirui.dream@gmail.com
huggingface: https://huggingface.co/zirui3
hello word
作为一个coder，写文章也要从 hello word 开始 :)
从春节开始武汉爆发疫情，被困老家将近三个月。 回京后又经历三周的隔离。与此同时新冠病毒传遍欧洲、北美。 疫情正在改变这个世界, 改变每个人的工作、生活方式。 在这样的一个世界不停变化的时代，个人应该做些什么才能适应时代变化/、变得更好呢？
2020注定是个不平凡的一年，个人的生命很渺小也很珍贵, 不知不觉已经半年过去,我觉得是该静下心来写点东西了, 做些改变了。 希望自己更好，这个世界也更好!
@ 2020-07-01
@ 2021-06-06
RL
SFR Judges: Direct Judgement Preference Optimization
dl
- activate function
- backpropagation
- loss function
- opitimizers
- sgd
- adm
重新思考 @ 2022-09-12
重新回来看，发现2021年6月初心血来潮了几天，又因为工作的事情把写作的事情搁置了 :sweat: 。 忙忙碌碌地一年又过去了，在感叹时间过得飞快之余，越发觉得自己的进步缓慢，生活工作都离自己的预期差得好远。 感觉需要静下心来，重新审视自己的工作、生活。
这一年的时间也不是各方面完全没有进步，在工作之余养成的每日锻炼记录的习惯， 给我带来了意料之外的收获。
一方面我养成了每日锻炼的习惯， 晨练已经完全融入了我的生活, 像刷牙、洗脸一样是一种仪式。 撸铁对我来说并不是什么痛苦地坚持、刻意地自律，而是我的一种生活习惯, 每天我洗漱、工作前执行了它，这一天才觉得完整。
另一方面, 自己在体型和力量方面得到了持续的进步，体型方面无法量化，但是我感受并观察到了肌肉维度的增大, 更重要的一点是在每日训练记录中，我记下的当日训练内容以及感受，为下次训练提供了指导意见，训练容量和强度符合渐进超负荷原则，自己的训练计划更好地得到了执行， 离自己的训练目标也越来越近。顺便说一下，之前给自己设定的三大项300kg目标接近实现了, 目前深蹲100kg，硬拉110kg, 卧推75kg。 卧推一直菜鸡， 拖后腿。可能在这方面我确实没什么天赋吧。无论如何，和一年前的自己比较, 还是进步明显的(深蹲80kg, 硬拉80kg, 卧推60kg)
鉴于训练记录给我带来的收获, 我感觉在工作生活上也应该做一些记录，这是一件我很早就有想法却一直没有践行的事情。 这个世界有太多事情，道理说起来简单，但是做起来难。写作的好处已经听过无数人说过，好多作家，知乎达人都表达过这件事件对个人收益巨大的观点， 但是知易行难，我一直没有躬行。 种一棵树最好的时间是十年前，其次是现在。我感觉现在开始也并不晚， 今日这一篇算是个开头吧， 希望一年后我再回头来看这篇文章能看到不一样的自己.
TODO
- vit
- seq2seq
- T5