李成林 · 强化学习修读档案

课程内容： 基本算法之外，还提了离线强化学习、model based强化学习、大模型强化学习之类的一些方法。最优控制也顺嘴提了一下，不过我相信应该几乎没人能光凭课上那一点讲解就搞懂ilqr 上课自由度： 还可以，就是最后两次突击签到猝不及防。 考核标准： 40作业+10考勤+50大作业。都说作业给分可以，但我还是零零散散在总评被扣了两分多。大作业给分还不错（因为最高也就47，都扣等于都不扣，堪称众生平等）。算力方面，由于我一年前给电脑换了64G内存，倒没觉得算力很紧张；当然笔记本内存不够的同学估计就头大了，所以这门课确实应该提供一些算力 授课质量： 老师讲得还是蛮不错的，虽然突出一个工程，数学推导不是很多

课程内容：强化学习入门地基，Value-based和Policy-based两套武功，外加一堆前沿算法优化花活。 上课自由度：高，不点名不提问当你是空气，学期中有一阵子班里人数直接跌破30。但别高兴太早，学期快结束时来了一次突击手写签到——想拿满那10%签到分的，建议还是次次到场，别跟自己的百分比过不去。 考核标准：40%平时作业，一次8分一共5次，给分很良心；10%签到；50%期末大作业，这个给分就相对严格了。问过老师，纯完成基本任务+报告只拿70%的分数，剩下30%靠代码完成度、优化、调优这一堆加成。评分标准明明白白，所以给分虽然不算高但公平得让人没法骂。 授课质量：中。知识点该讲的都讲了，但老师心里装的是一种“知识不是重点，实践才是爹”的哲学，所以数学推理那些基本是漂移过弯一带而过；课上为了辅助理解出的题目又偏偏是些复杂的强化学习题，讲得还飞快，直接给我整不会了。后来我自己跑去B站看了一个课，人家拿4 x 4那种小儿科网格题当例子，用这种基础例子把算法逻辑和概念计算捋一遍才叫人间清醒。也想跟老师说一句，算法本身就抽象，还上难度的题就是抽象plus，4 x 4那玩意好收敛，我这种菜鸡也能看懂。

大作业租算力花了一百多（结局呢？分数也没高到哪去，属于烧钱烧了个寂寞。lcl能不能还我点钱（真心话，钱包哭了。

课程内容：policy-based与value-based算法，ppo，sac，dqn，mc……算法全家桶排排坐。 上课自由度：高，学期末两次纸质签到，其余时间无签到，平时基本处于放养状态。 考核标准：40作业+10平时+50期末，均分不高但是方差不大，可以接受吧，比cv好多了，属于不比不知道一比偷着乐。 授课质量：中等。 3分主要是由于不给算力，大作业太吃算力了，当然时间给得很足，但总不至于一个实验在自己电脑上跑几天吧……租算力用去约150元子，考虑到重修收的更多，这是合理的，就是心疼这烧出去的银两。

课程内容： 上课自由度： 考核标准： 授课质量：大作业给分莫名其妙的，不过在找老师沟通了… /沟通过了，还算公平吧，就是老师心中的大作业给分和我心中惯性思维觉得的不太一样吧，老师可能更注重报告中的探索过程，而我注重最后指标，两人的关注点根本不在同一个宇宙，后来的同学好好写报告吧，报告就是命根子。 给三分和课程好坏无关，我看的时候选课社区均值多少给多少，纯纯的贴合市场行情。

考核标准：这评分标准属于是薛定谔的猫箱，我先叠个甲——我不知道是不是被俞凯的给分宠坏了，下面尽量不带情绪开麦。但我是真疑惑啊，评分标准到底是个啥？偌大一个AI班，48分以上的居然一个都没有？总不能全班没有一个人（哪怕差一点点）够得着他的满分门槛吧……（而且这还是有人做了他的额外bouns的情况下哦） 更新： 听老师这么一解释，给分好像也说得通？虽然我还是觉得哪里怪怪的。可能老师眼里的bouns和我眼里的bouns不是一个物种吧。把正常要求的实验全做完，只够及格分，比这高的分仿佛统统被打包进"bouns"户口本里了…… 看在给的说法还算合理、也相对公平的份上，加一星吧。

课程内容： 上课自由度： 考核标准： 授课质量： 这签到玩的是潜伏局啊，暗搓搓搞人，给个3分吧，讲课还可以，ppt也挺清晰的 另外上个评论喷大作业的，我倒觉得没必要这么上头，老师也是鼓励大家把所学用到实际，况且真搞科研的时候应用RL肯定比大作业的环境难得多，给个bonus也合理

```bash It is also highly encouraged (with probably extra bonus points!) to implement these value-based and policy-based RL algorithms that we have learned in class to solve those practical engineering or research problems that you are currently working on. If you decide to do so, please contact with me first to see whether such a proposal can be granted to replace the original project. ``` 上面是期末大作业原话, 搁在这么一门没有考试、区分度几乎全靠大作业占比的课上 一个老师居然说能拿你的RL项目顶掉大作业还顺手撒点extra bonus? # 这个"practical engineering or research problems"的评判标准长啥样, 我是真不敢想也不敢问, 这么一门正经的专业必修课, 你们甩出这种自由又好水的操作, 是来搞笑的吗?? ( 哦也对, 说不定chenglin大人把这话放这儿, 就是方便招同学进组打白工搞劳动力互换吧, 那可太公平太伟大了) 没错, 真实环境是更难的, 可你凭啥知道这东西是我做的还是我师兄做的, 是我现在做的还是我师兄早八百年前就做好的, 搞笑呢? 我本人就蹲在RL实验室, 顺手借个场景跑点实验就能交这玩意儿🤣 # 谢了, 这倒是给我提了个醒, 看来今天阴间签到的bonus有救了

课程内容：强化学习，老牌传统框架，深度强化学习？还没碰，像进了健身房只让你练空杆，铁片还在架子上摆着呢。 上课自由度：高，高到像自习室租了个老师。 考核标准：未知轻重，小作业不算太恶心，属于那种悬在头顶但暂时没砸下来的靴子。 授课质量：中规中矩，态度在线，但数学概念多得像火锅底料里的花椒，老师又没完全按最严谨的推导捞干净，工程化的教学较少，感觉像买了一本菜谱但没配锅。