钱彦旻 · 智能语音技术修读档案

签到15%（节节课必签） 小作业25%（推公式，全网资料多到能淹掉你，貌似也扣不狠？） 大作业60%（两次，第一次好像掉了点血，第二次那叫一个水穿地心） 另附6%课堂回答bonus（老师会拿上节课内容搞课前拷问，难度有手榴弹有棉花糖，累计答6次拿走6分；不想当堂开口也行，期末会布置的课后思考题照答同样有效，能拿来贴大作业的窟窿） 没有期末考试！（赢麻了！） 由于最后一次大作业布置得太迟，难度直接开闸泄洪——只要跑通助教那套脚本，再老老实实码份报告就收工 虽说这门课仿佛没往脑里装进多少东西（毕竟kaldi我到现在都没搞懂它到底怎么使），但给分慷慨，又没期末阴影笼罩 看在体验份上，五星惯着它一下

**啊啊啊啊排队排队排队排队排队！** **啊啊啊啊PDPDPDPDPDPDPD** **我要疯了！！！！** 这队排得我怀疑自己不是来选课的，是来参加春运抢票的，前面那哥们儿呼吸一下我都觉得他在插队；PD两个字母在我眼前已经不是字母了，是两把电钻对着太阳穴跳科目三；我现在的精神状态就像被塞进微波炉的蓝牙耳机，叮一声还没响完人已经融化了，崩了，真的崩了，疯得比选课系统刷新还快！！！！

课程内容： 上课自由度 考核标准： 授课质量： 让老子19周做大作业，还好意思算分？19周啊，都能养成一个习惯了，你告诉我它要计分？

自助式课程，评分重头全靠project，然而项目相关内容基本只在传说中出现 ---- 坐标16周周五 ### 此时，智能语音最后那个占比 *35分* 的 Project ## 还骑在马上，正朝我们飞奔 ----- 坐标16周周日 ## 此时，Project依然骑在马上，朝我们飞奔 --------- 17周周一 ## 此时，Project还在骑马的途中 -------- 17周周二 17周 周三 ## 此时，Project仍是马背上的传说 ---- 17周周四，Project总算勒住了缰绳赶到现场 # 而ddl是19周周四  ---- # 出分了，光荣当分母🤡，助教确实把最后门槛降得很低了，但鼠鼠我明明踩中了传说中的做了就是百分百分数上限的最低标准，还是被扣了十分，六分bonus趴在地上都没能把我拉回来……

课程内容很充实，系统地讲述了语音识别系统的工作原理，就是那种你不听也能混，听了直接起飞的感觉。 上课自由度：每节课都会有签到，前排同学可能会被点到回答问题，前排座位等于高危区域。 考核标准：出勤15% GMM-HMM EM推导15% RNN反向传播推导10% VAD系统实现25% LVCSR搭建25% EM推导公式比较多，RNN推导不复杂。VAD很容易就能把AUC这些指标做的很高(>0.98)，LVCSR只要按照固定的recipe跑一下就ok了，跟泡面一样简单。 授课质量：高。看看隔壁的控制理论吧，这门课给分很高，助教耐心而且参考资料丰富，控制理论考试难还不捞，最后总评差不多能差10分。。。这差距，比我和学霸的差距还大。

课程内容：概率统计与贝叶斯理论，模式识别与参数估计的基础知识，GMM-HMM，语言模型，WFST解码，深度学习——好家伙，这是一条龙把传统语音从祖上到深度学习全给你端上来了，主打一个知识密度当饭吃。 上课自由度：有签到，课堂回答问题加分，建议多回答问题。翻译一下：签到是保命符，举手是理财产品，张口就是绩点加成，闭麦就是纯纯做慈善。 考核标准：project1+project2+RNN反向传播的推导+GMM-HMM的EM算法推导。RNN的反向传播请看李沐动手学深度学习官网书籍，有一章推导了公式，可以借鉴，b站上也能搜到其他视频。project2是VAD（语音端点检测），CSDN上有现成的代码，可以适当借鉴一下。project2是跑kaldi的代码，都写好了，手动运行一下就好。关于project2： 1. 如果使用sbatch几乎不需要排队，所以不要抱怨排不到GPU，更何况课程提供的算力为大家的深度学习作业做出了挺多贡献。翻译：算力都喂到你嘴边了，别躺着喊饿。 2. 助教特地了解了大家的考试时间之后，将ddl安排在最后一个周末，与其他大作业错开了，个人认为相当合理。这是把ddl排成了避开高峰的高铁时刻表，属实是把人文关怀写进了日程里。 3. 如果留心选课社区的话，就知道去年的大作业是在kaggle竞赛平台上完成的，上边的discussion取有关于报错的解决方案，其中就有更改num_jobs，也就是进程数的说明，我跑这任务的时候基本没什么阻碍，路都铺好了。别人把红毯铺到了你脚下，你还嫌红毯不是自动步道？ 4. 如果我没记错的话，20届是要求在自己的电脑上搭建kaldi，上一届需要做的任务也比我们多，踩的雷更是多，请问为什么更轻松的任务换来了大家的抱怨呢？本身配环境就是一个踩雷的过程，而且也没人拦着您问助教是吧，助教最后也在群里发了解决方案。以前是徒手排雷，现在是给你发了排雷说明书，结果还有人嫌说明书翻页累。 5. **关于大作业请看网站**：[语音框架（Kaldi）](https://blog.csdn.net/[私人信息已隐藏]/category_10629972.html)的介绍，超级详细。但凡您上CSDN上搜索一下"kaldi"这个词就能了解到这些脚本在做什么，关于这些脚本的理论知识上课已经讲的差不多了，要是看不懂建议自己再学习学习。教程详细到像外卖附赠了加热说明，你要是还吃凉的，那只能说自己再学习学习。 授课质量：高，尤其是俞凯老师，打下了良好的数学和机器学习基础，钱老师讲的内容更加深入，听起来有点困难，但有助于了解一整套传统机器学习的流程，认真听真的能学到很多东西。这门课GMM-HMM讲的比隔壁nbb可好多了，RNN反向传播也是难得的本学期关于深度学习的理论知识作业。另外，语音基础知识请看<https://www.zhihu.com/column/c_1242481453310779392>，写的不错。一个给你打地基，一个给你上强度，认真听就是知识往脑子里灌，走神就是看着别人灌。 ### 总之，和这学期其他课相比，这门课真的是难得的能学到人工智能相关知识的专业课了——在别的课还在给你画大饼的时候，这门课是真往你嘴里塞面粉。

请选择你的英雄： 机器学习：1.0（32人） 深度学习：1.9（12人） 智能语音：1.0（5人） 计算机体系：2.8（19人） 随机过程：5.0（13人） 这就是 # 试 点班给我的自信！！ （把这位兄弟放最后，是为了声明我们不是学生版玻璃心，好课和垃圾我们还是分得清的；） ———————————— 深度学习出分更新：加一星

4次作业：2次手写推导加2次project，第一次VAD，第二次kaldi（顺便一提，18周的project2的ddl到14周才放出来😅） 翻了下去年的评论（去年还叫智能语音识别，明年不会又换皮吧😅），第二次project里去年他们踩过的比较基础的那几个雷应该是排掉了，但仍有一堆漏网之雷： 1. 先大概扫一眼操作手册，或者找用过的人问问，能少绕十八个弯 2. srun比sbatch感觉排队时间长一截，建议直接去找前人写好的文件 ~~（比如submit.slurm）~~ 然后拿sbatch往上招呼 3. 这学期kaggle discussion没了，那能咋办呢，github一键启动呗 4. path.sh 里记得把gpu路径训练启用（一开始是注释掉状态，把注释消了就等于开了） 5. run.sh 主要分三块：数据处理、GMM训练（Train mono到tri5a这段）、神经网络训练 6. 训练完GMM后如果直接开训nnet3和chain，会跳出来说data/train_sp/feats.scp重复，直接删了就顺畅了 7. 因为后两个训练和前面的完全是各过各的（见第5条），删完那文件之后只要单独跑一次local/...那两条指令就能出模型（但nnet3和chain的feats.scp也会打架，建议一次只跑其中一个） 8. 跑DNN之前记得先把 local/nnet3/run_tdnn.sh 和 local/nnet3/run_tdnn.sh 两个文件里 num_jobs_initial 和 num_jobs_final 都调成1，不然显存容易当场爆炸（run.sh里如果也加了这俩参数，记得照样删干净） 但是雷怎么可能就这么点呢🤣，剩下的雷只能靠后续小白鼠们用血肉试出来了 ~~（当然，也有可能我们压根就是最后一届小白鼠了🤡）~~ 还有往届好歹还美其名曰“增强了ai班的凝聚力”，我们这届增强了集贸啊🤣

课程内容： 上课自由度： 考核标准： 授课质量：来，先啐一口。 16周才甩出个占比35%的大作业，这骚操作属于是把你按在脚本上一行一行照着敲，脑子全程挂机待机，关键流程指导约等于零，canvas上写得跟天书残卷似的，出了问题去问才肯挤牙膏，主打一个随机掉落型解决方案——你一行代码跑几个小时然后寄了，捧着尸体去找他，才获得一滴恩赐般的参数修改。我这辈子最后悔的事就是没在中期退课，从VAD那一步就该撒腿就跑。

2024/7/1 出分了，跟深度学习放一块儿对比，高下立刻拉成悬崖。加一星吧。 2024/6/25 看到有人搁那吹这门课。平心而论两位老师是真的塞了不少硬知识进去（所以这一星是敬老师的！）。 这学期体验拉的地方主要出在作业布置上（说什么和其他大作业时间错开、步骤丢到第16周，这种幽默发言也能说出口？）。作业提交要求我个人觉得讲得云里雾里，可能也确实是我段位问题。 --- 2024/6/3 5/5 第一个小作业ddl落地 剩下三个作业ddl全糊在第18周周末 最后一个月直接狂暴肝成：3个智能语音+4个深度学习+2个计体+1个离谱的机器学习 建议跟dsp学一学什么叫人类的作业布置 幽默，太幽默了 --- “等待~ 我随时随地在等待~ 怎么pi集群上还没排到gpu~ 多无奈~

这学期的作业依旧靠前人的尸骨替助教debug。。。 +：依旧是week16才布置作业的逆天排期，扣到2星。 还非得中文报告，中文配公式一起敲，体验和吃史能有啥区别，还是扣到1星吧 --- 给分还算好看。 但我觉得这门课看给分的面子，评个两三分也差不多得了，给五分有点抽象，课程内容和作业完全正交，这门课学到了啥？只有biaoshuai和chihao才配5分。