0%

这是Palind的生日攻势!(兼第三周周末总结)

🎂Palind的生日攻势!🎂🎉

春雨将歇,明月高照,地上分布星星点点的水迹,反射着柔和的偏振光。这一周即将结束。我诚挚介绍接下来特别的一周—— Palind的生日攻势!

🎂Palind的生日攻势?🎂

春意盎然,暖日渐长,同济的樱花含苞待放🌸。巧合的是,即将到来的同济樱花节就是Palind的生日!Palind被这份浪漫感动了,仿佛是命运想用美丽的樱花抚慰Palind的孤独心灵。

与此同时,Palind在计算机科学CS的入门中,遇到了大大小小的问题。其他大学的朋友们逐渐走上了科研的道路,而我在CS的慢慢长路上进展缓慢。

我是一个很勇敢的人,我不会把一切归咎于同济的分流制度,我也不害怕这些挑战。

为了让我的CS学习得到质的突破,我决定,在接下来这特别的一周,展开:

Palind的生日攻势!

🥰挚友之言沁人心,灯塔引路见光明!

Cupa想对Palind说的话:

CS的学习充满了乐趣,你已经是我见过的最努力的小东西之一了。只要你怀揣着这份热爱,总有一天是会变成计算机领域大神的。无论有没有完成或者上面的任务完成的怎样,Cupa都会一直陪着你的。

anyway,提前祝你生日快乐!!!

在樱花盛开的季节,好好得体会青春吧!!!

Palind不会辜负朋友,Palind要前进了!

🎯🤔Palind的生日攻势要达成什么目的?🌸

Palind想要成为一个入门级别的CS本科生。

  • 能够达到独立阅读论文水平;
  • 拥有更细的目标与更长远的展望;
  • 能够熟练使用PyTorch;
  • 能够探索前沿方向;
  • 能够彻底摆脱高中生思维、摆脱优绩主义,做自己学习的主人。

🌸主题:生日攻势!🥳

⭐攻势一:The Missing Semester!

学习所有计算机所 缺失 的课程,以markdown记录笔记。

计算机教育中缺失的一课 · the missing semester of your cs education

预计学时:10 小时

⭐攻势二:PyTorch!

以刘二大人的pytorch课程为参考资料,复现所有 课程中提及的代码,每节课书写笔记与思考,并写出Viking工作室与焦糖工作室去年招新相关题目。

参考文献:PyTorch 深度学习实践_错错莫的博客-CSDN博客,【《PyTorch深度学习实践》完结合集】 https://www.bilibili.com/video/BV1Y7411d7Ys/?share_source=copy_web&vd_source=a6a4d3ec8d7f6911ff27bf0ec86116f0,Cupa的Pytorch笔记,https://uestc.feishu.cn/docx/DuMXdwk0no5A66xfu5wc04YBnhe,[2024焦糖工作室招新 - 招新相关 - JoTang](https://d.jotang.club/t/topic/942)

⭐攻势三:Paper Study!

阅读论文是研究生做科研最基本的能力。

阅读目前人工智能体系的基石之作:《注意力是所有你需要的》 Attention is All You Need ,写出每一步的详细理解和原因,不要求论文复现,但要求深度理解,重点attention机制。

可以参考李沐,李宏毅,吴恩达等人的视频。

参考文献:[1706.03762] Attention Is All You Need,Cupa的笔记,B站的论文讲解

⭐攻势四:CV!

与NLP相对应的是CV。

transformers给nlp带来了巨大的改变(当然本身也存在着一些问题),那么有没有方法将这么好的架构应用到cv领域呢?这篇论文给出了解决方案:AN IMAGE IS WORTH 16X16 WORDS: TRANSFORMERS FOR IMAGE RECOGNITION AT SCALE。

了解其具体实现方法,写成详细md笔记。

参考文献:[2010.11929] An Image is Worth 16x16 Words: Transformers for Image Recognition at Scale,Cupa的笔记,ViT论文逐段精读【论文精读】_哔哩哔哩_bilibili,等等

⭐攻势五:前沿!

探索和阅读前沿论文使了解自己热爱方向的一个重要方法。

阅读目前越狱方法的总结论文:Jailbreak Attacks and Defenses Against Large Language Models: A Survey,了解各个越狱方法

参考文献:[2407.04295] Jailbreak Attacks and Defenses Against Large Language Models: A Survey,Cupa的汇报文档,知乎B站的讲解

⭐最终攻势!

完全掌握一篇论文的方式,便是复现这篇论文的源代码。这要求着极高的pytorch技巧与一台好的设备。如果仍有余力,可以试试:

  • 阅读并深入理解 Vision Transformer (ViT) 论文(就是task 6),以学习笔记的形式记录。包括但不限于架构分析,关键技术创新点等。论文链接:Vit论文链接 35

  • ViT和CNN相比有什么区别?比较ViT和CNN的异同和优缺点记录在学习笔记里。

  • ViT 模型的实现与实验

    • 实现要求:

      • 基于 PyTorch 实现 ViT 模型(可以使用已有的库如 timm 来实现)
      • 使用 CIFAR-10 数据集对 ViT 进行训练,并与传统的 CNN 模型(如 ResNet-18、VGG-16)进行对比
      • 分析 ViT 在 CIFAR-10 数据集上的表现,并记录实验结果(训练时间、最终准确率、收敛速度等)
    • 实验结果分析:

      • ViT 的性能与 ResNet-18 等 CNN 模型相比有何不同?是否如预期表现较好?为什么?
      • 对比使用不同 Patch Size 的 ViT 的表现,分析 Patch Size 对模型性能的影响

注:可以参考论文作者的代码仓库进行复现

参考文献:https://arxiv.org/abs/2010.11929,github源代码

🌟🌟🌟Palind和他的未来!

考研/保研/出国?就业/读博?这些问题越早确定越好。参考学长的科研经历,结合自身的情况与同济学长的去向与故事(一般可以在校内论坛上找到)。

写出一份对未来的规划,比较各条路线,列举优劣(如出国或香港科研环境更好,但是经济成本会过高,且存在文化问题等…),以md格式提交。

参考文献:机器学习road map - 经验分享 - JoTanghttps://survivesjtu.gitbook.io/survivesjtumanual

💪从明天起,Palind将迎来他的生日攻势!

我期待着同济的樱花绽放。🌸✨

下一周的CS学习时间不会有上限!🍀

💖最后的最后,Palind要记住:

1