网站建设与网页设计课程网站运营 宣传团队建设

网站建设与网页设计课程,网站运营 宣传团队建设,申请网站步骤,江门网站制作专业此分类用于记录吴恩达深度学习课程的学习笔记。 课程相关信息链接如下#xff1a; 原课程视频链接#xff1a;[双语字幕]吴恩达深度学习deeplearning.aigithub课程资料#xff0c;含课件与笔记:吴恩达深度学习教学资料课程配套练习#xff08;中英#xff09;与答案#…此分类用于记录吴恩达深度学习课程的学习笔记。课程相关信息链接如下原课程视频链接[双语字幕]吴恩达深度学习deeplearning.aigithub课程资料含课件与笔记:吴恩达深度学习教学资料课程配套练习中英与答案吴恩达深度学习课后习题与答案本篇为第四课的第二周内容2.8到2.11的内容同时也是本周理论部分的最后一篇。本周为第四课的第二周内容这一课所有内容的中心只有一个计算机视觉。应用在深度学习里就是专门用来进行图学习的模型和技术是在之前全连接基础上的“特化”也是相关专业里的一个重要研究大类。这一整节课都存在大量需要反复理解的内容和机器学习、数学基础。因此我会尽可能的补足基础用比喻和实例来演示每个部分从而帮助理解。第二周的内容是对一些经典网络模型结构和原理的介绍自然会涉及到相应的文献论文。因此我也会在相应的模型下附上提出该模型的论文链接。这周的难点部分已经过去了最后这部分是关于如何更好地使用本周以及之前了解过的模型的方法即几条方法论。1. 寻找论文作者的开源项目代码在深度学习领域尤其是 CV 和 NLP 方向许多论文作者都会将实验代码开源最常见的发布平台就是 GitHub。GitHub是目前世界上最大的代码托管交流平台。如果你不太了解它站内站外都有大量的关于GitHub 的新手教学这是相关专业里几乎所有人都要用到的一个平台。我之前在介绍图床也使用了它来存储图片。作者的源码通常包含论文中使用的模型结构与训练流程但在具体细节方面可能因人而异质量差异较大需要结合论文与代码共同理解。显然站在巨人的肩膀上要比我们自己一点点造轮子要快很多当然后者也是必要的能力。通过阅读作者源码我们可以理解很多论文中一笔带过、但对性能影响巨大的工程细节和设计取舍比如某个不起眼的参数设置。实际操作时一个常见流程是先在论文首页或 arXiv 页面查找是否附带 GitHub 链接如果没有可以直接用「论文标题 GitHub」进行搜索或查看作者个人主页、实验室主页很多都会集中维护代码仓库。需要注意的是搜索结果中也可能出现第三方复现代码这类代码在工程上可能更规范但不一定完全等价于论文原始实验设置使用时需要区分“作者官方实现”和“社区复现”。以 ResNet 为例其原论文作者及后续社区已经维护了多套高质量实现目前常用版本也被集成进了 PyTorch / TensorFlow 官方模型库中。这是我的搜索的结果之一是Deep Residual Learning for Image Recognition 的第一作者何恺明和其团队对残差网络的的开源代码你可以点击绿色的 Code 间选择不同的方式把项目下载到本身。相关教程有很多具体操作流程这里不再展开以后如果有机会我也希望能单独出一个这方面的教程。需要额外强调的一点是虽然 GitHub 上目前已经有了大量的中文项目但终究还是以英文为主如果希望找到一些经典的出处还是要掌握一定的英文能力。而且GitHub 对国内的连接时常不稳定有时需要“魔法”才能稳定进入。因此如果你平时有兴趣浏览一些项目或者博客但又受限于英文水平GitHub中文社区也是一个不错的选择。不过在查找论文原始出处或权威实现时仍建议以英文 GitHub 仓库和作者主页为准。2. 应用迁移学习实际上我们在上一课的理论部分已经详细展开过迁移学习了并且在代码实践部分演示了ResNet-18 在我们一直使用的猫狗二分类数据集上的良好效果。这里我们再简单展开一下在实际任务中从零开始训练一个模型往往既慢又不稳定。相比之下使用已经训练好的模型参数作为初始化是目前更主流、也更现实的选择。在 CV 领域许多模型已经在 ImageNet 等大规模数据集上完成了充分训练这些模型学到的底层特征边缘、纹理、形状具有很强的通用性。因此即便你的任务和原始数据集并不完全一致这些预训练权重依然能作为一个很好的起点。在演示部分我们也偶看到了PyTorch 和 TF 都内置了可以调用预训练模型的模块与相应方法。CV 领域已经形成了一批相对成熟、活跃的数据集平台与社区因此我们这里补充几个可以寻找数据集的平台与迁移学习强强联合达到更好的效果。需要魔法1Kaggle DatasetsKaggle 是目前最知名的机器学习竞赛与社区平台之一其 Datasets 板块汇集了大量公开数据集覆盖图像分类、目标检测、医学影像、遥感图像等多个方向。2Hugging Face Datasets虽然 Hugging Face 最早以 NLP 闻名但近年来其 Datasets 库已经逐步覆盖视觉领域。3学术机构与官方数据集网站对于一些经典任务数据集往往直接由学术机构或研究团队维护例如ImageNetCIFARCOCOPascal VOC3. 使用数据增强同样对于数据增强我们之前已经进行过理论介绍和实践演示。这里再简单补充一下数据增强并不是“造新数据”而是通过对原始样本进行合理扰动迫使模型学习更稳健、更具泛化性的特征。常见的数据增强方式包括空间变换随机裁剪、翻转、旋转颜色变换亮度、对比度、饱和度扰动这些操作的共同点在于它们不会改变样本的语义标签但会打破模型对某些“表面规律”的依赖。例如不再依赖固定位置不再依赖固定光照不再依赖单一颜色分布。在很多任务中合理的数据增强带来的收益甚至不亚于更换模型结构而且相比设计新网络它的实现成本往往更低。在 PyTorch 中数据增强通常作为数据预处理流水线的一部分通过/* by yours.tools - online tools website : yours.tools/zh/shaoshuminzu.html */ torchvision.transforms在训练阶段作用于样本我们也不止一次演示过相信你也并不陌生了。4. 竞赛策略最后一点更偏向方法论层面的提醒。在学术竞赛或榜单任务中目标往往只有一个性能最大化。因此我们简单介绍两个之前没提到过的策略多模型集成与多裁剪测试。4.1 多模型集成Ensemble多模型集成指的是在推理阶段同时使用多个已经训练完成的模型对同一个输入样本进行预测再对输出结果进行融合如取平均、加权平均或投票。就像这样直观理解很简单不把决策权交给单一模型而是让多个模型共同“表决”。具体来说不同模型即使结构相同只要训练过程存在差异初始化、数据顺序、正则化方式等其犯错模式也往往不同集成后这些不一致的错误会被相互抵消整体预测更加稳定。从统计角度看ensemble 的作用类似于降低模型预测的方差。常见的集成方式有很多不同结构的模型集成同一结构、不同随机种子的模型集成不同训练轮次的模型集成。4.2 多裁剪测试Multi-crop多裁剪测试指的是在验证或测试阶段对同一输入图像生成多个裁剪版本分别送入模型预测再对结果取平均。以常见的10-crop为例对原图进行中心裁剪和四角裁剪再对每个裁剪做一次水平翻转共得到 10 个输入视角。就像这样我们把一幅测试图像裁剪成十份再对它们取平均。理论上讲单次裁剪可能恰好丢失关键信息而多裁剪可以降低这种偶然性不同裁剪在特征层面的响应不同取平均后结果更稳定。而且这种方式不需要重新训练模型只在评估阶段增加相应逻辑即可获得收益。4.3 竞赛与实际部署上面提到的方法在竞赛环境下完全合理这是因为在竞赛环境中响应时间往往不敏感资源成本也不是首要约束我们只关心最终指标。但在真实部署场景中情况往往完全不同响应延迟、显存占用、电力消耗都是硬约束模型需要稳定、可维护、可扩展很多竞赛技巧在工程上并不划算甚至不可用。因此一个非常重要的认知是竞赛解法 ≠ 工业解法。5.总结概念原理比喻查找论文作者的开源代码直接使用或参考作者官方实现获取完整模型结构、训练流程与关键工程细节避免仅凭论文文字复现造成偏差看菜谱不如进后厨看别人怎么真正下锅官方实现 vs 社区复现官方代码最贴近论文实验设置社区复现可能更工程化但不一定严格等价原厂零件 vs 第三方兼容件预训练模型底层卷积学到的边缘、纹理、形状具有跨任务泛化能力已经练过基本功的运动员换项目也更快上手数据集平台Kaggle、Hugging Face、官方数据集网站集中提供标准化、可复用的数据资源公共食材市场不必自己从头种菜数据增强对样本做不改变语义的扰动打破模型对表面规律的依赖提高泛化能力让学生在不同光线、角度下反复看同一道题多模型集成Ensemble多个模型共同预测融合结果以抵消单模型的偶然错误降低方差多个评委投票而不是一个人拍板多裁剪测试Multi-crop对同一图像从多个视角预测并取平均降低单次裁剪信息缺失的风险多看几眼同一张照片再下结论竞赛策略用计算资源换性能上限推理成本不是首要约束用钱和时间堆出最高分工业部署在延迟、显存、功耗等约束下做整体权衡强调稳定与可维护在有限预算下装修房子