Yinghao Sun

快速了解一个网络:LoFTR, Detector-Free Local Feature Matching with Transformers

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 现有的大部分特征匹配方法通常分为3步: 特征检测 特征描述 特征匹配 但是,在纹理条件不佳、图案重复、视角变化、照明变化、运动模糊等情况下特征检测器的效果将会受到比较大的影响,进而影响到后续的特征描述与特征匹配。 另外,基于CNN的系列方法感受野比较有限。人类做特征匹配时通常是兼顾了全局信息和局部信息。 ...

快速了解一个网络:Focal Loss for Dense Object Detection

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 作者认为一阶段目标检测器的精度达不到二阶段目标检测器的原因是: 前景和背景类别数量极不均衡,训练过程中大量“背景”的出现影响了训练效果。 在二阶段目标检测器中,通过region proposals和正负样本按比例采样,改善了正负样本数量不均衡的问题。 核心思想 设置一种自适应loss 对于检测概率极高/极低的类别...

快速了解一个网络:MAE, Masked Autoencoders Are Scalable Vision Learners

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 得益于硬件的发展,当前网络可以很容易在有标签的图像上进行大规模训练。而labeled images通常是难以获取的。 在自然语言处理(NLP)中,这一问题被有效解决,如GPT中的autoregressive language modeling及BERT中的masked autoencoding: 将一段话中的部分数据进行移除...

快速了解一个网络:Deformable Convolutional Networks

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 传统卷积核和pooling的感受野形状是固定的,缺乏处理几何变换的机制。 核心思想 提出一种可变形卷积和pooling算法,引入offset增强卷积核空间采样的能力,对应offset根据不同任务是可学习、自适应的。 Pipeline offset field也是通过input feature map通过卷积得到的...

快速了解一个网络:Deformable DETR, Deformable Transformers for End-to-End Object Detection

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 DETR的训练收敛较慢,需要较长时间的训练才能收敛。 一方面,最初注意力权重是全局平均分布的,对于最终学到稀疏的注意力权重需要较长时间的迭代 另一方面,高算法复杂度也是需要长时间迭代的一个原因 DETR未引入多尺度特征,因此在小目标检测方面效果不佳;未引入的原因之一是D...

快速了解一个网络:DETR, End-to-End Object Detection with Transformers

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 现有目标检测器通常是通过“边界框”回归和“分类”预测两个任务组合完成,且需要后处理操作(NMS)进行重复框的去除。 核心思想 本文将目标检测任务看作“直接集合预测”任务,通过二分图匹配的算法进行预测框和GT框的关联,基于transformer的encoder-decoder架构进行任务学习。 Pipeline 其中,...

快速了解一个网络:Low-level Sensor Fusion for 3D Vehicle Detection using Radar Range-Azimuth Heatmap and Monocular Image

以下内容偏向于记录个人学习过程及思考,请审慎阅读。 背景 在深度学习框架中利用低级雷达数据的3D对象检测尚未得到彻底研究。 核心思想 camera monocular image和radar range-azimuth heatmap各自经过image backbone和radar backbone提取features 基于3d anchors,投影到对应坐标系后分别从对应的fe...

995. K 连续位的最小翻转次数(Rating 1835)

以下内容偏向于记录个人练习过程及思考,请审慎阅读。 题目 995. K 连续位的最小翻转次数 Rating 1835 思路 首先想清楚翻转策略。 如果一个数组能够全部翻转成1,那么我们从左向右按照顺序,看见0就翻转,则一定能获得全1 模拟这个过程的话复杂度是O(nk),需要考虑复杂度更低的算法。 本质是 遍历到每个数字是,我们需要知道这个数字在之前的翻转过程中跟着翻转了几...

2370. 最长理想子序列(Rating 1834)

以下内容偏向于记录个人练习过程及思考,请审慎阅读。 题目 2370. 最长理想子序列 Rating 1834 思路 套路1: 看到子序列和相邻就可以往动态规划上想 套路2:当字符串只含有小写字母,就可以考虑通过遍历26个字母的思路来求解。 设dp[i][j]表示[0, i]范围以字母j为结尾的最长理想子序列,动态规划 代码 class Solution: def ...