spikeBERT:优势分析以及可能会产生的问题
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
之前存在的问题：
复制n份，没用充分利用snn动力学
显存占用太大
psn之后不进行reset得到的是0，1？
多步lif的算法流程
spikeBERT
abstract
脉冲神经网络(SNNs)为以更节能的方式实现深度神经网络提供了一条有前途的途径。然而，现有用于语言任务的snn的网络架构仍然是简单的和相对浅层的，深度架构尚未被充分探索，导致与主流的基于transformer的网络(如BERT)相比存在显著
paper:SPATIO-TEMPORAL APPROXIMATION
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
论文十问
模型之所以好：这个模型通过创新的时空近似方法，实现了无需额外训练即可将传统的人工神经网络（ANN）转换为尖峰神经网络（SNN）。这种转换保持了高效的能源利用和高精度，特别适合于在神经形态硬件上部署。
以前模型的不足：传统的ANN到SNN的转换方法通常依赖于额外的训练和微调，这不仅耗时而且可能导致性能下降。此外，这些方法在处理复杂的变换器模型时效果不佳，因为它们无法处理非因果、非线性的交互。
性
保研推免加分项目
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
基本原则
最多4分
同一竞赛/同一作品取最高
ddl：每年8.31
加分标准
学术竞赛：
S上限3，A+上限2.5，A上限2，B+上限1.5，B上限1
奖项等级之间相差0.5
团队赛的负责人为北邮人，主力队员才能加分
团队赛加分认定额度=学院对应竞赛的个人加分认定额度x系数
系数=1+(x-1)x0.6,其中x<=6
科研活动：
一作才能加分
互联网+
招募公告
互联网+项目And
paper:LLM-QAT
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
paper:Visual Instruction Tuning
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
参考链接
项目地址
文章链接
Visual Instruction Tuning论文阅读（LLaVa）
《Visual Instruction Tuning》论文笔记
核心代码
时间：2023.4
第一作者：Haotian Liu
Abstract
在这篇论文中，作者首次尝试使用纯语言 GPT-4 生成多模态语言图像指令遵循数据（insruction-following data）。 通过对此类生成数据进行
LossFlow
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
问题描述
发现训练出来的loss忽大忽小的
问题所在
每个epoch计算得出的loss是最后一个batch的loss，而不是整个epoch的平均loss
123456789101112131415for epoch in range(50): for data in train_loader: img, _ = data img = img.view(img.size(0),
上游任务 and 下游任务
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
CV领域
1.前言
计算机视觉中有常见的四大任务：
分类（解决"what"）
定位（解决"where"）
检测（解决"what"和"where"）
分割（实例分割、语义分割和场景分割等像素级别的处理）
2.上游任务
预训练模型。一般就是利用上游数据进行预训练，以生成一个包含视觉表征能力的模型。
比如，我们想要的是一个能够提取图
paper:多模态论文合集
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
参考链接
【跟李沐学AI】多模态论文串讲
视频
ALBEF
目录
1.回顾
1.1 ViLT回顾
1.2 Clip回顾
1.3回顾小结
2.ALBEF
2.1摘要
2.2主体方法部分
2.2.1模型设计
2.2.2目标函数
2.2.3momentum distillation 动量蒸馏
2.3下游任务和实验结果
3.VLMo
3.1论文贡献
3.2研究动机
3.3主体方法部分
3.3
paper:BLIP-2
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
BLIP-2: Bootstrapping Language-Image Pre-training with Frozen Image Encoders and Large Language Models
第一作者：Author：Junnan Li
发布日期：2023.1
参考链接
paper: BLIP-2
code: BLIP-2
朱老师：多模态论文串讲
HF上的Demo
BLIP2-图像文本预训练论文解
paper:BLIP
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
BLIP: Bootstrapping Language-Image Pre-training for Unified Vision-Language Understanding and Generation
参考链接
BLIP原文
BLIP论文笔记
Align before Fuse
code:BLIP
Abstract
大多数现有的VLP模型大多仅仅在understanding-based tasks
