paper:Spike-driven Transformer
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
参考链接
🔗：纯加法Transformer！结合脉冲神经网络和Transformer的Spike-driven Transformer （NeurIPS 2023）
🔗：NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法Transformer
🔗：Spike-Driven-Transformer
🔗：NeurIPS 2023 | 结合脉冲神经网络和Transformer的纯加法
spikingjelly:Neuron
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
神经元
本教程作者： fangwei123456
本节教程主要关注 :class:spikingjelly.activation_based.neuron，介绍脉冲神经元。
1.脉冲神经元模型
在 spikingjelly 中，我们约定，只能输出脉冲，即0或1的神经元，都可以称之为“脉冲神经元”。使用脉冲神经元的网络，进而也可以称之为脉冲神经元网络(Spiking Neural Networks, SNNs)。
spikingjelly:Container
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
容器
SpikingJelly中主要提供了如下几种容器:
函数风格的multi_step_forward和模块风格的MultiStepContainer
函数风格的seq_to_ann_forward和模块风格的SeqToANNContainer
对单步模块进行包装以进行单步/多步传播的StepModeContainer
1. multi_step_forward可以将一个单步模块进行多步传播,
spikingjelly:Basic Conception
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
基本概念
1. 激活值的表示方法
spikingjelly.activation_based 使用取值仅为0或1的张量表示脉冲,例如:
1234567import torchv = torch.rand([8]) v_th = 0.5spike = (v >= v_th).to(v)print('spike =', spike)# spike = tensor([0., 0., 0.,
intern-02
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
TODO
[ ] spikingjelly框架
[ ] 代码：https://github.com/BICLab/Spike-Driven-Transformer
[ ] 论文: Spike-driven Transformer
[ ] LIF神经元
Django
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
1.安装django
1pip install django
1234567891011c:\python39 - python.exe - Scripts - pip.exe - django-admin.exe [工具，创建django项目中的文件和文件夹] - Lib - 内置模块 - site-packages - openpyxl -
paper:SpikingBERT
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
SpikingBERT: Distilling BERT to Train Spiking Language Models Using Implicit Differentiation
Abstract
大型语言模型（LLM）虽然变得非常强大，但其神经元和突触的数量比人脑少几个数量级。然而，它需要更多的电力/能量才能运行。在这项工作中，我们提出了一种新颖的仿生脉冲语言模型（LM），旨在通过从大脑中的突触信息流中汲
Knowledge Distillation
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
参考链接
🔗：Distilling the Knowledge in a Neural Network
🔗：【精读AI论文】知识蒸馏
ML:Transformer
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
学习链接
🔗：Transformer详解和自注意力机制 Self-attention
🔗：Attention Is All You Need
目录
1.Introduction
2.Self-attention
3.Multi-head Self-attention
4.Position Encoding
5.Transformer
5.1 Encoder
5.2 Decoder
5.3 Cross At
github小技巧
MathJax.Hub.Config({ tex2jax: {inlineMath: [['$', '$']]}, messageStyle: "none" });
1.高级搜索功能
直接点击这里：GitHub·Where software is built
另一种方法：点击左下角的Advanced search:
2.查找文件
进入github仓库界面，按住t进行查找文件
进入源代码后，按住l，跳到某一行：
点击行号，可以复制这行代码/也可生成永久链接
在源代码页面按住b查看更改记录：
3.阅读代码技巧
仓库的code页面，按住英文的.进行代码跳转
代
