Arxiv:Towards Better Parameter-Efficient Fine-Tuning for Large Language Models
基本信息
标题：Towards Better Parameter-Efficient Fine-Tuning for Large Language Models: A Position Paper
作者：
Chengyu Wang（阿里巴巴集团，杭州，中国）
Junbing Yan（华东师范大学，上海，中国）
Wei Zhang（华东师范大学，上海，中国）
Jun Huang（阿里巴巴集团，杭州，中国）
摘要：
本文探讨了在大规模语言模型（LLMs）上进行参数高效微调（PEFT）的迫切需求。虽然LLMs具有显著的能力，但其庞大的参数需求和计算要求限制了其在实际应用中的实用性和可扩展性。本
基本信息
标题: ComPEFT: Compression for Communicating Parameter Efficient Updates via Sparsification and Quantization
作者: Prateek Yadav, Leshem Choshen, Colin Raffel, Mohit Bansal
研究机构:
University of North Carolina at Chapel Hill
IBM Research
Massachusetts Institute of Technology
University of Toronto
V
Arxiv:Sparse Fine-tuning for Inference Acceleration of Large Language Models
基本信息题目：Sparse Fine-tuning for Inference Acceleration of Large Language Models
作者
Eldar Kurtic (IST Austria)
Denis Kuznedelev (Skoltech & Yandex)
Elias Frantar (IST Austria)
Michael Goin (Neural Magic)
Dan Alistarh (IST Austria & Neural Magic)
发表时间：2023年10月13日
资源：
代码库：T5和Whisper模型的稀疏微调代码
代
基本信息标题: LongQLoRA: Efficient and Effective Method to Extend Context Length of Large Language Models作者: Jianxin Yang机构: Sun Yat-sen University
DOI：https://arxiv.org/abs/2311.04879Code: https://github.com/yangjianxin1/LongQLoRA
Abstract我们提出了LongQLoRA，一种高效且有效的方法，通过较少的训练资源来扩展大型语言模型的上下文长度。LongQLoRA结合了位置插
基本信息
标题: DEFT-UCS: Data Efficient Fine-Tuning for Pre-Trained Language Models via Unsupervised Core-Set Selection
作者:
Devleena Das
Vivek Khetan
机构:
Georgia Institute of Technology
Accenture Labs
关键词:
数据高效微调（Data Efficient Fine-Tuning）
无监督核心集选择（Unsupervised Core-Set Selection）
预训练语言模型（Pre-Train
基本信息
标题: TRANSOM: An Efficient Fault-Tolerant System for Training LLMs
作者:
Baodong Wu
Lei Xia
Qingping Li
Kangyu Li
Xu Chen
Yongqiang Guo
Tieyao Xiang
Yuheng Chen
Shigang Li
机构:
SenseTime，Huazhong University of Science and Technology
Beijing University of Posts and Telecommunications
DOI：https:
ICML:Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning
基本信息
标题: Random Masking Finds Winning Tickets for Parameter Efficient Fine-tuning
作者: Jing Xu, Jingzhao Zhang
机构:
Institute for Interdisciplinary Information Sciences, Tsinghua University, China
Shanghai Qizhi Institute
Shanghai AI Laboratory
会议: 41st International Conference on Machine Learning
