个人简介

顾煜贤，清华大学计算机科学与技术系 2021 级博士研究生，导师为黄民烈教授，研究方向为语言模型的高效训练、模型压缩方法，在计算机顶级会议发表论文数篇，多次进行口头报告，谷歌学术引用累计 2600 余次。

研究工作介绍

在预训练方面，作为一作发表在 ICLR 2025 上的论文 Data Selection via Optimal Control For Language Models被选为口头报告（top 1.8%）。这项工作提出了一套新的理论框架和算法，为语言模型的预训练选择高质量的数据，从而加速模型的预训练过程。此框架将数据视为预训练过程的控制信号，通过最优控制理论解出最优数据选择应满足的必要条件，最后根据此必要条件设计高效的数据选择算法，为传统基于大量经验的预训练技术提供了理论工具。

在下游适配方面，以一作身份发表在 ACL 2022 的论文PPT: Pre-Trained Prompt Tuning for Few-Shot Learning作为第一批研究预训练模型参数高效微调的工作，至今引用近 500 次，在当届 ACL 所有录用的 700 余篇论文中排名第十，被 Google DeepMind 等机构所引用。这项工作研究参数高效微调中的一种：软提示微调（Prompt Tuning），发现对软提示进行少量预训练可以以极大提升Prompt Tuning 在少样本任务上的表现，并且显著加速其收敛速度，为高效的下游任务适配提供了实用的方法。

在推理加速方面，专注于研究基于知识蒸馏的模型压缩。作为一作发表的 MiniLLM: Knowledge Distillation for Large Language Models (ICLR 2024) 为首个研究大语言模型白盒蒸馏的工作，至今被引 344 次，被 Meta，Google DeepMind 等机构所引用，相关技术被 Google DeepMind 用于训练 Gemma 2 模型。这项工作发现将大小模型之间的反向 KL 散度作为优化目标更好地适用于生成式的大语言模型，并证明这种优化方式和基于 RL 的后训练之间的等价关系，为语言模型的知识蒸馏提供了新的范式。

科研工作心得

• 相比于提出方法，找到大家关心的问题更重要。

• 大模型的基础研究要格外关注通用性和泛化性，这是和传统 NLP 最大的不同。

• 大模型的研究很考验每个人“全栈”的能力，理论、系统优化、算法设计、评测都需要有所了解。

关于苹果学者

The Apple Scholars in AIML PhD fellowship program supports emerging leaders in academic research through funding as they pursue their PhDs, mentorship with Apple researchers, and internship opportunities. Scholars are nominated by their universities and are selected for the program based on their innovative research, leadership, and commitment to advancing their fields.

Now in its sixth year, the fellowship program has supported more than 100 emerging leaders in computer science and engineering at the graduate and postgraduate levels. During Apple internships, Scholars have co-authored more than 50 publications, resulting in acceptances at top venues around the world and several spotlight paper awards.