定义

大语言模型（Large Language Model，简称 LLM）是一类参数规模很大、在海量文本数据上训练出来的神经网络模型。它的基本能力是：给定一段文字，预测接下来最可能出现的内容。在这个看似简单的目标之上，模型逐渐学会了语法、事实知识、推理模式和多种语言之间的对应关系，因而能够完成问答、写作、翻译、编程等各类任务。

“大”主要体现在两方面：参数量大（通常以十亿为单位计）、训练数据量大。目前主流的大语言模型几乎都基于 Transformer 架构。

工作原理

一个大语言模型从诞生到可用，通常经历以下几个阶段：

预训练。 模型在大规模文本（网页、书籍、代码等）上进行自监督学习，任务是根据前文预测下一个 Token。训练中不需要人工标注，文本本身就是答案。这一阶段消耗绝大部分算力，模型由此获得广泛的语言能力和世界知识。

指令微调。 预训练模型擅长“续写”，但不一定擅长“听指令”。通过在大量“指令—回答”样例上继续训练，模型学会按照用户要求作答。

偏好对齐。 进一步使用人类反馈强化学习（RLHF）或类似方法，让模型的回答更符合人类偏好，例如更有帮助、更诚实、更少有害内容。

推理生成。 使用时，模型把输入切分成 Token，逐个预测下一个 Token，把预测结果接到输入末尾，再预测下一个，如此循环直到生成结束。温度（temperature）等采样参数会影响输出的随机程度。

典型应用

  • 对话助手：回答问题、提供建议、陪用户梳理思路。
  • 内容创作：写文章、写文案、改写润色、生成摘要。
  • 编程辅助：生成代码、解释代码、查找 bug、编写测试。
  • 翻译与跨语言处理：多语言之间互译、跨语言检索。
  • 信息抽取与分类：从合同、简历、工单中提取字段，对文本做情感或主题分类。
  • 智能体（Agent）：作为“大脑”规划步骤并调用外部工具完成复杂任务。

需要注意，大语言模型可能产生“幻觉”，即生成看似合理但不符合事实的内容。在事实准确性要求高的场景中，通常要配合检索增强生成（RAG）、引用来源或人工审核。

相关概念

  • Transformer：当前大语言模型的主流架构。
  • Token：模型读写文本的基本单位，也是计费和上下文长度的计量单位。
  • 上下文窗口：模型一次能处理的最大 Token 数量。
  • 微调：在预训练模型基础上用特定数据继续训练。
  • RLHF：利用人类反馈对模型进行对齐的训练方法。
  • 幻觉：模型生成与事实不符内容的现象。
  • 多模态模型：除文本外还能处理图像、音频等信息的模型。