- 注意力机制(Attention) 注意力机制让神经网络在处理每个元素时,按相关程度有选择地汇总其他元素的信息,是 Transformer 和大语言模型的核心计算方式。
- 上下文窗口(Context Window) 上下文窗口是大模型一次能处理的最大 Token 数量,决定了它能同时“看到”多少对话、文档和指令。本词条介绍其含义、限制因素与使用建议。
- 扩散模型(Diffusion Model) 扩散模型通过学习如何一步步去除噪声来生成数据,是当前主流文生图、文生视频工具背后的核心技术。本词条介绍它的原理、应用和相关概念。
- Embedding(嵌入) Embedding 是把文字、图片等内容转换成一组数字向量的技术,让计算机能用距离衡量语义相似度,是语义搜索、RAG 和推荐系统的基础。
- 微调(Fine-tuning) 微调是在预训练模型的基础上,用特定任务或领域的数据继续训练,让模型更擅长某类工作。本词条介绍全量微调、参数高效微调、应用场景与相关概念。
- 幻觉(Hallucination) AI 幻觉指大模型生成看似合理、语气笃定,但与事实不符或无中生有的内容。本词条介绍幻觉的定义、成因、应对方法和相关概念。
- 大语言模型(LLM) 大语言模型是在海量文本上训练、能够理解和生成自然语言的神经网络模型。本词条介绍它的定义、训练过程、典型应用以及相关概念。
- 混合专家模型(MoE) 混合专家模型(MoE)把网络的一部分拆成多个“专家”,每次只激活其中少数几个,从而在扩大参数规模的同时控制计算成本。本词条介绍其原理与取舍。
- 多模态(Multimodal) 多模态 AI 指能够同时理解或生成文本、图像、音频、视频等多种类型信息的模型。本词条介绍它的定义、实现原理、典型应用和相关概念。
- RLHF(人类反馈强化学习) RLHF 是利用人类对模型回答的偏好判断来训练奖励模型,再用强化学习优化大模型的方法,让输出更有帮助、更安全。本词条介绍其流程与替代方案。
- Transformer Transformer 是一种以注意力机制为核心的神经网络架构,2017 年由论文《Attention Is All You Need》提出,是当今大语言模型的基础。
- 向量数据库(Vector Database) 向量数据库专门存储和检索高维向量,能按“语义相似度”快速找到最接近的内容,是 RAG、语义搜索和推荐系统的常用基础设施。
繼續探索 AI 的更多可能瀏覽全部工具