06 大语言模型

2026年10月22日

• 大语言模型
• tokenizer
• bpe
• utf-8
• 分词

2026年10月22日

• 大语言模型
• transformer
• self-attention
• rope
• swiglu
• rmsnorm

2026年10月22日

• 大语言模型
• gqa
• mla
• 线性注意力
• 稀疏注意力
• moe
• deepseek

2026年10月22日

• 大语言模型
• flops
• 显存
• 算术强度
• pytorch
• scaling-law
• chinchilla
• mup

2026年10月22日

• gpu
• cuda
• triton
• roofline
• kernel-fusion
• ai-infra

2026年10月22日

• flashattention
• attention
• online-softmax
• gpu
• ai-infra

2026年10月22日

• 分布式训练
• zero
• fsdp
• 张量并行
• 流水线并行
• 混合精度
• adamw

2026年10月22日

• 大语言模型
• 预训练
• 数据
• 去重
• minhash
• common-crawl

2026年10月22日

• 大语言模型
• 后训练
• sft
• rlhf
• dpo
• grpo
• rlvr

2026年10月22日

• 大语言模型
• 评估
• 困惑度
• benchmark
• llm-as-judge
• 数据污染

2026年10月22日

• 大语言模型
• 推理
• kv-cache
• 量化
• 投机采样
• pagedattention
• vllm

2026年10月22日

• 大语言模型
• 多模态
• vit
• clip
• vlm
• vq-vae
• 扩散模型

2026年10月22日

• 大语言模型
• rag
• 检索
• bm25
• rerank
• agent
• 结构化输出
• 可观测性

2026年10月21日

• llm
• gpt-2
• pytorch
• ai-infra