AI
- KAN 网络
- Google I/O 2023 总结（AI 部分）
- 使用 "无知之幕" 的思想来对齐 AI
- LLaMA：Open and Efficient Foundation Language Models
- PaLM-E：多模态具身模型
- R-Drop：Regularized Dropout for Neural Networks
- 指令微调（Instruction Tuning）
- ControlNet：为 Stable Diffusion 插上翅膀
- Multimodal-CoT：多模态的 Chain-of-Thought
- 视频检索任务论文整理
- AutoCut：基于 Whisper 的视频剪辑工具
- 注册 ChatGPT 的步骤
Agent
Blog
- 在 Jekyll 博客中添加图片查看器
- 在 Jekyll 博客中添加音乐播放器
- 在 Jekyll 博客中添加网站分析工具
- Google AdSense In Jekyll's Blog
- Search In Static Blog
- Comment System In Static Blog
CNN
CTF
CV
Cesium
ChatGPT
- 一些 ChatGPT 镜像
- 关于 ChatGPT 的信息、资讯汇总（不断更新）
- RLHF（Reinforcement Learning from Human Feedback）
- ChatGPT 浏览器插件
- 指令微调（Instruction Tuning）
CoT
Comment
Diffusion
Foundation Model
GPT-2
Google Adsense
KAN
LLM
- 综述：神经网络量化（Quantization）
- LLM 的评价指标：Perplexity（PPL）
- 训练一个 Tokenizer
- 从零开始构建 NanoGPT
- DeepSeek-V2：更强的开源 MoE 大模型
- YOCO：You Only Cache Once
- 更长上下文的 Transformer
- Nougat：从 PDF 论文中提取数学公式
- ChromaDB：开源的向量数据库
- FastChat：基于 FastAPI 构建大模型加载服务
- 向量数据库：LLM 的检索增强剂
- Linux 上部署 LangChain-Chatchat
- RoPE：旋转位置编码
- GLM 原理详解
- LLM-Agent
- LLM4VG 基准：用于评估 LLM 的视频时刻定位能力
- Large Language Model 综述
- GPT-2 论文 & nanoGPT 代码
- KV Cache：LLM 推理加速
- Mixtral 8x7B：首个开源 MoE 大模型
- LLaMA：Open and Efficient Foundation Language Models
- Transformer 中 FFN 的记忆功能（Memory）
- 大型语言模型的涌现能力
- 为什么现在的 LLM 都是 Decoder-only 架构？
- Toolformer：让 LLM 教会自己使用（调用）外部工具
LM
Linux
MoE
Multimodal
- Multimodal Transformer 综述
- 论文：Modular and Parameter-Efficient Multimodal Fusion with Prompting
- 论文：Prompt Tuning for Generative Multimodal Pretrained Models
PEFT
- 梯度视角下的 LoRA
- PEFT 工具
- 综述：PEFT（Parameter-Efficient Fint-Tuning）
- 大模型时代下做科研的四种思路
- BitFit：只微调 Bias Term 的轻量化微调方法
Prompt
- SAM：Segment Anything Model
- 大模型时代下做科研的四种思路
- nn.Embedding() 和 nn.Parameter() 的使用
- MaPLe：Multi-modal Prompt Learning
Prompt Tuning
- 论文：Modular and Parameter-Efficient Multimodal Fusion with Prompting
- 论文：Prompt Tuning for Generative Multimodal Pretrained Models
- P-Tuning
PyTorch
Quantization
RLHF
- RLHF（Reinforcement Learning from Human Feedback）
- 《Fine-Tuning Language Models from Human Preferences》
RoPE
SSM
Search
Transformer
- RoPE-Tie（RoPE for Text-image）
- 更长上下文的 Transformer
- Flash-Attention
- Transformer 的各种位置编码方式
- DeepNet：成功训练 1000 层的 Transformer
Vector DB
Video
Windows
eXplainable AI (XAI)
lightweight
multimodal
paper
video
多模态
工具
- UltraChat 数据集：两个独立 ChatGPT Turbo API 的对话
- ChatGPT 浏览器插件
- Tiny Windows 11 系统
- 效率工具 Microsoft PowerToys 的使用
- Windows 放大镜的使用
- 下载 bilibili 视频的工具
- IPTV 的使用与资源整理