Cesium 加载离线地图
VanillaNet
初次使用 Stable-Diffusion-WebUI,纯新手篇
在小数据集上更稳定地微调 BERT 模型
Multimodal Transformer 综述
本文从优化器(梯度)的角度来分析和实现 LoRA
介绍各种 Transformer 位置编码方式,包括:
总结一下 2023 年的 Google I/O 大会,主要聚焦于 AI 部分
ImageBind:以 Image/Video 数据作为参照物,将文本(Text)、音频(Audio)、深度图(Depth)、热红外图(thermal)以及 IMU 数据,嵌入到一个联合的向量空间中
现有的大 Transformer 模型通常是把模型的 "宽度" 做大,而不是把 "深度" 做大,主要的原因是深的 Transformer 模型训练起来非常困难。DeepNet 通过 Post Norm 的结构以及 DEEPNORM 归一化方法,成功训练了 1000 层的 Transformer 模型。