LLM Internals Visualized
大模型不认识文字，只认识 Token。输入任意文本，看看它如何被拆分成 token。
每个 token 映射为高维向量。语义相近的词在向量空间中距离更近。点击两个点查看余弦相似度。
从输入文本到输出下一个 token，经过这些关键步骤。点击"下一步"逐步查看。
观察大模型推理的每个阶段。
模型如何选择下一个 token？它为每个候选词计算概率，然后采样。点击候选词来模拟这个过程。
Self-Attention 让每个 token "关注"其他 token。颜色越深代表注意力权重越高。