先进入模型内部,亲手接好一小段神经网络。以后再在这套计算上面对苹果 GPU / ANE 的执行、内存与数据搬运问题。
主线从 ReLU FFN、残差和 LayerNorm 开始,逐步搭建原版编码器与解码器。现代扩展比较 SiLU、SwiGLU、RMSNorm、Pre-LN 和 RoPE。云端与端侧路线练习数据搬运和计算调度。
原版结构使用固定手工权重做缩尺推理:基础算子两维,完整层四维、两个头,编码器和解码器各一层。LayerNorm 的缩放为 1、偏移为 0,FFN 偏置为 0;不包含训练和翻译能力。生成循环关单独使用固定转移表解释控制流程。
模型内部的特征对应输入位置,不是生成的新词。只有词表投影与选择后才得到文字。“错误的注意力”指与本关目标计算不同,不意味着能直接解释真实模型的全部语言理解。
后半段的时间、容量和 ANE 工作占比属于教学成本模型,不是 Apple 硬件实测。ANE 支持范围是本游戏约束,真实运行还取决于设备、编译器、模型与算子实现。
小关先练单个运算,综合关再把它们组合起来。每关会用多组输入验证;接线与进度分别保存,可以随时切换。运行时只在终点比较结果。
先学会一件事,再加入一个组件。每关的搭建进度单独保存。
组件和接线已保留,可以继续调整,再手动试跑。
把所有关卡标为未通过?已搭好的组件和连线会保留,通关标记与完成计数会清零。此操作无法撤销。
接好线路,让神经网络醒来。