本文介绍 LLM 训练过程中重要的 Scaling Laws,这是一个经验规律,指出了固定训练成本(总计算量FLOPs) C C C 时,如何调配模型规模(参数量) N N N 和训练 Token 数据量 D D D,才能实现…
倒排索引:
组成
term index(词项索引 ,存放前后缀指针)
Term Dictionary(词项字典,所有词项经过文档与处理后按照字典顺序组成的一个字典(相关度))
Posting List(倒排表…