相关性04：BERT模型 (Part 1) - 模型结构、线上推理
【禁止搬运】
目前（2024年）搜索引擎主流的相关性模型是BERT，包括交叉BERT、双塔BERT。这节课介绍模型的结构、线上推理，下节课详细讲模型的训练。
交叉BERT也叫单塔BERT，准确性高，但是推理代价大。有如下几种方法加速交叉BERT的线上推理。
1. 缩短序列长度（token数量），包括使用字词混合粒度分词、文本摘要。
2. 使用Redis这类内存数据库缓存已经计算过的相关性分数。
3. 做模型量化，比如将float32压缩到int8。
课件地址：
https://github.com/wangshusen/SearchE...