回顾以下注意力机制:
自注意力机制
Self-Attention的关键点 在于 K ≈ \approx ≈V ≈ \approx ≈Q 来源于同一个X,三者是同源的,通过 W Q W_Q WQ, W K W_K WK, W V W_V WV做了一层线性变换。 接下来步骤和注意力机制一模一样。 …
🌷🍁 博主猫头虎(🐅🐾)带您 Go to New World✨🍁 🦄 博客首页:
🐅🐾猫头虎的博客🎐《面试题大全专栏》 🦕 文章图文并茂🦖…