Transformers and context: from static vectors to understanding meaning
- A Mini PHP Example: Attention as Weights
- Case 1. One term, different meanings (contextual sentence embeddings)
- Кейс 2. Длинный контекст важнее соседних слов
- Кейс 3. Attention как основа поиска по смыслу (минимальный поиск)