AlumniAIКурсы по направлениям, тренажёр на Python с автопроверкой прямо в браузере и разборы оригинальных статей. Для школьников и студентов.
Как трансформер понимает порядок слов. 15 разборов по оригинальным статьям: от синусоид и RoPE до растяжения контекста и Фурье-признаков. Формулы, код на PyTorch и интерактивные графики.
Как нейросеть понимает, что ошиблась. 14 разборов по оригинальным статьям: от MSE и кросс-энтропии до диффузии и DPO. Формулы, код на PyTorch и интерактивные графики.
Идея. Не прибавлять позицию к вектору, а повернуть вектор на угол, пропорциональный позиции. Тогда оценка внимания зависит только от расстояния:
Где прижилось: GPT-J, PaLM, LLaMA, Mistral, Qwen, DeepSeek.