Платформа для изучения ИИ
Машинное обучение от первой задачи до олимпиад и статей Курсы по направлениям, тренажёр на Python с автопроверкой прямо в браузере и разборы оригинальных статей. Для школьников и студентов.
01 Среднее арифметическое
Основы лёгкая
Решить 02 Нормализация массива
NumPy лёгкая
Решить 03 Линейная регрессия вручную
ML средняя
Решить 04 Gradient Descent
ML средняя
Решить Позиционное кодирование · Урок 8 из 15
RoPE — вращательное позиционное кодирование Идея. Не прибавлять позицию к вектору, а повернуть вектор на угол, пропорциональный позиции. Тогда оценка внимания зависит только от расстояния:
⟨R(mθ) q, R(nθ) k⟩ = q⊤ R((n − m)θ) k
Где прижилось: GPT-J, PaLM, LLaMA, Mistral, Qwen, DeepSeek.
Читать урок Su и др., 2021 · код на PyTorch · интерактивный график R(mθ)·q DEEP LEARNING Позиционное кодирование 15 уроков · по статьям
Тарифы Подписка открывает курсы с отметкой «По подписке»