Мнение оппозиции
механика интеллекта
Создана: 17 Декабря 2025 Срд 14:09:08.
Раздел: "Мнение оппозиции"
Сообщений в теме: 2, просмотров: 115
-
17 Декабря 2025 Срд 14:09:08трансформер это зерно LLM
придумали его в google, но начали использовать в openAI
он состоит из двух частей, по моему -
1. матриц внимания, их существует четыре типа - матрица запрос, матрица ключ, матрица значение и матрица выхода
2. матриц FFN (Feed-Forward Network), их называют матрицы баз знаний, обычно это две или три большие матрицы - матрица Up-Projection, матрица Down-Projection и матрица Gate (Ворота) -
20 Декабря 2025 Суб 12:26:05у современных продвинутых моделей трансформер состоит только из декодера
Если в электронике дешифратор просто выбирает один сигнал из многих, то в нейросетях декодировщик — это структура, которая предсказывает следующее слово (токен) на основе всего предыдущего контекста.
декодер создает процесс авторегрессии:
1. Вы даете модели начало фразы (промпт).
2. Декодировщик вычисляет вероятность того, какое слово должно идти следующим и добавляет его к фразе.
3. Повторяет процесс снова и снова, пока не закончит мысль.
декодер состоит из нескольких механизмов которые позволяют ему «понимать» текст и генерировать продолжение:
Masked Self-Attention (Маскированное самовнимание): декодировщик имеет в качестве запроса неоконченные фразы (не полностью сформулированные задания, запросы). Модель должна угадывать следующее слово, опираясь только на то, что уже было сказано ранее.
Слои прямой связи (Feed-Forward Networks): После того как механизм внимания собрал связи между словами (например, понял, что слово «открыл» относится к слову «книга»), эти слои обрабатывают информацию и формируют более абстрактное представление смысла.
Линейный слой и Softmax: Это финальный этап. Декодировщик переводит свои математические вычисления в список вероятностей для всех слов, которые он знает (его словаря). Например: «кот» — 80\%, «пес» — 5\%, «самолет» — 0.1\%.
