мне Chandler Caruth как-то рассказывал, что веса, которые внутри есть, они с помощью ML на какой-то выборке проектов и подбирали :) а сейчас каждый сможет нормально так делать под своё приложение, надеюсь
Можно ли где-нибудь узнать о списке этих весов? Что конкретно так настраивают?
Мне кажется что ML для таких вещей оверинженеринг. Проще найти минимум через градиентный спуск (хотя надо быть аккуратным с выбором начального шага). С таким подходом можно даже это делать и в самом компиляторе в каком нибудь режиме —converge и автотюнинговать таким образом под конкретную кодовую базу
Мне кажется что ML для таких вещей оверинженеринг. Проще найти минимум через градиентный спуск (хотя надо быть аккуратным с выбором начального шага). С таким подходом можно даже это делать и в самом компиляторе в каком нибудь режиме —converge и автотюнинговать таким образом под конкретную кодовую базу
мне Chandler Caruth как-то рассказывал, что веса, которые внутри есть, они с помощью ML на какой-то выборке проектов и подбирали :) а сейчас каждый сможет нормально так делать под своё приложение, надеюсь