cu
А что такое ruGPT2048? Это GPT2 или GPT3? и зачем там отдельно про неё что-то написано? и можно какую-то ясность внести, в репо вообще GPT2 есть?
Size: a a a
2020 October 22
RS
Про Stanford, если кто не знает, цена коммерческого использования CoreNLP начинается от $120k в год + дополнительная плата за аннотаторы + условия могут измениться на следующий год и начать зависеть от выручки
SM
А что такое ruGPT2048? Это GPT2 или GPT3? и зачем там отдельно про неё что-то написано? и можно какую-то ясность внести, в репо вообще GPT2 есть?
Я написал выше: это GPT-3 Large (760 млн весов, контекст 2048 токенов), у которой все аттеншны dense.
AS
Переслано от Alex Surname
мой бинарный классификатор выдает число с на выходе(чем больше число - тем выше вероятность принадлежности данных к классу). я в программе задал константу эмпирически С, если с > C, значит данные принадлежат классу. но для других данных обучения С совсем другая. какие есть методы как-то автоматически определять С или по-другому выявлять принадлежность данных к классу?
N
Про Stanford, если кто не знает, цена коммерческого использования CoreNLP начинается от $120k в год + дополнительная плата за аннотаторы + условия могут измениться на следующий год и начать зависеть от выручки
ну никто не говорит, что они образец :)) а какие там вообще прямо суперпримочки-то коммерческой модели?
RS
Natalia
ну никто не говорит, что они образец :)) а какие там вообще прямо суперпримочки-то коммерческой модели?
Никаких примочек нет. Но лицензирование двойное. Поэтому открытую версию можно использовать только для некоммерческого использования и только под GPL-проекты. Впрочем, исправлять ошибки за эти деньги они будут.
Откровенно говоря, их размер лицензии примерно соответствует годовой зп инженера в тех краях.
Откровенно говоря, их размер лицензии примерно соответствует годовой зп инженера в тех краях.
N
а, логично, поняла
AE
Переслано от Alex Surname
мой бинарный классификатор выдает число с на выходе(чем больше число - тем выше вероятность принадлежности данных к классу). я в программе задал константу эмпирически С, если с > C, значит данные принадлежат классу. но для других данных обучения С совсем другая. какие есть методы как-то автоматически определять С или по-другому выявлять принадлежность данных к классу?
На кросс-валидации подобрать порог отсечения так, чтобы был лучший результат по выбранной метрике
AS
На кросс-валидации подобрать порог отсечения так, чтобы был лучший результат по выбранной метрике
ну я уже думал так, но это получается нужно больше данных(данные для обучения + данные чтоб подобрать порог)
AE
ну я уже думал так, но это получается нужно больше данных(данные для обучения + данные чтоб подобрать порог)
Сильно зависит от того, сколь долго обучается модель, какие требования к качеству.
В принципе, можно и на проде порог подбирать. Только поначалу будете сильно ошибаться. Но потом должно сойтись.
В принципе, можно и на проде порог подбирать. Только поначалу будете сильно ошибаться. Но потом должно сойтись.
AS
дело в том что я создаю разные модели на основе этого алгоритма(каждый набор текстов = своя модель), и у каждой модели свой оптимальный порог
SZ
Sergei Markoff
Народ, поправили некоторую путаницу с названиями моделей в репе.
ruGPT2Large: это GPT-2 Large (контекст 1024)
ruGPT3Medium2048: это GPT-3 Medium (контекст 2048)
ruGPT2048: это GPT-3 Large (контекст 2048, при этом аттеншны все dense)
ruGPT2Large: это GPT-2 Large (контекст 1024)
ruGPT3Medium2048: это GPT-3 Medium (контекст 2048)
ruGPT2048: это GPT-3 Large (контекст 2048, при этом аттеншны все dense)
Спасибо!
БК
мне кажется, или гитхаб репо с gpt-3 от сбера обновили? теперь large только у gpt2 есть
БК
gpt3 только medium, не large
SD
Переслано от Sergei Markoff
Народ, поправили некоторую путаницу с названиями моделей в репе.
ruGPT2Large: это GPT-2 Large (контекст 1024)
ruGPT3Medium2048: это GPT-3 Medium (контекст 2048)
ruGPT2048: это GPT-3 Large (контекст 2048, при этом аттеншны все dense)
ruGPT2Large: это GPT-2 Large (контекст 1024)
ruGPT3Medium2048: это GPT-3 Medium (контекст 2048)
ruGPT2048: это GPT-3 Large (контекст 2048, при этом аттеншны все dense)
БК
упс, не заметил, пасиб
YB
Natalia
от _вас_ я ничего не хочу, я всего лишь хотела донести эту мысль (в некоторой надежде на то, что люди из deeppavlov тут тоже есть)
"обычному пользователю", который не может 5 строчек из документации того же spacy воспроизвести, я не знаю, зачем нужна какая-то лингвистическая разметка.
ну разметили вы что-то через веб-интерфейс, вы не умеете 5 строк кода для этого написать.
и что вы дальше без малейших навыков программирования будете делать?
ну разметили вы что-то через веб-интерфейс, вы не умеете 5 строк кода для этого написать.
и что вы дальше без малейших навыков программирования будете делать?
N
хочется закатить глаза, но некуда уже. вы правда считаете, что получить разметку, просто скопипастив текст, недостойно рядового человека?
N
и представьте себе, люди могут там даже делать сырую разметку для того, чтобы потом ручками парсить в ud annotatrix
YB
Natalia
хочется закатить глаза, но некуда уже. вы правда считаете, что получить разметку, просто скопипастив текст, недостойно рядового человека?
нет, я задаю другой вопрос, внимание: что вы будете с ней дальше делать?