ДС
ясно же было что программы писать не начнет
Так простые пишет.
Size: a a a
2020 December 05
$
но теперь обычные тексты продолжает кусками кода
$
Так простые пишет.
это бесполезно пока
$
в отличии от генерации текстов
YB
в смысле все подряд
а как же внимание, интересы
а как же внимание, интересы
Ну вот, а внутри интереса -- "всё подряд", вы же не разделяете статьи по уровню, чтобы читать сначала более простые. Да на них и уровни нигде не написаны... И многие статьи примерно одного уровня...
Просто сеть дорого (и долго) обучать последовательно, batch size для текста кажется порядка миллиона. Если бы вы читали сразу миллион кусков статей, пусть даже по какой-то теме -- вас бы в дурку упекли, это да.
Ну а темы -- отдельный вопрос. Обучают на всём, потому что качество на отдельной теме обычно от этого не падает, и получают более полезную универсальную многофункциональную сеть. С GPT отдельный вопрос, конечно, там тему не так легко настроить при генерации. Но эта проблема тоже решаемая.
Просто сеть дорого (и долго) обучать последовательно, batch size для текста кажется порядка миллиона. Если бы вы читали сразу миллион кусков статей, пусть даже по какой-то теме -- вас бы в дурку упекли, это да.
Ну а темы -- отдельный вопрос. Обучают на всём, потому что качество на отдельной теме обычно от этого не падает, и получают более полезную универсальную многофункциональную сеть. С GPT отдельный вопрос, конечно, там тему не так легко настроить при генерации. Но эта проблема тоже решаемая.
YG
Как бы оперирует человек с помощью дефолт системы мозга, древнейшего контура предназначенного для
выстраивания социальных отношений человека с племенем.
То есть это первую очередь образная система изначально с элементами иерархии
С которой постепенно увязывается и текстовые знаки
Если уж выстраивать аналогию с детьми.
выстраивания социальных отношений человека с племенем.
То есть это первую очередь образная система изначально с элементами иерархии
С которой постепенно увязывается и текстовые знаки
Если уж выстраивать аналогию с детьми.
НК
А чтобы в gpt добавить 100 мб нового текста, это можно дообучать или заново весь массив переобучать?
AS
можно дообучать
2020 December 06
МП
Кто то знает библиотеки для работы с контекстами слов?
Что-то вроде получить по слову контекст, но основываясь только на определенном тексте
Что-то вроде получить по слову контекст, но основываясь только на определенном тексте
V
Человек ещё совершает логические операции над познаний информацией, что приводит к критическому мышлению. Нейронки ТРИЗ не могут, там другой подход нужен.
НК
Кто то знает библиотеки для работы с контекстами слов?
Что-то вроде получить по слову контекст, но основываясь только на определенном тексте
Что-то вроде получить по слову контекст, но основываясь только на определенном тексте
Elmo модели, не?
НК
В Natasha по умолчанию slovnet_bert активирован или как?
AK
В Natasha по умолчанию slovnet_bert активирован или как?
По умолчанию дистилированная модель
НК
а как включить bert?
AK
Готовой инструкции нет. Вообще возможность использовать bert вариант именно в библиотеке natasha не предусматривался. Вы можете использовать модели напрямую через slovnet.
V
Viacheslav
Человек ещё совершает логические операции над познаний информацией, что приводит к критическому мышлению. Нейронки ТРИЗ не могут, там другой подход нужен.
могут, надо заточить
V
могут, надо заточить
Ну это не тревиальная задача
MK
Sergei Markoff
Примерно то же, что я описывал тут https://habr.com/ru/company/sberbank/blog/524522/#comments
Ключевые отличие: 1) починены html-entities, 2) докинуты arXiv и Pubmed Central, 3) докинуты датасеты символьной логики кое-какие, 4) немного улучшена фильтрация, теперь она на основе оценки энтропии, в итоге выкинулся разный флуд и мусор.
Ключевые отличие: 1) починены html-entities, 2) докинуты arXiv и Pubmed Central, 3) докинуты датасеты символьной логики кое-какие, 4) немного улучшена фильтрация, теперь она на основе оценки энтропии, в итоге выкинулся разный флуд и мусор.
Жаль что не "покричали" в Сберовском DS чате. Мы бы юридических документов подкинули бы. ELMO на 1.2 гига обучали, но в принципе хоть 5 Гб собрать реально.
AW
Жаль что не "покричали" в Сберовском DS чате. Мы бы юридических документов подкинули бы. ELMO на 1.2 гига обучали, но в принципе хоть 5 Гб собрать реально.
Было б прикольно сделать перекличку людей из Сбера. Я бы подкинул 2гб vc.ru
2020 December 07
SM
Жаль что не "покричали" в Сберовском DS чате. Мы бы юридических документов подкинули бы. ELMO на 1.2 гига обучали, но в принципе хоть 5 Гб собрать реально.
Ещё можно докинуть.