M
В вебмастере яндекса полезли в выдачу страницы с хвостом /embed - это после обновления вордпресса походу, у кого то есть такое? как закрываете?
А каконикал что показывает?
Size: a a a
2021 March 24
i
А каконикал что показывает?
нормальный, но раньше вордпресс таких урезанных страничек не генерил, не хочется, чтобы по лишним страницам робот мотался все равно
2021 March 25
c
Не. Это то, что работает.
Про прототип не дописал. Мы доделывали для 1 проекта дополнительный фокус. Собирали не только сами заголовки, но и тексты под ними и сравнивали их между собой. То есть если заголовки разные, но тексты под ними схожи на 70%+, то скорее всего это синонимы. И это просто +1 этап. но так и не добрались добавить эту штуку в Бонику.
Про прототип не дописал. Мы доделывали для 1 проекта дополнительный фокус. Собирали не только сами заголовки, но и тексты под ними и сравнивали их между собой. То есть если заголовки разные, но тексты под ними схожи на 70%+, то скорее всего это синонимы. И это просто +1 этап. но так и не добрались добавить эту штуку в Бонику.
Интересная реализация!
p.s. Но больше интересен подход как такое сравнение работает (на 70%)? (стемер портера, через яндекс.мустим, машинное обучение)?
p.s.s. не конкурент, просто интересующийся.
p.s. Но больше интересен подход как такое сравнение работает (на 70%)? (стемер портера, через яндекс.мустим, машинное обучение)?
p.s.s. не конкурент, просто интересующийся.
AB
Интересная реализация!
p.s. Но больше интересен подход как такое сравнение работает (на 70%)? (стемер портера, через яндекс.мустим, машинное обучение)?
p.s.s. не конкурент, просто интересующийся.
p.s. Но больше интересен подход как такое сравнение работает (на 70%)? (стемер портера, через яндекс.мустим, машинное обучение)?
p.s.s. не конкурент, просто интересующийся.
Не оч понятен вопрос. Как сделана лемматизация? По словарям корпуса русского языка. Как делается сравнение? Любой алгоритм сравнения текстов (поиска уникальности)
M
Не оч понятен вопрос. Как сделана лемматизация? По словарям корпуса русского языка. Как делается сравнение? Любой алгоритм сравнения текстов (поиска уникальности)
А как делается выборка самого длинного заголовка?
r
Вебмастерскую смотрите?
А
Новый инструмент появился, не видел раньше
AS
Так его раньше не было 😃
c
Не оч понятен вопрос. Как сделана лемматизация? По словарям корпуса русского языка. Как делается сравнение? Любой алгоритм сравнения текстов (поиска уникальности)
Да, спасибо. А какой словарь используете? Или онлайн результаты парсите?
M
спасибо
AB
А как делается выборка самого длинного заголовка?
Так по тому же алгоритму уникальности, но в рамках заголовков между собой. Это чуть проще и сильно быстрее, чем куски текста сравнивать. Но смысл тот же.
M
Так по тому же алгоритму уникальности, но в рамках заголовков между собой. Это чуть проще и сильно быстрее, чем куски текста сравнивать. Но смысл тот же.
аа
AB
Да, спасибо. А какой словарь используете? Или онлайн результаты парсите?
Онлайн - это как? Это же жопа будет полная по скорости. 😊
Ну давай прикинем. Если у нас средний текст 8к символов, это 1000 слов. Сооветственно ~800 триграмм (и слов) в тексте. (вычли стоп-слова и лемматизировали текст).
Мы берём для заголовков топ20. То есть 800 * 20 = 16к слов лемматризировали. Даже если онлайн будет за 100мс/слово, то 16к слов лемматизация займёт 1600 секунд. Это 26 минут. Это на 1 план текста.
Ну давай прикинем. Если у нас средний текст 8к символов, это 1000 слов. Сооветственно ~800 триграмм (и слов) в тексте. (вычли стоп-слова и лемматизировали текст).
Мы берём для заголовков топ20. То есть 800 * 20 = 16к слов лемматризировали. Даже если онлайн будет за 100мс/слово, то 16к слов лемматизация займёт 1600 секунд. Это 26 минут. Это на 1 план текста.
AB
Ну можно срезать на то, что слова повторяются. допустим 50%. 13 минут. На 1 план. 😊
AB
И это только лемматизация, без парсинга/чистки/сбора контента 😊 Ну и самого алгоритма сравнения. :_)
AB
так себе бизнес-план выходит...
c
Онлайн - это как? Это же жопа будет полная по скорости. 😊
Ну давай прикинем. Если у нас средний текст 8к символов, это 1000 слов. Сооветственно ~800 триграмм (и слов) в тексте. (вычли стоп-слова и лемматизировали текст).
Мы берём для заголовков топ20. То есть 800 * 20 = 16к слов лемматризировали. Даже если онлайн будет за 100мс/слово, то 16к слов лемматизация займёт 1600 секунд. Это 26 минут. Это на 1 план текста.
Ну давай прикинем. Если у нас средний текст 8к символов, это 1000 слов. Сооветственно ~800 триграмм (и слов) в тексте. (вычли стоп-слова и лемматизировали текст).
Мы берём для заголовков топ20. То есть 800 * 20 = 16к слов лемматризировали. Даже если онлайн будет за 100мс/слово, то 16к слов лемматизация займёт 1600 секунд. Это 26 минут. Это на 1 план текста.
Поэтому и спросил - какой словарь используете :)
AB
Поэтому и спросил - какой словарь используете :)
Так он вроде 1... Нет? "По словарям корпуса русского языка. "
AB
Мы эту штуку года 3-4 назад делали. Что, появились новые словари?