А где здесь ИИ?
Сколько строк в списке всех закупок?

крайний раз задачу пытались реализовать кластеризацией по названию в закупке, но это не привело ни к какому вменяемому результату, потому что закупки именуют кто во что горазд

Всем привет. Кто может помочь с поиском решения не самой тривиальной задачи по аналитике закупок? Готов совместно реализовывать(есть конкретный заказчик).
Суть простая - нужно найти среднюю взвешенную цену для конкретного товара в закупках. Звучит просто, но весь нюанс в данных - для начала нужно выделить товары/услуги в списке всех закупок. Необходимо найти решение, которое позволит автоматизировать поиск средней взв. цены к примеру,  только для электрических пневмозаклепочников, не учитывая аккумуляторные заклепочники, детали для них, запчасти или сами заклепки.

Т.е. строки не имеют одинаковой структуры?
Типа номер, название, артикул, характеристика 1, характкристика2, цена, и т.д.
Или имеют?

Кажется, без учителя никакой ИИ не сможет нормально разобраться, какие две текстовые строки являются названием одного и того же товара, какие - разными.
Нужно сажать людей генерировать разметку.
Потом на основе этой разметки можно обучить что-то вроде NER - находить в тексте атрибуты товаров и по их сравнению уже товары считать одинаковыми или разными.

да, эту мысль тоже прорабатываю, чтобы разметить данные, но тут возникает вопрос глубины категоризации - ручка гелевая и ручка шариковая это все еще одна категория, или две разные.

Кажется, без учителя никакой ИИ не сможет нормально разобраться, какие две текстовые строки являются названием одного и того же товара, какие - разными.
Нужно сажать людей генерировать разметку.
Потом на основе этой разметки можно обучить что-то вроде NER - находить в тексте атрибуты товаров и по их сравнению уже товары считать одинаковыми или разными.

Ну и в дополнение к выделению атрибутов придётся онтологию какую-то писать, чтобы понимать, насколько не-равные атрибуты на самом деле далеки друг от друга.

нет, в этом то вся и проблема. Есть классификация по окпд2, но она очень часто сильно верхнеуровневая, и к примеру в категорию пластиковые канцелярские пишущие принадлежности могут попасть автоматические карандаши и гелевые ручки и и шариковые ручки.

Парсить, парсить и парсить.
Есть мнение, что ИИ всё равно не даст однозначной идентификации того или иного товара и не отсеет двойников, по разному описанных.

Парсить, парсить и парсить.
Есть мнение, что ИИ всё равно не даст однозначной идентификации того или иного товара и не отсеет двойников, по разному описанных.

ну пока самая жесткая идея состоит в том, чтобы взять все данные и завести для каждого общие уникальные флаги/параметры. То есть именно разметить до какого-то удобоваримого состояния

Нам бы на данные нормально посмотреть для начала ;) все равно будут паттерны поведения клиентов в отрасли, их и надо формулировать.

Нам бы на данные нормально посмотреть для начала ;) все равно будут паттерны поведения клиентов в отрасли, их и надо формулировать.