AE
нуууу это вообще странная задача, я бы не хотел бы иметь кучу переводов на какой-то целевой текст
Size: a a a
2021 January 29
Eg
нуууу это вообще странная задача, я бы не хотел бы иметь кучу переводов на какой-то целевой текст
имеется в виду сбор параллельных текстов на какую-то пару языков (не по целевым текстам, а по целевым языкам)
AE
а цель-то какая ? просот мне кажется все что связано с переводами ты либо доверяешь 1 сервису (например гугл транслейту) либо переводчику. во всех остальных случаях это какой-то мартышкин труд
Eg
а цель-то какая ? просот мне кажется все что связано с переводами ты либо доверяешь 1 сервису (например гугл транслейту) либо переводчику. во всех остальных случаях это какой-то мартышкин труд
сделать свой гугл-транслейт )
ну на самом деле может быть какая-то аналитическая цель, может, я исследователь стилистики переводов
ну на самом деле может быть какая-то аналитическая цель, может, я исследователь стилистики переводов
AE
тогда это крайне нишевый продукт
AL
Антон, осенью был "1й национальный конгресс по ИИ" - там была постерная сессия - почти все собирали какие-то данные под свои работы. Но, я по себе знаю, что когда ты хочешь заниматься разработкой алгоритма, а вынужден собирать данные - это сильно печалит ) и качество сбора все же ниже, чем если бы собирал тот, кто это делает постоянно ) ...но, ученым это не продать ) если только из личного интереса делать )
AE
Я очень хорошо понимаю тот факт, что 90% а может и все 99% успеха модели это в первую очередь данные. Другое дело, что именно должно решаться это вот бооооольшой вопрос.
AL
в том то и дело )
N
а цель-то какая ? просот мне кажется все что связано с переводами ты либо доверяешь 1 сервису (например гугл транслейту) либо переводчику. во всех остальных случаях это какой-то мартышкин труд
в смысле? для любого соревнования по МТ могут пригодиться доп. данные, а уж тем более чистые. можно файнтьюнить чужую модель на чём-то конкретном, можно собирать корпуса в конкретном домене и т.п.
NK
вот и я ищу - зачем :)
Ну например сюда можно пойти работу работать: https://www.scrapinghub.com/jobs/
NK
(я не из scrapinghub, просто давно при них знаю)
AL
я хочу быть их конкурентом, а не работать с ними ))
NK
я хочу быть их конкурентом, а не работать с ними ))
Ню-ню. Тогда надой найти много $$$ на сервера, разработчиков, сервера и поддержку. Или начать с заказов по скрапингу (и возможно постобработке), снова для развития деловой. а не технической компетенции. Или поработать в уже живом бизнесе. а потом уйти делать свой.
YB
Ню-ню. Тогда надой найти много $$$ на сервера, разработчиков, сервера и поддержку. Или начать с заказов по скрапингу (и возможно постобработке), снова для развития деловой. а не технической компетенции. Или поработать в уже живом бизнесе. а потом уйти делать свой.
ну вот Алексей и спрашивает про заказы.
YB
Сергей Марков рассказывает
про Fine-tuning больших языковых моделей
https://us02web.zoom.us/j/88301991162?pwd=MUlYaGVQZ2lLczcvd1FnWFVRTWkyUT09
прямо сейчас
про Fine-tuning больших языковых моделей
https://us02web.zoom.us/j/88301991162?pwd=MUlYaGVQZ2lLczcvd1FnWFVRTWkyUT09
прямо сейчас
I
Сергей Марков рассказывает
про Fine-tuning больших языковых моделей
https://us02web.zoom.us/j/88301991162?pwd=MUlYaGVQZ2lLczcvd1FnWFVRTWkyUT09
прямо сейчас
про Fine-tuning больших языковых моделей
https://us02web.zoom.us/j/88301991162?pwd=MUlYaGVQZ2lLczcvd1FnWFVRTWkyUT09
прямо сейчас
А запись будет?
NK
А запись будет?
По крайней мере выступление записывается
I
Да, я вижу) просто не сначала подключился
AL
Ню-ню. Тогда надой найти много $$$ на сервера, разработчиков, сервера и поддержку. Или начать с заказов по скрапингу (и возможно постобработке), снова для развития деловой. а не технической компетенции. Или поработать в уже живом бизнесе. а потом уйти делать свой.
Вот вы подстебываете (хотя я выше писал, что давно в теме), а я придумал, чем могу быть полезен сообществу nlp'шников :) ...могу же сдавать в аренду готовую инфраструктуру и поискового робота, который обходит тысячи, десятки тысяч сайтов - в задачах, где нужна проверка моделей/алгоритмов на случайных данных :) ...в исследовательских задачах.
Обычного парсинга на рынке куча ... )
Обычного парсинга на рынке куча ... )
AO
на примере новостей - это что-то типа:
- найти 5000 новостных сайтов
- автоматически выделить текст новости, заголовок, автора, дату, ссылки (если есть), категорию новости в пределах сайта
- собрать чистый датасет, с выделением каждого поля в отдельную колонку; без мусора из html-тэгов и т.п. )
- найти 5000 новостных сайтов
- автоматически выделить текст новости, заголовок, автора, дату, ссылки (если есть), категорию новости в пределах сайта
- собрать чистый датасет, с выделением каждого поля в отдельную колонку; без мусора из html-тэгов и т.п. )
https://www.gdeltproject.org/ 50k новостных сайтов на 100+ языках, обновление каждые 15 мин, выделение сущностей и событий, аналитика. Кроме текстовых новостей анализируются и видео-новости. Все это бесплатно.