SМ
Да у нас хороший пример как получить сентенс представления через маскированный аттеншн
Size: a a a
2021 September 05
SМ
Можно и чисто токены,но над понимать ,что там сабворды где-то
SМ
И их над сложить в реальные слова
TL
Turning short answer to a question into a full answer
###
Question: How are you feeling?
Short answer: Sad
Answer is relevant to the question: Yes
Full answer: I am feeling sad
###
Question: How d you feel?
Short answer: yes. he does not understand
Answer is relevant to the question:
Такой промпт работает на одном примере который я пробую. Но наверняка погрешность будет, а мне нужно минимизировать false positive.
###
Question: How are you feeling?
Short answer: Sad
Answer is relevant to the question: Yes
Full answer: I am feeling sad
###
Question: How d you feel?
Short answer: yes. he does not understand
Answer is relevant to the question:
Такой промпт работает на одном примере который я пробую. Но наверняка погрешность будет, а мне нужно минимизировать false positive.
AS
А какая реализация? Какие настройки генерации?
В моём случае помогло буквально несколько "неудачных" исправленных примеров в "затравку" докинуть. На ruLarge.
Но да, GPT как правило, "до идеала" трудно докрутить, "фантазии" много.
В моём случае помогло буквально несколько "неудачных" исправленных примеров в "затравку" докинуть. На ruLarge.
Но да, GPT как правило, "до идеала" трудно докрутить, "фантазии" много.
TL
такую же задачу решали?
AS
Нет, классификации вопросов.
Потребовалось примеров 12 для хорошего результата.
Потребовалось примеров 12 для хорошего результата.
TL
А как мою задачу правильно сформулировать на анлийском чтобы поискать?
AS
Затрудняюсь подсказать. Формулировка из "завтравки" выглядит норм. Просто похоже на узкоспециальную задачу. При наличии примеров "похожих, но не таких" задач.
А всё же интересно - с какой реализацией GPT-3 работаете? И с какими настройками?
А всё же интересно - с какой реализацией GPT-3 работаете? И с какими настройками?
TL
OpenAI.
Я иду снизу вверх, пока что Babbage справлялся. Настройки стандартные, но 0 температура, т.к. правильный ответ только один.
Я иду снизу вверх, пока что Babbage справлялся. Настройки стандартные, но 0 температура, т.к. правильный ответ только один.
VS
Это понятно, когда есть заранее указанные слова, а если только одно, но нужно извлечь из той же ruroberta близкие понятия?
AS
А, счастливый человек с доступом :)
Ну в целом ИМХО правильно делаете.
Другое дело, что всё равно для серьёзной проверки любой модели понадобится массив проверочных примеров. И насколько сильно будет "уплывать" модель надо численно смотреть.
Правила-то тоже косячат, и без надежды одолеть нестандартные примеры.
Ну в целом ИМХО правильно делаете.
Другое дело, что всё равно для серьёзной проверки любой модели понадобится массив проверочных примеров. И насколько сильно будет "уплывать" модель надо численно смотреть.
Правила-то тоже косячат, и без надежды одолеть нестандартные примеры.
TL
а я думал уже всем дают?
AS
Я тоже :)
Но письмо из Хогвартса что-то так и не пришло.
Но письмо из Хогвартса что-то так и не пришло.
TL
Попробуйте Грегу на почту письмо написать:
https://twitter.com/gdb/status/1286086072103890944?lang=en
Мы так сделали.
https://twitter.com/gdb/status/1286086072103890944?lang=en
Мы так сделали.
AS
Хм, спасибо, попробую.
Но мне казалось, что если он AI не привлёк к обработке почты, то его похоронить должно было под запросами.
Но мне казалось, что если он AI не привлёк к обработке почты, то его похоронить должно было под запросами.
TL
он форвардит на коллег, насколько mailtrack показал
IT
Ну тогда https://rusvectores.org/ , работает норм. Конечно можно отсортировать по близости весь словарь токенов, но это какой-то изврат.
AK
DD
Если там в топ 10 NLP фреймоворков нет Huggingface, то это какой-то неправильный обзор.