AK
А что, если два дубля с NY?
Size: a a a
2021 April 06
JF
JF
их нужно оставить
JF
оставить всех с NY
JF
даже если их 100
N
spark.sql(«select * from my_df_alias where name = ‘James’ and state = ‘NY’ or name != ‘James’»)
ЕГ
А если нет NY?
JF
NY всегда будет
ЕГ
Тогда просто фильтрануть
JF
не-а
JF
пробовала
JF
оставить всех только с NA нельзя
JF
тогда уникальные другие пропадут
ЕГ
Тогда NY не всегда есть)
IS
Вопрос скорее в том, по каким полям определяется уникальность)
JF
уникальность определяется по name, department
JF
это ключ
IS
Если name и department, то NY действительно есть не всегда
JF
да, логично
JF
может, у кого-то быть CA