Привет!
Хочу применить TF модель к колонке Dataframe и записать ее в другую колонку, используя батчи. Кажется, решение не очень эффективное. К тому же, хотелось бы хранить данные в формате numpy array, а не list. Можете подсказать, как улучшить?
BATCH = 128
embeddings = []
for i in tqdm(range(0, len(df), BATCH)):
start, end = i, min(len(df), i + BATCH)
res = model(df[start:end]['text'])
res = tf.make_ndarray(tf.make_tensor_proto(res))
embeddings += res.tolist()
df['embeddings'] = embeddings
UPD. пробовал еще с df.apply, но так выходит ~10 раз дольше
