У меня есть 6 фреймов данных pandas (пациенты, Test1, Test2, Test3, Test4, Test5), связанные с помощью ключа ID.
Каждая строка в кадре данных «Пациенты» представляет пациента, содержащего уникальный идентификатор, количество пациентов / строк составляет более 200000 человек.
Каждая строка в фреймах данных теста представляет результат теста за день. Столбцы для тестовых фреймов данных: ID, DATE, TEST_UNIT, TEST_RESULT. Каждый из тестовых фреймов данных содержит от 6 000 000 до 7 000 000 строк.
Я хочу перебрать все идентификаторы во фрейме данных пациентов и на каждой итерации использовать этот идентификатор для извлечения соответствующих тестовых данных из каждого из 5 тестовых фреймов данных и выполнить над ними некоторую обработку.
If I do
for i in range(len(Patients)):
ind_id = Patients.ID.iloc[i]
ind_test1 = Test1[Test1['ID'] == ind_id]
ind_test2 = Test2[Test2['ID'] == ind_id]
ind_test3 = Test3[Test3['ID'] == ind_id]
ind_test4 = Test4[Test4['ID'] == ind_id]
ind_test3 = Test5[Test5['ID'] == ind_id]
На итерацию уходит около 3,6 секунды.
Когда я попытался ускорить его с помощью интерфейса Numpy.
Patients_v = Patients.values
Test1_v = Test1.values
Test2_v = Test2.values
Test3_v = Test3.values
Test4_v = Test4.values
Test5_v = Test5.values
for i in range(len(Patients_v)):
ind_id = Patients_v[i, ID_idx]
ind_test1 = Test1_v[Test1_v[:, 0] == ind_id]
ind_test2 = Test2_v[Test2_v[:, 0] == ind_id]
ind_test3 = Test3_v[Test3_v[:, 0] == ind_id]
ind_test4 = Test4_v[Test4_v[:, 0] == ind_id]
ind_test5 = Test5_v[Test5_v[:, 0] == ind_id]
На итерацию уходит около 0,9 секунды.
Как я могу это ускорить?
Спасибо