Найти дубликаты в двух фреймах данных

[maksdev1981]

Доброго времени суток, собственно сабж: есть два pandas.dataframe нужно найти записи в первом фрейме, которые есть во втором и их как-нибудь пометить сделал через перебор фреймов - очень долго, есть ли стандартные способы pandas?

df3 = pd.DataFrame(columns=['Фамилия', 'Имя', 'Отчество', 'Дата рождения'])
i = 0
for index, row in df1.iterrows():
    for index1, row1 in df2.iterrows():
        if row[4] == row1[4]:
            df3.loc[i] = [row[0], row[1], row[2], row[3]]
            i = i + 1

Делаю так - но очень долго перебирает

[ViktorR]

Возможно и есть, я не дока.
Но можно отметить, что в вашем варианте для каждой строки из df1 вы просматриваете весь df2.
Думаю, что если предварительно выполнить сортировку df1 и df2, например, по фамилии, то отбор можно ускорить.

[maksdev1981]

ViktorR, Я не весь код показал делал и сортировку естественно, прибавка в скорости была, но незначительная. Остановился на классике пока - загрузил оба фрейма в базу данных и sql обработал, но все таки уверен, что есть способ сделать это и не выгружая данные никуда Кто бы направил

[ViktorR]

Натолкнулся на книгу:
Плас Дж. Вандер, Python для сложных задач: наука о данных и машинное обучение, 2018.
Глава 3. Манипуляции над данными с помощью пакета Pandas

Может это поможет?