1、 兩個文件的交集、並集
(1)、取出兩個文件的並集（重複的行只保留一份）
cat file1 file2 | sort | uniq > file3
(2)、取出兩個文件的交集（只留下同時存在於兩個文件中的文件）
cat file1 file2 | sort | uniq -d > file3
(3)、 刪除交集，留下其他的行
cat file1 file2 | sort | uniq -u > file3
2、一個文件去掉重複的行
(1)、 重複的多行記爲一行
sort file |uniq
(2)、 重複的行全部去掉
sort file |uniq -u
CSV 合併
cat *.csv > full.csv
CSV 去重，先把表頭去掉再用
awk 'seen[$0]++ { print $0 > "all_dups.csv"; next } { print $0 > "all_nodups.csv" }' full.csv
'all_dups.csv’是所有冗餘的記錄，‘all_nodups.csv’是唯一記錄；