setA:
2
4
5
6

set B:
1 123
2 abc
3 def
4 hij

1 123
3 def

awk 'NR==FNR {key[$1]; next} !($1 in key)' setA setB

1 123
3 def

join -v2 setA setB