elementos unicos de una matriz

matriz=[[7,4,5],[2,4,1],[2,3,9]]
numeros=[]

for j in range(0,len(matriz)):
    for m in range(0,len(matriz)):
        if not(matriz[j][m] in numeros):
             numeros.append(matriz[j][m])
        elif matriz[j][m] in numeros:
            numeros.remove(matriz[j][m])

print("Numeros unicos",numeros)