Das zugehörige Programm deinstallieren ist eine Möglichkeit. Wenn du das aber nicht willst sondern einfach nur die Liste aufräumen möchtest:

Dazu musst du in der Registry herumdoktern (Win+R, "regedit"). Unter

KEY_CURRENT_USER
SOFTWARE
Microsoft
Windows
CurrentVersion
Explorer
FileExts
<Dateiendung>
OpenWithList
muss man die Einträge die man nicht möchte löschen

Wenn du eine etwas laienfreundlichere Lösung möchtest gibt es ein kleines Tool, was genau das kann, OpenWithView von Nirsoft

https://www.nirsoft.net/utils/open_with_view.html

Auf "Download OpenWithView" klicken, entpacken und starten. Wenn du es auf Deutsch willst, zusätzlich die deutsche Übersetzung ("German" in der Tabelle) herunterladen, in den selben Ordner entpacken und dann das Programm starten