// 動作検証してないですけど、列挙型を使う方法を描いてみますね。
// 構造体でオプショナルを使う方法も、型の名前通り『どちらか１方』を保証できること、
// また『数値でも文字列でもなかった時（想定外）は両方 nil』みたいな状況にならないため、想定外を判断しやすくなる（判断を強いられる）ようになるのを期待してます。
enum IntOrString: Decodable {

    // Int? と String? を持たせる方法よりも『択一性』が表現できます。
    case int(Int)
    case string(String)

    // デコードでは switch を使って『目標が e.rawValue』であることを明確にしたり、
    // 漏れがあった時に Himotoki.DecodeError.typeMismatch を返して、さらに『文字と数値以外』が得られた時に、それをエラー機構にゆだねることができるはずです。
    static func decode(_ e: Extractor) throws -> IntOrString {

        switch e.rawValue {

        case let v as String:
            return .string(v)

        case let v as Int:
            return .int(v)

        case let v:
            throw typeMismatch("Int or String", actual: v)
        }
    }
}

extension IntOrString : CustomStringConvertible {

    // 必要なら（というか Swift の世界では文字列表現にしたいなら）そのものを単一の文字列表現可能にする (CustomStringConvertible) 手もあります。
    // そうすると、内部で int か string かを意識せずに、value.description で、文字列として扱えるようになります。
    // 今回みたいな IntOrString みたいな汎用的な名前の方の場合は、今回みたいに CustomStringConvertible に頼るよりも単純に var stringValue を実装して value.stringValue とする方が明瞭な可能性もあります。
    var description: String {

        switch self {

        case let .int(v as CustomStringConvertible), let .string(v as CustomStringConvertible):
            return v.description
        }
    }
}