Solution.
V = 3(a − 6)(b − 6) = 5(a − 10)(b − 10)
⇒ 0 = 5(a − 10)(b − 10) − 3(a − 6)(b − 6) = 2ab − 32(a + b) + 392
hence the new volume is
V1 = 8(a−16)(b−16) = 8ab− 128(a + b) + 2048 = 4 ×(2ab− 32(a + b) + 512) = 4 × 120 = 480.