5a − [a2 − {2a(1 − a + 4a2) − 3a(a2 − 5a − 3)}] −8a
We will first remove the innermost grouping symbol ( ), followed by { } and then [ ].
∴ 5a − [a2 − {2a(1 − a + 4a2) − 3a(a2 − 5a − 3)}] −8a
= 5a − [a2 − {2a − 2a2 + 8a3 − 3a3 + 15a2 + 9a}] −8a
= 5a − [a2 − {5a3 + 13a2 + 11a}] − 8a
= 5a − [a2 − 5a3 − 13a2 −11a] − 8a
= 5a − [ − 5a3 − 12a2 − 11a] − 8a
= 5a + 5a3 + 12a2 + 11a − 8a
= 5a3 + 12a2 + 8a