Анализ вредоносного ПО (Malware Analysis) и поиск "дыр" в защите систем.
Лучший способ учиться — решать специально созданные задачи. Сайты вроде Crackmes.one предлагают программы, которые нужно «взломать» (найти пароль или изменить логику проверки), чтобы потренировать навыки. Где применяется
Большинство системных программ написаны на них. Важно понимать работу с памятью (указатели, куча, стек).