Погугли "программы bruteforce hydra и medusa", они настраиваются на брут конкретного сайта-сервиса, с них и надо начинать. Раньше работали они, лет 10 назад было, но я ими давно не пользуюсь - решил писать сам тогда, когда этим увлекался.
Можно писать свой брут на питоне или на C#, брут на python при хороших алгоритмах может обгонять по скорости софт на C++, так как тут основной фактор - сетевая задержка. Практически все протоколы Internet описаны в так называемых RFC документах - это текстовые файлы с номерами, в каждом из которых описан свой протокол. Это второе, с чего надо начинать.
И тут 2 статьи УК, о которых надо знать: создание вредного ПО и несанкционированное вмешательство, так что делай как задумал, без материального ущерба, чтобы исключить 'преступность деяния по малозначительности', без вреда и без 'потерпевших'. Потому что новичков берут и портят им всю оставшуюся жизнь, побоями и камерами, с запретом работать, например твой провайдер отслеживает такой bruteforce-траффик. Это третье, с чего надо начинать.