BandiCam хорошая программа, снимает с экрана сразу сжимая видео, без лишних настроек потом удобно делать пост в AE.
Camtasia Studio много наворотов всяких лишних, можно в разных форматах обычно ей и снимают ролики для учебных пособий, но я бы наверное BandiCam использовал.

на счет сжимать, я бы выбрал кодек .H264 в АЕ, битрейт подобрать надо оптимальный самому исходя из разрешения и количества кадров в секунду.