(Чтобы решить алгебраическое уравнение), [нужно знать математические формулы], (применение которых поможет выполнить задание).
Запятая 1 ставится между придаточным цели и главной частью. Придаточное присоединяется союзом ЧТОБЫ: нужно знать математические формулы (зачем? с какой целью?) чтобы решить алгебраическое уравнение.
Запятая 2 ставится перед придаточным определительным, которое относится к слову формулы: формулы (какие?) применение которых поможет выполнить задание. Придаточная часть присоединяется союзным словом КОТОРЫХ.
Запятая 3 не ставится. Союзное слово КОТОРЫХ находится не в начале придаточной части: она начинается со слова применение. Поэтому граница главной и придаточной частей проходит в позиции 2, а не непосредственно перед которых.
Запятая 4 не ставится: грамматическая основа придаточной части — применение поможет. Союзное слово которых является определением при слове применение, поэтому сочетание применение которых не отделяется от сказуемого поможет.