1) с помощью Алгоритма Евклида
Литература по теории многочленов
Скачиваем Солодовников, Родина задачник-практикум по алгебре
Есть образцы
Еще Винберг Алгебра многочленов

2) да система, другого посоветовать не могу
Может кто еще подскажет..

первое вроде по Эвклиду делается,но сколько не решал не получается .Может по другому как-нибудь можно?

Задание именно на Евклида. Значит, вычислительные ошибки.

По-другому можно так: разложить на множители g(x) и проверить делимость этих множителей на f(x). Но это будет ответ для проверки, а задание обычно делается таки по Евклиду.

2) Видимо, матрицу в общем виде, да. И система. Она вроде однородная, а такие решаются суммированием всех строчек, а затем вычитанием нужных для сведения к более удобной системе.

2) Собственные значения у этой матрицы разные - это 9 и 4 (да еще корень из них извлекается). Это значит, что в некотором базисе матрица (рассматриваемая как матрица оператора) будет диагональной. Из диагональной матрицы извлечь квадратный корень легко (будет четыре значения). Потом вернуть к старому базису.

Q - матрица перехода
Т.е. нужно вычислить собственные вектора взять их в качестве базиса, вычислить Q^-1.
Проще можно, если элементарными преобразованиями приводить к диагональному виду. Тогда матрица Q будет произведением матриц, соответствующих преобразованиям.