МУЗЫКИ НАУКИ ДАННЫХ

Линейная алгебра для науки о данных: большая картина линейной алгебры - Часть 2

Прелюдия к основной теореме линейной алгебры

Краткое введение. В этой серии я возвращаюсь к темам, обсуждавшимся профессором Гилбертом Стренгом в его последней серии лекций Взгляд на линейную алгебру 2020 года. Этот пост является второй частью серии Линейная алгебра для науки о данных. Я советую вам пройти первую часть, чтобы не упустить поток.

Моя цель здесь - поделиться с вами своим пониманием тем с соответствующими деталями, которые, как я полагаю, помогут лучше понять лекции и понять их нюансы.

Итак, вперед!

Темы, затронутые в Части 2:

В этой части я в основном расскажу о четырех фундаментальных подпространствах линейной алгебры и о том, как они соотносятся друг с другом.

  1. Подпространство векторного пространства
  2. Четыре фундаментальных подпространства
  3. Основа фундаментальных подпространств
  4. Большая картина!

Подпространство

Если V - векторное пространство в поле вещественных чисел, определяется как, а W - подмножество V, то W - это подпространство в V. Например, пусть векторное пространство V будет реальным координатным пространством R³, а W будет набором всех векторов в V, чьи последний компонент равен 0. Тогда W является подпространством V. В терминах матриц, пусть A будет матрицей 3 на 2, тогда пространство столбцов будет подпространством, если R³, и пространство строк будет подпространством, если R².

Четыре основных подпространства

Фундаментальная теорема линейной алгебры Гилберта Стренга описывает действие матрицы размером m на n A. Матрица A производит линейное преобразование из R ^ n в R ^ m, но это изображение само по себе слишком велико. «Истина» о Ax = b выражается в четырех подпространствах (два из R ^ n и два из R ^ m). Первый шаг - увидеть Ax как комбинацию столбцов A. Этот шаг поднимает точку обзора на подпространства. Мы видим Ax в пространстве столбца. Решение Ax = b означает нахождение всех комбинаций столбцов, дающих b, в пространстве столбцов.

Четыре основных подпространства:

  • Пространство столбца C (A), подпространство R ^ m
  • Пространство строк C (A ’), подпространство R ^ n (A’ = транспонирование A)
  • Нулевое пространство N (A), подпространство R ^ n
  • Левое пустое пространство N (A ’), подпространство R ^ m

Основа колоннного пространства

Из Части 1 мы знаем, что размерность пространства столбцов равна размерности пространства строк и равна рангу r матрицы A, т.е. dim (C (A)) = dim (C (A ')) = r.

Мы также видели, что для вычисления основы пространства столбцов нам нужно уменьшить матрицу A в форме эшелона строк и выбрать строку, соответствующую сводным элементам. Теперь давайте посмотрим, как рассчитать основу для трех других подпространств.

Основа пространства строк

Прежде чем продолжить, давайте согласуемся с обозначениями, которые мы будем использовать:

  • A - матрица m x n
  • A ’ транспонируется, если A
  • R - это сокращенная форма эшелона строки A. Это особый случай, когда каждая ведущая единица является единственной ненулевой записью в своем столбце.

Чтобы найти основу пространства строк, мы сначала уменьшаем матрицу в ее уменьшенной форме эшелона строк и выбираем строки в R, которые составляют единичную матрицу размера, равного рангу r. Как показано на рисунке выше, основу пространства строк составляют первые две строки. Итак, здесь основой пространства строк являются первые две строки R.

Обратите внимание, что при преобразовании A в R пространство строк остается неизменным, но пространство столбцов изменяется.

Основа нулевого пространства

Чтобы получить основу нулевого пространства A, нам нужно решить однородную систему уравнений, Ax = 0. Сначала мы получаем матрицу сокращенной формы эшелона строк, соответствующую матрице A, затем находим коэффициенты, соответствующие свободным переменным (переменная, соответствующая столбцам, не являющимся сводными в сокращенной форме эшелона строк). Попробуем разобраться на примере:

Основа левого нулевого пространства

Левое пустое пространство также можно рассматривать как нулевое пространство, если A ’. Итак, в этом случае мы решаем A ’y = 0. У вас может возникнуть вопрос, почему« Левое »пустое пространство? Что ж, за этим нет математической причины, но чтобы оправдать наш выбор, давайте построим объяснение (все заслуги профессору Стрэнгу!). Давайте возьмем транспонирование с обеих сторон уравнения A'y = 0. Теперь оно эквивалентно y 'A = 0. Обратите внимание, здесь вектор нулей теперь является вектором-строкой. Поскольку y ’ теперь появляется слева от матрицы A, мы называем это пространство левым нулевым пространством.

Один очевидный способ найти левое нулевое пространство - решить уравнение, как мы делали для нулевого пространства, но подождите, СУХОЙ! (Не повторяйся!). Давай сделаем это по-другому! Ура!

Из нашей второй формулировки мы знаем, что y ' теперь представляет собой вектор-строку слева от A и создает вектор-строку из нулей на справа. Давай воспользуемся этим.

Помните, что мы делали при определении пространства строк, мы преобразовали нашу матрицу A в R. Допустим, увеличим матрицу идентичности m x m до матрицы A m x n и выполним те же действия, теперь это преобразует [A | I] на [R | E], где R равно m x n, а E равно m x m. Давайте возьмем минутку и посмотрим, что произошло ... Мы применили те же преобразования строк, что и к матрице A, чтобы получить R в матрицу I, чтобы получить E.. Это означает, E [A | I] = [R | E] или EA = R

Обратите внимание: когда A обратимый, R = I и E = обратный (A)

Как и в приведенном выше уравнении, EA = R совпадает с решением y 'A = 0, и из матрице R мы видим, что rank (A) = 2. Итак, размерность левого пустого пространства = 3-2 = 1, то есть размерность столбца space-rank. Следовательно, базис левого нулевого пространства A соответствует строке в E, которая дает нулевую строку в R, которая равна [-1 0 1].

Большая картина!

Теперь, увидев большую картину, вы можете догадаться, почему ее называют «большой картиной». Это суть всех четырех фундаментальных подпространств в одном месте! Итак, давайте отметим, какую информацию он содержит:

  • Есть четыре основных подпространства: пространство строк, пространство столбцов, пустое пространство и левое пустое пространство.
  • Dim (пространство строки) = Dim (пространство столбца) = ранг
  • Dim (пустое пространство) = n-r, где n = размер строк
  • Dim (левое пустое пространство) = m-r, где m = размер столбцов
  • Любое преобразование Ax = b преобразует x из пространства строки в пространство столбца.
  • Любое преобразование Ax = 0 преобразует x из пространства строки в левое пустое пространство.
  • Пространство строк и пустое пространство ортогональны, а пространство столбцов и левое нулевое пространство ортогональны друг другу (мы рассмотрим ортогональность в следующих частях)

Я надеюсь, что это было полезно. Увидимся в следующий раз. Спасибо!

использованная литература

[1] Гилберт Стрэнг. РЕЗ.18–010 Видение линейной алгебры на 2020 год. Весна 2020 года. Массачусетский технологический институт: MIT OpenCourseWare, https://ocw.mit.edu. Лицензия: Creative Commons BY-NC-SA.

[2] Гилберт Стрэнг. 18.06 Линейная алгебра. Весна 2010 г. Массачусетский технологический институт: MIT OpenCourseWare, https://ocw.mit.edu. Лицензия: Creative Commons BY-NC-SA.