مرور برخی از مفاهیم جبرخطی عددی

مطالب این پست می‌تواند برای یادآوری برخی مفاهیم جبرخطی عددی مفید واقع شود.

تعریف 1. یک میدان، مجموعه‌­ا­ی است مانند $\mathbb{F}$ همراه با دو عمل  \[+,\,\cdot :\mathbb{F}\times \mathbb{F}\to \mathbb{F}\] که در شرایط زیر صدق می­‌کنند:

الف) برای هر$x,y,z\in \,\mathbb{F}$ ، $x+(y+z)=(x+y)+z$  (خاصیت شرکت­‌پذیری جمع)؛

ب) عضو یکتای $0\in \,\mathbb{F}$ وجود دارد به­‌طوری­که برای هر $x\in \,\mathbb{F}$، \[x+0=0+x=x\] (عضو خنثی جمع)؛

ج) برای هر$x\in \,\mathbb{F}$ ، عضو یکتای $-x\in \,\mathbb{F}$ وجود دارد به­ طوری­که برای هر $x\in \,\mathbb{F}$، $x+(-x)=0$ (عضو قرینه نسبت به جمع)؛

د) برای هر$x,y\in \,\mathbb{F}$ ، $x+y=y+x$ (خاصیت جابجایی جمع)؛

هـ) برای هر $x,y\in \,\mathbb{F}$، $x\cdot y=y\cdot x$ (خاصیت جابجایی ضرب)؛

و) برای هر$x,y,z\in \,\mathbb{F}$ ، $x\cdot (y\cdot \,z)=(x\cdot y)\cdot z$ (خاصیت شرکت­‌پذیری ضرب)؛

ز) عضو یکتای $1\in \,\mathbb{F}$ وجود دارد به­‌طوری­که برای هر$x\in \,\mathbb{F}$ ،$1\cdot x=x$  (عضو خنثی ضرب)؛

ح) برای هر عضو ناصفر $x\in \,\mathbb{F}$، عضو یکتای ${{x}^{-1}}\,\in \,\mathbb{F}$ وجود دارد به­‌طوری­که $x\cdot {{x}^{-1}}=1$  (عضو وارون ضرب)؛

ط) برای هر $x,y,z\in \,\mathbb{F}$ ،$x\cdot (y+z)=x\cdot y+x\cdot z$  (خاصیت توزیع­‌پذیری ضرب نسبت به جمع).

اعضای یک میدان، معمولاً اسکالر نامیده می­‌شوند.

در تعریف فوق، ویژگی­های (الف)، (ب) و (ج) بیان می‌کنند که $(\mathbb{F},+)$ یک گروه است و درصورتی­‌که شرط (د) نیز برقرار باشد، $(\mathbb{F},+)$ یک گروه آبلی است. ویژگی­های (هـ)، (و)، (ز) و (ح) بیان می­‌کنند که $(\mathbb{F}-\left\{ 0 \right\},\cdot )$ نیز یک گروه آبلی است.

تعریف 2. یک فضای برداری روی میدان $\mathbb{F}$، مجموعه­‌ای است مانند $V$ به ترتیب همراه با دو عمل جمع و ضرب \[+:V\times V\to V\] و \[\cdot :\mathbb{F}\times V\to V\]به­‌طوری­که:

الف) $(V,+)$ یک گروه آبلی است؛

ب) برای هر دو اسکالر$\alpha ,\beta \in \,\mathbb{F}$  و هر بردار$v\in \,V$ ،$(\alpha \cdot \beta )\cdot v=\alpha \cdot (\beta \cdot v)$ ؛

ج) برای هر دو اسکالر $\alpha ,\beta \in \,\mathbb{F}$ و هر بردار $v\in \,V$،$(\alpha +\beta )\cdot v=\alpha \cdot v+\beta \cdot v$ ؛

د) برای هر اسکالر$\alpha \in \,\mathbb{F}$  و هر دو بردار$v,w\in \,V$ ، $\alpha \cdot (v+w)=\alpha \cdot v+\alpha \cdot w$؛

هـ) برای هر بردار $v\in \,V$ ،$1\cdot v=v$  (در اینجا $1\in \,\mathbb{F}$).

 یک فضای برداری معمولاً به­‌صورت\((V,\mathbb{F})\) یا فقط  $V$ نشان داده می­‌شود. اعضای یک فضای برداری، بردار نامیده می‌شوند.

تعریف 3. فرض کنید \((V,\mathbb{F})\) یک فضای برداری باشد و \(\varnothing \ne \,W\,\subseteq \,V\). در این­صورت \((W,\mathbb{F})\) را یک زیرفضای \((V,\mathbb{F})\) گوییم، هرگاه برای هر اسکالر $\alpha \in \mathbb{F}$  و دو بردار ${{w}_{1}},{{w}_{2}}\,\in \,W$، داشته باشیم$\alpha \cdot {{w}_{1}}+{{w}_{2}}\in W$ . زیرفضای $W$ از $V$ را با $W\le V$ نشان می‌دهیم.

تعریف 4. فرض کنید $S$ یک مجموعه از $m$ بردار در فضای برداری $V$ باشد. در این­صورت گوییم $S$ یک مجموعه­‌ی وابسته­‌ی خطی از بردارها است، اگر $k(\le m\,)$ عضو متمایز \({{v}_{1}},\,\,{{v}_{2}},\,\,...,\,\,{{v}_{k}}\) در $S$ و $k$ اسکالر \({{\alpha }_{1}},\,\,{{\alpha }_{2}},\,\,...,\,\,{{\alpha }_{k}}\) که همگی صفر نیستند، وجود داشته باشد به‌طوری­که:

${{\alpha }_{1}}{{v}_{1}}+{{\alpha }_{2}}{{v}_{2}}+...+{{\alpha }_{k}}{{v}_{k}}=0.$

هم­چنین گوییم $S$ یک مجموعه‌­ی مستقل خطی از بردارها است، اگر برای هر دسته‌ی $k(\le m\,)$ تایی از بردارهای متمایز \[{{v}_{1}},\,\,{{v}_{2}},\,\,...,\,\,{{v}_{k}}\] در $S$ و  $k$ اسکالر \[{{\alpha }_{1}},\,\,{{\alpha }_{2}},\,\,...,\,\,{{\alpha }_{k}}\] که

${{\alpha }_{1}}{{v}_{1}}+{{\alpha }_{2}}{{v}_{2}}+...+{{\alpha }_{k}}{{v}_{k}}=0,$

داشته باشیم ${{\alpha }_{1}}={{\alpha }_{2}}=...={{\alpha }_{k}}=0$.

تعریف 5. فرض کنید \((V,\mathbb{F})\) یک فضای برداری و \(S\,=\left\{ {{v}_{1}},\,\,{{v}_{2}},\,\,...,\,\,{{v}_{k}} \right\}\) که ${{v}_{i}}\in V$ برای \(i\,=1,\,2,\,\,...,\,k\). در این­صورت زیرفضای شامل تمام ترکیبات خطی اعضای S را زیرفضای تولیدشده توسط S نامیده و با \(Span(S)\) نشان می­‌دهیم.
به‌عبارت دیگر:

\[Span(S)=\left\{ v|v={{\alpha }_{1}}{{v}_{1}}+{{\alpha }_{2}}{{v}_{2}}+...+{{\alpha }_{k}}{{v}_{k}};\,\,{{\alpha }_{i}}\in \mathbb{F},\,\,{{v}_{i}}\in S \right\}.\]

قرارداد می‌کنیم که $Span(\varnothing )=\left\{ 0 \right\}$ .

تعریف 6. یک مجموعه از بردارها مانند  $S$ را یک پایه برای فضای برداری  $V$ گوییم، هرگاه:

الف)  $S$، مستقل خطی باشد؛

ب)\(Span(S)=\,V\) .

تعریف 7. اگر پایه­‌ی $S$ برای فضای برداری $V$ دارای $n$ عضو باشد، گوییم $V$ فضایی با بعد $n$ است و می­‌نویسیم $\dim(V)=n$ . درصورتی­که $\dim(V)<\infty $ ، فضا را با بعد متناهی و در غیر این­صورت فضا را با بعد نامتناهی گوییم.

تعریف 8. یک نرم برداری روی فضای \(V\)، تابعی است چون\(\left\| \,\cdot \, \right\|\,:{V}\,\to \mathbb{R}\)، به­‌طوری­که در شرایط زیر صدق کند:

الف) برای هر بردار $x\in {{\mathbb{R}}^{n}}$ ،$\left\| x \right\|\ge 0$ ؛

ب)$\left\| x \right\|=0$  اگر و تنها اگر $x=0$؛

ج) برای هر اسکالر $\alpha \in \mathbb{R}$ و بردار $x\in {{\mathbb{R}}^{n}}$، $\left\| \alpha x \right\|=\left| \alpha  \right|\left\| x \right\|$؛

د) برای هر دو بردار $x,y\in {{\mathbb{R}}^{n}}$،$\left\| x+y \right\|\le \left\| x \right\|+\left\| y \right\|$ . (نامساوی مثلث).

تعریف 9. برای هر بردار $x\in {{\mathbb{R}}^{n}}$ و هر $p\in \mathbb{N}$، نرم $p$ به­‌صورت زیر تعریف می‌­شود:

\[{{\left\| x \right\|}_{p}}={{\left( \sum\limits_{i=1}^{n}{{{\left| {{x}_{i}} \right|}^{p}}} \right)}^{\frac{1}{p}}};\]

به­‌ازای $p=2$، نرم فوق را نرم اقلیدسی گویند.

تعریف 10. نرم بی­نهایت یا نرم بیشینه را به‌صورت زیر تعریف می‌کنیم:

\[{{\left\| x \right\|}_{\infty }}\,=\underset{i}{\mathop{\max }}\,\,\left| {{x}_{i}} \right|.\]

تعریف 11. یک ضرب داخلی روی فضای برداری \({{\mathbb{R}}^{n}}\)، تابعی است که به‌­ازای هر زوج از بردارهای \(x,y\in {{\mathbb{R}}^{n}}\)، یک اسکالر حقیقی مانند $\left\langle x,y \right\rangle $ را نسبت دهد و در شرایط زیر صدق کند:

الف) $\left\langle x,x \right\rangle $  حقیقی باشد و $\left\langle x,x \right\rangle \ge 0$؛

ب) $\left\langle x,x \right\rangle =0$  اگر و تنها اگر $x=0$ ؛

ج) برای هر اسکالر $\alpha \in \mathbb{R}$،$\left\langle x,\alpha y \right\rangle =\alpha \left\langle x,y \right\rangle $ ؛

د) برای هر سه بردار $x,y,z\in {{\mathbb{R}}^{n}}$، $\left\langle x,y+z \right\rangle \le \left\langle x,y \right\rangle +\left\langle x,z \right\rangle $ (نامساوی مثلث)؛

هـ)$\left\langle y,x \right\rangle =\left\langle x,y \right\rangle $ .

تعریف 12. به تابع $\left\langle x,y \right\rangle ={{x}^{T}}y$ ، ضرب داخلی استاندارد در ${{\mathbb{R}}^{n}}$ گویند.

قضیه 1. (نامساوی کوشی-شوارتز) در فضای ${{\mathbb{R}}^{n}}$ با تعریف ضرب داخلی $\left\| \,\cdot \, \right\|=\sqrt{\left\langle \,\cdot \,\,,\,\,\cdot \, \right\rangle }$، برای هر دو بردار $x,y\in {{\mathbb{R}}^{n}}$ داریم:

$\left| \left\langle x,y \right\rangle\right|\le \left\| x \right\|\left\| y \right\|.$

تعریف 13. دو بردار $x,y\in {{\mathbb{R}}^{n}}$ را متعامد گوییم، هرگاه $\left\langle x,y \right\rangle =0$.

تعریف 14. مجموعه‌­ی $\left\{ {{u}_{1}},\,\,{{u}_{2}}\,,\,\,...,\,\,{{u}_{n}} \right\}$ را یکامتعامد گوییم، هرگاه برای هر \(i\,=1,\,2,\,\,...,\,n\)،

\[\left\langle {{u}_{i}},{{u}_{j}} \right\rangle =\left\{ \begin{matrix}   1, & i=j  \\  0, & i\ne j  \\\end{matrix} \right.\]

قضیه 2. هر مجموعه از بردارهای یکامتعامد، مستقل خطی­‌اند؛ به‌­علاوه هر مجموعه از بردارهای یکامتعامد از فضای ${{\mathbb{R}}^{n}}$ شامل $n$ بردار، یک پایه‌­ی یکامتعامد برای ${{\mathbb{R}}^{n}}$ تشکیل می‌دهند.

فرض کنید $B=\left\{ {{v}_{1}},\,\,{{v}_{2}}\,,\,\,...,\,\,{{v}_{m}} \right\}$  یک پایه برای یک زیرفضای $m$بعدی ${{\mathbb{R}}^{n}}$ باشد. با استفاده از الگوریتم زیر می­‌توان یک پایه­‌ی یکامتعامد ساخت.

الگوریتم 1. (فرایند متعامدسازی گرام-اشمیت)

1. قرار دهید ${{u}_{1}}=\frac{{{v}_{1}}}{\left\| {{v}_{1}} \right\|}$؛

2. برای \(k=2,\,\,\ldots ,\,\,m\)، دستورات زیر را انجام دهید:

1.2. قرار دهید ${{w}_{k}}\,={{x}_{k}}-\sum\nolimits_{i=1}^{k-1}{\left\langle {{u}_{i}},{{x}_{k}} \right\rangle }\,{{u}_{i}}$؛

2.2. قرار دهید ${{u}_{k}}=\frac{{{w}_{k}}}{\left\| {{w}_{k}} \right\|}$؛

3. پایان.

تعریف 15. مجموعه‌­ی تمام ماتریس­‌های $m\times n$ حقیقی را با ${{\mathbb{R}}^{m\times n}}$ نشان­ می­‌دهیم.

تعریف 16. به تعداد سطرها یا ستون­های مستقل خطی $A\in {{\mathbb{R}}^{m\times n}}$، رتبه­‌ی ماتریس $A$ گوییم و با $Rank(A)$ نشان می‌دهیم.

قضیه 3. رتبه­‌ی ماتریس $A\in {{\mathbb{R}}^{m\times n}}$ برابر با بعد بزرگترین زیرماتریس مربعی A با دترمینان ناصفر است.

تعریف 17. فرض کنید $A=({{a}_{ij}})\in {{\mathbb{R}}^{m\times n}}$ . ترانهاده‌ی ماتریس A که با \({{A}^{T}}\) نشان می‌دهیم، ماتریسی است متعلق به \({{\mathbb{R}}^{n\times m}}\) که ستون $i$ ام آن، سطر $i$ ام ماتریس A است؛ به­‌عبارت دیگر:

${{({{A}^{T}})}_{ij}}={{a}_{ji}}.$

تعریف 18. ماتریس $A\in {{\mathbb{R}}^{n\times n}}$ را

الف) قطری ­گوییم، هرگاه${{a}_{ij}}\,=0$  به‌­ازای هر$i\ne j$ . یک ماتریس قطری را معمولاً با$\textrm{diag}_{n}({{a}_{11}},\,\,{{a}_{22}},\,\,...,\,\,{{a}_{nn}})$ نشان می­‌دهیم؛

ب) همانی ­گوییم، هرگاه $A=\textrm{diag}_{n}(1,1,...,1)$ . یک ماتریس همانی معمولاً با $I$ یا ${{I}_{n}}$ نشان می‌دهیم؛

ج) بالامثلثی ­گوییم، هرگاه ${{a}_{ij}}\,=0$  به­‌ازای هر $i>j$؛

د) پایین‌­مثلثی ­­گوییم، هرگاه ${{a}_{ij}}\,=0$  به­‌ازای هر $i<j$؛

هـ) متقارن گوییم، هرگاه ${{A}^{T}}\,=A$ و پادمتقارن گوییم، هرگاه ${{A}^{T}}\,=-A$؛

و) متعامد گوییم، هرگاه $A{{A}^{T}}\,={{A}^{T}}A=I$.

تعریف 19. دترمینان ماتریس $A=({{a}_{ij}})\in {{\mathbb{R}}^{n\times n}}$، به­‌صورت زیر تعریف می­‌شود:$$\det (A)=\left\{\begin{matrix}   {{a}_{11}}, & n=1,\\\sum\nolimits_{j=1}^{n}{{{(-1)}^{i+j}}{{a}_{ij}}\,{{\Delta }_{ij}},} & n>1.  \\\end{matrix} \right.$$

که در آن \({{\Delta }_{ij}}\)، دترمینان ماتریسی است که از حذف سطر $i$ ام و ستون $j$ ام ماتریس $A$ به­‌دست می‌آید. رابطه‌­ی فوق به بسط لاپلاس معروف است.

لم 1. اگر $A$ ماتریسی متعامد باشد، آن‌گاه $\det (A)=\pm 1$ .

تعریف 20. ماتریس $A\in {{\mathbb{R}}^{n\times n}}$ را وارون­‌پذیر گوییم، هرگاه ماتریسی مانند $A\in {{\mathbb{R}}^{n\times n}}$ موجود باشد به‌طوریکه $AB=BA=I$ وارون A را با ${{A}^{-1}}$ نشان می­دهیم.

شرط لازم و کافی برای وارون‌پذیری $A$ آن است که \(det(A)\ne 0\). اگر $A$ وارون‌­پذیر باشد، آنگاه ${{A}^{-1}}\,=\frac{adj(A)}{\det (A)}$؛ که در آن $adj(A)$، ترانهاده‌ی ماتریس همسازه‌ها است . در ماتریس همسازه‌ها درایه‌­ی \((i,j)\) ام، دترمینان ماتریسی است که از حذف سطر $i$ ام و ستون $j$ ام ماتریس $A$ به­‌دست می‌آید.

قضیه 4. فرض کنید$A,B\in {{\mathbb{R}}^{n\times n}}$ ، ماتریس­هایی وارون­‌پذیر باشند. در این­صورت:

الف) $\det ({{A}^{-1}})=\frac{1}{\det (A)}$؛

ب) ${{A}^{-1}}$نیز وارون­پذیر است و ${{({{A}^{-1}})}^{-1}}=A$ ؛

ج) AB نیز وارون­پذیر است و ${{(AB)}^{-1}}={{B}^{-1}}{{A}^{-1}}$؛

د) ${{A}^{T}}$ نیز وارون­پذیر است و ${{({{A}^{T}})}^{-1}}={{({{A}^{-1}})}^{T}}$؛

هـ) اگر $A$ یک ماتریس بالا (پایین) مثلثی باشد، ${{A}^{-1}}$ نیز یک ماتریس بالا (پایین) مثلثی است.

تعریف 21. ماتریس$P=({{p}_{ij}})\in {{\mathbb{R}}^{n\times n}}$  را یک ماتریس جایگشت گوییم، هرگاه از جابجایی سطرها یا ستون‌های ماتریس همانی پدید آمده باشد.

قضیه 5. هر ماتریس جایگشت متعامد است و${{P}^{-1}}\,={{P}^{T}}$ .

تعریف 22. فرض کنید $A\in {{\mathbb{R}}^{n\times n}}$. گوییم $\lambda $ یک مقدار ویژه‌­ی متناظر با بردار ویژه‌ی $x\ne 0$ برای ماتریس $A$ است، هرگاه \[Ax=\lambda x\] $(\lambda ,x)$ را یک زوج ویژه‌ی $A$ گوییم.

تعریف 23. به بزرگ­ترین مقدار ویژه­‌ی ماتریس $A\in {{\mathbb{R}}^{n\times n}}$ از نظر قدرمطلق، شعاع طیفی $A$ گوییم و آن را با $\rho (A)$ نشان می­‌دهیم. به‌­عبارت دیگر:

\[\rho (A)\,=\left\{ \left. \max \left| \lambda  \right|\, \right|\,\exists \,x\ne 0,\,\,Ax=\lambda x \right\}.\]

لم 2. اگر $A\in {{\mathbb{R}}^{n\times n}}$ یک ماتریس متقارن باشد،${{\left\| A \right\|}_{2}}=\rho (A)$ .

قضیه 6. ماتریس $A\,\in {{\mathbb{R}}^{n\times n}}$ را در نظر بگیرید. در این‌­صورت:

الف) اگر $A$ یک ماتریس قطری، پایین­‌مثلثی یا بالامثلثی باشد، مقادیر ویژه­‌ی $A$، درایه­‌های روی قطر اصلی آن هستند؛

ب) ماتریس­های $A$ و ${{A}^{T}}$، مقادیر ویژه­‌ی یکسانی دارند؛

ج) اگر $A$ متقارن باشد، مقادیر ویژه­‌ی آن حقیقی­‌اند؛

د) اگر $\lambda $ یک مقدار ویژه­‌ی ماتریس $A$ باشد، $\mu -\lambda $ یک مقدار ویژه­‌ی ماتریس $\mu I-A$ است.

تعریف 24. ماتریس متقارن $A\in {{\mathbb{R}}^{n\times n}}$ را معین مثبت گویند، هرگاه:

$\forall \,0\ne x\in {{\mathbb{R}}^{n}}\,:\,\,\,\,\,\,{{x}^{T}}Ax> 0;$

چنانچه به ازای هر $x\in {\mathbb{R}}^{n}$ داشته باشیم ${{x}^{T}}Ax\ge 0$، آنگاه $A$ نیمه معین مثبت نامیده می‌شود.

قضیه 7. فرض کنید $\,A\in {{\mathbb{R}}^{n\times n}}$یک ماتریس متقارن باشد. $A$ (نیمه) معین مثبت است، اگر و تنها اگر تمام مقادیر ویژه­‌ی آن (نامنفی) مثبت باشد.

قضیه 8. اگر $A\in {{\mathbb{R}}^{n\times n}}$ ماتریسی معین مثبت باشد، آن‌گاه:

الف) دترمینان $A$ مثبت است؛

ب) \({{A}^{-1}}\) موجود و معین مثبت است؛

ج) درایه‌­های روی قطر اصلی $A$، مثبت­‌اند.

تعریف 25. فرض کنید$A\in {{\mathbb{R}}^{n\times n}}$ یک ماتریس نامنفرد باشد. تجزیه‌ی ماتریس $A$ به­‌صورت \(A=LU\) که L یک ماتریس پایین‌­مثلثی با درایه‌های قطری یک و $U$ یک ماتریس بالامثلثی با درایه­‌های قطری ناصفر است را تجزیه‌ی $LU$ی ماتریس $A$ گوییم.

قضیه 9. هر یک از گزاره­‌های زیر معادل است با این­که ماتریس $A\in {{\mathbb{R}}^{n\times n}}$، نامنفرد و دارای تجزیه‌ی $LU$ است.

الف) هیچ درایه­‌ی محوری صفر در طول فرآیند تجزیه‌ی $LU$ با استفاده از عمل سطری مقدماتیِ افزودن مضربی از یک سطر به سطر دیگر ظاهر نشود؛

ب) تمام زیرماتریس­های اصلی پیشرو $A$، نامنفرد باشند.

در صورتی­که باتوجه به قسمت (الف) قضیه­‌ی قبل، درایه­‌ی محوری صفر ظاهر شود، دیگر تجزیه‌ی $LU$ ماتریس $A$ موجود نیست؛ اما ماتریس جایگشتی­‌ای چون $P$ موجود است که $PA$ به­‌صورت $PA=LU$ قابل تجزیه است.

قضیه 10. اگر $A$ معکوس­‌پذیر باشد، ماتریس جایگشتی‌­ای چون $P$ موجود است که $PA$ قابل تجزیه به­‌صورت $PA=LU$ است.

قضیه 11. فرض کنید $A\in {{\mathbb{R}}^{n\times n}}$ یک ماتریس متقارن باشد که تجزیه‌ی $LU$ ی آن به‌صورت\[A\,=LU\]است؛ در این‌صورت $A$ را می‌­توان به­‌صورت$A=LD{{L}^{T}}$ تجزیه کرد که $L$ یک ماتریس پایین­‌مثلثی با درایه‌­های قطری یک و $D$ یک ماتریس قطری است. درصورتی‌­که تجزیه‌ی $LU$ ی $A$ موجود نباشد، ماتریس جایگشتی‌­ای چون $P$ موجود است که $PA{{P}^{T}}$ به‌­صورت $PA{{P}^{T}}=LD{{L}^{T}}$ قابل تجزیه است.

قضیه 12. ماتریس $A\in {{\mathbb{R}}^{n\times n}}$ را می‌توان به­‌صورت منحصر به‌فرد$\,A=L{{L}^{T}}$ تجزیه کرد، اگر و تنها اگر A ماتریسی معین مثبت باشد. در اینجا$L=({{l}_{ij}})\in {{\mathbb{R}}^{n\times n}}$ ، یک ماتریس پایین‌مثلثی است که ${{l}_{ii}}>0$، \(i\,=1,\,2,\,\,...,\,n\). این تجزیه را تجزیه‌ی چولسکی گوییم.

تعریف 26. فرض کنید $A\in {{\mathbb{R}}^{n\times n}}$ یک ماتریس متقارن باشد. تجزیه‌ی ماتریس $A$ به­‌صورت$\,A=Q\Lambda {{Q}^{T}}$که در آن \[\Lambda =dia{{g}_{n}}({{\lambda }_{1}},\,\,{{\lambda }_{2}},\,\,...\,\,,\,\,{{\lambda }_{n}})\] و \[{{\lambda }_{1}},\,\,{{\lambda }_{2}},\,\,...\,\,,{{\lambda }_{n}}\] مقادیر ویژه­‌ی $A$ و ماتریس $Q$ متعامد است را تجزیه‌ی طیفی ماتریس $A$ گوییم.

تعریف 27. یک نرم ماتریسی روی فضای \({{\mathbb{R}}^{m\times n}}\)، تابع \(\left\| \,\cdot \, \right\|\,:{{\mathbb{R}}^{m\times n}}\,\to \mathbb{R}\) ، است به‌طوری­که در شرایط زیر صدق کند:

الف) برای هر ماتریس $A\in {{\mathbb{R}}^{m\times n}}$ ،$\left\| A \right\|\ge 0$ ؛

ب) $\left\| A \right\|=0$  اگر و تنها اگر $A={{O}_{m\times n}}$ (${{O}_{m\times n}}$، ماتریسی متعلق به \({{\mathbb{R}}^{m\times n}}\) با درایه­‌های صفر است)؛

ج) برای هر اسکالر $\alpha \in \mathbb{R}$ و هر ماتریس $A\in {{\mathbb{R}}^{m\times n}}$،$\left\| \alpha A \right\|=\left| \alpha  \right|\left\| A \right\|$ ؛

د) برای هر دو ماتریس $A,B\in {{\mathbb{R}}^{m\times n}}$، $\left\| A+B \right\|\le \left\| A \right\|+\left\| B \right\|$ (نامساوی مثلث).

تعریف 28. (نرم طبیعی ماتریس) فرض کنید\(\left\| \,\cdot \, \right\|\)  یک نرم برداری روی \({{\mathbb{R}}^{n}}\) باشد و $A\in {{\mathbb{R}}^{m\times n}}$. در این­صورت نرم طبیعی متناظر با این نرم برداری به­‌صورت زیر تعریف می­‌شود:

\[\left\| A \right\|=\underset{\left\| x \right\|=1}{\mathop{\max }}\,\left\| Ax \right\|.\]

قضیه 13. اگر \(\left\| \,\cdot \, \right\|\) یک نرم برداری روی \({{\mathbb{R}}^{n}}\) باشد و $A\in {{\mathbb{R}}^{m\times n}}$، آنگاه:

\[~\left\| A \right\|=\underset{x\ne \,0}{\mathop{\max }}\,\frac{\left\| Ax \right\|}{\left\| x \right\|}.\]

اگر $I$ ماتریس همانی باشد، آنگاه برای هر نرم طبیعی، داریم \(\left\| I \right\|=1\) .

لم 3. اگر $Q$ یک ماتریس متعامد باشد، آنگاه برای هر نرم طبیعی، داریم \(\left\| Q \right\|= 1\) .

قضیه 14. فرض کنید $A\in {{\mathbb{R}}^{n\times n}}$. اگر \({{\left\| \,\cdot \, \right\|}_{2}}\)، نرم طبیعی تولیدشده توسط نرم برداری اقلیدسی باشد، آنگاه \[{{\left\| A \right\|}_{2}}\,=\sqrt{\rho ({{A}^{T}}A)}\]

تعریف 29. نرم فروبنیوس هر ماتریس $A\in {{\mathbb{R}}^{m\times n}}$، به‌­صورت زیر تعریف می‌­شود:

\[{{\left\| A \right\|}_{F}}=\sqrt{\sum\limits_{i=1}^{n}{\sum\limits_{j=1}^{n}{a_{ij}^{2}}}}\,=\sqrt{\textrm{trace}({{A}^{T}}A)}.\]

فرض کنید $A\in {{\mathbb{R}}^{m\times n}}$. ماتریس$\,B={{A}^{T}}A\,$را در نظر بگیرید. این ماتریس نیمه­‌معین مثبت است؛ زیرا اولاً متقارن است و ثانیاً برای هر بردار $0\ne x\in {{\mathbb{R}}^{n}}$ داریم

${{x}^{T}}Bx={{x}^{T}}{{A}^{T}}Ax={{(Ax)}^{T}}Ax=\left\| Ax \right\|_{2}^{2}\ge 0;$

بنابراین مقادیر ویژه­‌ی آن نامنفی­‌اند.

تعریف 30. فرض کنید ${{\lambda }_{1}}\ge {{\lambda }_{2}}\ge \,\,...\,\,\ge {{\lambda }_{n}}\ge 0$ مقادیر ویژه­‌ی$B={{A}^{T}}A\in {{\mathbb{R}}^{m\times n}}$ باشند. قرار می­‌دهیم

${{\sigma }_{i}}=\sqrt{{{\lambda }_{i}}},\,\,\,\,\,\,\,i=1,\,\,2,\,\,...,\,\,n.$

در این­‌صورت به ${{\sigma }_{i}}$ها مقادیر تکین ماتریس $A$ گوییم.

تعریف 31. برای ماتریس نامنفرد $A$، عدد شرطی متناظر با نرم طبیعی را با $\textrm{cond}(A)$ نشان داده و به‌­صورت زیر تعریف می­‌کنیم:

\[\textrm{cond}(A)=\left\| A \right\|\left\| {{A}^{-1}} \right\|=\frac{{{\sigma }_{max}}(A)}{ {{\sigma }_{min}}(A) }.\]که در آن $\sigma_{max}(A)$ و $\sigma_{min}(A)$ ، به‌ترتیب بزرگ‌ترین و کوچک‌ترین مقدار تکین $A$ هستند.

قضیه 15. عدد شرطی یک ماتریس نامنفرد، حداقل یک است.

تعریف 32. اگر\(\textrm{cond}(A)\gg 1\,\) ماتریس $A$ را بدوضع گوییم.

قضیه 16. تجزیه­‌ی مقدار تکین. فرض کنید $A\in {{\mathbb{R}}^{m\times n}}\,$. در این­‌صورت

الف) ماتریس­‌های متعامدی چون$\,U\in {{\mathbb{R}}^{m\times m}}$و$\,V\in {{\mathbb{R}}^{n\times n}}$وجود دارند به­‌طوری­که \({{U}^{T}}AV=\text{ }\!\!\Sigma\!\!\text{ }\,\) که در آن $\,\text{ }\!\!\Sigma\!\!\text{ }\,$ یک ماتریس متعلق به ${{\mathbb{R}}^{m\times n}}$ به­‌صورت زیر است $$\text{ }\Sigma \text{ }=\left( \begin{matrix} D & 0 \\ 0 & 0 \\\end{matrix} \right),D=\textrm{diag}_r ({{\sigma }_{1}},{{\sigma }_{2}},...,{{\sigma }_{r}}),{{\sigma }_{1}}\ge{{\sigma }_{2}}\ge ...\ge {{\sigma }_{r}}> 0$$ در اینجا،${{\sigma }_{1}}\,$،${{\sigma }_{2}}\,$، ... و${{\sigma }_{r}}\,$، مقادیر تکین ناصفر ماتریس $A$ هستند و $r$، رتبه­‌ی ماتریس $A$ است. تجزیه­‌ی ماتریس $A$ به­‌صورت\[A=U\,\text{ }\!\!\Sigma\!\!\text{ }\,{{V}^{T}}\] را تجزیه­‌ی مقدار تکین ماتریس $A$ گوییم.

ب) مقادیر تکین ناصفر${{A}^{T}}$ نیز دقیقاً اعداد${{\sigma }_{1}}\,$،${{\sigma }_{2}}\,$، ... و${{\sigma }_{r}}\,$ هستند.

مثال. تجزیه­‌ی مقدار تکین ماتریس

$A=\left( \begin{matrix}1 \\ 0 \\1 \\\end{matrix}\,\,\,\,\,\,\begin{matrix} 1 \\1\\ 0\\\end{matrix} \right),$

به­‌صورت

\[V=\left( \begin{matrix} \tfrac{\sqrt{2}}{2} & \tfrac{\sqrt{2}}{2} \\ \tfrac{\sqrt{2}}{2} & \tfrac{\sqrt{2}}{2} \\\end{matrix} \right),\,\,\,\,\,\,\,\,\,\,\,\,\,\,\text{ }\!\!\Sigma\!\!\text{ }=\left( \begin{matrix} \sqrt{3} \\ 0 \\ 0 \\\end{matrix}\,\,\,\,\,\begin{matrix} 0 \\ 1 \\ 0 \\\end{matrix} \right),\,\,\,\,\,\,\,\,\,\,\,\,\,\,U=\left( \begin{matrix} \tfrac{\sqrt{6}}{3} & 0 & \,\tfrac{\sqrt{3}}{3} \\ \tfrac{\sqrt{6}}{6} & -\tfrac{\sqrt{2}}{2} & -\tfrac{\sqrt{3}}{3} \\\tfrac{\sqrt{6}}{6} & \,\,\tfrac{\sqrt{2}}{2} & -\tfrac{\sqrt{3}}{3}\\\end{matrix} \right),\]

است. در این­صورت $U$ و $V$ متعامدند و\(A=U\,\text{ }\!\!\Sigma\!\!\text{ }\,{{V}^{T}}\).

نتیجه. فرض کنید$A\in {{\mathbb{R}}^{m\times n}}\,$ و\(A=U\,\text{ }\!\!\Sigma\!\!\text{ }\,{{V}^{T}}\)، تجزیه­‌ی مقدار تکین ماتریس $A$ باشد. در این­صورت

الف) ستون­‌های  $U$، بردارهای ویژه­‌ی ماتریس${{A}^{T}}A\,$ متناظر با مقادیر ویژه­‌ی ${{\lambda }_{1}}\,={{\sigma }_{1}}^{2}$،${{\lambda }_{2}}\,={{\sigma }_{2}}^{2}$، ... ،${{\lambda }_{r}}\,={{\sigma }_{r}}^{2}$،${{\lambda }_{r+1}}\,=0\,$، ... و${{\lambda }_{m}}\,=0\,$ است.

ب) ستون­‌های $V$، بردارهای ویژه­‌ی ماتریس${{A}^{T}}A\,$ متناظر با مقادیر ویژه­‌ی ${{\lambda }_{1}}\,={{\sigma }_{1}}^{2}$،${{\lambda }_{2}}\,={{\sigma }_{2}}^{2}$، ... ،${{\lambda }_{r}}\,={{\sigma }_{r}}^{2}$،${{\lambda }_{r+1}}\,=0\,$، ... و${{\lambda }_{n}}\,=0\,$ است.

ج) مجموعه­‌ی بردارهای \(\left\{ {{u}_{1}},\,\,{{u}_{2}},\,\,...,\,\,{{u}_{r}} \right\}\)، یک پایه­‌ی یکامتعامد برای فضای برد $A$ است.

د) مجموعه‌­ی بردارهای \(\left\{ {{v}_{r+1}},\,\,{{v}_{r+2}},\,\,...,\,\,{{v}_{n}} \right\}\)، یک پایه­‌ی یکامتعامد برای فضای پوچ $A$ است.

هـ)\(\left\| A \right\|_{F}^{2}=\sum\nolimits_{i=1}^{r}{{{\sigma }_{i}}^{2}}\).