67865 Mathematical Tools In Computer Science
This document was uploaded by user and they confirmed that they have the permission to share it. If you are author or own the copyright of this book, please report to us by using this DMCA report form. Report DMCA
Overview
Download & View 67865 Mathematical Tools In Computer Science as PDF for free.
More details
- Words: 44,312
- Pages: 159
Loading documents preview...
כלים מתמטיים למדעי המחשב
∗
סוכם ע"י אביב יעיש
תוכן עניינים I
הסתברות 1
שיעור 1.1 1.2 1.3
2 3 4 5
1.4 תרגול 2.1 תרגול תרגיל שיעור 5.1 5.2
5.3
6
תרגול 6.1 6.2
7 8 9
תרגול תרגיל שיעור 9.1
6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 בסיס . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מהם הגדלים שאנחנו רוצים לייחס למ"מ? . . . . . . . . . . . . . . . . . . . . 1.1.1 אי שוויונות בסיסיים בתורת ההסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . תמורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . עוד משהו על ההתנהגות האופיינית של תמורות . . . . . . . . . . . . . . . . . 1.3.1 גרפים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 דוגמא ־ גרפים מקריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 חזרה על שיעור קודם . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 פונקציית הסף להופעה של K4ב . . . . . . . . . . . . . . . . . . . . G (n, p) , p = n− 3 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1 2 פונקציית הסף להופעה של K4ב . . . . . . . . . . . . . . G (n, p) , p = n− 3 5.2.2 שתי עובדות חשובות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . urn models פרדוקס יום ההולדת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.1 חיתוך קבוצות מקריות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.2 אספן הקופונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 קירובים שימושיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . הגבלות של שיטת המומנט הראשון ־ קודקודים מבודדים והתאמות מושלמות . . . . . . . . תזכורת ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, n, p 6.2.1 אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 ספרים על הסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.0.1 כמה טענות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . פרדוקס יום ההולדת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.1
∗כפי שהועבר בתשע"ז על ידי המרצה נתי ליניאל והמתרגלים מיכאל סימקין ויובל פלד
1
6 6 7 7 8 9 10 11 12 13 16 16 16 17 17 18 19 20 21 21 22 22 23 23 24 24 25 25 25 25
10
11
12 13
14
15
16 17 II
אספן הקופונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.2 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2 אי שוויון מרקוב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.1 אי שוויון צ'בישב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.2 תהליכים סטוכסטיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3 מהלכים מקריים ). . . . . . . . . . . . . . . . . . . . . . . . (random walks 9.3.1 מקדמים בינומיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.2 משפטים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.4 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 סכומים נבדלים\שונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.1 תנאי החתונה ב). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, n, p 10.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 ריכוז מידה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 כמעט כל הגרפים הם כמעט רגולרים . . . . . . . . . . . . . . . . . . . . . . . 11.1.1 מתי גרף מקרי מפסיק להיות "זיווג" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 שיעור . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 עוד הסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1 אי שוויון . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Chernof f 13.1.1 אי תלות של מ"מ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1.2 מרטינגלים )המרטינגל של . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (Doob 13.2 אי שוויון . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Azuma 13.2.1 בעיה עם מרטינגיילים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 חסמי צ'רנוף . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1 תכונות אופייניות של ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, p 14.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 א"ש אזומה ושימושיו . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1 15.1.1 משולשים ב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G n, 21 תבניות במחרוזות מקריות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1.2 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 מרטינגיילים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16.1 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
אלגברה לינארית 18
שיעור 18.1 18.2 18.3
19
תרגול 19.1 19.2 תרגול 20.1
20
26 26 26 26 28 28 29 31 32 32 33 34 34 34 36 37 37 37 37 39 40 40 42 43 43 43 45 45 45 47 47 48 48
49
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 הגדרות בסיס . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . חבורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . חזרה ללינארית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . וקטורים עצמיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . נוסחאות נסיגה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 ע"ע ו־ו"ע . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
49 49 50 51 54 55 55 56 58 58
21 22
20.2 תרגיל שיעור 22.1 22.2
23
תרגול 23.1
24
תרגול 24.1 24.2
25 26
תרגיל שיעור 26.1 תרגול 27.1 תרגול 28.1
29 30
תרגיל שיעור 30.1 30.2
27 28
30.3
31 32 33 34
30.4 תרגול 31.1 תרגול 32.1 תרגיל שיעור
הגדרות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.1.1 דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.1.2 נשתמש באלגברה כדי להבין קומבינטוריקה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . איך מייחסים אורך\גודל לוקטור? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . הגדרות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.1 מטריקות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.2 דוגמה חשובה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.3 משפחה חשובה של נורמות :נורמות ) lpובצידן . . . . . . . . . . . . . . . (Lp 22.2.4 נקודת מבט גיאומטרית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.5 גודל של מטריצה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.6 נורמה דואלית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 מרחבים מטרים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.1.1 מרחב ההומומורפיזמים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.1.2 אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ערכים עצמיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . לקרוא פרמטרים של Aסימטרית בעזרת הערכים העצמיים . . . . . . . . . . . 24.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 ערכים סינגולריים ו. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SV D אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 פירוק ספקטרלי ⇐ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SVD הספקטרום של AT Aו . . . . . . . . . . . . . . . . . . . . . . . . . . . AAT 28.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 חזרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מסקנות מ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SVD בעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.2.1 כופלי לגרנז' . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מה רוצים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.1 השיטה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.2 נשתמש . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.3 משפטים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 גישה וריאציונית לערכים סינגולריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 מטריצות שכנויות של גרפים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3
58 59 61 62 63 63 64 64 64 64 65 66 67 68 68 68 69 69 71 71 72 72 76 77 77 85 85 88 88 89 91 92 92 93 94 96 96 96 96 98 99 99 102 102 105 106
35
36 37 38 III
שיטת Monte-Carloלהערכת הסתברות של מאורע . . . . . . . . . . . . . . . . . . . . . 34.1 שיטת MCMC־ . . . . . . . . (Broder, 86) Markov Chain Monte Carlo 34.1.1 גרפים מרחיבים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 הילוך מקרי פשוט על גרף . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35.1 דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35.1.1 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 הילוך מקרי פשוט על גרף רגולרי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36.1 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
אופטימיזציה
39
שיעור 39.1 39.2 39.3
40
תרגול 40.1
41
תרגול 41.1
42 43
תרגיל שיעור 43.1 43.2 תרגול 44.1
44
45
תרגול 45.1
46 47
תרגיל שיעור 47.1
106 107 111 111 111 112 114 114 118 119
120
120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 אינטואיציה 120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . בעיות 120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אלגוריתמים לפתרון 121 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP הסברים לכך שאלגוריתמים מטיפוס סימפלקס נוטים לעבוד היטב בבעיות מציאותיות 122 39.3.1 אלגוריתם האליפסואידים )122 . . . . . . . . . . . . . . . . . . . . (L.Khachyan 39.3.2 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 פוליהדרונים קמורים ואופטימיזציה לינארית 123 . . . . . . . . . . . . . . . . . . . . . . . . . סימונים 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40.1.1 דוגמאות 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40.1.2 פאונים שנוצרים מתוכנית לינארית 125 . . . . . . . . . . . . . . . . . . . . . . . . 40.1.3 אקסטרה 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 תכנון לינארי ואלגוריתמי קירוב 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . בעיית 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SET-COVER 41.1.1 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP גיאומטריה 133 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 שיטת הסימפלקס 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אינטואיציה 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44.1.1 תרגיל 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44.1.2 איך מוצאים פתרון פיזבילי בסיסי ראשון למערכת 136 . . . . ?cT x, Ax ≤ b, x ≥ 0 44.1.3 אקסטרה 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 דואליות בתכנון לינארי 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דוגמא 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45.1.1 דוגמא 137 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45.1.2 139 . . . . . . . . . . . . . . . . . . . . . . . . . . M in − Cut − M ax − F low 45.1.3 139 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 פתרון 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP מתכון 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.1 אישור ) (certi cateלאי ספיקות 141 . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.2
4
48
49
50 IV
51
52
ההיבט הגיאומטרי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.3 דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.2 בעיות דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.2.1 אלגוריתם האליפסואידים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3 הגדרת הבעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3.1 האלגוריתם . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 מבנה המבחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.1 משחקים סכום אפס ומשפט המינימקס . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2 אבן ,נייר ומספריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2.1 באופן כללי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49.1 בעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49.1.1 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
חזרה
141 141 143 144 144 145 146 146 146 146 146 148 148 148 150
150
תרגול מיכאל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1 השיטה ההסתברותית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2 מרטינגיילים וריכוז מידה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.3 שרשראות מרקוב )הילוך מקרי פשוט( . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.4 תרגול יובל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
151 151 152 155 157 159
חלק
I
הסתברות 1 1.1
שיעור 1 בסיס
הגדרה 1.1מרחב הסתברות בדיד )סופי( קבוצה סופית )"מרחב המדגם"\"מרחב ההסתברות"( Ωביחד עם העתקה P r : Ω ⇒ R≥0עם התכונה ש= )Pr (x .1
P
x∈Ω
הגדרה 1.2מאורע אנחנו קוראים מאורעות אלמנטריים .ובאופן כללי :מאורע הוא תת קבוצה של .Ωאם A ⊆ Ωמאורע אז לאיברי P Ω ) . P r (A) = x∈A P r (xלכל מאורע מוגדרת ההסתברות שלו ) P r (Aעם הזהויות הברורות P r (∅) = 0 P r (Ω) = 1 )A ∩ B = ∅ ⇒ P r (A ∪ B) = P r (A) + P r (B אחרי ההרחבה הזו .P r : 2Ω ⇒ R≥0 ללא מאמץ רב אפשר להרחיב את ההגדרה גם למקרה ש Ωאינסופית ובת מניה )ז"א ⇔ |Ω| = ℵ0יש התאמה חח"ע .(Ω ↔ N הערה 1.3מתי לא די במערכת המושגים הזאת? איך מתגברים על חולשותיה? דוגמה :מטילים קוביה מאוזנת עד שיוצא המס .6עוצרים כאשר לראשונה מתקבל המס .6רוצים להבין באופן אופייני לכמה הטלות נזדקק ,מה ההסתברות שנסטה מזה באופן משמעותי .כדי להבין איך לענות על שאלה זו ,יש לדבר על המרחב: }}Ω = {a1 , a2 , ....|ai ∈ {1, .., 6 נשים לב ].|Ω| = ℵ = [0, 1 ע"מ להניח את היסודות לטיפול במרחבים כאלה נדרשת עבודת הכנה בתורת המידה ) .(measure theoryזו תורה שמאפשרת לייחס "גודל" )למשל שטח\נפח( למשפחה של תת קבוצות של קבוצה. הגדרה 1.4התניה )P r (A ∩ B )P r (A
= )P r (B/A
הגדרה 1.5אי תלות
6
אומרים ששני מאורעות A, B ⊆ Ωהם בלתי תלויים אם: )P r (A ∩ B) = P r (A) · P r (B וזה שקול ל)) P r (B/A) = P r (Bזה שאמרנו שהמאורע Aהתקיים לא משפיע על ההסתברות שהמאורע Bהתקיים(. הערה 1.6דוגמא :מטילים קוביה פעמיים A .הוא המאורע שיצא 3בהטלה הראשונה B ,הוא המאורע שיצא 5בהטלה השניה .אז 1 )= P r (A 6 1 = )P r (A ∩ B 36 = )P r (B
הגדרה 1.7משתנה מקרי זו פונקציה . f : (Ω, P r) → ... הגדרה 1.8מ"מ ממשי :הטווח הוא .R הגדרה 1.9מ"מ מציין ) :(indicatorהטווח הוא } .{0, 1יש התאמה חח"ע בין מ"מ מציינים לבין מאורעות .למ"מ מציין fמתאים המאורע }.{ω ∈ Ω|f (ω) = 1 1.1.1
מהם הגדלים שאנחנו רוצים לייחס למ"מ?
הגדרה 1.10תוחלת )"ממוצע"( :אם , f : Ω → Rאז )P r (x) · f (x
P
x∈Ω
= ] .E [f
טענה P1.11תוחלת היאPלינארית :ז"א אם X1 , ..., Xkמ"מ על אותו מרחב הסתברות ,ואם , a1 , ..., ak ∈ Rאז: ] E [ ai Xi ] = ai E [Xi חשוב להבין עד כמה המ"מ " Xמרוכז" ,כלומר ־ נוטה בהסתברות גבוהה לקבל ערכים קרובים לתוחלתו ].E [X הגדרה 1.12השונות של :X h i h i 2 2 = ]V ar [X] : = E (X − E [X]) = E X 2 − 2XE [X] + E [X 2 2 2 ]= E X 2 − 2E [X] + E [X] = E X 2 − E [X
1.2
אי שוויונות בסיסיים בתורת ההסתברות
טענה 1.13חסם האיחודP r (Ai ) :
P
≤ ) P r (∪ni=1 Ai
טענה 1.14אי שוויון מרקוב: אם Xמ"מ אי שלילי ,אז עבור קבוע 1 < cנקבל:
1 c
≤ )].P r (X ≥ cE [X
טענה 1.15החסם של אי שוויון מרקוב הדוק.
7
הוכחה :עבור }X : Ω → {0, 1 1 = )P r (X = 1 c 1 P r (X = 0) = 1 − c ⇓ 1 = ]E [X c ⇓ 1 c
= )P r (X ≥ cE [X]) = P r (X ≥ 1
טענה 1.16אי שוויון צ'בישב: יהי Xמ"מ עם תוחלת E [X] = µושונות σ) V ar [X] = σ 2סטיית תקן .(standard deviationיהי ,c > 0אז: 1 c2
≤ )P r (|X − µ| ≥ cσ
2
הוכחה :נגדיר מ"מ חדש ) , Y = (X − µנציב במרקוב. 1 P r Y ≥ c2 σ 2 = P r (|X − µ| ≥ cσ) ≤ 2 c
הערה 1.17ל E X kקוראים המומנט ה kשל .Xתוחלת = מומנט ראשון ,שונות )זה בערך( מומנט שני.
1.3
תמורות
הגדרה 1.18תמורה ־ העתקה חח"ע }π : {1, ..., n} → {1, .., n הגדרה 1.19נקודת שבת i ∈ [n] :היא נקודת שבת ) ( xed pointשל התמורה πאם .π (i) = i דוגמה :מרחב ההסתברות שלנו יהיה }Ω = {All permutations of {1, ..., n} in uniform probability נגדיר X :Ω → N≥0 } {Sn = Ω, unif כש , X (π) = number of xed points of πוהשאלה היא ?= ].E [X
8
פתרון: ( 1 π (i) = i נגדיר מ"מ מציינים X1 , ..., Xnכש = ) ,Xi (πנשים לב: 0 otherwise Xi מלינאריות התוחלת[Xi ] : !)(n − 1 1 = !n n
=
Pn
i=1
X
=X
= ] .E [Xלכל ,iהיות ש Xiמ"מ מציין:
number of permutations where π (i) = i !n
= )E [Xi ] = P rπ∈Sn (π (i) = i ⇓ 1 =1 n
E [X] = n
הגדרה 1.20התפלגות פואסונית ) P oi (λעם פרמטר λזו התפלגות על המספרים השלמים האי שלילייים: λk !k k
)נזכר ש e−λ λk! = 1
∞P
k=0
P r (k) = e−λ
(.
מס' נקודות השבת הוא פואוסני בגבול עם ,λ = 1כלומר לכל kטבעי: 1 1 · !e k
1.3.1
= )limn→∞ P r (X = k
עוד משהו על ההתנהגות האופיינית של תמורות
הצגנו מקודם תמורה כך: 12345678 56217438
דרך אחרת: 1→5→7→3→2→6→4→1
נשים לב שזהו מעגל. מתברר שהמבנה האופייני של תמורה מקרית בהצגה זו הוא כמו כמה מעגלים ,כשאחד בערך באורך , n2אחד בערך באורך ,... , n4והאחרון מאורך ) 1והוא נקודת השבת(.
9
דוגמה: שוב עובדים ב) ,(Sn , unif ormקובעים kטבעי ,ומגדירים מ"מ X (π) = number of circles of length k in π אם k = 1זו בדיוק השאלה הקודמת .רוצים להציג את Xכסכום של משתנים מקריים מציינים. לכל סידרה α1 , ..., αkשל מס' שונים זה מזה ב} ,{1, .., nנרצה להתאים מ"מ מציין .עלינו לחשוב על α1 , .., αk ועל , a2 , ..., αk , α1וכו' ,כעל אותו אובייקט .נסמן את מחלקת השקילות הזו ב] .τ = [α1 , ..., αk X Xτ =X groups
τ ∈equiv.
נגדיר ( 1 τ ∈π = )Xτ (π 0 otherwise
= )E [Xτ ] = |equivalence groups| P rπ∈unif orm Sn (τ ∈ π
X
= ]E [X
|τ |=k
n !)(n − k !n !)(n − k 1 !)(k − 1 = !)(k − 1 = k !n !)k! (n − k !n k
1.4
=
גרפים
):(Erdos-Szekeres Ramseyבגרסה כמותית משפט 1.21משפט k+l−2 .(N = k+l−2אם צובעים את הצלעות של ) KNהגרף השלם ש לב )נשים N = ויהיה , יהיו k, l ∈ N l−1 k−1 עם Nקודקודים( בכחול ובאדום ,אז יש בהכרח kיה כחולה או lיה אדומה )או שניהם(. הערה 1.22נשים לב :אם k = lאז
4k √ k
≈
2k−2 k−1
.אז:
1 log2 N 2
= N = 4k ⇔ k
משפט 1.23מקרה פרטי של המשפט של רמזי :בכל גרף על Nקודקודים יש קליקה מגודל < 21 log2 Nאו אנטי קליקה ) (indipendent setמגודל < . 21 log2 N משפט 1.24יש גרפים על Nקודקודים ללא קליקה וללא אנטיקליקה מגודל < .2log2 N הוכחה :רעיון ההוכחה :נעבוד במרחב ההסתברות ,Ω = G N, 12זה מרחב ההסתברות הכולל את כל הגרפים N על קבוצת הקודקודים } {1, .., Nבהתפלגות אחידה .יש ) 2( 2גרפים כאלה ,ולכן ההסתברות של כל גרף היא
10
N 1 ) = 2−( 2 N ( ) 2 2 המטבע יוצא ראש .נקבע מס' טבעי ,tונגריל 2מ"מ:
.דרך אחרת לתאר את המרחב הזה :לכל זוג קודקודים נטיל מטבע מאוזן ונשים צלע ביניהם אם"ם
X (G) = how many t-cliques are in G " Y (G) = " t-anticliques
מראים שאם t > 2log2 Nאז ) ,E [X + Y ] = E [X] + E [Y ] = o (1ומסיקים שיש Gשבשבילו = )X (G ,Y (G) = 0ב Gכזה אין tקליקה ,ואין t־אנטיקליקה. X =X ; XT T ⊆[N ],|T |=t
) (2t N N 1 = ] E [XT = )P r (t-ary is a clique t t 2
2
X
= ]E [X
תרגול 1
הגדרה 2.1התפלגות ברנולי Bernoulli ממ Xמתפלג ברנולי עם פרמטר ] p ∈ [0, 1אם P r [X = 1] = p P r [X = 0] = 1 − p
ה־דוגמא :ממ מציין ־ בהנתן מאורע ,Aהממ המציין של Aמקבל 1אםם Aקרה ,ו־ 0אחרת. נשים לב: E [X] = 1 · p + 0 · (1 − p) = p h i 2 2 = ]V ar [X] = E |X − E [X]| = E X 2 − E [X 2
)= E [X] − E [X] = p − p2 = p (1 − p
הגדרה 2.2התפלגות בינומית נאמר )] X ∼ Bin (n ∈ N, p ∈ [0, 1אם לכל : 0 ≤ k ≤ n n k n−k = ]P r [X = k )p (1 − p k
11
אפשר לחשוב על XכךXi :
Pn
i=1
= , Xכאשר,∀i : Xi ∼ Ber (p) :וכולם ב"ת .נשים לב: " n # n n X X X linear E [X] = E = Xi = ] E [Xi p = np i=1
i=1 n X n X E Xi2 + = ] E [Xi Xj i=1 j6=i
= ] E [Xi Xj
n X
= ] E [Xi Xj
n X n X
!2 =
E [Xi Xj ] = np +
Xi
n X
n X n X
E [Xi ] +
i=1 j6=i
i=1 j6=i
E X2 = E
i=1
i=1 j=1
i=1 n X n X
i=1
n X
=
i=1
= np + n (n − 1) p2 המעבר האחרון נובע מכך שההסתברות ש Xi, Xjשניהם יחד יהיו שונים מ 0היא .p2 2 ] V ar [X] = E X 2 − E [X] = np + n (n − 1) p2 − n2 p2 = np − np2 = np (1 − p) = nV ar [X1
2.1
דוגמא ־ גרפים מקריים 1
ראינו את מודל G n, 2ליצירת גרפים .גם מודל שנקרא ) G (n, pהוא מעניין ,כאשר ] p ∈ [0, 1וכל קשת נכנסת לגרף בהסתברות pבמקום בהסתברות . 12היום נראה מודל שנקרא ) ,G (n, n, pהמכיל שתי קבוצות במקום קבוצה אחת של nקודקודים .נקרא לקבוצה אחת ,Xולשניה .Yבמודל זה ,כל הקשתות בין Xל .Yמודל זה יוצר גרפים דו צדדיים מקריים. מ"מ מציין שמקבל 1אםם (x, y) ∈ Eמתפלג ברנולי עם פרמטר .pעבור x ∈ Xנסמן ב Rxאת הממ המציין של המאורע בו xמבודד ,כלומר ־ לא יושב באף צלע. n
) )Rx ∼ Ber ((1 − p נשים לב שההסתברות היא כיוון שההסתברות שלא תיהיה צלע לקודקוד אחד אחר היא ) .(1 − pיש nקודקודים מהקבוצה האחרת ,ולכן נקבל הסתברות זו .נסמן את הקודקודים ב Xע"י } .[n] = {1, .., nנסמן: Ri
n X
=R
i=1
נשים לב ש Rסופר את הקודקודים הבודדים בגרף .כיוון שה Riמתפלגים ברנולי עם אותו פרמטר ,וכיוון שהם ב"ת ,ניתן לאמר ש Rמתפלג בינומי .מדוע הם ב"ת? ניתן לראות שהם ב"ת בזוגות כיוון שההסתברות ששני קודקודים יהיו בודדים שווה למכפלת ההסתברות שכל אחד בנפרד בודדים .צריך להוכיח שכל תת קבוצה שלהם ב"ת ,וניתן n לעשות זאת באינדוקציה על אותו טיעון .קיבלנוR ∼ Bin (n, (1 − p) ) : כיצד המאורע R > 0תלוי ב?p התכונה "אין קודקודים מבודדים" היא מונוטונית )אם אני מוסיף צלעות לגרף בלי קודקודים מבודדים ,הוא עדיין ישאר בלי קודקודים מבודדים( .מהו ] P r [R = 0כפונק' של ?pאם p = 0אין צלעות בגרף ,ולכן יש קודקודים מבודדים ,ולכן .P r [R = 0] = 0אם p = 1נקבל .P r [R = 0] = 1 משפט 2.3השאפה של הסתברות לקודקודים מבודדים 12
א .יהי ,c < 1
)ln(n n
· p ≤ cאז lim P r [G (n, n, p) has a solitary vertex] = 1
∞→n
) p ≥ c ln(nאז ב .יהיו c > 1ו n lim P r [G (n, n, p) has no solitary vertices] = 1
∞→n
הוכחה :הוכחת ב: נסמן ב IXאת המאורע בו יש קודקוד מבודד ב .Xבאופן דומה נסמן IYו I = IX ∪ IYהמאורע בו יש קודקוד מבודד.
1 ]E [R] ≤ E [R ]E [R
] P r [I] ≤ P r [IX ] + P r [IY ] ≤symmetry 2P r [IX ] = 2P r [IY R takes only integer values = ]P r [IX ] = P r [R > 0 = Pr R ≥ 1 n
≤ )E [R] = n (1 − p) ≤∀x∈R:1+x≤exp(x) n · exp (−pn ) p ≥ c ln(nנקבל ) −pn ≤ −c · ln (nולכן: כיוון שעכשיו n ≤ n · exp (−c · ln (n)) = n1−c →because 1-c<0 0
3
תרגול אקסטרה 1
פרטים יובל פלד ,נמצא ב A422בימי ב' 15־ .14ליצור קשר לפני במייל! [email protected]
דוגמה 1 2
נתונה רשת מעגלית של רכבות עם nתחנות ו nמסילות .נתון שכל תחנה פעילה בהסתברות התחנות .מסילה פעילה אם התחנות בשני קצותיה פעילות .נסמן ב Xאת מס' המסילות הפעילות. .1מה התוחלת של ?X נציג את Xכסכום של ממ מציינים: X 1 active rail =⇒X Xi 0 otherwise i=1 n
13
( = Xi
ובאופן ב"ת משאר
נשתמש בלינאריות של התוחלת: 1 4
= ]E [Xi ] = 1 · P r [Xi = 1] + 0 · P r [Xi = 1] = P r [Xi = 1 ⇓ n 4
= ] E [Xi
n X
# = Xi
n X
" E [X] = E
i=1
i=1
הערה 3.1אם Yמ"מ מציין ,אז ].E [Y ] = P r [Y = 1 P r (X = 0) =? .2 נעשה זאת בעזרת מרקוב! הערה 3.2תזכורת לא"ש מרקוב X :הוא מ"מ אי שלילי ו ,a > 0אז
]E[X a
≤ )P r (X ≥ a
נשים לב: )P r (X = 0) = P r (X ≤ 0
א"ש מרקוב עוסק בסטיות מהתוחלת כלפי מעלה ,הפתרון הוא להשתמש במשלים ,למשל במקרה שלנו נגדיר: .Y = n − Xכיוון ש X ≤ nנקבל ,0 ≤ Yואז: 3n 4 3 ] E [Y = n 4
= ]E [Y ] =linear n − E [X
≤ )P r (X = 0) = P r (X ≤ 0) = P r (Y ≥ n
V ar [X] =? .3 הגדרה 3.3שונות משותפת: ] Cov (Xi , Xj ) = E [Xi Xj ] − E [Xi ] E [Xj
טענה 3.4אם Xi
P
= ,Xאז ) Cov (Xi, Xj
X
V ar [Xi ] +
i6=j
14
X
= ]V ar [X
. לינאריות של תוחלת+ V ar [X] = E X 2 − E2 [X] :הוכחה .נשתמש בטענה זו כדי להוכיח את הנדרש 1 3 1 = V ar [Xi ] = E Xi2 − E2 [Xi ] = E [Xi ] − E2 [Xi ] = − 4 16 16
.V ar [Y ] = p − p2 = p (1 − p) אזE [Y ] = p הוא מ"מ מציין וY אם3.5 הערה פעילהj פעילה והמסילה הi לא נחתכות )אין תחנה משותפת( אז המאורעות שהמסילה הj והiאם המסילות ה : ולכן,ב"ת E [Xi Xj ] = P r (the i and j rails are active) =
= P r (the i-th rail is active) P r (the j-th rail is active) = 1 = 16 :נשים לב
( 1 both i and j are active E [Xi Xj ] = 0 Cov (Xi , Xj ) = E [Xi Xj ] − E [Xi ] E [Xj ] = E [Xi Xj ] −
1 16
: במקרה האחר.Cov (Xi , Xj ) = 0 שלא נחתכות נקבלi, j לכן עבור מסילות E [Xi Xj ] = P r (i & j rails are active) =
1 1 1 1 ⇒ Cov (Xi , Xj ) = − = 8 8 16 16 :סה"כ
V ar [X] =
X
V ar [Xi ] +
X
Cov (Xi , Xj ) +
i,j intersecting
=
X
Cov (Xi , Xj ) =
i,j not intersecting
1 5n 3 n + 2n + 0 = 16 16 16
.Cov לפיV ar לפי הנוסחה של חישוב,הוא סכום על הזוגות הסדורים
P
i,j intersecting :הערה
P r (X = 0) =? .4 !נעשה זאת בעזרת צב'ישב P r (|X − E [X]| ≥ t) ≤
15
V ar[X] t2
: תזכורת לא"ש צ'בישב3.6 הערה
במקרה שלנו: 5 n
=
5n 16 n2 16
]V ar [X = ]E2 [X
P r (X = 0) ≤1 P r (|X − E [X]| ≥ E [X]) ≤chebyshev
הערה ≤1 3.7נובע מכך ש: ]X = 0 ⇒ |X − E [X]| ≥ E [X
כלומר ,המאורע X = 0מוכל במאורע ] |X − E [X]| ≥ E [Xולכן )].P r (X = 0) ≤1 P r (|X − E [X]| ≥ E [X
4
תרגיל 1
טענה 4.1אם X, Yמ"מ ב"ת אז ] .E [XY ] = E [X] E [Y טענה 4.2ההפך אינו נכון! n
טענה 4.3אם {Xi }i=1ב"ת בזוגות אז ] V ar [Xi
5 5.1
Pn
i=1
= ] Xi
Pn
i=1
[ V ar
שיעור 2 חזרה על שיעור קודם
משפט 5.1משפט Ramseyכמותי \ משפט Erdos Szekeres אם צובעים את צלעות Knבכחול ואדם ,אז בהכרח יש Klכחול או Klאדום )או שניהם( ⇔ = . k+l−2 l−1
k+l−2 k−1
≤ )(k, l
מסקנה 5.2מהצבה k = lמקבלים :בכל גרף על nקודקודים יש קליקה או אנטיקליקה מגודל ≤ . 12 − o (1) log2 n מאידך גיסא :יש גרפים )בעצם רוב הגרפים( מסדר =) nבעלי nקודקודים( בהם אין קליקה \ אנטיקליקה < .(2 + o (1)) log2 n הוכחה :נביט במרחב ההסתברות ⇔ G n, 12התפלגות אחידה על כל הגרפים מסדר .nנגדיר פרמטר kשיקבע בהמשך ,ונגדיר שני מ"מ X (G) = number of k-cliques in G
Y (G) = number of k-anticliques in G
אם נראה ש E [X + Y ] = 2E [X] < 1זה היה גורר שיש גרפים ללא kקליקות וללא kאנטיקליקות .ז"א .∃G s.t. X (G) = Y (G) = 0בעצם יתברר שע"י בחירה מתאימה של kיצא: )E [X + Y ] = o (1
16
ומכך ינבע שבהסתברות < 1 − nעבור ∞ → n → 0, nאין בגרף מקרי kקליקה ולא kאנטיקליקה. נכתוב: X
XT
=X
T ⊆[n],|T |=k
1 T-clique in G 0 otherwise ) (k2 n 1 1 = ]E [X ?=
= )XT (G
נשים לב ,מסטרלינג נקבל עבור :n >> k >> 1 ne k n )n (n − 1) ... (n − k + 1 = ))= (1 + o (1 k !k k אז: 1 2
!k ?=
הוכחה :מהו kשבשבילו < 1 −
k−1 2
ne 1 k−1 2 2
1 2
ne k
k
) (k2 n 1 = = ]E [X 2 k
? אם נמצא כזה ,kנקבל ש .E [X] → 0נוציא :log
k−1 ne < (1 − ) 2 2 k k−1 < log2 n + log2 k + c − 2 ⇓
(2 + o (n)) log2 n < k
2
5.2
פונקציית הסף להופעה של K4ב G (n, p) , p = n− 3
5.2.1
תזכורות
משפט 5.3אי שוויון צ'בישב אם Xמ"מ ממשי עם תוחלת ] µ = E [Xוסטיית תקן ,σז"א ] ,σ 2 = V ar [Xאז: 1 c2
≤ )Pr (|X − µ| ≥ cσ
17
מסקנה 5.4מקרה פרטי :אם Xמ"מ אישלילי עם תוחלת µושונות σ 2אז µ chebyshev ]V ar [X ⇒ ≤ )Pr (|X − µ| ≥ µ) = Pr (X = 0 σ µ2 אם )= on (1
]V ar[X µ2
=c
אז אסימפטוטית כמעט בוודאות .X > 0 2
5.2.2פונקציית הסף להופעה של K4ב G (n, p) , p = n− 3 2 משפט 5.5נביט בגרף מקרי ) .G (n, pאם p = o n− 3אז אכב"ו )אסימפטוטית כמעט בוודאות( אין K4ב. G מצד שני ,אם
−2 3
p >> nיש K4ב.G
הוכחה :הוכחה לא' .נגדיר מ"מ Xהמונה את מס' ה K4שב .G 1 S is a clique 0 otherwise X =X XS (
= )XS (G
|S|=4
n 6 p << n4 · n−4 = 1 4
= ]E [X
2 2 n−4כי .p = o n− 3 → p << n− 3 ⇒ p6 << n 2
הוכחה לב' .כאשר p >> n− 3אז n 6 = ]E [X ∞→ p 4 ע"פ המקרה הפרטי של צ'בישב נוכל להוכיח את ב' אם נראה ש V ar [X] = o µ2
נתחיל: XS
X
=X
|S|=4
2 2 X X 2 2 V ar [X] = E X − E [X] = E XS − E XS =1 |S|=4
|S|=4
נשים לב ש ai aj
X
a2i + 2
X
i<j
18
=
2
ai
X
אז:
X X 2 E XS2 − (E [XS ]) + 2 = E [XS XT ] − E [XS ] E [XT ] | {z } S
) Cov(XS ,XT
= E [Xs XT ] − p12
X
+2
2
)] E [XS ] − (E [XS
|S|=4
X
S
either 1 or 0
XS isonly
|S|=4
}
{z
P ] ≤µ= |S|=4 E[XS
|
נשים לב: E [XS XT ] = Pr (S is a clique ∧ T is a clique) = p11 נשים לב ש S, Tנחתכים ,לכן סה"כ יש בהם 6קודקודים ,לכן: n 6 6 2, 2, 2 לכן: 4
= n− 3
5.3
שתי עובדות חשובות
2 · = θ n6 p11 = θ n6 − 11 3
θ n6 p11 − p12
urn models
משליכים באקראי כדורים לכדים. .1מתי לראשונה תחול התנגשות? ז"א ,מתי צפוי שיהיה כד עם יותר מכדור אחד. √ תשובה :בערך אחרי nזריקות .פרדוקס ימי ההולדת. .2אספן הקופונים ־ באיזה רגע לא יוותרו כדים ריקים? תשובה :בערך ).nln (n נבנה מרחב הסתברות :כל המילים ω = ω1 ω2 ....בא"ב .(∀i : ωi ∈ [n]) 1, .., n נגדיר ממ :X }]X (ω) = min {t| {w1 , ..., wt } = [n Xשואל מתי המילה מכילה את כל האותיות ,כלומר ־ מתי לא יוותרו כדים ריקים. משפט 5.6סטרלינג2πn :
√
n n e
≈ !n
19
=1
=
מסקנה 5.7
− 21
)≈ en (2πn
nn !n
טענה 5.8אי שוויון הממוצעים ):(AMGM a1 + ... + ak k
1
≤ (a1 · .... · ak ) k
הוכחה :נשים לב ש logxקמורה וקעורה עבור :x > 0 1 >0 x 1 00 (logx) = − 2 < 0 x 0
= )(logx
מהקעירות נובע שלכל a1 , ..., akהלוג של הממוצע ≤ הממוצע של הלוגים )הדגמה לפי ציור( .בקמירות ,אי השוויון מתהפך .נכתוב זאת: 1 a1 + ... + ak (loga1 + ... + logak ) ≤ log k k m 1 a1 + ... + ak log (a1 · ... · ak ) ≤ log k k m 1 a1 + ... + ak log (a1 · ... · ak ) k ≤ log k
הערה 5.9 n e
ˆn ln (x) dx = xlnx − x|n1 = nlnn − (n − 1) = n (lnn − lne) = nln
≈ )ln (n!) = ln1 + ln2 + ... + ln (n
מסקנה 5.10אם ,ai = iלפי סטרלינג: 1 n a1 + ... + ak n+1 ≤ ≈ (a1 · .... · ak ) k = e k 2
5.3.1
פרדוקס יום ההולדת
זורקים kכדורים ל nכדים ורוצים להבין מה ההסתברות שכל כדור נופל בכד אחר .ההסתברות היא: 1 2 k−1 1· 1− · 1− · ... · 1 − =1 n n n
20
הערה 5.11טריק שימושי: x2 + ... !2
ex = 1 + x +
בפרט ,כש| |xקטן: 2
ex = 1 + x + O x
1
= ))= e− n (1+2+...+(k−1 )k(k−1 2n
k−1 n
2
1
≈1 e0 e− n e− n ...e−
= e−
√ לכן ,אם , k 2 << nז"א ,k << √nאז ההסתברות שלא חלה התנגשות )שני כדורים באותו כד( היא ).1 − o (1 מצד שני ,אם ,k 2 >> nז"א , k >> nאז ההסתברות הנ"ל שלא חלה התנגשות היא ).o (1 5.3.2
חיתוך קבוצות מקריות
נאמר ש] A, B ⊆ [nתת קבוצות מקריות מעוצמות k, lבהתאמה .רוצים לדעת מה ההסתברות שהקבוצות זרות. n−k )(n − k) (n − k − 1) ... (n − k − l + 1 n−k n−k−l+1 l = P rA,B (A ∩ B = ∅) = n = · · .... = n (n − )1 .... (n − l + )1 n n−l+1 l k k kl k k k = 1− 1− .... 1 − ≈ e− n ...− n−l+1 ≈ e− n n n−1 n−l+1
מסקנה 5.12אם kl >> nאכב"ו A, Bתחתכנה ואם kl << nאכב"ו תהיינה זרות ואם kl ∼ nאז ההסתברות שתחתכנה חסום מ 0ומ.1 5.3.3
אספן הקופונים
מתי לא יוותר כד ריק? דרך א nכדים ,משליכים kכדורים .מהי התוחלת של מס' הכדים הריקים? אם ) E [X] → o (1אכב"ו אין כדים ריקים .אם ∞ → ] E [Xאז יש לקוות שעל ידי שיקול מומנט שני כמעט בוודאות יש כד ריק. Xמ"מ מקרי שמונה את מס' הקדים הריקים: ( 1 i is empty = )Xi (ω 0 otherwise X =X Xi k X 1 = ]E [X E [Xi ] = n Pr (the rst urn is empty) = n 1 − n
21
k
1 k n
1 k n
נרצה ≈ ne− n k .n 1 − n1 → 0הוכחנו :אם ) ,k >> nln (nאז אכב"ו אין כדים ריקים. נגדיר מ"מ Xtשסופר כמה צעדים חלפו מהרגע שבו היו t − 1כדים שמכילים כדור עד לרגע שבו יש tכדים שמכילים כדור. X =X Xi = time until there are no empty urns X = ]E [X ] E [Xi . n 1 −ואכן ,אם ) k << nln (nאז ∞ →
Xiהוא מ"מ גיאומטרי עם סיכוי הצלחה
n−i+1 n
n 1 −ואילו אם ) k >> nln (nאז
= ,pלכן התוחלת:
1 n = p n−i+1 n n X X n 1 = ]E [X =n ))= n (logn + O (1 n − i + 1 j i=1 j=1
= ] E [Xi
דרך ב סיימנו כאן.
6 6.1
תרגול 2 קירובים שימושיים
הערה 6.1בשבוע שעבר ראינו: ∀x ∈ R : 1 + x ≤ ex
למה 6.2קיים c > 0כך שלכל ]:x ∈ [−c, c
1 − x ≥ exp − x + x2
הוכחה :ניתן להוכיח עם טיילור ,לא נעשה זאת .נגדיר את פונקציית ההפרש: 2 ) f (x) = 1 − x − e−(x+x
המטרה f :אי שלילית בסביבה של אפס .מספיק להוכיח f (0) ≥ 0 :וגם fמקבלת מינימום מקומי באפס .נתחיל: f (0) = 1 − 0 − e0 = 0 ≥ 0
22
כעת נוכיח את המינימום המקומי: 2
f 0 (x) = −1 − − (1 + 2x) e−(x+x ) ⇒ f 0 (0) = −1 + e0 = 0 עכשיו ,כדי לסיים את ההוכחה שזהו מינימום מקומי ,יש להראות שהנגזרת השניה חיובית בנקודה זו: 2 2 2 ) f 00 (x) = 2e−(x+x ) − (1 + 2x) e−(x+x
f 00 (0) = 2e0 − e0 = 1 > 0 לכן ל fיש מינימום מקומי באפס ,ו) , 0 ≤ f (0כנדרש. משפט 6.3קירוב סטירלינג n n
√
n! ≈ 2πn √ ne 2πn ne lim =1 ∞→n !n הוכחנו בשיעור: ).f = o (1
n
,n! = 1 + o (1) neכלומר :אם נגדיר את f : N → Rכך ש: n
n
,n! = 1 + f (1) neאז:
1 n n n ))= (2πn) 2n · = (1 + o (1 | {z } e e
n n e
2πn
√
≈ !n
)1+o(1
6.2
הגבלות של שיטת המומנט הראשון ־ קודקודים מבודדים והתאמות מושלמות
6.2.1
תזכורת )G (n, n, p
יש שתי קבוצות של קודקודים X, Yכך ש , |X| = |Y | = nוההסתברות שיש צלע בין קודקוד מקבוצה Xלקודקוד מקבוצה Yהיא .p קודקוד מבודד הוא קודקוד עם דרגה .0 טענה 6.4יהי Iהמאורע בו יש קודקודים מבודדים .אזי: ) ,p ≥ c ln(nאז limn→∞ Pr (I) = 0 .1אם c > 1ו n ) ,p < c ln(nאז limn→∞ Pr (I) = 1 .2אם 0 ≤ c < 1ו n הוכחה :נוכיח את חלק ב' ונשתמש בשיטת המומנט השני .לכל ] i ∈ [nנגדיר את המ"מ Riבתור האינדיקטור שi ∈ X n מבודד .נשים לב) Ri ∼ Ber ((1 − p) ) :יש nאפשרויות לקודקודים מהם תצא צלע ל , iההסתברות לכך שלא תיהיה צלע היא .(1 − pנגדיר: Ri = number of solitary vertices in X
n X
=R
i=1
⇓ n
) )R ∼ Bin (n, (1 − p
23
:נסתכל על n
E [R] = n (1 − p)
וc > 1 :'במצב א : לכן,p ≥ c ln(n) n n
E [R] = n (1 − p) ≤ n · exp (−pn) ≤ n · exp (−cln (n)) = n1−c → 0 וc < 1 :'במצב ב : לכן,p ≤ c ln(n) n n for big enough n ln (n) ln (n) ln2 (n) n E [R] = n (1 − p) ≥ n · 1 − c ≥ n · exp −n c ≥ + c2 n n n2 2 ln2 (n) = n1−c (1 + o (1)) → ∞ ≥ n · exp (−cln (n)) · exp −c | {z } n | {z } =n−c
→0
|
{z
}
→1
:נסתכל על n
n
V ar [R] = n (1 − p) (1 − (1 − p) ) ≤ E [R] {z } | {z } | =E[R]
Pr (I c ) | {z }
≤1
≤ Pr (R = 0) ≤ Pr (|R − E [R] ≥ E [R]|)
chebyshev
≤
no solitary vertex
V ar [R] 2
E [R]
≤
E [R] 2
E [R]
=
1 →0 E [R]
⇓ Pr (I) → 1
2 תרגול אקסטרה
7
.לא התקיים
2 תרגיל n
8
אזB ⊆ Ω וΩ { חלוקה שלAi }i=1 אם: חוק ההסתברות השלמה8.1 טענה Pr (B) =
n X
(Pr (B|Ai ) Pr (Ai ))
i=1
24
n
טענה 8.2חוק התוחלת השלמה :אם {Ai }i=1חלוקה של Ωו X : Ω → Rאז )) (E [X|Ai ] Pr (Ai
n X
= ]E [X
i=1
טענה 8.3אינפי שימושי= eλ :
λn n=0 n
∞P
טענה 8.4אם ) X ∼ P ois (λעם λ > 0אז: n
∀λ ∈ N ∪ {0} : Pr (X = n) = e−λ λn! .1 E [X] = λ .2 V ar [X] = λ .3 .4אם ) Y ∼ P ois (λ0ו X, Yב"ת אז ) X + Y ∼ P ois (λ + λ0
טענה 8.5קושי שוורץ עבור מ"מ :אם X, Yמ"מ מוגדרים מעל אותו מרחב הסתברות אז: 2 E [XY ] ≤ E X 2 E Y 2
טענה 8.6יהי Xמ"מ אי שלילי ,אז
9 9.0.1
E[X]2 ] E[X 2
≥ )Pr (X > 0
שיעור 3 ספרים על הסתברות
1. Alon & Spencer 2. Mitzenmacher Upfal
9.1
כמה טענות
טענה ∀x : ex ≥ 1 + x 9.1 הוכחה :כיוון א :מוכיחים בעזרת ציור או לפי טור טיילור של .ex כיוון ב 1 + x + x2 ≥ ex :לכל .x < 1.9הוכחה עם וולפרם אלפא או שוב לפי טור טיילור. 9.1.1פרדוקס יום ההולדת √ לא מדויק :כאשר משליכים כדורים באקראי ל nכדים ,צפוי שההתנגשות הראשונה תחול בערך בצעד ה. n 25
אם בוחרים באקראי קבוצה מגודל aוקבוצה מגודל bמתוך עולם מגודל ,nאז ההסתברות שהן באופן קונקרטי: ab זרות היא בקירוב . e− n 9.1.2
אספן הקופונים
לא מדויק:
משליכים באקראי כדורים ל nכדים ,צפוי שבערך בצד ה) nln (nכבר בכל כד יהיה לפחות כדור אחד.
Pלא ריקים. באופן קונקרטי :הגדרנו Tiמ"מ שהוא משך הזמן בין הרגע שיש i − 1כדים לא ריקים לרגע שבו יש iכדים n n . n−i+1ולכן ,התוחלת היא: שמנו לב ש Tiהוא מ"מ גיאומטרי עם פרמטר .E [Ti ] = n−i+1ואם T = i=1 Tiאז: n Ti
n X
= T
i=1
⇓ the harmonic sum
))= n (ln (n) + γ + o (1 1 i
{|}z Hn }|{z
1 =n n−i+1
P = n i=1
n X i=1
E [Ti ] = n
n X
= ] E [T
i=1
במגוון רחב של יישומי הסתברות ל"חיים" אנחנו לא מסתפקים בידיעה מהי התוחלת µשל מ"מ מעניין .חשוב לנו לדעת דברים מעניינים ,כמו: ?< )∆ Pr (X > µ + ?< )∆ Pr (X < µ − ?< )∆ > |Pr (|X − µ
9.2
תזכורת
X ≥ 0מ"מ עם תוחלת µושונות .σ 2 9.2.1
אי שוויון מרקוב 1 c
≤ )]Pr (X ≥ cE [X
דוגמא עם אספן הקופונים: 1 10
9.2.2
< ))Pr (T > 10nln (n
אי שוויון צ'בישב 1 c2
≤ )Pr (|X − µ| ≥ cσ
26
)הזמן עד שאין כדים ריקים( באמצעות אי שוויוןT לקבל משפט ריכוז מידה על: המטרה:דוגמא עם אספן הקופונים :צ'בישב {Ti } are indenpendent ⇓ X
V ar [T ] =
V ar [T ]
.p מ"מ גיאומטרי עם פרמטרX נניח: נחשב את השונות של מ"מ גיאומטרי. הוא מ"מ גיאומטריTi אבל כל k−1
Pr (X = k) = (1 − p) p ∞ ∞ ∞ X X X k−1 k−1 E [X] = k Pr (X = k) = kp (1 − p) =p k (1 − p) = k=1 ∞ X
=p
k=1
k (1 − p)
k−1
=1 p
k=1
k=1
1 1 = p2 p
We used the following calculations in =1 ∞ X
xt =
1 1−x
txt =
1
t=0 ∞ X t=0
2
{1 − x}
:נמשיך E X2 =
X
k 2 Pr (X = k) = p
k
k−1
k 2 (1 − p)
k
⇓k =t−1 ∞ X t (t − 1) xt−2 = t=2
X
X
k 2 + k xk−1
2 3
(1 − x) X = (k + 1) kxk−1 =
2 2
(1 − x)
⇓ V ar [X] =
1−p p2
⇓ V ar [T ] =
X
V ar [Ti ] <
n X i=1
n n−i+1
⇓ π σ = √ n = o (E [T ]) 6
27
2
X 1 ≤n k2 2
P
1 k2
2
= π6
≤
n2
π2 =: σ 2 6
כשמציבים באי שוויון צ'בישב מתקבלים: 1 c2
≤
π Pr |T − nln (n)| > c √ n 6
cמעניין אם: c → ∞ .1ולכן החסם הוא ).o (1 ∞→n
.2וכן ,nln (n) >> c √π6 nלמשל )log (n
9.3
תהליכים סטוכסטיים
9.3.1
מהלכים מקריים )walks
p
= .c
(random
נסתכל על הגרף: − − − − −(−2) − (−1) − 0 − 1 − 2 − − − − − −− יש לנו מהלך מקרי שמגדיר לו מ"מ Xשהוא מקומו לאחר nצעדים )כאשר הקודקודים ממוספרים(. Xi ∼ Bernoulli 1 = )Pr (Xi = 1 ? n X =X Xi
1 √ n
i=1 n
=θ
n 2
2n
= )Pr (X = 0
n n n n + + ... + n + ... + 0 1 n 2 r √ √ n n 2πn n 2n 2πn 2n 2 n! stirling e · √= = = n = 2 n √ n 2 πn π n n 2 2 πn !2 2e = 2n
הערה 9.2נניח ש ( 0 12 = Yi 1 12 X = Y Y n = ] E [Y 2 √ ובסיכוי גבוה לא נסטה מהתוחלת יותר מאשר ).O ( n 28
?Pr (X = k) מה בדבר:נחזור למהלכים .a − (n − a) = 2a − n = k צעדים שמאלה ⇐ נקודת הסיום היאn − a צעדים ימינה ולכןa = n+k 2 נניח שהיו :לכן n n+k 2
Pr (X = k) =
2n אמרנו ש
Pr (X = 0) = θ
1 √ n
:k ≥ 0 וכשנשווה בין שכנים עבור Pr (X = k + 1) = Pr (X = k)
n
n+k 2 +1
n
n+k 2
=1−
1 Pr (X = l) = n 2
n n+l 2
=
n+k 2
2k + 2 n+k+2
+1 !
1 k
≈
n−k 2 n−k 2 −
!
!
= 1 !n!
n−k 2 n+k 2 +
1
=
n−k = n+k+2
2k
e− n
Pr (X = 2) Pr (X = 4) Pr (X = l) = Pr (X = 0) · .... = | {z } Pr (X = 0) Pr (X = 2) Pr (X = l − 2) | {z } √1 n
n+k 2
n!
1
e− n ·2
l2
2 z }| { 1 −n 2 + 4 + ... + l 1 1 − l2 2n = θ √ e =θ √ e n n
.o (1) אז זהl >>
p nln (n) בפרט אם מקדמים בינומיים
9.3.2
: אזα ∈ (0, 1) אם9.3 טענה
n αn
1 2ב
= 2n(H(α)+o(1))
ערכה, היא סימטרית סביב חצי. היא פונקציית האנטרופיהH (x) = −xlog2 x − (1 − x) log2 (1 − x)כש .1, 0 ב0 וערכה הוא,1 הוא
29
נסתכל על: X n n−j n )αj (1 − α = (α + (1 − α)) = 1 j 1 . n+1איך נמצא אותו? נשווה שני איברים עוקבים על ידי חישוב המנה ביניהם המחובר הגדול ביותר הוא בין 1ל ונמצא מתי המנה היא < :1 n−j n j )j α (1 − α ≈1 n j+1 (1 − α)n−j−1 j+1 α
כש jקטן המנה < ,1כש jגדול המנה > .1 !)1 − α (j + 1)! (n − j − 1 ?1 − α j + 1 for which j = · = 1 α !)j! (n − j α n−j
n−j
=
)αj (1 − α
n−j−1
)(1 − α
n j
αj+1
n j+1
⇓ )(1 − α) j = α (n − j ⇓ j − αj = αn − αj ⇓ j = αn
נסתכל על האיבר ה ,jשהוא האיבר הגדול ביותר: n (1−α)n )ααn (1 − α <1 αn
1 < n+1 ⇓
!n
1 1−α
)αα (1 − α
n < αn
!n
<
1 1−α
)αα (1 − α
1 n+1
נותר רק לשים לב ש: )= 2H(α
1 1−α
)(1 − α
αα
ע"י מעבר ל log2בשני האגפים: )= H (α 1 1 + log )1−α = −αlogα − (1 − α) log (1 − α αα )(1 − α
30
1 1−α
=log
)(1 − α
αα
log2
9.4
משפטים
משפט 9.4הגבול המרכזי CLT - Central Limit Theorem הגדרה 9.5יהיו X1 , X2 , ....מ"מ שווי התפלגות וב"ת )או בקיצור ־ .(iidנניח ש E [X1 ] = µ V ar [X1 ] = σ 2 n X = Y Xi i=1
Y − nµ √ σ n
=Z
2
משפט 9.6תהיה
x √1 e− 2 2π
= ) ϕ (xפונקצית הצפיפות של מ"מ ) N (0, 1וϕ (x) dx
´x ∞−
= ) Φ (xאז לכל :a ∈ R
)lim Pr (Z < a) = Φ (a
∞→n
הערה 9.7ההתפלגות של Zדומה להתפלגות הנורמלית ).N (0, 1 משפט 9.8אי שוויון צ'רנוף )(Cherno X יהיו X1 , ..., Xnמ"מ מציינים ב"תi=1 i , !µ eδ
Pn
= . Xונסמן .µ = E [X] :אזי לכל :δ > 0 ≤ )Pr (X ≥ a := (1 + δ) µ
1+δ
)(1 + δ
!µ
e−δ
≤ )Pr (X < (1 − δ) µ
1−δ
)(1 − δ
הוכחה :נוכיח רק את אי השוויון הראשון .יהי t > 0שאת ערכו נקבע בהמשך ,אז: ] markov E [etx ≤ eta
Pr (X ≥ a) = Pr etx ≥ eta
נחשוב על ] E [etxכעל פונקציה במשתנה הממשי ,tנכתוב את טור הטיילור שלו: t 2 x2 t2 E etx = E 1 + tx + + · · · = 1+t E [X] + E X2 +... := moment generating function } | {z 2 2 } | {z second moment
rst moment
31
תרגול 3
10 10.1
סכומים נבדלים\שונים
הגדרה {x1 , ..., xk } = S ⊆ [n] 10.1נקראת בעלת סכומים נבדלים )או שונים( אם כל המספרים ]xi , I ⊆ [k שונים. שאלה תשובה
i∈I
P
מה הגודל המרבי של תת קבוצה של ] [nבעלת סכומים נבדלים? נגדיר פונקציה f : N → Nכש f (n) = k s.t. there is a subset of [n] of size k, and it has dierent sums,
and there is no subset of [n] with dierent sums of size k + 1
חסם קל∀n : f (n) ≤ n : חסם תחתון
נסתכל על . Sn := 1, 2, 4, ..., 2blog2 ncתרגיל Sn :בעלת סכומים נבדלים: |Sn | = blog2 nc + 1 f (n) ≥ blog2 nc + 1
חסם עליון נניח f (n) = kונניח ] S = {x1 , ..., xk } ⊆ [nבעלת סכומים נבדלים .יש 2kסכומים שונים וכולם קטנים )ממש( מ .nkכיוון שכל הסכומים שונים וחיוביים ,קיבלנו שיש לכל היותר nkסכומים שונים .כיוון ש Sקבוצה עם סכומים נבדלים ,אפשר להפיק ממנה 2|S| = 2kסכומים ,לכן: 2f (n) = 2k ≤ nk ⇓ log )f (n) ≤ log2 n + log2 k = log2 n + log2 f (n }log2 (f (n)) ≤ log2 log2 |{z )nk ≤ log2 (2log2 (n)) = log2 log2 n + log2 = log2 log2 n + O (1 ≤n2
⇓ )f (n) ≤ log2 n + log2 log2 n + O (1
חסם עליון טוב יותר נתחיל שוב עם Sכנ"ל .נגדיר הם איברי ,Sכמו בהגדרה של Sמקודם(. x1 + ... + xk 2
i.i.d
1 2
= ] xi E [i
.1 , ..., k ∼ Berנגדיר מ"מ
k X
= ] E [i xi
i=1
√ k 1X 2 kn2 k = ] ar [i ≤ x ≤⇒σ n 4 i=1 i 4 2
32
k X
i=1 i xi
= ]µ = E [X
i=1
x2i V
k X i=1
2
Pk
= ]σ = V ar [X
= ) Xה xiים
לכל ) λ > 1המשפט נכון ל ,λ > 0אבל נרצה דווקא :(λ > 1 1 λ2
≤ )Pr (|X − µ| ≥ λσ ⇓
1 λ2
Pr (|X − µ| < λσ) ≥ 1 −
מהו הגודל של ) ?(µ − λσ, µ + λσכלומר ,כמה מספרים טבעיים נכנסים לכל היותר לקטע הזה? לכל היותר .2λσ + 1לכל ) Pr (X = m) ≤ 2−k :m ∈ Nכי אם ההסתברות היא לא ,0בגלל שזו קבוצה בעלת סכומים נבדלים יש לכל היותר קבוצה אחת בעלת הסכום הזה( ,לכן: 2λσ + 1 1 ≤ )|≤ Pr (|X − µ < λσ 2 λ 2k ⇓ 1 2λσ + 1 ≤ 1− 2 λ 2k ⇓ 1−
√
2λ 2k n + 1 2λσ + 1 ≤ =2 ≤ 1 − λ12 1 − λ12 k
√
)f (n
⇓ log2
! k 1 = n + 1 − log2 1 − 2 f (n) ≤ log2 2λ 2 λ 1 1 ≤ )= −log2 1 − 2 + log2 n + log2 k + O (1 λ 2 1 )≤ log2 n + log2 k + O (1 2 ⇓ log2 3 √ log2 f (n) ≤ log2 log2 n = )log2 n + O (1 k + O (1) ≤ log2 }|{z 2 3
≤n 2
3 )+ O (1) = log2 log2 n + O (1 2
= log2 log2 n + log2
נציב: 1 )f (n) ≤ log2 n + log2 log2 n + O (1 2
10.2
תנאי החתונה ב)G (n, n, p
הגדרה 10.2תנאי החתונה
33
2
גרף דו"צ ) G = (U, V, Eמקיים את תנאי החתונה אם לכל W ⊆ Uאז | NG (W ) ≥ |W } | {z neighbors of W
11
תרגול אקסטרה 3
11.1
ריכוז מידה
11.1.1
כמעט כל הגרפים הם כמעט רגולרים
הגדרה 11.1גרף הוא dרגולרי אם לכל קודקודיו יש דרגה .d הגדרה 11.2גרף ) G = (V, Eהוא ) (d,־כמעט־רגולרי אם ) ∀v ∈ V : d (1 − ) ≤ deg (v) ≤ d (1 +
טענה 11.3אם G ∼ G n, 21אז: n−1 ∞→n ∀ > 0 : P rG G is , -almost-regular → 1 2 ? n−1נסמן ב Xאת הדרגה של איזשהו :v ∈ V הוכחה :למה 2 Xu
X
=X
}u∈V \{v
( 1 (v, u) ∈ E = Xu 0 otherwise ⇓
1 X ∼ Bin n − 1, 2 ⇓ n−1 2
34
= ]E [X
נביט במאורע המשלים ונראה מה אנו רוצים להוכיח: n − 1 n − 1 ∞→ n > Pr ∃v ∈ V : s.t. deg (v) − → 0 2 2 | {z }
Bv
) n Pr (B1
symmetry between vertices
=
)Pr (Bv
union bound X
≤
∞→n
)0 ← Pr (∪v∈V Bv
v∈V
צ"ל ,n Pr (B1 ) → 0
או במילים אחרות 1 Pr (B1 ) = o n
ננסה את אי שוויון צ'בישב הדרגה של הקודקוד :1
1 2
X ∼ Bin n − 1,
וגם n−1 2 n−1 = ]V ar [X 4 = ]E [X
n−1 2
> |]|X − E [X
= B1
לכן: n−1 ]V ar [X 1 ∞→n 4 )= (n−1 → 0 = 2 2 )2 (n − 1 n−1 2 2 4
chebyshev
זה נחמד ,אבל לא מספיק הדוק בשביל הטענה שלנו. נשתמש באי שוויון צ'רנוף מ"מ Xהוא סכום של מ"מ מציינים ב"ת ולכן ,E [X] = µולכל : > 0 2 µ 3
Pr (|X − µ| > µ) ≤ 2e−
35
≤
) Pr (B1
נפעיל על הדרגה של קדוקוד :1 )2 (n−1 6
= 2e−
2 n−1 2 − 3
Pr (B1 ) ≤ 2e
לכן: ∞→2 (n−1) n n−1 → 0 , -almost-regular ≤ n · 2 · e− 6 2
11.2
Pr G isn't
מתי גרף מקרי מפסיק להיות "זיווג"
הגדרה " 11.4זיווג" גרף שכל קודקודיו בדרגה ≥ .1 הערה 11.5צלע כפולה בין שני קודקודים מונעת מגרף להיות זיווג. נביט בתהליך המקרי הבא: • מתחילים עם nקודקודים מבודדים • בכל צעד נבחר זוג קודקודים באקראי ובאופן אחיד ,ונחבר ביניהם. טענה 11.6נסמן ב mאת מספר הצעדים שעשינו ,אז: ( √ n→∞ 1 m << n → is a "matching" √ 0 m >> n
)G (n, m } | {z
Pr
the graph after m steps
הערה 11.7נזכר בבעיית הכדורים והסלים: יש לנו nסלים ו mכדורים ,ושמים את הכדורים באקראי בסלים .ראינו שאם n ( √ 1 m >> n → )Pr (there is no bucket with ≥2 balls √ 0 m << n √
<< mאז
נשים לב שניתן להקביל את הבעיה שלנו לבעיית הכדורים והסלים :יש לנו nקודקודים ו mצלעות ,רק שהפעם במקום שכל כדור יכנס לסל ,כל צלע "נכנסת" לשני קודקודים )שונים( .הוכחה :הוכחה לטענה: = )"Pr (not a "matching the j-th edge didn't hit m = "= Πj=1 Pr a non isolated vertex|G (n, j − 1) is a "matching
)n−2(m−1 2 n 2
36
n−4 2 n 2
· · ...
n−2 2 n 2
·=1
12
תרגיל 3
טענה 12.1אם X = # of xed points of a permutation chosen uniformly at random אז: ]E [X] = 1 = V ar [X
טענה 12.2אינפי שימושי :טור טיילור של :e ∞ X xn !n n=0
= ex
טענה 12.3תוחלת של פונקציה יוצרת מומנטים של פואסון: t E etX = eλe −λ
הגדרה 12.4זיווג מושלם גרף ) H = (U, V, Eעם | |U | = |Vמכיל זיווג מושלם אם קיים M ⊆ Eכך ש| .|M | = |U משפט 12.5החתונה של Hall Hמכיל זיווג מושלם אם"ם הוא מספק את תנאי החתונה. הגדרה 12.6פונקציית האנטרופיה )−x log2 x − (1 − x) log2 (1 − x) x ∈ (0, 1 0 x = 0, 1
טענה 12.7פונקציית האנטרופיה רציפה ב] [0, 1ומקבלת מקסימום ב . 21
13
שיעור 4
13.1
עוד הסתברות
13.1.1
אי שוויון Chernof f
טענה 13.1אי שוויון Chernof f
37
( = )f (x
: אז,δ > 0 ונבחרE [X] = µ נסמן,X = Pr (X ≥ (1 + δ) µ) ≤
Pr (X ≤ (1 − δ) µ) ≤
Pn
i=1
Xi מ"מ מציינים ב"ת ויהיהX1 , ..., Xn יהיו !µ eδ
(1 + δ)
1+δ
!µ
e−δ (1 − δ)
1−δ
: δ > 0 לכל: בדיקה מהירה13.2 הערה eδ < (1 + δ)
1+δ
m δ < (1 + δ) ln (1 + δ) (for δ = 0 both sides=0) ⇓ deriviation 1 < ln (1 + δ) + 1 ⇓ 0 < (1 + δ)
1+δ
− eδ is rising
⇓ δ>0⇒
eδ 1+δ
(1 + δ)
<1
: ז"א,X היא פונקציית יוצרת המומנטים שלetX מ"מ אזX נזכיר שאם13.3 הערה etX = 1 + tX +
t2 t3 X + X 3 + ... 2 3!
⇓ t2 E etx = 1 + tE [X] + E X 2 + ... 2 Chernof f אי שוויון:הוכחה : אז,a := (1 + δ) µ :נסמן Pr (X ≥ a) = Pr etx ≥ eta
:נגדיר c:=
eta E [etx ]
⇓ Pr etx ≥ e
ta
markov E [etx ] = Pr etx ≥ cE etx ≤ eta
38
: נסמן. שיקטין את החסם ככל האפשרt ובסוף נבחר ערך של X=
X
Xi
E [Xi ] = pi ⇔ Pr (Xi = 1) = pi ⇓ h P i X are i.i.d so etXi are i.i.d n tx E e = E et Xi = E ΠetXi i = Πi=1 E etXi :נשים לב t E etXi = pi · et + (1 − pi ) = 1 + pi et − 1 ≤ epi (e −1) | {z } | {z } Xi =1
Xi =0
⇓
t X y E etX ≤ Πepi (e −1) = exp pi e −1 | {z } =µ
⇓ Pr (X ≥ a) ≤
exp ((et − 1) µ) = exp µ eta
et − 1 − t (1 + δ)
: נגזור ונשווה לאפס. שימזער את צד ימיןt נחפש et = 1 + δ ⇓ t = ln (1 + δ) ⇓ Pr (X ≥ a) ≤ exp (µ (δ − (1 + δ) ln (1 + δ))) =
!µ
eδ (1 + δ)
1+δ
אי תלות של מ"מ
13.1.2
: מ"מ מציינים עליוX; Y , מרחב הסתברותΩ Ω=
X = 0, Y = 0 X = 0, Y = 1 X = 1, Y = 0 X = 1, Y = 1 נזכר ש X = 1 ⇔ {ω ∈ Ω|X (ω) = 1}
39
באופן כללי ,אם X, Yמ"מ על מרחב הסתברות Ωואם לכל ) Sמדידה( חלקית לטווח של Xו ) Tמדידה( חלקית לטווח של ,Yאומרים ש X, Yב"ת אם מתקיים: ) Pr ((X ∈ S) ∧ (Y ∈ T )) = Pr (X ∈ S) Pr (Y ∈ T
13.2מרטינגלים )המרטינגל של (Doob החומר הנ"ל נמצא ב Probability & Computingשל .Upfal & Mitzenmacher הגדרה 13.4עידון .Π > σנגיד ש Πמעדנת את σאם שתיהן חלוקות ולכל חלק Sב σיש מס' חלקים P1 , ..., P1בחלוקה Πכך ש .S = ∪ri=1 Pi הגדרה 13.5מרטינגל )ע"פ (Doob יהי Ωמרחב הסתברות ,יהי X : Ω → Rמ"מ ממשי .נניח שמוגדרת על Ωסדרה של חלוקות הולכות ומתעדנותΠ0 . היא החלוקה הטריוויאלית ,שמעודנת על ידי ,Π1וכו' .בזה מוגדרת סידרה של מ"מ ]X0 = E [X ] Xk = E [X|Πk כש Xkזהו מ"מ שקבוע על כל חלק בחלוקה Πkוערכו הוא התוחלת המותנית של Xבחלק הזה. הערה 13.6מביטים במהמר שמתחיל עם הון התחלתי של .X0נניח שהוא מהמר כנגד גוף הוגן ,ז"א תוחלת הרווח = .0יש לו הימור ,Z1ואחריו הונו משתנה ל .X1התהליך נמשך והוא נוקט צעד ) Zkאקראי( בזמן .jההגינות של הקזינו מתבטאת בכך ש: ∀i : E [Xi |Z1 , ..., Zi−1 ] = Xi−1
13.2.1
אי שוויון Azuma
משפט 13.7גרסה לא ברורה אם יש לנו מרטינגל X0 , X1 , ...כך שההפרשים " Xi − Xi−1קטנים" ,אז Xמקיים משפט ריכוז מידה מעריכי. משפט 13.8אי שוויון Azuma יהיה X0 , X1 , ..., Xnמרטינגל ונניח שלכל iמתקיים .ci ≥ |Xi − Xi−1 | :אז לכל :λ > 0 λ2 Pr (|Xn − X0 | ≥ λ) ≤ exp − Pn 2 i=1 ci
40
: נסמן.( ונמשיךXj − X0 בXj )נחליף כלX0 = 0 בה"כ נניח ש:הוכחה Yi = Xi − Xi−1 ⇓ ∀i : |Yi | ≤ ci ⇓ by de nition E [Yi |X0 , ..., Xi−1 ] = 0 : חשבון.E eαYi |X0 , ..., Xi−1 :נביט ב eαYi ≤
eαci + e−αci Yi αci e − e−αci + 2 2ci
: תרגיל באינפי13.9 טענה t2 et + e−t < |{z} e2 2 } | {z
∀t :
RHS
LHS
LHS =
1 2
RHS = 1 +
: נפתח את שני האגפים לטורי טיילור:הוכחה t2 t2 t3 t2 t4 t2k 1 + t + + .... + 1 − t + − + ... = 1 + + + ... + 2! 2! 3! 2! 4! (2k)!
t2 t4 t6 t2k + + + ... + 2 2! · 4 3! · 8 k! · 2k נשים לב ש 1 1 ≤ (2k)! k!2k כי 1<
(k + 1) · ... · 2k 2 · ... · 2
:בחזרה להוכחה הקודמת
Yi =
1− 2
Yi ci
· (−ci ) +
41
1+ 2
Yi ci
ci
הצגנו את Yiכצירוף קמור של −ciו .ciהפונקציה ) eαYiכפונקציה של (αהיא קמורה. · eαci
Yi ci
1+ 2
· e−αci +
Yi ci
1− 2
≤ eαYi
נחשב תוחלת מותנית על X0 , ..., Xi−1ונקבל: eαci + e−αci in exercise α2 c2i ≤ e 2 ≤ E eαYi |X0 , .., Xi−1 2 ⇓ h i αYn α(Xn −X0 ) telescopic sum αYi E e = E Πni=1 eαYi =∗ E Πn−1 E e ≤ |X0 , ..., Xn−1 i=1 e c2 j 2
α2 c2n induction α2 Pn αYi j=1 ≤ E Πn−1 e 2 ≤ e i=1 e ⇓
P 2 ) markov E eα(Xn −X0 c α2 2 j −αλ ≤ e Pr (Xn − X0 ≥ λ) = Pr eα(Xn −X0 ) ≥ eαλ ≤ αλ e
אגף ימין מתמזער כאשר
13.2.2
Pλ 2 cj
= αוזה נותן בדיוק את מה שרצינו.
בעיה עם מרטינגיילים
הגדרה 13.10מספר צביעה המס' המינימלי של צבעים כך ששני קודקודים סמוכים צבועים בצבעים שונים. מהו מס' הצביעה האופייני של גרף ב ?G n, 12 n 1 ראינו שהגודל המירבי של אנטיקליקה ב G n, 2הוא ) .(2 + o (1)) log2 (nמכאן נובע שנדרשים לפחות 2log2 n צבעים. בעזרת ,Azumaאחד B. Bollobasהראה משפט חזק יותר :שכמעט בכל גרף ב G n, 12גם בכל קבוצה של לפחות logn2 nקודקודים יש אנטיקליקה ומגודל .(2 + o (1)) log2 n
42
תרגול 4
14 14.1
חסמי צ'רנוף
משפט 14.1יהיו X1 , ..., Xnמ"מ המקבלים ערכים ב}) {0, 1אינדיקטורים( ,נניח שכולם ב"ת .אזי ,לכל ): ∈ (0, 1 Xi
n X
=X
i=1
2 ]Pr (X ≤ (1 − ) E [X]) ≤ exp − E [X 2 2 ]Pr (X ≥ (1 + ) E [X]) ≤ exp − E [X 3
⇓ 2 ∈ Pr (X ]/ (1 ± ) E [X]) ≤ 2 exp − E [X 3
14.2
תכונות אופייניות של )G (n, p
טענה 14.2יהי ) G ∼ G (n, pויהי ) e (Gמס' הצלעות ב ,Gאזי: 2 n ∈ )Pr e (G ) / (1 ± ]p ≤ 2 exp − E [X 3 2
הוכחה :אפשר לכתוב Xij ונסיים. מסקנה 14.3אם
1 n2
בוודאות( ל) G (n, pיש
1≤i<j≤n
P
= ) e (Gכאשר Xijהוא האינדיקטור של המאורע .{i, j} ∈ Eנציב בצ'רנוף,
) p = ωנזכר→ ∞ : n2 2 p
)f (n )g(n
⇔ )) (f (n) = ω (g (nאז לכל > 0אכ"ב )אסימפטוטית כמעט
) (1 ±קשתות.
הוכחה :נשים לב :עבור nמספיק גדול p
n2 p⊆ 1± 2 2
n 2
) (1 ±
לכן:
n ∈ )≤ Pr e (G / 1± ≤ p 2 2 n (n − 1) p ∞→ n → 0 2 | {z } ∞→ 1 n2
because p=ω
2 ≤ 2 exp − 3 · 4
43
n2 p 2
∈ )Pr e (G ) / (1 ±
: אזי,i את הדרגה של קודקודd (i) נסמן בi ∈ [n] ואם לכל, ∈ (0, 1) וG ∼ G (n, p) אם14.4 טענה 2 Pr (∃i ∈ [n] : d (i) ∈ / (1 ± ) (n − 1) p) ≤ 2n exp − (n − 1) p 3
נשים לב:הוכחה d (i) ∼ Bin (n − 1, p) ⇓ chernof f 2 ∀i : Pr (d (i) ∈ / (1 ± ) (n − 1) p) ≤ 2 exp − (n − 1) p 3 ⇓ union bound Pr (∃i ∈ [n] : d (i) ∈ / (1 ± ) (n − 1) p) ≤
n X
Pr (d (i) ∈ / (1 ± ) (n − 1) p) ≤
i=1
2 ≤ 2n exp − (n − 1) p 3
.(1 ± ) np יש דרגהG (n, p) > אכ"ב לכל הקודקודים ב0 אז לכלp = ω
log(n) n
אם14.5 מסקנה : נשים לב:הוכחה
Pr (∃i : d (i) ∈ / (1 ± ) np)
≤
for large enough n
Pr ∃i : d (i) ∈ / 1±
(n − 1) p ≤
2 2 2 ≤ 2n exp − (n − 1) p = 2 exp − (n − 1) p + log (n) = 12 12
2 n log n log n = = 2 exp −O (1) p log n − − | {z } log n n} pn {z | {z } | {z } →∞ | →0 →∞ log n =log n pn | {z } →0 np = 2 exp −O (1) (log n (1 − o (1)) − o (1)) → 0 log n
44
תרגול אקסטרה 4
15 15.1
א"ש אזומה ושימושיו
הערה 15.1תזכורת לc־ליפשיציות אם fהיא c־ליפשיצית אז: ∀x1 , .., xn , xˆi 6= xi : |f (x1 , .., xn ) − f (x1 , ..., xˆi , .., xn )| ≤ c
משפט 15.2גרסה ידידותית של אזומה אם ) X = (X1 , .., Xmהם מ"מ ב"ת ,ו fהיא פונקציה c־ליפשיצית ו t > 0אז: 2t2
Pr (f (x) ≥ E [f (x)] + t) ≤ e− mc2
Pפרטי טענה 15.3מקרה m אם ,f = i=1 Xiאזי fהיא 1־ליפשיצית ומקבלים את חסם צ'רנוף עבור משתנה בינומי. 15.1.1
משולשים ב G n, 21 1
נסמן ב Tאת מס' המשולשים ב .G ∼ G n, 2נזכור: 1 i, j, k form a triangle⇔ {i, j} ,{i, k} ,{j, k} ∈E 0 otherwise X = T Ti,j,k (
= Ti,j,k
i,j,k
נשים לב ש Ti,j,kאינם ב"ת )למשל נסתכל על 4קודקודים ,בהינתן שיודעים ש 3חולקים משולש ההסתברות שקיים משולש נוסף גבוהה יותר( ולכן לא ניתן להשתמש בצ'רנוף .נרצה: ?≤ )] Pr (T ≥ (1 + ) E [T היום נראה שבמקרים מסויימים ,ניתן להציג סכום של מ"מ שאינם ב"ת כפונקציה ליפשיצית של מ"מ מקריים אחרים ב"ת. נבחר: X = (Xij )1≤i<j≤n כאשר Xijמ"מ מציין האם .{i, j} ∈ E
n 2
= .mנגדיר:
f (x) = T = number of triangles in the graph 45
בצורה מפורשת: Xij Xik Xjk
X
= )f (x
i,j,k
טענה f 15.4היא )(n − 2־ליפשיצית. הוכחה :כל צלע משתתפת בלכל היותר n − 2משולשים פוטנציאליים. נפעיל את אזומה: 2
n ) ( −22 3 n 2 1 n 64( )(n−2)2 2 ≤e ) = e−θ(n ) Pr (T ≥ (1 + ) E [T ]) = Pr T ≥ (1 + 8 3
נפתח את המעריך ונתעלם מקבועים: 2 6 −22 n3 n = −θ n2 2 = −θ 4 n n )64 2 (n − 2
טענה 15.5המעריך הדוק: 2 ) Pr (T ≥ (1 + ) E [T ]) ≥ e−θ(n
הוכחה :נשים לב G :גרף שלם ⇐
n 3
= ,Tלכן:
) (n2 2 1 ) = e−θ(n = )Pr (T ≥ (1 + ) E [T ]) ≥ Pr (G is the complete graph 2
46
15.1.2
תבניות במחרוזות מקריות k
נתון אלפבית Σבגודל sומילה y ∈ Σבאורך קבוע .kכמה עותקים )=תת מילה רציפה( של yנמצא במחרוזת מקרית Xבאורך ?nנסמן ב Mאת מס' העותקים של .yנציג את Mכסכום של מ"מ מציינים: ( 1 (xi , ..., xi+k−1 ) = y = Mi 0 otherwise Mi
n−k+1 X
=M
i=1
⇓ k 1 = ) Pr (Mi ] = E [Mi s ⇓ k 1 s
)E [M ] = (n − k + 1
נרצה לחשב: ?≤ )] Pr (M ≥ (1 + ) E [M נשים לב {Mi }i :אינם ב"ת! נגדיר: f (X) = # of copies of y in X נשים לב: ) X = (X1 , ..., Xn Xi = i-th letter in X
טענה f 15.6היא k־ליפשיצית. נפעיל את א"ש אזומה: )= e−θ(n
16
22 n2 nk2
−θ
Pr (M ≥ (1 + ) E [M ]) ≤ e
תרגיל 4 Pn
טענה 16.1יהיו X1 , ..., Xnמ"מ i.i.dהמקבלים מס' סופי של ערכים ,יהי Xi ב nכך שלכל ): ∈ (0, 1 1 ∈ Pr (X / (1 ± ) E [X]) ≤ C exp − 2 n C
i=1
47
= .Xקיים C > 0שלא תלוי
16.1
מרטינגיילים
הגדרה 16.2מרטינגיילים סדרה סופית או ספירה X1 , X2 , ....מוגדרת על אותו מרחב הסתברות נקראת מרטינגייל אם לכל :n E [Xn+1 |X1 , X2 , ..., Xn ] = Xn
משפט 16.3אי שוויון Azuma-Hoeding אם X1 , X2 , ...הוא מרטינגייל וקיימים קבועים חיוביים c1 ..., cn−1כך שלכל :k |Xk+1 − Xk | ≤ ck אז אי שוויון Azuma − Hoef f dingאומר לנו שלכל λ > 0ולכל :n ! λ2 Pr (|Xn − X1 | ≥ λ) ≤ 2 exp − Pn−1 2 2 k=1 ck
17
בוחן 1
טענה 17.1עבור Xמ"מ המקבל ערכים מבין } {0, 1, 2....ו∞ < ] E [Xמתקיים: ]Pr (X > 0) ≤ E [X
48
חלק
II
אלגברה לינארית שיעור 5
18 18.1
הגדרות בסיס
הגדרה 18.1מרחב וקטורי Vמרחב וקטורי מעל שדה .Fאיברי Vנקראים וקטורים ואיברי Fנקראים סקלרים. יש איבר 0 ∈ Vכך ש ∀v ∈ V : v + 0 = vתחת פעולת החיבור שבקרוב נגדיר. Vהוא מבנה אלגברי עם הפעולות הבאות: + .1הוא חיבור וקטורי .קומוטטיבי ,אסוציאטיבי. .2ויש פעולה של כפל וקטור בסקלרv ∈ V, α ∈ F : αv : הגדרה T : VF → WF 18.2נקראת העתקה לינארית אם: T (u +V v) = T u +W T v T (αv) = αT v
הגדרה 18.3תלות לינארית שהוקטורים v1 , .., vn ∈ Vתלויים לינארית אם יש סקלארים ) α1 , .., αn ∈ Fלא כולם אפס( כך אומרים Pn שi=1 αi vi = 0 הגדרה 18.4המימד של Vזהו ה nהגדול ביותר כך שיש v1 , ..., vn ∈ Vשהם בת"ל ,ומסמנים .dim V = nאם אין nכזה ,אומרים ש Vהוא אינסוף מימדי.dim V = ∞ : הגדרה 18.5אם dim V = nאז קבוצה של nוקטורים בת"ל נקראת בסיס. משפט 18.6לבסיס v1 , ..., vnשל מרחב וקטורי Vיש התכונה שלכל וקטור u ∈ Vיש ייצוג אחד ויחיד מהצורה .u = β1 v1 + ... + βn vn הערה 18.7יוצא שאם Fשדה כלשהו אז יש מרחב וקטורי nמימדי קנוני מעל Fשנסמן ב:V = Fn : }V = {(γ1 , ..., γn ) |∀i : γi ∈ F
Operations: ) (γ1 , ..., γn ) + (γ10 , ..., γn0 ) = (γ1 + γ10 , ..., γn + γn0 ) α (γ1 , ..., γn ) = (αγ1 , ..., αγn
49
הערה 18.8כאשר עובדים עם מרחבים וקטורים המוגדרים כך יש גם תיאור קונקרטי של העתקות לינאריות V → W באמצעות מטריצות: dim V = n, dim W = m (aij ∈ F)m×n ... a1n y1 x1 ... = ... ... ... amn yn xn } | {z } | {z ∈W
aij xj
a11 am1
∈V
n X
= yi
j=1
18.2
חבורות
הגדרה 18.9חבורה סופית זו קבוצה Gעם פעולה · .יש ב Gאיבר מיוחד שנקרא איבר היחידה ונסמנו ב id = idGעם התכונה: ∀g ∈ G : id · g = g ∀g ∈ G : g · id = g הכפל הוא אסוציאטיבי ולכל איבר g ∈ Gיש הופכי g −1המקיים: g · g −1 = id
אומרים שהחבורה Gקומוטטיבית )"אבלית"( אם: ∀g, h ∈ G : g · h = h · g
הערה 18.10דוגמה לחבורה קומוטטיבית :חיבור מודולו .n דוגמה לחבורה לא קומוטטיבית" ,Sn :החבורה הסימטרית" .זו החבורה של כל התמורות )פרמוטציות(π : [n] → : ] [nעם פעולת ההרכבה. הגדרה 18.11תת חבורה H ≤ Gהיא חבורה בפני עצמה עם אותה הפעולה: h ∈ H ⇒ h−1 ∈ H h1 , h2 ∈ H ⇒ h1 · h2 ∈ H idG = idH
50
הגדרה 18.12חבורות נורמליות יש תת חבורות H ≤ Gשמקיימות תנאי נוסף שנקרא נורמליות H" :היא תת חבורה נורמלית של ."Gכשזה המצב אפשר לראות את Gכמכפלה של Hבחבורת המנה.G/H : הגדרה 18.13חבורה פשוטה אם ל Gאין תת חבורות נורמליות ,אומרים ש Gחבורה פשוטה .יש משפט )"משפט המיון של חבורות פשוטות סופיות"( המתאר באופן מלא מיהן כל החבורות הפשוטות הסופיות.
18.3חזרה ללינארית משפט 18.14משפט הSVD "כל העתקה לינארית היא הרכבה של מתיחות לאורך צירים ושל סיבובים". הגדרה 18.15דרגת שורות של מטריצה נניח Aהיא מטריצה ,אז דרגת השורות של Aהיא הגודל המירבי של קבוצת שורות שהיא בת"ל. הגדרה 18.16דרגת עמודות של מטריצה נניח Aהיא מטריצה ,אז דרגת העמודות של Aהיא הגודל המירבי של קבוצת עמודות שהיא בת"ל. משפט 18.17דרגה של מטריצה דרגת השורות שווה לדרגת העמודות. הגדרה 18.18נאמר שמטריצה Am×nהיא מדרגה 1אם יש שני וקטורים um , vnכך ש A=u⊗v aij = ui vi
הערה 18.19קל לראות שכל מטריצה אפשר להציג כסכום של מטריצות מדרגה .1 הגדרה 18.20דרגה של מטריצה מגדירים דרגה של מטריצה Aכמספר המזערי של מטריצות מדרגה 1שסכומן הוא .A משפט 18.21הדרגה של מטריצה = מס' המירבי של שורות\עמודות במטריצה שהן בת"ל. הגדרה 18.22מתיחה אם x ∈ Vו T : V → Vטרנספורמציה לינארית ,נאמר ש Tמותחת פי λבכיוון xאם .T x = λx הערה 18.23בטרמינולוגיה המקובלת x :הוא וקטור עצמי ) (eigenvectorשל Tעם ערך עצמי ).λ (eigenvalue הערה 18.24נביט במשוואה :T x = λx aij xj
X
= (Ax)i } | {z
X
= (yA)j } | {z
j
yi aij
i
vector
vector
51
הגדרה 18.25גרעין אם Tm×n : Vn → Wmהגרעין )הימני( של Tהוא: } rker (T ) = {x ∈ V | T x = 0W אם Aמטריצה ,אז בדומה: }lker (A) = {z ∈ V | zA = 0
הערה 18.26נשים לב ש .(λI − T ) x = 0 ⇔ T x = λx " Tמותחת פי λבכיוון "xשקול ל) .x ∈ rker (λI − T הערה 18.27אם Aמטריצה אז r ker Aהוא מרחב לינארי ) r ker Aהוא תת מרחב של (Aוגם l ker Aהוא מרחב לינארי. הערה 18.28אם Aמטריצה ריבועית ,לשניהם יש אותו המימד: )dim (l ker A) = dim (r ker A) = dim (ker A) = n − rank (A
טענה 18.29 det (A) = 0 ⇔ rank (A) < n
טענה 18.30 det (λI − T ) = 0 ⇔ λ is an eigenvalue of T
הגדרה 18.31פולינום אופייני אם Tnmאז הפולינום האופייני שלה הוא פולינום −t12 ... −t1n ... ... ... ... ... λ − tnm
ממעלה nבמשתנה λשמוגדר כך: λ − t11 det (λI − T ) = det ... −tn1
הערה T 18.32מותחת בכיוון xפי λאם"ם xהוא ו"ע של Tעם ע"ע λאם"ם det (λI − T ) = 0ו.(λI − T ) x = 0 הגדרה 18.33סיבוב העתקה לינארית שמשמרת אורכים ,זוויות ⇔ מכפלות פנימיות. 52
הגדרה 18.34מכפלה פנימית xi yi
X
=x, y ∈ Fn : hx, yi :
xi yi
X
=x, y ∈ Cn : hx, yi :
hx, yi = kxk · kyk cos θ
כש θהיא הזוויות שבין הוקטור xלוקטור .y 2
הערה 18.35כיוון ש kxk2 = hx, xiאז שמירה על מכפלה פנימית מבטיחה שמירה על אורכי הוקטורים .מההגדרה עם הזווית של מכפלה פנימית יוצא ששמירה על מכפלות פנימיות גורר שמירה גם על הזויות. מסקנה 18.36סיבוב זו טרנספורמציה לינארית ששומרת על המכפלות הפנימיות .כלומר: ∀x, y ∈ V : hAx, Ayi = hx, yi yAT Ax = hx, yi m ∀y ∈ V : yAT A = y m AT A = I
הערה 18.37מה שנאמר עכשיו תקף גם למטריצות מלבניות :אם Am×nאז AATm×mזו מטריצה שהאיבר ה i, jשלה הוא המכפלה הפנימית של השורה ה iב Aעם השורה ה jב.A AT An×nזו מטריצה שהאיבר ה i, jשלה הוא המכפלה הפנימית של העמודה ה iב Aעם העמודה ה jב.A לכן AT A = I ,פירושו שכל עמודה ב Aהיא וקטור יחידה )כשמסתכלים על האלכסון ,(AT Aוכל שתי עמודות ניצבות זו לזו. מסקנה A 18.38היא מטריצה אורתוגונלית. הגדרה 18.39מטריצה אורתוגונלית ) A ∈ M (Rתקרא אורתוגונלית אם"ם כל שורה ב Aהיא וקטור מאורך יחידה וכל שתי שורות ניצבות זו לזו )⇔ .(AAT = I הגדרה 18.40מטריצה אוניטרית ) A ∈ M (Cתקרא אוניטרית אם"ם = I
∗A }|{z
transpose+adjunct
53
.A
וקטורים עצמיים
18.3.1
נתונה העתקה לינארית .T : V → Vהיינו רוצים לבחור בסיס ל Vשכל איבריו הם וקטורים עצמיים כך ש: αi vi
n X
!∃ }|{z
= α1 , ..., αn : y
n {(vi , λi )}i=1
∀y ∈ V
exists and unique
i=1
ולכן: αi λi vi
צרות
X
= αi T vi
X
= αi vi
X
Ty = T
לא לכל העתקה לינארית יש בסיס של ו"ע.
הצלה )חלקית( "כמעט כל ההעתקות הלינאריות הן טובות" ־ אם תוסיפו למטריצה רעש מקרי קטן ככל שתוסיפו ,אז בהסתברות גבוהה מקבלים מטריצה שיש לה בסיס של וקטורים עצמיים. m
m
טענה 18.41תהיה Aמטריצה ממשית ,ויהיו {ui }i=1ו"ע של Aעם ע"ע שונים זה מזה .אז {ui }i=1בת"ל. m
הוכחה :נסמן ב λiאת הע"ע המתאים ל .uiנניח ש kהוא האורך של התלות הלינארית הקצרה ביותר בין ה .{ui }i=1 Pk בה"כ ∗ = i=1 αi ui = 0אבל אין תלות קצרה יותר )ז"א תלות לינארית שמעורבים בה ≥ k − 1מה .(uiנשים לב: αi ui = A0 = 0
k X
A
i=1
⇓ αi λi ui = 0
k X
∗∗= αi Aui
k X
i=1
= αi ui
i=1
k X
A
i=1
אבל אם נכפיל את ∗ ב λkונחסיר מ∗∗ נקבל ת"ל על≥ k − 1מה :ui αi (λi − λk ) ui = 0
k−1 X
= α i ui
i=1
k X
αi λi ui − λk
i=1
k X
=0−0
i=1
משפט 18.42המשפט הספקטרלי למטריצות ממשיות סימטריות )ללא הוכחה( לכל מטריצה ממשית סימטרית Aיש מטריצה אורתוגונלית Uומטריצה אלכסונית Λכך ש: A = U ΛU T
איברי ) Λשבאלכסון( הם הע"ע של .Aבפרט למטריצה ממשית סימטרי כל הע"ע הם ממשיים.
54
מסקנה 18.43השורות של Uהן הו"ע של .A הוכחה :תהי ϕהעמודה ה jשב .Uאז: Aϕ = U ΛU T ϕ = U Λej = U λj = λj ϕ }|{z }|{z scalar
vector
הערה 18.44נשים לב: ∀x : Ax = U ΛU T x כש U Tמבצע סיבוב Λ ,מבצע מתיחה אחת לאורך כל ציר ,ו Uמבצע סיבוב בחזרה.
19
תרגול 5
19.1
תזכורת
הגדרה 19.1ע"ע ו־ו"ע אם Vמ"ו מעל T : V → V ,Cה"ל אז λ ∈ Cנקרא ערך עצמי של Tאם קיים 0 6= v ∈ Vכך ש.T v = λv במקרה זה vנקרא וקטור עצמי של .λ הגדרה 19.2פולינום אופייני אם Vסוף מימדי ו Aמטריצה שמייצגת את Tלפי בסיס קבוע ,אז הגדרנו )pA (x) = det (xI − A זהו הפולינום האופייני של .T הערה 19.3אם λע"ע של .pA (λ) = 0 ⇔ T הערה pA (x) 19.4לא תלוי בבחירת הבסיס ,ולכן ניתן לדבר על הפולינום האופייני של .T = det xI − SAS −1 = det S (xIS − A) S −1 = det (S) det (xIS − A) det S −1 )= det (S) det S −1 det (xIS − A) = det (xIS − A {z } | =1
55
19.2
נוסחאות נסיגה
הגדרה αi an+i 19.5
Pk
i=0
= an+k+1עבור .α0 , ..., αk ∈ C ∞
הגדרה 19.6פתרון למשוואת הרקורסיה הנ"ל היא סדרה {an }n=0 ⊆ Cכך שכל an+k+1 , an+k , ..., an מקיים את המשוואה. הערה 19.7דוגמא :פיבונאצ'יan+2 = an+1 + an : הפתרון עבור פיבונאצ'י: a0 = 0, a1 = 1, a2 = 1, a3 = 2, ....
∞
טענה 19.8לכל a0 , ..., ak ∈ Cקיימת ויחידה השלמה לסדרה {an }n=0שהיא פתרון. הוכחה :לבנות בצורה אינדוקטיבית איבר־איבר ,ומראים את היחידות באינדוקציה על ידי שתי סדרות שמתחילות בצורה זהה ומקיימות את התנאי ולהראות שההפרש ביניהן הוא .0 טענה 19.9נסמן את אוסף הפתרונות ב ,Vאזי Vהוא תת מרחב של הסדרות המרוכבות ממימד .k + 1כלומר :נסמן ∞ } W = {{cn }n=0 ⊆ Cאזי Wהוא מ"ו עם הפעולות: ∞
∞
∞
{cn }n=0 + {dn }n=0 = {cn + dn }n=0 ∞
= {αcn }n=0
∞ C,α {cn }n=0
∈α
הוכחה 0 ∈ V :כי הסדרה הקבועה 0היא תמיד פתרון. ∞ ∞ סגירות לחיבור :אם {an }n=0 , {bn }n=0 ∈ Vאזי: ) αi (an+i + bn+i
k X
= αi bn+i
i=0
k X
αi an+i +
i=0
k X
= ∀n, an+k+1 + bn+k+1
i=0
⇓ ∈V
∞ {bn }n=0
סגירות לכפל :יהי ,β ∈ C, {an } ∈ Vאזי לכל :n βan+i αi
k X
= αi an+i
i=0
k X
βan+k+1 = β
i=0
⇓ β {an } ∈ V קיבלנו ש Vת"מ )תת מרחב( של .W
56
+
∞ {an }n=0
הגדרה 19.10איזומורפיזם העתקה לינארית חח"ע ועל. הגדרה 19.11נגדיר T : Ck+1 → V :כך ש Tאיזומורפיזם .נגדיר:
a0 T ... = the only series that completes a0 , .., ak and is a solution ak Tמוגדר היטב לפי הטענה. להסתכלעל נוסחת הנסיגה ולוודא. הוכחה T :ה"ל :צריך a0 Tחח"ע :אם T ... = 0אז בפרט ) .a0 = ... = ak = 0נזכיר ש Tחח"ע ⇔ הגרעין של Tהוא .(0 ak a0 Tעל :אם {an } ∈ Vאז } .T ... = {an ak מסקנה dimV = k + 1 19.12 נשים לב שאם ,{an } ∈ Vאז לכל :n
α0 an+k 0 an+k−1 ... an 0 }
... ... 0 ... 1 0 ... ... 0 {z A
57
αk 1 0 0
an+k+1 an+k = ... an+1 |
vk ... : ו"ע מתאיםv = ... אז נניח,A ע"ע שלλ נשים לב שאם v0
vk ... = λ A ... v0
vk ∼ vk ... = ... ... v0 v1
⇓ v1 = λv0 ... vk = λ k v0 ⇓
k
k
λ ... ... is an eigenvector 1 ⇓ k+1 λ λ ... ... A ... = ... 1 λ
⇓ λk+1 =
k X
αi λi
i=0
אזי,an = λn אם נגדיר סדרה an+k+1 = λn+k+1 = λn λk+1 = λn
k X i=0
αi λi =
k X i=0
n+i αi λ | {z } an+i
5 תרגול אקסטרה
20
ע"ע ו־ו"ע
20.1
הגדרות
20.1.1
.(AT = A) סימטרית,R מעלm × m מטריצהA .Av = λv: כך שv 6= 0 אם קיים וקטורA הוא ע"ע שלλ ∈ R 20.1 הגדרה
58
הגדרה 20.2המרחב העצמי של :λ }Vλ = {v ∈ Rm |Av = λv
הגדרה 20.3הריבוי של :λ r (λ) = dim Vλ
משפט A ∈ Mm (R) 20.4סימטרית ,ו λ1 , ..., λkהם ע"ע של ,Aאז: r (λ1 ) + ... + r (λk ) = m
20.1.2
דוגמאות
A = Im .1מטריצת היחידה .נשים לב ש λ = 1ע"ע וגםVλ = Rm , r (1) = m : 1 ... 1 ,A = J = ... ... ... .2אם : v ∈ Rm 1 ... 1 Pm m 1 X i=1 vi = Jv = P ... vi ... m i=1 1 i=1 vi } | {z scalar
)א( אם vi = 0
Pm
i=1
אז ,Jv = 0משמע λ = 0הוא ע"ע של Jו: ( ) m X m | U = V0 = v ∈ R vi = 0 i=1 1
r (0) = m − 1 הוכחה :כאשר את =1ניתן להוכיח בכמה אופנים: .iנמצא m − 1וקטורים ב ,V0שהם בת"ל ,ופורשים כל וקטור ב :V0 1 ← i-th coordinate ui = −1 ← m-th coordinate
59
אם α1 , ..., αm−1 ∈ Rנדרוש:
α1 X m−1 ... = αi ui = 0 ⇒ ∀i : αi = 0 αm−1 i=1 −α1 − .... − αm−1 v ∈ V0 .iiמחפשים α1 , ..., αm−1 ∈ Rכך שαi ui = v vi
m−1 X
P
.נבחר αi = viואז צ"ל
v∈V0
αi = vm = −
i=1
m−1 X
−
i=1
1 )ב( נשאר עוד ע"ע אחד λבריבוי λ = m :r (λ) = 1עם הו"ע :v = ... 1 Jv = mv b b b a b b .3 b ... b b b a
a b .0 < b < a ∈ R ,A = נשתמש בעובדה הבאה: b b
טענה 20.5אם v ∈ Rmהוא ו"ע של A1עם ע"ע ,λ1וגם ו"ע של A2עם ע"ע .λ2אז לכל α, β ∈ Rנקבל: αA1 + βA2 v = (αλ1 + βλ2 ) v | {z } A
משמע v ,הוא ו"ע של Aעם ע"ע .αλ1 + βλ2 נשים לב ש: A = bJ + (a − b) I 1 לכן ,כל וקטור ב ) Uשהגדרנו קודם( הוא ו"ע של Aעם ע"ע ,b · m + (a − b) 1והוקטור v = ...הוא ו"ע של 1 Aעם ע"ע ,b · 0 + (a − b) · 1וסה"כ ) λ1 = a + b (m − 1עם ריבוי של m − 1ו λ2 = a − bבריבוי של .1 מסקנה rank (A) = m 20.6אם rank (A) < mאז dim ker (A) > 0ואז λ = 0הוא ע"ע של ,Aוזה לא נכון .מכיוון שסכום הריבויים של λ1 , λ2הוא ,mאין ל Aעוד ערכים עצמיים. טענה 20.7הדטרמיננטה של Aהיא מכפלת הע"ע שלה עם ריבוי. מהטענה נקבל:
m−1
))det (A) = (a − b) (a + b (m − 1 60
נשתמש באלגברה כדי להבין קומבינטוריקה
20.2
א"ש פישר20.8 משפט : כך שS1 , ..., Sm ⊆ {1, ..., n} אם ∀i : |Si | = a .1 ∀i 6= j : |Si ∩ Sj | = b .2 m ≤ n : אזa > bו :B ∈ Mn×m (R) נגדיר מטריצה:הוכחה Bk,i
( 1 k ∈ Si = 0 k∈ / Si .A = B T B נסתכל על Ai,j = |Si ∩ Sj | :i, j לכל20.9 טענה
Ai,j
n matrx multiplication X
=
k=1
T Bi,k Bkj =
n X
: נשים לב:הוכחה ( a i=j = |Si ∩ Sj | = b otherwise
Bk,i Bkj | {z }
k=1 1
k ∈ Si ∩ Sj otherwise
0
20.10 טענה ∀C, D : rank (CD) ≤ rank (D)
:משתי הטענות נקבל a A = b b
b b ... b b a
m = rank (A) ≤ rank (B)
61
≤
B has only n rows
n
21
תרגיל 5
טענה αi xi 21.1
Pk
i=0
p (x) = xk+1 −הוא הפולינום האופייני של αk αk−1 ... α0 1 0 A= ... 0 1 0
משפט 21.2יהיו α0 , ..., αk ∈ Cכש ,α0 6= 0ונסמן ב k X
= an+k+1
i=0
נוסחאת נסיגה .אז לפי המשפט היסודי של האלגברה קיימים λ1 , ..., λl ∈ Cו p1 , .., pl ∈ Nכך ש pi
) p (x) = Πli=1 (x − λi pi = k + 1
l X i=1
במקרה זה ,לכל 0 ≤ j < piנקבל ש an = nj λniהוא גם פתרון. מסקנה 21.3כל פתרון ניתן לכתיבה באופן ייחודי כ: + Al,1 + Al,2 n + ... + Al,pl npl −1 λnl
λn1
p1 −1
an = A1,1 + A1,2 n + ... + A1,p1 n
טענה 21.4אם T : V → Wה"ל חח"ע ועל ו} {viבסיס ב ,Vאז } {T viבסיס ב .W טענה 21.5חישוב דטרמיננטה לפי מינורים: )Ai,j det (matrix A without row i and column j
i+j
)(−1
n X i=1
טענה 21.6אם Aמטריצה משולשית ,אז . det (A) = Πi Ai,i טענה 21.7דטרמיננטה של מטריצת בלוקים אם ,An×n , Bn×m , Cm×n , Dm×mאז: 0 A B = det (A) det (D) = det D 0 D טענה det (A) 6= 0 ⇔ A is invertible 21.8 טענה 21.9סכום סדרה גיאומטרית ,אם :r 6= 1 rn − 1 =a r−1
a + ar + · · · + arn−1
62
A C
det
= )det (A
22
שיעור 6
22.1
תזכורות
הגדרה 22.1העתקה T : V → W עבור V, Wמרחבים לינאריים מעל אותו השדה T , Fנקרעת העתקה לינארית אם: ∀x, y ∈ V : T (x + y) = T x +W T y )∀x ∈ V, α ∈ F : T (αx) = αT (x נקרא גם טרנספורמציה לינארית )ט"ל(. משפט 22.2כל העתקה לינארית היא הרכבה של סיבובים ומתיחות בכיוון הצירים. הגדרה 22.3טרנספורמציה לינארית T : V → Vנקראת סיבוב אם היא שומרת על אורכים ועל זוויות. T
הערה 22.4ראינו שמעל Rסיבוב מתואר על ידי מטריצה אורתוגונלית Aכך ש ,AAT = Iומעל BB ∗ = BB = :C ) Iהעתקה אוניטרית(. הערה 22.5תת מרחב לינארי עובר דרך הראשית ,תת מרחב אפיני הוא הזזה של תת מרחב לינארי. הערה 22.6כאשר L ⊆ Vתת מרחב חד מימדי ורוצים להבין באילו תנאים =L
AL }|{z
}={Ax | x∈L
במקרה הזה Aמכפילה כל וקטור שב Lבקבוע ,λואז אומרים ש Lהוא מרחב עצמי חד מימדי עם ע"ע .λכלומר, לכל x ∈ Lמתקיים . Ax = λx הערה 22.7השורשים של |λI − A| = 0הם הע"ע העצמיים. הערה 22.8מקרה פשוט במיוחד של מתיחה הוא זה שבו הוקטורים העצמיים הם וקטורי היחידה הסטנדרטיים: ) Ax = (λ1 x1 , ..., λn xn λ1 0 ... A= 0 λn
משפט 22.9המשפט הספקטרלי למטריצות ממשיות סימטריות כל מטריצה ממשית סימטרית Aניתן להציג בצורה A = U ΛU Tכש Uמטריצה אורתוגונלית ו Λאלכסונית, כשאיברי האלכסון שלה הם הע"ע של Aוהשורות של Uהן הו"ע המתאימים )השורה ה iהיא הו"ע של הע"ע ה.(i
63
22.2
איך מייחסים אורך\גודל לוקטור?
22.2.1
הגדרות
הגדרה 22.10אורך של וקטור האורך של וקטור = מרחקו מהראשית. במימד אחד ,על הישר :המרחק בין x, y ∈ Rמוגדר כ|.|x − y הגדרה 22.11מרחב מטרי מרחב מטרי ) (X, dבנוי מקבוצה Xומפונקציה d : X × X → Rהמקיימת את התכונות הבאות: ∀x, y ∈ X : d (x, y) ≥ 0 d (x, y) = 0 ⇔ x = y )∀x, y ∈ X : d (x, y) = d (y, x )∀x, y, z ∈ X : d (x, y) + d (y, z) ≥ d (x, z) (triange inequality
22.2.2
מטריקות k
k
רוצים מטריקה "טובה" על R .Rהוא כמובן גם מרחב לינארי. הגדרה 22.12נורמה " ↔ kxkהאורך של "x זו העתקה Rk → R≥0עם התכונות הבאות: ∀x ∈ Rk : 0 ≤ kxk 0 = kxk ⇔ x = 0 ∀λ ∈ R, x ∈ Rk : kλxk = |λ| kxk )∀x, y ∈ Rk : kx + yk ≤ kxk + kyk (triange inequality כל מה שנאמר כאן עובר ללא שינוי אם מחליפים את Rkבמרחב לינארי ) VRאו .(VC 22.2.3
דוגמה חשובה P
אם Vמצוייד במכפלה פנימית) x, y → hx, yi :מעל xj yj :R נורמת :l2 , L2 p kxk2 = hx, xi
64
,מעל xj yj :C
P
( מקבלים את הנורמה הקרויה
הערה 22.13אי שוויון המשולש הוא בדיוק קושי שוורץ p p ? p hx + y, x + yi ≤ hx, xi + hy, yi m p = hx, xi hy, yi
p
?
hx + y, x + yi ≤ hx, xi + hy, yi + 2
= hx, xi + hy, yi + 2 kxk2 kyk2 m hx, yi ≤ kxk2 kyk2
דוגמה נביט במרחב הפונקציות הרציפות :f : [0, 1] → R v uˆ1 u u 2 kf k2 := t (f (x)) dx 0
אפשר לחשוב על וקטור ב Rnבתור פונקציה :{1, ..., n} → R x1 , ..., xn ↑
↑
n
1
כשרוצים לדעת עד כמה שתי פונקציות רציפות f, g : [0, 1] → Rשונות זו מזו )"מה מרחקן"( .דרך סבירה לעשות זאת היא להביט ב: s ˆ 1 2 = kf − gk2 (f (x) − g (x)) dx 0
הערה 22.14כותבים l2כשמתכוונים לנורמה על וקטורים ו L2כשמתכוונים לנורמה על פונקציות רציפות. 22.2.4
משפחה חשובה של נורמות :נורמות ) lpובצידן (Lp
נגדיר: x = [x1 , ..., xn ] ∈ Rn X 1 p p =kxkp : | |xi זו נורמה לכל ∞ ≤ 1 ≤ pכשהחשובות ביותר מתקבלות עבור ∞ . p = 1, 2,
65
נורמת : l1
נקראת גם נורמת מנהטן: | |xi
שימוש חשוב:
X
= l1 : kx1 k
נניח שנתונות לנו שתי התפלגויות .π, σדרך חשובה למדוד את המרחק ביניהן: 1 kπ − σk1 2
= dT otal−V ariation = dT V
למשל ,אם } Ω = {1, ..., nויש לנו pi = 1
X
P : p1 , ..., pn ≥ 0,
qi = 1
X
Q : q1 , ..., qn ≥ 0,
אז: 1X ))|pi − qi | = max (π (A) − σ (A A⊆Ω 2
: l0 מ.0
= )dT V (P, Q
לא נורמה )לא מקיים את המכפלה בסקלר( .נקרא התומך של וקטור ושווה למס' הקורדינטות בוקטור ששונות
נורמת ∞: l | = max |xi i
22.2.5
p1
p
| |xi
X
kxk∞ = lim kxkp = lim
∞→p
∞→p
נקודת מבט גיאומטרית
נניח ש kkנורמה על Rnמותאמת לה קבוצה חלקית ל Rnהקרויה כדור היחידה של הנורמה: }Bkk = {x ∈ Rn | kxk ≤ 1 B1הוא ריבוע. B2זוהי הספירה האוקלידית. Pכללי זהו אוקטהדר cross-polytope־ פאון עם 2nקודקודים ±ei , i = 1, ..., nויש לו 2nדפנות במימד . |xi | ≤ 1 עבור ∞ ב Rnהקוביה ה nמימדית ,ויש לה 2nקודקודים כאשר כל קודקוד מהצורה ) (1 , .., nכשכל .i = ±1 לקוביה יש 2nדפנות. xi = ±1, i = 1, .., n :
66
מה ניתן לומר באופן כללי על Bkkלנורמה כללית? Bkk .1הוא גוף קמור. Bkk .2סימטרי יחסית לראשית .ז"א x ∈ Bkkאז גם .−x ∈ Bkk Bkk .3הוא ממימד מלא )ז"א לא מוכל בתת מרחב ממש(. בהינתן B ⊆ Rnעם התכונות :מימד מלא ,סימטריה יחסית לראשית וקמירות ,מוגדרת נורמה כדלקמן: x ∈ Rn n o x kxk = inf λ | ∈ B λ
22.2.6
גודל של מטריצה
יהיו שני מרחבים נורמיים: ) (V, kkV ) , (W, kkW ותיהיה .T : V → Wנרצה להגדיר "גודל" ל ") Tנורמה אופרטורית"(. נשאל :עד כמה יכולה Tלהאריך אורכים? הגדרה 22.15נורמה אופרטורית: kT xkW kxkV
= sup x∈V
kT k
op ) (V,kkV )→(W,kkW
באופן כללי :נשתמש בנורמה הזו ובעוד מדדים ל"גודל" של מטריצות. הערה 22.16סוג חשוב ומעניין במיוחד של נורמות אופרטוריות לוקח בחשבון גם את המבנה הכפלי של אופרטורים )הרכבה(: S
T
U →V →W
היינו רוצים נורמות שמקיימות: kT ◦ Sk ≤ kT k kSk
67
נורמה דואלית
22.2.7
הגדרה 22.17הנורמה הדואלית של kk הגדרה 22.18נניח ) (Rn , kkמרחב נורמי .נשים לב שכל x ∈ Rnמקודד העתקה ") y → hx, yi : Rn → Rפונקציונל לינארי"( .נגדיר: ||hx.yi = kyk |= max |hx, yi
∗
kxk := max y
kyk=1
מתברר שזו נורמה שנקראת הנורמה הדואלית של .kk ∗
טענה kk 22.19הוא נורמה. דוגמאות טענה = kk∞ 22.20
∗ kk1 ∗
הוכחה :בהינתן x ∈ Rnנרצה לחשב את :kxk ) x = (x1 , ..., xn ∗
|kxk = max |hx, yi kyk1 =1
P P וכך ש| | xi yiגדול ביותר .בה"כ ) sgn (xi ) = sgn (yiולכן בה"כ מחפשים y1 , ..., ynכך ש|yi | = 1 ,∀i xi ≥ 0, yi ≥ 0ונקבל: X ∗ kxk = max xi yi Pyi ≥0 yi =1
כמובן הבחירה המיטבית היא yj = 1כש xjהוא הגדול מבין הxים ,ואז: ∗
∞kxk = kxk
23 23.1
תרגול 6 מרחבים מטרים
) (X, dכש dמקיימת סימטריה ,חיוביות ,א"ש המשולש. הגדרה 23.1מרחב נורמי מרחב נורמי זה מ"ו Vמעל } F ∈ {R, Cונורמה k·k : V → Rשמקיימת חיוביות ,הומוגניות וא"ש המשולש. הגדרה 23.2הומוגניות ∀α ∈ F, v ∈ V : kαvk = |α| kvk
68
23.1.1
דוגמאות n
• R : lp, l∞ , l • ”Cn : ”.... • |·| C : • בהינתן מ"נ ) (V, k·kאז d (u, v) = ku − vkהיא מטריקה על .V • ) .k·kF , V = Hom (Rn , Rm 23.1.2
מרחב ההומומורפיזמים
Vנקרא מרחב ההומומורפיזמים בין :S, T : Rn → Rm
n
n
m
m
Rל Rוהוא מרחב הה"ל )העתקות הלינאריות( מ Rל .Rנגדיר עבור
(S + T ) : Rn → Rm )vn → S (v) + T (v α ∈ R : (αT ) :Rn → Rm )v → αT (v אנחנו יודעים ∼ Rnm ) = Mm,n (R) ↔ Hom (Rn , Rm
הגדרה 23.3נורמות אופרטורוית בהניתן נורמה |·|1על ,Rnובהינתן נורמה |·|2על ,Rmאז לכל T : Rn → Rmאז: |T x|2 |x|1
= kT kop = max |T x|2 = max n |x|1 =1
06=x∈R
הערה 23.4עם ציורים :ב : R2 √ kk1 √ ≤ kk2 ≤ kk1 ≤ 2 kk2 n
משפט 23.5כל הנורמות על Rnשקולות תהי |·| נורמה על Rnאזי קיימים C, D > 0כך שלכל : v ∈ R n
C kvk1 ≤ |v| ≤ D kvk1 המשפט נכון גם לכל נורמה אחרת במקום .kk1 69
הוכחה :תחילה נזכר במשפט בולצאנו־ויירשטראס: משפט 23.6בולצאנו־ויירשטראס: אם ] {xn } ⊆ [a, bאז ל} {xnיש תת סדרה מתכנסת. משפט 23.7בולצאנו־ויירשטראס:++ אם {vn }n∈N ⊆ Rdוהסדרה חסומה ב ) l1כלומר קיים M > 0כך ש (∀n : kvn k1 < M :אז יש לה ת"ס מתכנסת ב .l1כלומר :יש v ∈ Rdותת סדרה {vnk }n∈N ⊆ {vn }n∈Nכך ש ∞→k
kvnk − vk1 → 0
נחזור להוכחת משפט השקילות: יהי v = [v1 , ..., vn ] ∈ Rnאזי: ≤ | |ei }|{z
| |vi }|{z
abs. value norm
n n n X triangle inequality X X vi e i ≤ = | |vi ei = ||v i=1
i=1
i=1
| |vi
n X
D
{ |} z · | ≤ max |ei ]i∈[n
i=1
} | {z =kvk1
⇓ |v| ≤ D kvk1 נניח בשלילה שלכל C > 0יש v ∈ Vכך ש .C kvk1 > |v| :נקח } {vnכך ש: 1 | kvn k1 > |vn n נגדיר:
vn kvn k1
∀n :
= ,wnאזי: vn 1 1 kvn k1 1 | |vn | = |wn = kwn k1 > = = n n kvn k1 n kvn k1 kvn k1 ⇓ 1 | > |wn n kwn k1 = 1
נפעיל את BW + +ונקבל ת"ס מתכנסת l
1 → w nk w ∈ Rn
70
∀n :
כלומר: ∞→k
kwnk − wk1 → 0 ⇓ |wnk − w| ≤ D kwnk − wk1 → 0 | |w| ≤ |w − wnk | + |wnk } | {z } | {z →0
→0
⇓ |w| = 0 ⇓ w=0 ⇓ kwnk − wk1 = kwnk k1 = 1 → 0 קיבלנו סתירה! ולכן קיים Cשמקיים את א"ְש.
24 24.1
תרגול אקסטרה 6 תזכורות
הגדרה 24.1גרעין של מטריצה ker A ≤ Rn }ker A = {v ∈ Rn : Av = 0
הגדרה 24.2תמונה של מטריצה: } Im (A) = {Av : v ∈ Rn
הגדרה 24.3דרגה של מטריצה )rank (A) = rk (A) = dim Im (A
משפט 24.4סכום דרגה ומימד הגרעין rank (A) + dim ker A = n
71
הגדרה 24.5עקבה Ai,i
m X
= )trace (A
i=1
משפט 24.6משפט מלינארית 1 )trace (AB) = trace (BA
הגדרה 24.7אורתונורמליות v1 , .., vnיקראו אורתונורמליים אם hvi , vi i = 1 ∀i 6= j : hvi , vj i = 0
24.2
ערכים עצמיים
משפט 24.8ספקטרלי ) A ∈ Mn (Rסימטרית אז: A = V ΛV T λ1 0 ... Λ= 0 λn | | V = v1 ... vn | | V TV = I לנוחות ,נניח.|λ1 | ≥ ... ≥ |λn | : הערה V T V = I 24.9שקול לכך ש v1 , .., vnהם א"נ ולכן הם בסיס. 24.2.1
לקרוא פרמטרים של Aסימטרית בעזרת הערכים העצמיים
טענה 24.10 |}dim ker (A) = |{i : λi = 0
72
:הוכחה ker A = {v : Av = 0 · v}
24.11 מסקנה rank (A) = |{i : λi 6= 0}|
24.12 טענה trace (A) =
n X
λi
i=1
:הוכחה
n X T = trace (Λ) = Λ λi trace (A) = trace (V Λ) V T = trace V · V | {z } i=1
I
נורמת פרוביניוס24.13 הגדרה v uX u n A2i,j kAkF := t i,j=1
24.14 טענה v u n uX kAkF = t λ2i i=1
: נשים לב:הוכחה 2 kAkF
= trace A · A
T
: סימטריתAכיוון ש 2
kAkF = trace A
2
X 2 T T = trace V Λ V = trace V Λ2 V T = λi | {z· V} ΛV I
73
נורמה אופרטורית24.15 הגדרה kAk2→2 = kAkop = max n 06=v∈R
kAvk2 kvk2
סימטריתA אם24.16 טענה kAk2→2 = max |λi | = |λ1 |
: נוכיח שני דברים:הוכחה .λ1 וזהו הוקטור העצמי של
kAvk kvk
= |λ1 | כך שv ∈ Rn יש.1
n . kAvk kvk ≤ |λ1 | מתקייםv ∈ R לכל.2
:v1 , ..., vn ניתן להציג אותו כצ"ל של,v ∈ Rn יהי v=
n X
αi vi
i=1
:kvk , kAvk נחשב את 2
kvk = hv, vi =
* n X
αi vi ,
i=1
n X
+ αj vj
=
j=1
n X n X i=1 j=1
αi αj
hvi , vj i | {z }
i6=j⇒hvi ,vj i=0
=
n X
αi2
i=1
?Av מהו Av =
n X
αi Avi =
i=1
n X
αi λi vi
i=1
⇓ 2
kAvk =
n X i=1
(αi λi )
2
n X
≤ |{z}
|λ1 |≥|λ2 |≥...
2
αi2 λ21 = λ21 kvk
i=1
היא מטריצה סימטרית אזA אם24.17 משפט rank (A) ≥
trace (A) 2
kAkF
74
2
2
=
trace (A) trace (A2 )
: נוכיח תחילה טענה מאוד שימושית:הוכחה : אזa1 , .., ar ∈ R אם24.18 טענה r X
!2 ≤r
ai
i=1
r X
a2i
i=1
: נגדיר:הוכחה a = [a1 , .., ar ] ∈ Rr v = [1, ..., 1] ∈ Rr :לפי קושי שוורץ |hv, ai| ≤ kvk kak m v v v u r u r r r r X X u X uX uX √ u 2 2 t t 1 ai = rt a2i 1 · ai = ai ≤ i=1
i=1
i=1
i=1
i=1
m r X
!2 ≤r
ai
i=1
r X
a2i
i=1
:נחזור להוכחת המשפט
2
trace (A) =
n X
!2 λi
i=1
: ולכן,λi = 0 נקבלi > r אז לכל,r = rank (A) נסמן 2
trace (A) =
r X
!2 λi
claim
≤ r
i=1
r X i=1
75
2
λ2i = rank (A) kAkF
25
תרגיל 6
.
טענה 25.1אם
..
λ1
D = אז:
λn n
| kDkop = max |λi i=1
טענה 25.2אם ) U ∈ Mn (Rאורתוגונלית )כלומר (U U T = Iאז: ∀A ∈ Mn (R) : kU Akop = kAkop
טענה 25.3אם ||1 , ||2הן נורמות על Rnאז קיימים C, D > 0כך שלכל :v ∈ Rn C |v|1 ≤ |v|2 ≤ D |v|1
הגדרה 25.4יהי Vמ"ו ו dמטריקה על .Vתהי k·kנורמה על .Vאומרים ש dנובעת מ k·kאם: ∀u, v ∈ V : d (u, v) = ku − vk
טענה 25.5קיימת מטריקה dעל Rnשלא נובעת מנורמה. n
הגדרה 25.6נניח Vמ"ו ,אז {vi }i=1 ⊆ Vנקראים אורתונורמליים אם: ( 1 i=j = ∀i, j : hvi , vj i 0 otherwise
הגדרה 25.7נניח Vמ"ו ,אז עבור :S ⊆ V }S ⊥ = {v ∈ V : ∀s ∈ S, hv, si = 0
טענה 25.8תהליך גרהאם־שמידט: k k יהי Vמ"ו ,יהיו {vi }i=1 ⊆ Vב"ת .אז קיימים {wi }i=1 ⊆ Vאורתונורמליים כך ש: } ∀1 ≤ i ≤ k : span {w1 , ..., wi } = span {v1 , ..., vi
76
טענה 25.9אם S ⊆ Vאז ⊥ Sהוא תמ"ו לינארי של .V טענה 25.10אם W ⊆ Vהוא תמ"ו אז לכל v ∈ Vקיים ייצוג ייחודי ⊥ v = w + u, w ∈ W, u ∈ W
⊥
טענה ,S ⊆ V 25.11אז ⊥ .(span (S)) = S טענה ,S ⊆ V 25.12אז
26
שיעור 7
26.1
תזכורת
⊥
⊥ .span (S) = S
הגדרה 26.1נורמה n־מימדית על Vמרחב לינארי מעל R זו העתקה kk : Rn → R≥0עם התכונות: ∀x ∈ Rn : kxk ≥ 0 x = 0 ⇔ kxk = 0
|λ| kxk
kxk + kyk
linearity
=
triangle inequality
≤
∀x ∈ Rn , ∀λ ∈ R : kλxk
∀x, y ∈ Rn : kx + yk
הגדרה 26.2ליפשיץ אומרים ש f : (V, kk) → Rהיא k־ליפשיץ אם ∀x, y ∈ V : |f (x) − f (y)| ≤ k kx − yk
הערה 26.3דוגמאות חשובות נורמות `:Lp , p1
p
| |xi
X
המקרים החשובים במיוחד: `2 .1־ נורמה אוקלידית. `∞ .2־ נורמת המקסימוםkxk∞ = maxi |xi | : 77
=kxkp :
הגדרה 26.4כדור היחידה בהינתן נורמה kkעל מרחב ליניארי Vמוגדר כדור היחידה: }B = {x ∈ V | kxk ≤ 1
הערה 26.5לא קשה לראות B = Bkk :זו קבוצה קמורה סימטרית יחסית ל") 0סימטרית מרכזית"( ובעלת מימד מלא. ראינו גם איך קבוצה כנ"ל מגדירה באופן יחיד נורמה. דוגמאות P .1הכדור של `2הוא . x ∈ Rn | x2i ≤ 1 .2כדור היחידה של ∞` זו הקובייה.{x ∈ Rn |∀i : −1 ≤ xi ≤ 1} : .3כדור היחידה של `1הוא האוקטהדר או ה|xi | ≤ 1} : cross − polytope
P
| {x ∈ Rn
הגדרה 26.6נורמה אופרטורית בהינתן נורמות ,נוח להגדיר גם "גודל" העתקות .למשל אם ) (V, kkV ) , (W, kkW ונניח T : V → Vהעתקה לינארית ,אז הנורמה האופרטורית של :T kT xkW = sup kT xkW kxkV x∈V,kxkV =1
kT kop = kT kV →W := sup
הגדרה 26.7נורמה דואלית ∗
בהינתן ) (V, kkמוגדרת הנורמה הדואלית ,kk :כדלקמן :נייחס לוקטור x ∈ Vאת ההעתקה: V →R v → hx, vi וזה מוליך להגדרה: ||hx, vi |= sup |hx, vi kvk kvk=1
הערה 26.8הנורמה הדואלית לנורמת `pהיא נורמת `qכש 1 1 + =1 p q
78
∗
kxk = sup v∈V
טענה 26.9הנורמה הדואלית ל `2היא `2 הוכחה :נסמן .kk := kk2נשים לב: ∗
kk = sup |hx, vi| =1 kvk2 =1
x kxk2
= the optimal choice is v 2
kxk2 hx, xi = = kxk2 kxk2 kxk2
=1
טענה `∗∞ = `1 26.10 הוכחה :נשים לב: ∗
|kxk∞ = max |hv, xi kvk∞ =1
בה"כ ,∀i : vi xi ≥ 0אחרת נחליף ל .−viהמקסימום מושג כאשר ) ∀i : vi = sgn (xi ⇓ |xi | = kxk1
X
= ) xi · sgn (xi
X
∗
טענה 26.11נורמת kkהיא נורמה. ∗
הוכחה :אי שליליות :היא ≤ ) 0כי היא סופרמום על אי שליליים( ,וגם . x = 0 ⇔ kxk = 0 לינאריות :מהלינאריות של המכפלה הפנימית: ∗
|kλxk = sup |λ hx, vi| = λ sup |hx, vi kvk=1
kvk=1
אי שוויון המשולש: ∗
∗
kxk + kyk
we want
≤
∗
kx + yk
∗
נביט בוקטור vבנורמת יחידה המשיג את .hv, x + yi = kx + ykנשים לב: ∗
|hv, xi| ≤ kxk
∗
|hv, yi| ≤ kyk
ומקבלים את הנדרש.
79
משפט 26.12קושי־שוורץ מוכלל בהינתן מרחב נורמי ):(V, kk ∗
∀x, y ∈ V : |hx, yi| ≤ kxk · kyk
הוכחה :יהיו :x, y ∈ V ||hv, yi ||hx, yi ≥ kvk kxk
∗
kyk = sup v
⇓ ∗
|hx, yi| ≤ kxk · kyk
הגדרה 26.13כדור היחידה הקוטבי אם ) (V, kkמרחב נורמי ו Bהוא כדור היחידה שלו ,אז כדור היחידה של הנורמה הדואלית )"הקוטבי" ־ .(polar }B ∗ = {x ∈ V |∀v ∈ B : hx, vi ≤ 1
הגדרה 26.14קונוס C ⊆ Rnהוא קונוס אם הוא סגור לחיבור ולכפל בקבוע אי שלילי: ∀x, y ∈ C : x + y ∈ C ∀x ∈ C, λ ≥ 0 : λx ∈ C
דוגמאות .1כל Rn .2האורתנטה החיובית: ∀x ∈ Rn : ∀i : xi ≥ 0
.3בוחרים איזושהי רשימה של וקטורים :a1 , ..., ak ∈ Rn }C = {x| ∀i : hx, ai i ≥ 0
80
הגדרה 26.15מטריצה מוגדרת חיובית\אי שלילית
מטריצה ממשית סימטרית נקראת מוגדרת חיובית )\(positive de nite=PDמוגדרת אי שלילית )positive (semide nite=PSDאם כל הע"ע שלה חיוביים\אי שליליים. הערה 26.16את אוסף כל המטריצות ה P SDבגודל n × nנסמן ב .P SDn משפט 26.17התנאים הבאים על מטריצה Aסימטרית ממשית שקולים זל"ז )זה לזה(: A ∈ P SDn .1 .2אפשר להציג את A = M M T .3התבנית הריבועית אי שלילית∀x : xAxT ≥ 0 : הוכחה :גרירות: • :2 ⇒ 3
2
xAxT = xM M T xT = hxM, xM i = kxM k2 ≥ 0
• :3 ⇒ 1 נניח ש xו"ע עם ע"ע λונרצה לטעון ש:λ ≥ 0 AxT = λxT
נכפיל משמאל ב:x 2
T xAx | {z } = λ kxk } | {z ≥0
≥0
• :1⇒2 בהסתמך על המשפט הספקטרלי ,ניתן להציג λn
√
T
A = V ΛVכש Vאורתוגונלי. √ λ1 1 .. Λ2 = . 1 2
M := V Λ ⇓
1
1
MMT = V Λ2 Λ2 V T = A
81
משפט 26.18התנאים הבאים על מטריצה Aסימטרית ממשית שקולים זל"ז )זה לזה(: A ∈ P D .1 .2אפשר להציג את Aכך , A = M M Tכש Mלא סינגולרית. .3התבנית הריבועית חיובית∀x : xAxT > 0 : הערה P SDn 26.19הוא קונוס. הוכחה :נשים לב: כפל בסקלר חיובי µ > 0מכפיל את הע"ע ב.µ חיבור :מתנאי 3במשפט על ה.P SD משפט 26.20ה(Singular Value Decomposition) SV D כל מטריצה ממשית Am×nניתן להציג בצורה: T A = Um×m Dm×n Vn×n
U, V are orthogonal σ1 0 0 .. . 0 D=0 , σ1 ≥ ... ≥ σn ≥ 0 0 0 σn 0 0 0 המספרים σ1 , ..., σnנקראים הערכים הסינגולריים של Aוהם נקבעים ביחידות. הערה 26.21 )”dim A = arg max (”σm > 0 m
הוכחה :היחידות של ה σiדי קלה: הערה 26.22תהיה Mמטריצה כלשהי ,אז M M Tזו מטריצה שבמקום ה) (i, jשלה מופיעה המכפלה הפנימית של השורה ה iוהשורה ה jשב .M M T Mכנ"ל עם עמודות. נביט ב AAT־ זו מטריצה .P SD T T T T T AAT = U D V | {zV} D U = U DD U =I
82
נשים לב:
.
0
..
σn2
2 σ1 =
T T U T A |A{z U} = Dm×n Dn×m =(U T A)T
0
m×m
}
|
{z
P SD
טענה 26.23למטריצה ממשית סימטרית Mול U M U Tכש Uאורתוגונלית יש אותם הע"ע .הוכחה :אם , M x = λx אז: y := U x T
U M U U x = U M x = λU x = λy
σ12 , ..., σn2הם הע"ע של המטריצה ה.AAT P SD
הערה 26.24מכפלה בבלוקים: ... ...
P11 Q11 + P12 Q21 = ...
Q12 Q22
P12 Q11 P22 Q21
P11 P21
למטריצות ).(m − 1) × (n − 1 הוכחה :באינדוקציה על הגודל של .Aספציפית ,נניח שהמשפט ידוע תוכנית הפעולה היא שנרצה למצוא וקטור u1ומטריצה U2כך ש u1 U2 m×mאורתוגונלית ,וכן וקטור v1 ומטריצה V2כך ש v1 V2 n×nאורתוגונלית:
0 B
σ1 0
T we want =
V2
U2 A v1
הערה 26.25מתברר ש σ1אינו אלא .kAkop נגדיר .σ1 := kAkopז"א יש וקטור יחידה v1כך ש σ1 u1 = Av1 kv1 k = 1 ku1 k = 1
83
u1
את וקטורי היחידה u1 , v1ניתן להשלים לבסיס אורתונורמלי ,ואלו תהיינה המטריצות U2 , V2בהתאמה .נסתכל על:
w B
=1
{ |} z 2 σ1 ku1 k T σ1 U2 u1 } | {z
σ1 w = 0 B
:=w
{ |} z uT1 AV2 = T U2 AV2 } | {z
because of orthogonality=0
uT1 Av1 = U2T Av1
V2
A v1
uT1 U2T
:=B
נטען ש w = 0ונראה שאם זה אינו המצב ,אז יש וקטור שתמונתו נמתחת בשיעור < .σ1 T u1 יש אותה נורמה אופ' ) (= σ1כמו ל.A הערה 26.26למטריצה A v1 V2 U2T הבה נפעיל את הטרנספורמציה הלינארית הזו על הוקטור , σ1 wונקבל: 2 2 σ1 + kwk T u1 σ1 A v1 V 2 = Bw w U2T .
..
מהי המתיחה המתקבלת? q 2 2 לקחנו וקטור שאורכו )נורמת `2שלו( , σ1 + kwk :וקיבלנו בתמונה וקטור שאורכו ≤ + kwk היא לפחות q 2 σ 2 + kwk 2 0 ≤ σ12 + kwk = q 1 2 σ12 + kwk 2
שוויון אם"ם ,w = 0ומכיוון ש σ1הוגדר כ kAkopיוצא ש.w = 0 קיבלנו שאם u1 , v1הוגדרו כנ"ל ,ו U2 , V2השלמות שלהם לבסיסים אורתונורמליים אז: T u1 σ1 0 v V A = 1 2 0 B U2T ע"פ הנחת האינדוקציה יש הצגה ˜ Ddiag ˜ V˜ T B = Um−1 n−1 ומה שראינו מקודם הוא
v1T V2T
0 B
σ1 U2 0
A = u1
0 σ1 ˜ U 0
1 U2 0
ולכן:
v1T V2T
0 V˜ T
0 1 ˜ D 0
84
A = u1
.σ12
המתיחה
תרגול 7
27 27.1
ערכים סינגולריים וSV D
משפט 27.1משפט הSVD אם ) ,A ∈ Mm,n (Rאז קיימות מטריצות )U ∈ Mm (R) , V ∈ Mn (R) , D ∈ Mm,n (R כך ש ,A = U DV Tומתקיים: U, V .1אורתוגונליות )אוניטריות( " D .2אלכסונית" )(∀i 6= j : Di,j = 0 .3וגם σ1 := D11 ≥ ... ≥ σmin(n,m) := Dmin(n,m),min(n,m) ≥ 0 תרגיל מצאו SV Dלמטריצה:
1 2
) ∈ M4 (R
3
A=
4
פתרון )?( 1
3 2
4 A = (?)
נשים לב שלערכים העצמיים 1, 2, 3, 4מתאימים הו"ע e1 , ..., e4 :נגדיר . v1 = e4 , ..., v4 = e1 :ברור ש} {viהוא בסיס אורתונורמלי של ו"ע .בבסיס זה: 1 e1 = , ..., e4 = 1 לכן:
1 1 1
1 1
3 2
1 4
1 1
A= 1
85
תרגיל מצאו SV Dל 2 0
0 2
=A
פתרון Aסימטרית .נוציא ע"ע:
−2 )= x2 − 4 = (x − 2) (x + 2 x
x −2
det (xI − A) = det
ולכן הע"ע הם .±2הו"ע המתאימים: 1 2 1 A = ·=2 1 2 1 1 נקח )הו"ע שמצאנו ,מנורמל( עבור .2 1 1 1 , √12ולכן: מאונך לו"ע הקודם .אם כך ,נקח אותו מנורמל עבור :−2 נשים לב ש −1 −1 1 1 1 1 1 1 2 0 √ √ =A 0 −2 2 1 −1 2 1 −1 √1 2
זה לא פירוק ) SV Dיש ע"ע שלילי( .נשים לב: S
R
z
|} { |} { z 1 1 −1 1 0 √= 0 −1 2 1 1 | {z } } | {z ref lection
rotation
1 −1
1 1
1 √ 2
45 deg
⇓ 0 RSR 2
0 2 SR = SR −2 0
2 0
A = SR
סדרה של ציורים לתאר את הפעולה של .A נשים לב ש RSRהיא אורתוגונלית )כמכפלה של אורתוגונליות( SR ,גם אורתוגונלית .נסמן: U = SR, V T = RSR וקיבלנו פירוק .SV D טענה 27.2הערכים הסינגולריים הם השורשים של הע"ע ).AAT ∈ Mm (R
86
: סימטריתAAT :הוכחה AAT
T
= AAT :SV D נקח.ולכן יש לה לכסון א"ג
A = U DV T :ונקבל AAT = U DV T V DT U T = U
UT
T DD | {z }
σ2 1
..
. σn2
תרגיל :SV D מצאו 1 √ √2 A= 2
√1 √2
− 2
פתרון :SV D נזכר שבהוכחה של.σ1 נרצה למצוא את σ1 = kAkop =
max
x∈R2 ,kxk2 =1
kAxk2
:זה שקול למקסום הפונקציה
2 2 √ √ 2
x
= √x + √y f (x, y) = A + 2x − 2y
y 2 2 : אז.x2 + y 2 = 1 תחת האילוץ f (x, y) =
x2 + 2xy + y 2 1 5 + 2x2 − 4xy + 2y 2 = + xy + 2 − 4xy = − 3xy 2 2 2 :נכתוב cos θ xy = sin θ 87
ואז נמקסם: 5 − 3 cos θ sin θ 2
= )g (θ
בתחום ] .θ ∈ [0, 2πנגזֹור: g 0 (θ) = 3 sin2 θ − 3 cos2 θ g 0 (θ) = 0 m 2
sin θ = 3 cos2 θ m
π 3π 5π 7π , , , 4 4 4 4
∈θ ⇓ ! 1 √ 2 =2 A 1 − √2 2
− √12
2
אפשר לקחת וקטור שמאונך ל − √12
28
0 √1 2 ? 0 √1 2
⇓ we know 0 2 A = 1 0 0 3 0
על מנת להשלים את המטריצה הימנית.
תרגול אקסטרה 7
28.1פירוק ספקטרלי ⇐ משפט 28.1משפט הSVD
SVD
):m ≥ n , A ∈ Mm×n (R T Am×n = Um×m Σm×n Vn×n
כש U, Vאורתוגונליות ,ו: σn
.
σ1
..
Σ=
σ1 ≥ ... ≥ σn ≥ 0
88
28.1.1
הספקטרום של AT Aו AAT T
נשים לב ש ,A A ∈ Mnוהיא סימטרית ,לכן יש הצגה: V ΛV T
spectral decomposition
=
AT A
ובאופן דומה: ˜ T AAT = U ΛU
מטרה :מה הקשר בין ˜ Λ ל Λובין Uל ?V נסמן: | vn |
...
| v , V = 1 | λn
.
..
λ1
Λ=
2
טענה λi = kAvi k 28.2 הוכחה: x, y ∈ Rn : xi yi = hx, yi
n X
T
=x y
i=1
⇓ T
2
kAvi k = hAvi , Avi i = (Avi ) Avi = viT AT Avi = λi viT vi = λi
למה λi ≥ 0 28.3 טענה λ > 0 28.4ע"ע של AT Aאם"ם λ > 0ע"ע של .AAT הוכחה :נוכיח את כיוון ⇐: נניח , AT Av = λvנכפיל משמאל ב:A AAT Av = λAv אם Av 6= 0אז הוא ו"ע של AATעם ע"ע .λנשים לב ש Av 6= 0כי .λ > 0 את כיוון ⇒ נוכיח באופן דומה. נסמן: λ1 ≥ ... ≥ λr > 0 = λr+1 = ... = λn
89
:לכן
λ1
Λn =
˜m Λ
=
..
. λr 0
λ1
..
..
.
. λr 0
: אז,ui :=
Avi σi
..
.
0 0
∈ Rm וגם,σi =
√
λi :1 ≤ i ≤ r נסמן לכל28.5 טענה . הם א"נu1 , .., ur .1
.λi עם ע"עAAT הוא ו"ע שלui .2 : :הוכחה .1 kAvi k =1 σi T Avi Avj 1 T T 1 T σj T hui , uj i = ui uj = = v A Avj = v λ j vj = hvi , vj i = 0 σi σj σi σj i σi σj i σi kui k =
.AAT הוא ו"ׂע שלAv = σi u אזλ 6= 0 עם ע"עAT A הוא ו"ע שלv הראנו שאם. כבר הוכחנו.2
| : הןU העמודות הראשונות שלr אזV = v1 |
| U = u1 |
...
90
| ur |
...
| vn אם28.6 מסקנה |
.U T AV = Σ נראה ש.SV D נוכיח את משפט ה:הוכחה . לא לפחד:רעיון ההוכחה − uT1 − .. . T T U = − ur − ∈ Mm×m . . . − uTm − | | | | AV = Av1 . . . Avr 0 = σ1 u1 . . . σr ur 0 ∈ Mm×n | | | | σ1 ! σ2 uT1 σ1 u1 . . . orthonormality T . . U AV = = = Σ = Mm×n .. . .. 0 . . σr 0
: ראינו28.7 מסקנה .(AT A, AAT הערכים הסינגולריים = שורש)ע"ע.1 .AAT = ו"ע שלU העמודות של.2 .AT A =ו"ע שלV העמודות של.3 .4 ∀i ≤ r : Avi = σi ui
.AAT או שלAT A מספיק למצוא פירוק ספקטרלי של,A שלSV D ולכן כדי למצוא
7 תרגיל
29
: טענות שימושיות לדטרמיננטות29.1 טענה det AT = det (A) ∀B, C ∈ Mn : det (BC) = det (B) det (C) A ∈ Mn : det (cA) = cn det (A) 1 det A−1 = det (A)
91
טענה 29.2אם A0מהווה פרמוטציה של שורה\עמודה אחת ביחס ל Aאז: )det (A0 ) = − det (A
טענה u, v ∈ Rn 29.3אז ) uv T ∈ Mn (Rהיא מדרגה 1או .0 טענה A ∈ Mn (R) 29.4היא סכום של kמטריצות מדרגה .1 v1 , · · · , vk ∈ Rn Pווקטורים א"נ v1 , · · · , vk ∈ Rmו α1 , · · · , αk > 0כך טענה 29.5קיימים וקטורים א"נ k T ש)i=1 αi ui vi = A ∈ Mn (R טענה 29.6נניח σ1 ≥ · · · ≥ σn ≥ 0הם הערכים הסינגולריים של ) ,A ∈ Mm,n (Rאז לכל :x ∈ Rm kAxk2 ≥ σn kxk
טענה 29.7תהי Nm : Rm → Rנורמה על ,Rmתהי Nn : Rn → Rנורמה על .Rnתהי ) ,A ∈ Mm,n (Rאז: )Nm (Ax
max
x∈Rn :Nn (x)=1
= kAkNn →Nm
טענה 29.8אי שוויון המשולש ההפוך אם k·kהיא נורמה אז: ∀x, y : |kxk − kyk| ≤ kx − yk
שיעור 8
30 30.1
חזרה
משפט 30.1הSV D לכל מטריצה ממשית Am×nיש הצגה:
0 σn
A = U DV T σ1 .. . D= 0
כש Um×mאורתוגונלית Vn×n ,אורתוגונלית" D ,אלכסונית" ו σ1 ≥ · · · ≥ σm ≥ 0נקבעים ביחידות. 92
הערה 30.2ראינו .σ1 = kAkop הערה 30.3בנוגע ליחידות של ה :σiהמספרים σi2הם הע"ע של המטריצה ה.AAT P SD הערה 30.4אם Xמטריצה ממשית כלשהי אז הספקטרום של XX Tושל X T Xהם זהים למעט הוספה של אפסים במספר הדרוש.
30.2
מסקנות
מSVD
הגדרה 30.5נורמת `2של מטריצות קרויה גם נורמת Frobeniusאו גם :Hilbert-Schmidt qX a2i,j =kAkF :
מסקנה 30.6מסקנה נוספת ממשפט ה:SV D X }trAT A |{z = σi2 SV D
2
kAkF
= }|{z
from the de nition
הוכחה :נשים לב: T
A = U DV T
A A = V DT U T U DV T = V DT DV T
טענה 30.7 ) tr (P Q) = tr (QP ) tr (P1 P2 · · · Pk ) = tr (Pk P1 · · · Pk−1
הוכחה: pi,j qj,i
X
= )tr (P Q
i
לפי הטענה: σi2
X
= = tr V T V DT D = tr DT D
T
tr AT A = tr V DT DV
כעת נשים לב: 2 kM kF
= m2i,j
X
= mi,j mTj,i
X
=
T
tr M M
וסה"כ קיבלנו את המבוקש. הערה 30.8נשים לב = rank (Am×n ) :ה dהמינימלי כך שניתן להציג .A = Xm×d Yd×n 93
30.2.1
בעיה
נתונה מטריצה ,Am×nרוצים למצוא לה קירוב " Bפשוט" ,למשל .rk (B) ≤ k משפט ) 30.9מסקנה מ(SVD תהיה ) A = U DV Tבהצגת ,(SV Dאז הקירוב המיטבי במונחי נורמת פרובניוס והן במונחי הנורמה האופרטורית ל Aע"י מטריצה Bמדרגה ≥ kהוא D(k) . B = U D(k) V Tזו המטריצה המתקבלת מ Dע"י החלפת · · · σk+1 , באפסים. הוכחה :לקירוב בנורמה אופרטורית. נשים לב kA − Bkop = σk+1מפני שזהו הערך הסינגולרי הגדול ביותר של .A − Bיש להוכיח ,אם כן ,שלכל מטריצה Cמדרגה ≥ kמתקיים .kA − Ckop ≥ σk+1כלומר ,שיש zוקטור יחידה כך ש k(A − C) zk2 ≥ σk+1 נבנה zכזה כך ש .Cz = 0מכיוון ש ,rank (C) ≤ kלגרעין הימני של Cיש מימד ≤ .n − kכלומר ,מטרתנו למצוא וקטור יחידה ) z ∈ r ker (Cכך ש .kAzk ≥ σk+1 נסמן את העמודות של Vב .v1 , v2 , · · · :בגלל חשבון המימדים הנ"ל אנחנו יודעים ש = } r ker (C) ∩ span {v1 , · · · , vk+1 ∅ 6 במילים אחרות ,יש וקטור יחידה αi vi
Pk+1
= zכך ש Cz = 0ולכן:
i−1
(A − C) z = Az
הערה 30.10ניתן לכתוב את A = U DV Tכךσi ui ⊗ vi : מההערה נקבל: αi σi ui
k+1 X
=
i
)Pmin(m,n i=1
⊗ σi ui
vi z }|{z
orthonormality = α i vi = α
Pk+1 i−1
k+1 X
=A )min(m,n
= σi ui ⊗ vi z
i
X
= Az
i
=vi
⇓ X
2 = σk+1
2 αi2 σi2 ≥ σk+1
αi2 } | {z
)(z is a unit vector, {vi } is an orthonormal basis
=1
הערה 30.11נשים לב: xi yj Mi,j
X
94
= xM y T
X
2
= k(A − C) zk
ונחשוב על,ui בתור מטריצת בלוקים שכל בלוק הוא עמודהU ( אז נחשוב עלSV D )פירוקA = U DV T אם : בתור מטריצת בלוקים באותו האופןV T σ − v1 − 1 | | .. .. A = u1 · · · un . . | | − vm − ⇓ min(m,n)
A=
X
σi ui ⊗ vi
i
Rayleigh-Ritz ריילי־ריטז30.12 משפט : אז,A הע"ע שלλ1 ≥ λ2 ≥ · · · ≥ λn ויהיו, מטריצה ממשית סימטריתAn×n תהיה xAxT
λ1 = max
= max xAxt
2
x6=0
kxk | {z 2}
kxk2 =1
Rayleigh's fraction
אז,λ1 , · · · , λn ו"ע המתאימים לv1 , · · · , vn יהיו λk+1 =
max
x⊥v1 ,··· ,vk
xAxT 2
kxk2 :ולדקדקנים
λk+1 =
x⊥{any
max
eigenvector of λ1 , · · ·
xAxT , λk }
2
kxk2 ו, ממשית סימטריתA אם30.13 הערה
Ax = λx, Ay = µy, λ 6= µ .x⊥y אז : נביט:הוכחה λ hx, yi = xAy = µ hx, yi ⇓ λ 6= µ hx, yi = 0 ⇓ x⊥y
95
30.3
כופלי לגרנז'
30.3.1
מה רוצים
רוצים למצוא את ערכי max/minשל ) f (x1 , · · · , xnבכפוף לכך ש: g1 (x1 , · · · , xn ) = 0
.. . gk (x1 , · · · , xn ) = 0
30.3.2
השיטה
מגדירים: ) λi gi (x1 , · · · , xn
k X
F (x1 , · · · , xn ) := f (x1 , · · · , xn ) +
i=1
λiהם משתנים פורמליים שנקראים כופלי לגראנז' .פותרים: ∂F =0 ∂xi ∀j ∈ [k] : gj (x1 , · · · , xn ) = 0 ∀i ∈ [n] :
משפט 30.14כל הנקודות הקריטיות של fעל המשטח ∀i ∈ [k] : gi = 0מתקבלות כך. הערה 30.15התנאי במשפט של כופלי לגראנז' אומר ש) grad (Fהוא ניצב למשטח המוגדר ע"י המשוואות: g1 = · · · = gk = 0
30.3.3
נשתמש
הוכחה :נוכיח את משפט .Rayleigh − Ritzנשתמש בכופלי לגראנז' :נשים לב ש maxkxk2 =1 xAxtהוא בעצם P P max aij xi xjבכפוף לתנאי . x2i = 1 X X = ) F (x1 , · · · , xn aij xi xj − λ x2i 1≤i,j≤n
∂F we want = 0 ∂xt m we'll show
∀t :
2 (Ax)t = 2λxt
96
:נראה זאת
X X ∂ X ∂ aij xi xj = att x2t + ait xi xt + atj xt xj = ∂xt ∂xt 1≤i,j≤n i6=t j6=t X X = 2att xt + ait xi + atj xj = i6=t
=
X
ait xi +
j6=t
X
atj xj
symmetry
=
2 (Ax)t
j
i
| {z } (xA)t
|
{z
(Ax)t
}
∂F ⇓ =0 ∂xt X ∂ X aij xi xj − λ x2i = 0 ∂xt 1≤i,j≤n
m 2 (Ax)t = 2λxt : כעת נשתמש במשפט הספקטרלי. ווקטור יחידהx יהי:λ1 , k = 0 ריילי־ריץ עבור X 2 ∗ T T = λi (xV )i ≤1 xAxT = |{z} xV Λ V x | {z } vec
vecT
:∗= נובע מ ϕM ψ = [ϕi ψj mij ] ⇓ M is diagonal ϕM ψ = [ϕi ψi mii ] :נמשיך ≤1 max λi
X |
2
(xV )i {z }
= λ1 · 1 = λ1
x is a unit vector, V is orthogonal, so =1
אזx = v1 אם נקח,מצד שני v1 Av1T = λ1 v1 v1T = λ1 .i = 1, · · · , k ( כשV x)i = 0 יוצא שx⊥v1 , · · · , vk כיוון ש, עכשיו. נחזור על אותו החשבון:כעת המקרה הכללי
97
30.4
משפטים
משפט 30.16בדומה לRayleigh − Ritz תהיה An×nמטריצה ממשית סימטרית ,ויהיו λ1 ≥ λ2 ≥ · · · ≥ λnהע"ע של ,Aיהיו v1 , · · · , vnו"ע המתאימים ל ,λ1 , · · · , λnאז בדומה ל:Rayleigh − Ritz xAxT 2
kxk2 xAxT 2
kxk2
λn = min
min
x⊥vk ,··· ,vn
= λk−1
משפט 30.17קורנט־פישר )(Courant-Fisher תהיה An×nממשית סימטרית ,ויהיו λ1 ≥ · · · ≥ λnהע"ע שלה ,אז: xAxT 2
kxk2 xAxT 2
kxk2
max
min
F :dim F =i x⊥F
min
min
= ∀i : λi+1
G:dim G=n−i x⊥G
= λi
מסקנה 30.18משפט השירוג )(interlacing תהיה An×nמטריצה ממשית סימטרית ויהיו λ1 ≥ · · · ≥ λnהע"ע שלה .נמחק לאיזשהו iאת השורה ה iואת העמודה ה iב Aונקבל את המטריצה ) B(n−1)×(n−1עם ע"ע µ1 ≥ · · · ≥ µn−1אז: λ1 ≥ µ1 ≥ λ2 ≥ µ2 ≥ · · · ≥ λn−1 ≥ µn−1 ≥ λn
הוכחה :איך מסיקים זאת מקורנט־פישר? נמשיך לעבוד עם ,Aאבל במקום להרשות כל וקטור ,xנרשה רק כזה בשבילו הקורדינטה ה iהיא .0 משפט 30.19פרון־פרובניוס )(Perron-Frobenios תהיה Mn×nמטריצה ממשית כך שכל איבריה ,mij ≥ 0ויהיה }ρ (M ) = max {|λ| |λ is an eigenvalue of M ל) ρ (Mקוראים הרדיוס הספקטרלי של .Mאזי ) ρ (Mהוא ע"ע פשוט )בלי ריבוי( של ,Mולכל שאר הע"ע יש מודולוס > ) .ρ (Mהו"ע המתאים לע"ע ) ρ (Mהוא חיובי .לכן ,אם xl , xrהו"ע הימני והשמאלי בהתאמה של הע"ע ) ,ρ (Mז"א xl M = ρ (M ) xl M xr = ρ (M ) xr
98
אזי: xr xTl hxr , xl i
t =
M ) ρ (M
lim
∞→t
יהיה ) G = (V, Eהגרף המכוון שבו ,mij < 0 ⇔ (i → j) ∈ Eנניח ש Gקשיר חזק ולא בעל מבנה ציקלי. הערה 30.20 z = x + iy p |z| = x2 + y 2
תרגול 8
31 31.1
גישה וריאציונית לערכים סינגולריים
הגדרה 31.1נקודה קריטית יהיו U ⊆ Rnפתוחה ו f : U → Rגזירה x ∈ U .נקודה קריטית של fאם ∆f (x) = 0
כלומר: ∂f (x) = 0 ∂xi
∀i ∈ [n] :
משפט 31.2תהי ) A ∈ Mn (Rמטריצה סימטרית ,ו λ ∈ Rו ,v ∈ Rnהתב"ש: • Av = λv • vנקודה קריטית של הפונקציה :f f : Rn \ {0} → R xT Ax 2
kxk2
= )f (x
f (v) = λ
הערה 31.3תזכורת σ :ערך סינגולרי של Aאם"ם σ 2הוא ע"ע של .AT A
99
הוכחה: T V
.
..
σn2
2 σ1 =V
U DV T = V DT U T U DV T = V DT D V T
T
AT A = U DV T
הגדרה 31.4עבור ) A ∈ Mm×n (Rווקטורי יחידה u ∈ Rm , v ∈ Rnו ,σ ≥ 0אם Av = σu AT u = σv
אז vנקרא וקטור סינגולרי ימני u ,נקרא וקטור סינגולרי שמאלי σ ,נקרא ערך סינגולרי. הוכחה :נראה שההגדרה השניה שקולה להערה הקודמת. כיוון :1נניח ש u, v, σסינגולריים ,אז: AT Av = AT σu = σ 2 v כיוון :2נניח .AT Av = σ 2 vאם נקח
Av σ
= uאז הכל יעבוד.
משפט 31.5תהי ) ,A ∈ Mm×n (Rיהיו u ∈ Rm , v ∈ Rnוקטורי יחידה .σ ≥ 0 ,התב"ש: • u, v, σסינגולריים • ) (v, uהיא נקודה קריטית של הפונקציה: f : Rn \ {0} × Rm \ {0} → R y T Ax kyk2 kxk2
→ )(x, y
f (v, u) = σ
הוכחה :נחשב: u0 v − v 0 u =0 v2
=
u 0 v
m 0
u v = v0 u
100
:ולכן ∂f (x, y) =0 ∂xi m
∂ y T Ax ∂ (kyk kxk) kyk kxk = y T Ax ∂xi ∂xi :נשים לב ש y T Ax =
n X n X
yl Alk xk
k=1 l=1
⇓ n
T
X ∂ y Ax = yl Ali ∂xi l=1
⇓ ∂ y T Ax kyk kxk = ∂xi
m X
! yl Ali
kyk kxk
l=1
:ו y T Ax
pPn
2 ∂ ∂ (kxk) ∂ (kyk kxk) l=1 xl = y T Ax kyk = y T Ax kyk = ∂xi ∂xi ∂xi 1 xi = y T Ax kyk · 2xi = y T Ax kyk 2 kxk kxk
:כלומר
m X
∂f (x, y) =0 ∂xi m ! yl Ali
kyk kxk = y T Ax
l=1
kyk xi kxk :לפי חישוב דומה
n X
∂f (x, y) =0 ∂yi m ! Ail xl
kyk kxk = y T Ax
l=1
101
kxk yi kyk
כל המשוואות האלה שקולות ל: !
kyk kxk x kxk kyk y
x kxk kyk = y T Ax y
0 AT A 0
נניח ש u, v, σסינגולריים .אזי צ"ל ∆f (v, u) = 0 :ו . f (v, u) = σאז כיוון ש v, uוקטורי יחידה: T v σv v v 0 AT A u = = = ∗= σ uT Av u σu u u A 0 Av σ
is a unit vector
=
u
=∗ is because:uT (Av) = uT σu
ועכשיו הכיוון השני :נניח ש) u, v, σ = f (v, uכש u, vוקטורי יחידה ,ו) (v, uנקודה קריטית של .fצ"ל Av = σu ו .AT u = σvכיוון שזו נקודה קריטית נציב: v v 0 AT = v| T{z }Au u u A 0 σ
⇓ T σv A u = σu Av
32 32.1
תרגול אקסטרה 8 מטריצות שכנויות של גרפים
הגדרה 32.1מטריצת שכנויות של גרף יהי ) G = (V = {1, · · · , n} , Eגרף לא מכוון A .היא מטריצת השכנויות של :G ( 1 {i, j} ∈ E = Aij 0 otherwise
מסקנה 32.2אבחנה A :סימטרית ולכן יש לה פירוק ספקטרלי: A = V ΛV T
טענה 32.3 = # of paths from i to j of length 2
102
i,j
A2
:הוכחה A2
i,j
=
n X k=1
1 = 0
Ai,k Ak.j | {z } {i, k} , {k, j} ∈ E otherwise
.0
λ1
≥
j,i=1
i∼j
v∈V
1 .. T : ולכן,x x = n אזx = . נסתכל על 1 λ1 ≥
1 X deg (v) n v∈V
: מקייםA שלλ צ"ל כל ע"ע:≤2 נראה את |λ| ≤ 4 = max degree in G : אז.| מקסימליxi | כך שi יהי,Ax = λxנניח ש X T.I X |xj | ≤ di |xi | ≤ 4 |xi | |λ| |xi | = |λxi | = |(Ax)i | = xj ≤ j: j∼i j: j∼i
1 .v1 = √1n ... וגםλ1 = d ־רגולרי אזd הואG אם32.5 מסקנה 1 32.6 מסקנה λn < 0
103
הוכחה: λi
n X
= )Ai,i = tr (A
X
=0
i=1
הגדרה 32.7אנטי־קליקה קבוצה S ⊆ Vנקראת אנטי־קליקה אם: ∀u, v ∈ S : u 6∼ v
הערה 32.8זו בעיה חישובית חשובה ו N P־קשה לחסום את גודלה של האנטי־קליקה הגדולה ביותר בגרף נתון .G משפט 32.9אם Sהיא אנטי־קליקה בגרף d־רגולרי עם nקודקודים ,אז −λn −λn ||S ≤ = n d − λn λ1 − λn
הוכחה :נסתכל על הוקטור המציין של :S ( 1 i∈S = xi ∈0 i /S נחשב את xT Axבשני אופנים: .1 0
S is an anticlique
=
xi xj
X
= xT Ax
i∼j
.2נציג את xכצ"ל של ו"ע: αi vi
n X
=x
i=1
⇓ ≥ αi2 λi
n are orthonormal X
=
} {vi
i=1
+ α i λ i vi
n X
αi vi ,
i=1
∗= αi2
n X i=2
104
n X
* = xT Ax
i=1
≥ α12 d +λn }|{z i=1
:נשים לב 1 1 v1 = √ ... n 1 ⇓ |S| 1 : α1 = hx, v1 i = √ n
2
2 : |S| = kxk =
* n X
αi vi ,
i=1
n X
+ αi vi
=
i=1
n X
αi2
i=1
⇓ 2 |S| (d − λn ) =∗ α12 d + λn |S| − α12 = λn |S| + n {z } | |{z}
from 2
from 1
: ונקבלxT Ax נאחד את שתי צורות ההצגה של 2
|S| 0 ≥ λn |S| + (d − λn ) |{z} n | {z } rst second
⇓ |S| −λn ≤ n d − λn
8 תרגיל
33
T ∗ = : אז קיים מיפוי לינארי יחודי,R ( מרחבי מכפלה פנימית סופיים מעלV, h·, ·iV ) , (W, h·, ·iW ) יהיו33.1 טענה : המקייםT T ∀v ∈ V, ∀w ∈ W : hT v, wiW = hv, T ∗ wiV
v1 , · · · , vn אז קיימים בסיסים א"נ,R ( מרחבי מכפלה פנימית סופיים מעלV, h·, ·iV ) , (W, h·, ·iW ) יהיו33.2 טענה : כך שσ1 ≥ · · · ≥ σn ≥ 0 וW לw1 , · · · , wn וV ל ∀v ∈ V :T v =
n X
hv, vi iV σi wi
i=1 n X
∀w ∈ W :T ∗ w =
i=1
105
hw, wi iW σi vi
הגדרה 33.3מטריצה positive − def inite ) A ∈ Mn (Rתקרא positive − def initeאם לכל x ∈ Rnמתקיים xT Ax = hAx, xi ≥ 0ושוויון אם"ם .x = 0 הגדרה 33.4מטריצה positive − semidef inite ) A ∈ Mn (Rתקרא positive − semidef initeאם לכל x ∈ Rnמתקיים .xT Ax = hAx, xi ≥ 0 n
טענה 33.5יהי Vמ"ו ו {vi }i=1בסיס א"נ לו תחת המכפלה הפנימית .h·, ·iVתהי h·, ·i1מכפלה פנימית על ,Vאז קיימת מטריצה ייחודית ) A ∈ Mn (Rכך ש Aסימטרית ו ,positive − def initeוכך שלכל u, v ∈ Vמתקיים: hu, vi iV hv, vj iV Ai,j
n X n X
= hu, vi1
i=1 j=1
n
טענה 33.6יהי Vמ"ו ו {vi }i=1בסיס א"נ לו תחת המכפלה הפנימית .h·, ·iVתהי Bסימטרית ו,positive−def inite נגדיר: Bi,j vj
n X
= TB
j=1
hx, yiB = hTB x, yiV אז h·, ·iBהיא מכפלה פנימית על .V הגדרה 33.7קונוס ∅ = C ⊆ Rmהוא קונוס אם לכל x, y ∈ Cו α, β ≥ 0מתקייםαx + βy ∈ C : טענה 33.8יהי } ,Pn = {A ∈ Mn (R) : A is symmetric and positive-semide niteאז: Pn .1הוא קונוס. ∀v ∈ Rn : vv T ∈ Pn .2 n
.3לכל A ∈ Pnקיימים {vi }i= ∈ Rnאורתוגונליים ו λ1 ≥ · · · ≥ λn ≥ 0כך ש λi vi viT
34 34.1
Pn
=i
= .A
שיעור 9 שיטת Monte-Carloלהערכת הסתברות של מאורע
ישנה התפלגות Pומאורע .Aנרצה להעריך את ) .p (Aנגריל באופן ב"ת סדרה של נקודות ω1 , · · · , ωN ∈ Ωלפי התפלגות .Pנגדיר מ"מ: ( ( 1 ωi ∈ A 1 p = Xi = 0 otherwise 0 1−p
106
נגדיר Xi
PN
i=1
1 N
= . Xנשים לב:
N 1 X = E X E [Xi ] = p N i=1 "N # N X {Xi }are i.i.d 1 X )p (1 − p 1 1 1 V ar X = 2 V ar Xi = )V ar [Xi ] = 2 N p (1 − p ≤ − 2 N N N N 4N i=1 i=1
לפי א"ש צ'בישב: V ar X 1 ≤ ≤ Pr X − p ≥ p = Pr X − E X ≥ p 2 p2 4N 2 p2 עבור 34.1.1
1 2 p2
>> Nנקבל כי בסיכוי גבוה . X − p ≤ p
שיטת MCMC־ 86) Markov Chain Monte Carlo
(Broder,
בעיה נתון גרף דו צדדי ) ,G = (V, Eכש .|V | = nכמה זיווגים מושלמים יש בגרף הזה? הבעיה הזו היא N Pקשה ).(Valiant, 79 הצעה נגדיר ) (Ω, Pכש Ωהיא אוסף כל הזיווגים המושלמים ,ו Pהיא התפלגות אחידה .נניח שנוכל להגריל זיווג M ∈ Ω לפי התפלגות אחידה .נגדיר {M0 } = A ⊆ Ωכש M0 ∈ Ωהוא זיווג שמצאנו .יהי Zמספר הזיווגים .נקבל:
1 Z
= )Pr (A
הצעה אחרת לA נקבע צלע e ∈ Eונגדיר } ) A = {M ∈ Ω : e ∈ Mמספר הזיווגים שעוברים דרך צלע מסוימת(" Pr (A) .אמורה להיות" גדולה ˜ , n1ולכן ב θ n2הגרלות של זיווג נוכל להעריך ) Pr (Aעם שגיאה כפלית קטנה .נשים לב: } # {M : e ∈ M } # {M : e, e0 ∈ M 1 · = ··· } # {M } # {M : e ∈ M } # {M
= )Pr (A
)הרעיון :עובדים בשיטת ה"בצל" ,קודם בוחרים צלע אחת ,מורידים אותה ואת הקודקודים שלה ,ואז מסתכלים על הגרף שנשאר .בוחרים שוב צלע ,וכו'(. איך נוכל להגריל בצורה יעילה M ∈ Ωבהתפלגות אחידה? נבצע מהלך מקרי על גרף של הזיווגים.
107
שרשראות מרקוב נתון גרף ) G = (V, Eכש} V = {1, · · · , nולכל שני קודקודים הסתברות המעבר ביניהם .תהי λ0התפלגות התחלתית של מיקום המהלך ,ונגדיר λtלכל t ≥ 0להיות התפלגות אחרי tצעדים .רוצים להבין את ההתפלגות של λtכאשר ∞ → .tנגדיר Xtלהיות המשתנה המקרי המתאר את מצב המהלך אחרי tצעדים ואז . Xt ∼ λt הגדרה 34.1מטריצת המעבר של המהלך המקרי מטריצה Pעם nשורות ו nעמודות: )Pij = Pr (Xt+1 = j|Xt = i נניח ש Pijלא תלוי ב) tזה נקרא שרשרת מרקוב הומוגנית(. דוגמה
מהלך מקרי על מעגל עם שלושה קודקודים: ) = 1 J − 1 I = 1 (J − I 2 |{z} 2 2 1 all ones
1 1 2
2
−
2
1 2 1 2 1 2
1 2 1 2 1 2
1 2 3 1 1 0 21 12 21 = 2 = P 2 12 0 21 1 1 1 2 3 2 2 0 λ0 = 1 0 0 ?= λ1
טענה .λ1 = λ0 P 34.2 הוכחה :נשים לב: )Pij λ0 (i) = (λP ) (j
3 X
= )Pr (X1 = y|X0 = i) Pr (X0 = i
i=1
3 X
= )λ1 (j
i=1
אחרי tצעדים נקבל t
λt = λt−1 P = · · · = λ0 P
נשים לב שהע"ע של Jהם 3, 0, 0 :והע"ע של Iהם . 1, 1, 1 :אם כך ,כיוון ש 1 )P = (P − I 2 אז כיוון ש Pו Iמתחלפות הע"ע של Pהם .1, − 12 , − 12נסמן את הו"ע .v1 , v2 , v3זהו בסיס כי Pמטריצה סימטרית ואי שלילית ,אז נסמן: λ0 = a1 v1 + a2 v2 + a3 v3 ⇓ t
1 3
1 3
1 3
= λ0 P = (a1 v1 + a2 v2 + a3 v3 ) P t = a1 v1 P t + a2 v2 P t + a3 v3 P t t t 1 1 t v2 + a3 − = v3 → a1 1 1 1 = a1 (1) v1 + a2 − ∞→t 2 2 108
נשים לב ש a1 = 31כי אנו רוצים לקבל התפלגות. הערה 34.3נשים לב שהטכניקה הזו לא תעבוד ב 4כי תמיד נדע מאיפה התחלנו )אחרי מס' זוגי של צעדים ניהיה בקודקוד אי זוגי ואחרי מס' אי זוגי של צעדים נהיה בקודקוד זוגי( .הבעיה היא שב 4הגרף דו צדדי. הגדרה 34.4שרשרת מרקוב סדרה של משתנים מקריים · · · X0 , X1 ,המקבלים ערכים ב} {1, · · · , nועם התכונה הבאה :לכל 1 ≤ tמתקיים: ) Pr (Xt = at |X0 = a0 , · · · , Xt−1 = at−1 ) = Pr (Xt = at |Xt−1 = at−1 מטריצת המעבר של השרשרת היא )= Pr (Xt = j|Xt−1 = i
Pijt
ומניחים כי היא לא תלויה ב.t מסקנה 34.5בתנאים האלה ,לפי נוסחת ההסתברות השלמה ,אם נסמן ב λtאת ההתפלגות של Xtמתקיים: λt+1 = λt P ⇓ λt = λ0 P t
משפט 34.6פרון־פרובניוס Perron-Frobenius תהי Pמטריצה n × nעם מקדמים אי־שליליים .ונניח כי מתקיימים שני תנאים: .1הגרף המכוון ) G = (V, Eהמוגדר על ידי Pהוא קשיר. .2לא ניתן לחלק את קבוצת הקודקודים Vלקבוצות S0 , · · · , Sd−1כך ש: ) E ⊆ (S0 × S1 ) ∪ (S1 × S2 ) ∪ · · · ∪ (Sd−1 × S0
יהי ) ρ (Pהרדיוס הספקטרלי של :P }ρ (P ) = max {|λ| : λ is an eigenvalue of P אזי ) ρ (Pהוא ע"ע של .Pיהיה xהו"ע מימין שמתאים לע"ע ) ρ (Pו yהו"ע משמאל: y T P = ρ (P ) y T P x = ρ (P ) x אז x, yוקטורים חיוביים ו: xy T hx, yi
t →
∞→t
109
P ) ρ (P
P מקיימת את התכונות של משפט .P Fאז ρ (P ) = 1 ונניח כי טענה 34.7תהי Pמטריצת מעבר של שרשרת מרקוב , 1 והוקטור העצמי מימין של Pהמתאים לע"ע 1הוא .x = ... = ~1 1 הוכחה :אמנם ,כל שורה של Pמסתכמת ל) 1ז"א Pמטריצה סטוכסטית( ,ולכן ,P · ~1כלומר ~1הוא ו"ע של Pמימין משמאל כך ש.yP = ρy = ρאזי קיים לפי P Fוקטור עצמי חיובי yשל PE D D ρ (P עם ע"ע .1נניח בשלילה כי E ) > 1 נגיע לסתירה על ידי כך שנראה ש ) 0 = y, ~1סתירה לכך ש yחיובי( .אמנם נחשב את yP, ~1בשתי צורות. מצד אחד: D E yP, ~1 = P T y, 1 = hρy, 1i = ρ hy, 1i
מצד שני: T P y, 1 = hy, P 1i = hy, 1i
ולכן קיבלנו: hy, 1i = ρ hy, 1i ולכן ,כיוון ש ρ 6= 1אז: hy, 1i = 0
והגענו לסתירה. מסקנה 34.8עבור מטריצה סטוכסטית Pהמקיימת את הדרישות של P Fמתקיים − Pyyi − − y − T ~1 · y 1 .. .. P t → D E = Pn = . . ~1, y i=1 yi y P − − − y − yi Pyyiמסומן ב Πוהוא נקרא ההתפלגות הסטציונרית של השרשרת כי .ΠP = Πולכן ,לכל התפלגות התחלתית λ0של השרשרת )או של המהלך המקרי( מתקיים: − Π − .. t λ0 P → λ0 Π = P . λ0 (i)=1
∞→t
−
− Π
משפט 34.9בתנאים הנ"ל ,לכל התפלגות התחלתית ,λ0ההתפלגות אחרי tצעדים ∞ → ,tשואפת להתפלגות הסטציונרית.
110
נתבונן במהלך מקרי על גרף רגולרי .ז"א יהי Gגרף רגולרי עם nקודקודים עם דרגה ,dאז מטריצת המעבר Pשל ההילוך המקרי: 1 0 d .. P = . 1 0 d Pהיא מטריצה סימטרית ולכן ההתפלגות הסטציונרית שלה היא
1 n
···
1 n
= .Π
הערה 34.10כדי שהתנאים של P Fיתקיימו נדרוש כי: .1הגרף Gהוא קשיר. .2ושהגרף אינו דו צדדי.
גרפים מרחיבים
34.2
הגדרה 34.11גרף מרחיב )(Expander יהי ) G = (V, Eגרף על nקודקודים .נאמר כי Gהוא מרחיב־ δעבור δ > 0אם לכל תת קבוצה S ⊆ V מתקיים: # of outgoing edges from S E S, S = ≥δ ||S ||S משפט 34.12משפטים על הקשר בין ההרחבה של גרף d־רגולרי(להתנהגות הערכים העצמיים שלו 1 (i, j) ∈ E = .(Gijיהי ):h (G יהיו d = λ1 ≥ · · · ≥ λnהע"ע של ) Gכש 0 otherwise E S, S = )h (G min | |V ||S S⊆V, |S|≤ 2 אזי: ) 2d (d − λ2
p
d − λ2 ≤ )≤ h (G }|{z 2
Cheeger
אלה המשפטים המקשרים בין ההרחבה של הגרף לפער הספקטרלי שלו )ולכן לתכונת העירבוב המהיר שלו(.
35 35.1
תרגול 9 הילוך מקרי פשוט על גרף
משפט 35.1יהי ) G = (V, Eגרף רגולרי )לכל הקודקודים אותה הדרגה( ,קשיר ,לא דו צדדי .יהי · · · X0 , X1 ,הילוך מקרי פשוט על ,Gכאשר X0מפולגת בהתפלגות כלשהי על .Vאזי: 1 | |V
= )∀v ∈ V : lim Pr (Xt = v ∞→t
111
הבהרה Xt :הוא מ"מ שמקבל ערכים ב .Vבהנתן Xt+1 ,Xtמתפלג לפי: ( 0 ∈ }{u, v /E = )∀u, v ∈ V : Pr (Xt+1 = v|Xt = u 1 {u, }v ∈ E )deg(u
35.1.1
דוגמאות
הגרף Kn הגדרה Kn 35.2 הקודקודים הם ] ,[nויש את כל הצלעות האפשריות. K2־ דו"צ ולא מעניין. Kn≥3־ הגרף לא דו צדדי )יש מעגל באורך .(3הגרף קשיר )מאוד!( .נקבע .X0 = 1מה ההתפלגות של ?X1 1 n−1 Pr (X1 = 1) = 0 1 = )Pr (X2 = 1 n−1 ∀j > 1 : Pr (X2 = j) = 1 − = )∀j > 1 : Pr (X1 = j
1 n−1
1 n−1
לכל ,tלכל :j 1 1 ))= (1 − Pr (Xt = j n−1 n−1
)Pr (Xt+1 = j) = Pr (Xt 6= j ⇓
t 1 −1 1 ∀t : Pr (Xt = 1) = + 1 − n n n−1 t 1 1 −1 ∀t ∀j > 1 : Pr (Xt = j) = − n n n−1 עתה נניח ש .∀j : Pr (X0 = j) = pjנשים לב: t 1 1 −1 + pj 1 − ) − (1 − pj n n n−1
= )∀t ∀j : Pr (Xt = j
הגרף Cn הגדרה Cn 35.3 מעגל פשוט על nקודקודים שנסמן אותם בV = {0, 1, · · · , n − 1} :
112
נניח ש nאי זוגי ,אחרת Cnדו צדדי .אם nאי זוגי אז Cnהוא מעגל באורך אי זוגי .נניח ש.X0 = 0 Pr (X1 = 0) = 0 1 1 = )Pr (X1 = 1) = = Pr (X1 = n − 1 2 2 1 = )Pr (X2 = 0 2 Pr (X2 = 1) = 0 1 = )Pr (X2 = 3) = Pr (X2 = n − 2 4 מטריצת השכנויות של Cnהיא: ··· 0
2 0
1 1
0 0
0
n−1 1 0
.
1
0
1
1
0
.
0
2
0 1
n−1
1 0
..
..
.
..
..
.
1
0
.
1
..
.
..
0
.. .
⇓ 1
. 0 . 0 . 1 0
0
..
..
0 1
.
..
..
.
1
0
..
1
0
0
1 1 A= 0 2
1
.
..
0
0 1
אם ) p = (p0 , · · · , pn−1ההתפלגות בזמן ,tאז pAההתפלגות בזמן .t + 1 טענה 35.4תהי ) X = (X0 , · · · , Xn−1ההתפלגות של ,X0אזי: lim xAt − n1 · · · n1 1 = 0
∞→t
הוכחה :נראה: .1ל Aיש ע"ע ,1עם ריבוי ) 1כלומר המימד של המ"ע המתאים הוא .(1 .2אם x 6= 1ע"ע של Aאז .|λ| < 1
113
ראשית נסמן
√1 n
√1 n
···
= u0
λ0 = 1 ⇓ 1 X 1 1 √ = xi √ = √ xi n n i n
X
= hx, u1 i
i
טענה 35.5השורשים של הפולינום האופייני של Aהם בדיוק )כולל ריבוי(: 2π cos k , k = 0, · · · , n − 1 n λk = cos 2πאז לכל |λk | < 1 :k ≥ 1 נשים לב ש 1כתוב פעם אחת ,ו −1לא כתוב ,ולכן אם נסמן n k 2πki 0 e n .. הוא ו"ע של . λkתרגיל :מכאן λkהוא שורש של ) pA (xכאשר ) ,A ∈ Mn (Cאבל הוכחה :הוקטור . 2πki )n (n−1
e
זה מספיק. הע"ע הכי גדול בערך מוחלט מלבד 1הוא
2
4π 2n2
T aylor .cos 2πעכשיו נרשום: ≈ 1− n
u0 , · · · , un−1 is an orthonormal basis of eigenvectors X =x hx, ui i ui i
X 1 hx, ui i xti ui xAt = √ u0 + n i≥1 2t X X 2π 2 2t 2 2 1 2 = hx, u i x ≤≈ 1 − hx, ui i ≤ kxk2 i i n 2 n2 i≥1
i≥1
36 36.1
···
1 n
t xA −
תרגול אקסטרה 9 הילוך מקרי פשוט על גרף רגולרי
גרף d־רגולרי ).G = (V = {1, · · · , n} , E הגדרה 36.1הילוך מקרי על G סדרה · · · X0 , X1 ,של קודקודים ב ,Gכש X0הוא קודקוד התחלתי ,ולכל Xt+1 ,tהוא שכן מקרי של .Xt נסמן :p(t) ∈ Rn )(t
)∀i : pi = Pr (Xt = i
114
אבחנה: (
1 {i, j} ∈ E 0 otherwise 1 = )A p(t d
= Aij )p(t+1
≥ −1 : A תזכורת :הע"ע של Aהם ,d = λ1 ≥ · · · ≥ λn ≥ −d :לכל הע"ע של d הוקטור העצמי הראשון )זה נכון לכל גרף d־רגולרי(: 1 1 . v1 = √ .. n 1
λn d
≥ ··· ≥
λ1 d
= .1
טענה G ⇔ λn = −d 36.2הוא דו"צ. הערה 36.3אם : λn = −d
1 .. A . A 1 1 A vn = √ −1 n B . B .. B −1 כש A, Bהם החלוקה לצדדים של .G נסמן ב Π ∈ Rnאת ההתפלגות האחידה: 1 n
Π = ... 1 n
הגדרה 36.4פער ספקטרלי של G
| |λ2 | |λn , d d
= max
∞→t
| |λi d
δ (G) = max
2≤i≤n
נראה שאם δ (G) < 1אז ,p(t) → πונראה שככל ש) δ (Gיותר קטן ,קצב ההתכנסות יותר מהיר. ) (t משפט p − Π ≤ (δ (G))t 36.5 2
115
נציג את:הוכחה p(0) =
n X
αi vi
i=1
α1 v1 = Π 36.6 טענה :הוכחה D E 1 α1 = p(0) , v1 = √ n
n X
(0)
pi
i=1
1 =√ n
| {z } =1
⇓ 1 1 . α1 v1 = .. = Π n 1
Pn
i=2
αi2 ≤ 1 36.7 טענה :הוכחה
n X
αi2 ≤
i=2
n X
n n
2 X 2 X
(0) (0) pi ≤ pi = 1 αi2 = p(0) = i=1
i=1
i=1
:סה"כ קיבלנו p(0) = Π +
n X
αi vi
i=2
⇓ p
(t)
= Π
1 A d
t p
(0)
=
1 A d
t
Π+
is an eigenvector with eigenvalue 1
=Π+
= t n X λi i=2
d
αi vi
116
1 A d
t X n i=2
αi vi =
:Π אז הביטוי הימני ידעך ונשאר עם
λi d
< 1 אם
2t n n
2 X
X λi
(t) 2t 2t 2 = α − Π ≤ δ (G) αi2 ≤ δ (G)
p i d 2 i=2 i=2 | {z } ≤1
⇓
(t)
t
p − Π ≤ δ (G) 2
.A ⊆ V תהי.t ≥
1 1−δ(G)
log
√ n
יהי. > 0 יהי36.8 מסקנה
Pr (Xt ∈ A) − |A| < n
:הוכחה X (t) 1 4 X (t) 1 |A| Pr (Xt ∈ A) − p − ≤ = p − ≤ i i n n n i∈A i∈A n
X (t) 1 √
(t)
(t) = p − − Π ≤ ≤ n − Π
p
p
≤ i n 1 2 i=1 √ t ≤ nδ (G) √ 1 n ⇓t= log 1 − δ (G) log √n √ 1 √ Pr (Xt ∈ A) − |A| ≤ n ≤ n√ = δ (G) 1−δ(G) {z } | n n ≤ 1e
נשים לב ש 1
δ 1−δ ≤
1 e
m 1 = eδ−1 e1−δ m x := δ − 1
δ≤
x + 1 ≤ ex
117
תרגיל 9
37
טענה 37.1יהי ) G = ([n] , Eגרף dרגולרי ,ותהי Aמטריצת השכנויות של .Gיהיו λ1 ≥ · · · ≥ λnהע"ע של .Aאז: A .1לכסינה אורתוגונלית. λ1 = d .2 ∀i ∈ [n] : |λi | ≤ d .3 .4אם יש kרכיבי קשירות ב Gאז λ1 = · · · = λk = dוגם .λk+1 < d .5אם Gדו צדדית ,אז ∀i ∈ [n] : λi = −λn+1−i .6ל Gיש רכיב קשירות דו צדדי אם"ם .λn = −d
הגדרה Total Variation Distance 37.2 יהיו ) p = (p1 , · · · , pn ) , q = (q1 , · · · , qnהתפלגויות על ] .[nאז ה Total Variation Distanceבין pו qמוגדר כך: n
1X 1 = kp − qk1 | |pi − qi 2 2 i=1 טענה 37.3יהיו p, qהתפלגויות על ] ,[nעבור ] A ⊆ [nאם: X = )pi , Q (A qi
X
= )δ (p, q
= )P (A
i∈A
i∈A
אז: |)δ (p, q) = max |P (A) − Q (A ]A⊆[n
טענה 37.4יהי ) G = (V, Eגרף קשיר לא דו צדדי עם ,|V | ≥ 2אז ההתפלגות הסטציונרית של מהלך מקרי על G היא: )deg (v |2 |E
= )P (v
הגדרה 37.5מהלך מקרי עצל יהי ) G = (V, Eכך שב Gאין קודקודים מבודדים .מהלך מקרי עצל על Gהוא שרשרת מרקוב · · · X0 , X1 ,כך ש: ∀t ∈ N : Xt ∈ V u=v {u, v} ∈ E
1 2
otherwise
0
1 ) 2deg(u
= )∀t ∈ N : ∀u, v ∈ V : Pr (Xt = v | Xt−1 = u
118
טענה 37.6יהי ) G = ([n] , Eגרף קשיר d־רגולרי )עם ,(d ≥ 1תהי x0הסתברות על ] ,[nיהיו · · · X0 , X1 ,הילוך מקרי עצל על ,Gכש .X0 ∼ x0אז: 1 n
= )∀k ∈ [n] : lim Pr (Xt = k ∞→t
הגדרה 37.7הקוביה הדיסקרטית n ) G = ({0, 1} , Eכש {u, v} ∈ Eאם"ם u, vנבדלים בקורדינטה אחת. טענה 37.8מהלך מקרי עצל על הקוביה הדיסקרטית כש) X0 = (0, · · · , 0שקול ל :בכל צעד ,קורדינטה נבחרת באקראי )באופן אחיד( ומוגדרת להיות או 0או ) 1בהסתברות חצי לכל אפשרות(. טענה 37.9תהי Gהקוביה הדיסקרטית .אז: G .1דו צדדי. n
.2יהי Atהמאורע בו עד זמן tכל הקורדינטות נבחרו במהלך המקרי העצל .אז לכל t ≥ nולכל }x ∈ {0, 1 מתקיים: 1 2n
.3מתקיים:
1 t n
= ) Pr (Xt = x|At
∀t : Pr (At ) ≥ 1 − n 1 −
.4נניח ,Xt ∼ ptאז קיים C > 0שלא תלוי ב nכך ש: 1 4
38
≤
t ≥ Cn2 ⇒ δ pt , 2−n , · · · , 2−n
בוחן 2
טענה 38.1אם v, v 0ו"ע של Aסימטרית אז .hv, v 0 i = 0
119
חלק
III
אופטימיזציה שיעור 10
39 39.1
אינטואיציה
הגדרה 39.1בעיית אופטימיזציה קבוצה )תחת הגדרה( ,Ωפונקציה < → ,f : Ωומחפשים x ∈ Ωשממקסם את :f )∀y ∈ Ω : f (y) ≤ f (x
הגדרה 39.2תכנון לינארי סוג של בעיית אופטימיזציה שבה Ω ⊆ Rnקבוצה המוגדרת ע"י משוואות ואי־שווינים לינאריים ,ובה fאף היא לינארית. הגדרה 39.3פאון )(polytope קבוצה חסומה ב Rnהמוגדרת ע"י רשימה סופית של משוואות לינאריות ואי שווינים לינאריים. הגדרה 39.4תכנון לינארי דרך אחרת להגדרה :רוצים למקסם פונקציה לינארית ) f (xכש xמוגבל לאיזשהו פאון .P מסקנה 39.5האופטימון מושג תמיד )לא בהכרח אך ורק ב( בקודקוד של הפאון .זה מאפשר לפחות לתת פתרון במס' צעדים סופי לבעיית ה .LP
39.2
בעיות
הגדרה 39.6בעיית התזונה של פרות יש מטריצה ,Am×nווקטורים b ∈ Rn , c ∈ Rmכך ש: aij = how many units of the j-th nutrient is in one unit of food type i
bi = the minimal amount of nutrient i needed so the cow will be healthy
cj = the price of one unit of food type j
והמטרה היא להזין במחיר מזערי את הפרות בתזונה הבריאה להן: min hc, xi s.t. x≥0 xA ≥ b כשהאילוץ xA ≥ bאומר "לכל אב מזון :תנו לפחות את המנה המינימלית הנדרשת". 120
הערה 39.7האילוצים x ≥ 0, xA ≥ bמגדירים פוליהדר. הגדרה 39.8בעיית על מישור מפריד עם שולי ביטחון ב Rnנתונות נקודות " {xi }i∈Iחיוביות" ונקודות " {yj }j∈Jשליליות" .מחפשים על מישור שמפריד ביניהן עם שולי ביטחון גדולים ככל האפשר .המשתנים הם ,α, β,והבעיה היא: max s.t. ≥0 ~∀i ∈ I : h α, x~i i ≥ β + ~∀j ∈ J : h α, y~j i ≤ β −
הגדרה 39.9בעית הזרימה ברשת נתון גרף מכוון )") G = (V, Eרשת"( עם מקור s ∈ Vובור ,t ∈ Vוכן נתונים קיבולים לצלעות .c : E → R≥0 זרימה בGזו פונקציה f : E → R≥0המקיימת את הדרישות הבאות: ])∀e ∈ E : f (e) ∈ [0, c (e X X = ∀v 6 s, t ∈ V : = )f (e )f (e) (preservation of material e→v
v→e
בכפוף לתנאים האלה רוצים למקסם את השטף שיוצא מ) sשנכנס ל:(t ! X X = )f (e )f (e s→e
e→t
הגדרה 39.10ניסוח אחר של בעיית הזרימה ברשת נתונים שוב .G, c, s, tתהיה Aהמשפחה של כל המסילות המכוונות מ sל tב .Gזרימה בנוסח זה מתוארת ע"י רשימה של מקדמים אי שליליים {xP }P ∈Aוהכוונה היא שאנו מזרימים xPלאורך המסילה .Pבניסוח זה ברור ששימור החומר מתקיים ,ונותר רק לדאוג לכך שלא נעבור את הקיבולים המותרים. ( 1 e ∈ P, s →P t = ∀e ∈ E, P ∈ A : Me,P 0 otherwise האינדקסים שלו היא ,Aובנוסף התנאי .M x ≤ cנשים לב שאילוצים אלו בעיית הזרימה :רוצים x ≥ 0שקבוצת P הם הפאון שלנו .פונקציית המטרה היא.max P ∈A xP :
39.3
אלגוריתמים לפתרון
LP
.1אלגוריתמים מטיפוס סימפלקס .הרעיון :בכל צעד עוברים מקודקוד של הפאון לקודקוד שכן באופן שמשפר את פונקציית המטרה. .2אלגוריתמים של נקודה פנימית. .3אלגוריתמים של נקודה קיצונית )לא נדבר כלל(. הערה Klee − M inty 39.11מצאו ב 1972פאון שמכשיל גירסה מסויימת של אלגוריתם הסימפלקס .כמעט כל גרסה של אלגוריתם הסימפלקס נכשלה ברבות השנים בדרך דומה. 121
שאלה קרובה: 39.3.1
מהו הקוטר המירבי של הגרף של פאון d־מימדי ,עם nדפנות.
הסברים לכך שאלגוריתמים מטיפוס סימפלקס נוטים לעבוד היטב בבעיות מציאותיות
.1מראים שאם מגרילים את התוכנית הלינארית אז בהסתברות קרובה לאחד גרסה מסויימת של הסימפלקס עובדת מהר.
Smoothed Analysis (Spielman Tang) .2 39.3.2
אלגוריתם האליפסואידים )(L.Khachyan
זהו אלגוריתם פולינומי בגודל הקלט לבעיית .LPלא ידוע האם יש אלגוריתם פוליומי חזק לבעיית .LP הגדרה 39.12אלגוריתם פולינומי חזק נניח שאיברי Am×n , b, cנתונים ב kביטים של דיוק .אלגוריתם פולינומי חזק הוא אלגוריתם שזמן הריצה שלו ) poly (m, nכשכל הפעולות מתבצעות ב kביטים של דיוק. כפי שציינו ,בעיית הספיקות קשה לפחות כמו .LPז"א ,נניח יש לנו תוכנית שמכריעה אם מערכת נתונה של משוואות ואי שווינים לינאריים היא ספיקה ,אז אפשר לקרוא לה מס' קטן של פעמים ע"מ לפתור .LPנניח הבעיה: max hc, xi x≥0 Ax ≤ b
אז נקבע Tונשאל האם hc, xi ≥ T x≥0 Ax ≤ b
ספיקה. הגדרה 39.13בעיית הספיקות נתון גוף קמור .P ⊆ Rnידוע: P ⊆ B (0, R) .1 .2אם ∅ = P 6אז הוא מכיל כדור מרדיוס ≤ .r הבעיה :להכריע אם ∅ = .P הגדרה 39.14אליפסואיד התמונה של כדור היחידה כשמפעילים טרנספורמציה אפינית )= לינארית +הזהה(.
122
40 40.1
תרגול 10 פוליהדרונים קמורים ואופטימיזציה לינארית
מעוניינים לפתור מקסם את cT xכאשר .Ax ≤ b, x ∈ Rnקבוצת הנקודות } {x : Ax ≤ bנקראת קבוצת הנקודות הפיזביליות .היא פוליהדר. 40.1.1
סימונים
הגדרה 40.1חצי מרחב עבור y ∈ Rn , a ∈ Rנגדיר את חצי המרחב: }Λ (y, a) := {x ∈ Rn : hy, xi ≤ a
הגדרה 40.2על מישור )H (y, a) = {x ∈ Rn : hy, xi = a} = Λ (y, a) ∩ Λ (−y, −a
הגדרה 40.3פוליהדר קמור )(convex polyhedron חיתוך של מס' סופי של חצאי מרחבים .אם הפוליהדר חסום ,אז הוא נקרא פאון קמור ).(convex polytope 40.1.2
דוגמאות
הגדרה 40.4סימפלקס n־מימדי: ) =
λi = 1, ∀i : λi ≥ 0
n+1 X
λi ei ,
i=1
) =
xi = 1
n+1 X
( =: x
n+1
x∈R
=4n :
i=1
= } = conv {e1 , · · · , en+1 (
n+1 X
: ∀i : xi ≥ 0,
n+1
x∈R
=
i=1
1 ,1 } xi =1
··· {z
Pn+1 i=1
1
= ∩n+1 i=1 Λ (−ei , 0) ∩ H |
same as
נסתכל על דוגמאות: })40 = {(1 41 = diagram 42 = diagram
123
הגדרה 40.5פאה יהי Pפוליהדר .פאה של Pהיא קבוצה מהצורה ) P ∩ H (y, aכך ש .P ⊆ Λ (y, a) :קודקוד של Pזה פאה מגודל .1 פאות של :41 1 0 ∅, , , 41 0 1
הגדרה 40.6קובייה n־מימדית n
= Cn := [−1, 1] ⊆ Rn = }]= {x ∈ Rn : ∀i : xi ∈ [−1, 1 = )= ∩ni=1 Λ (ei , 1) ∩ Λ (−ei , 1 ( n ) X = conv }i ei : 1 , · · · , n ∈ {±1 i=1
הוכחה :נראה שאכן 1 e1 + · · · + n enהוא קודקוד .נקח: )H (1 e1 + · · · + n en , n נשים לב: h1 e1 + · · · + n en , 1 e1 + · · · + n en i = n אם x ∈ Cnאז: i x i ≤∗ n
n X
= hx, 1 e1 + · · · + n en i
i=1
∗≤ הוא שוויון אם"ם i ei = x
P
.
הגדרה 40.7אורתנט n־מימדי = }On = {x ∈ Rn : ∀i : xi ≥ 0 )= ∩ni=1 Λ (−ei , 0
124
40.1.3
פאונים שנוצרים מתוכנית לינארית
נגדיר: })A = {(0, 1) , (1, 2 })B = {(−1, −1) , (3, 1
נרצה ישר שעובר בין Aל Bכך שהמרחקים על ציר yבין הנקודות לבין הישר יהיה מקסימלי .המשתנים הם a, b שייצגו את השיר: y = ax + b
אילוצים: b≤1 a+b≤2 −a + b ≥ −1 3a + b ≥ 1
כשאי השוויון הראשון מתאים ל) ,(0, 1אי השוויון השני מתאים ל) .(1, 2שניהם אמורים להיות מעל לישר .אי השווינות האחרונים מתאימים לנקודות ב Bשמתחת לישר. ציור שמראה את קבוצת הנקודות הפיסביליות. פונקציית מטרה :למקסם: 1 − b + 2 − (a + b) + −a + b + 1 + 3a + b − 1 = 3a + 3
נשים לב שזה שקול למיקסום ,3aששקול למקסם את .a
41
תרגול אקסטרה 10
41.1
תכנון לינארי ואלגוריתמי קירוב
41.1.1
בעיית SET-COVER
קלט קבוצה של איברים ,Uכש|U | = n אוסף של תתי קבוצותS1 , · · · , Sm ⊆ U : מטרה למצוא תת אוסף מגודל מינימלי שמכסה את כל איברי .U
125
דוגמה
}U = {1, 2, 3 }S1 = {1, 2 }S2 = {1, 3 }S3 = {2, 3 הפתרון האופטימלי הוא ) OP T = 2נדרשים במינימום 2סטים כדי לכסות את .(U
ננסח את SET-COVER
כבעיית תכנון בשלמים
נגדיר }b1 , · · · , bm ∈ {0, 1 bi = 1 ⇔ Si is a part of the collection אז הבעיה היא: bi
m X
min
i=1
}b1 , · · · , bm ∈ {0, 1 X ∀u ∈ U : bi ≥ 1 i: u∈Si
רלקסציית LP נחליף את ה biים ב xiים: xi
m X
min
i=1
]x1 , · · · , xm ∈ [0, 1 X ∀u ∈ U : xi ≥ 1 i: u∈Si
ואפשר לחשוב על xiככמה אני באמת רוצה את Siבאוסף.
126
הדוגמא הקודמת לאחר רלקסציית LP minx1 + x2 + x3 0 ≤ x1 , x2 , x3 ≤ 1 x1 + x2 ≥ 1 x1 + x3 ≥ 1 x2 + x3 ≥ 1 אז הפתרון האופטמלי מתקבל כש x1 = x2 = x3 = 21והוא שווה ל 3 2
= OP TLP
הערה 41.1נשים לב ש OP TLP ≤ OP T כי התחומים המותרים מוכלים .אבל יש אתגר ־ כיצד ניתן לקחת את הפתרון האופטימלי של ה ) LPאותו ניתן לחשב בזמן פולינומיאלי( ולחלץ ממנו לבעיה המקורית? )עיגול או roundingשל הפתרון של ה .(LP אלגוריתמי עיגול אלגוריתם 1אלגוריתם ראשון קלט :פתרון אופטימלי x1 , · · · , xmל .LP פלט :פתרון cלבעיה המקורית כך ש |c| ≤ f · OP TLPכאשר fהיא השכיחות המקסימלית )כל איבר u ∈ Uמופיע בלכל היותר ב fקבוצות מבין .S1 , · · · , Sm n o .1נחזיר c ← i : xi ≥ f1
טענה 41.2שתי טענות: c ≤ f · OP TLP .1 c .2הוא כיסוי של .U הוכחה :כל טענה בנפרד: 1 xi ≥ f1 .1נסמן 0 otherwise
( = biואז .bi ≤ f · xiנקבל:
xi = f · OP TLP
m X i=1
127
· bi ≤ f
m X i=1
= ||c
1 f
.2יהי .u ∈ Uצ"ל :יש iכך ש u ∈ Siוגם זה ,ולכן לפחות אחד מהם הוא לפחות . f1
≥ .xiואכןxi ≥ 1 ,
P
i: u∈Si
ויש לכל היותר fמחוברים בסכום
אלגוריתם 2אלגוריתם שני קלט :פתרון אופטימלי x1 , · · · , xmל .LP פלט :בהסתברות לפחות 12־ פתרון cלבעיה המקורית כך ש ≤ O (log n) · OP T | .n = |U
|C| ≤ O (log n) · OP TLPכאשר
.1נקבע )k ← ln (4n .2עבור :j ← 1, · · · , k )א( נבחר ] Cj ⊆ [mבאקראי באופן ב"ת בבחירות הקודמות כך ש Pr (i ∈ Cj ) = xi .3נחזיר C ← C1 ∪ · · · ∪ Ck טענה 41.3לכל u ∈ Uולכל ]:j ∈ [k
1 e
≤ ) Pr (u is not covered by Cj
הוכחה :איך בוחרים את ? C1לכל אחת מתתי הקבוצות האפשריות S1 , · · · , Smנכניס את Siל C1בהסתברות ,xi אז: ≤ ) (1 − xi
u∈Si
Pr (u is not covered by C1 ) = Πi:
נסמן ב fuאת מס' הקבוצות מבין S1 , · · · , smש uשייך אליהן ,אז: !fu P f fu X xi u 1 1 ) (1 − xi ≤ 1 − i: u∈Si ≤ 1− ≤ fu fu e
i: u∈Si
1 fu
means inequality
≤
אז באופן זהה 1 e
≤ ) Pr (u is not covered by Cj
מסקנה 41.4נשים לב: ) k ln(4n 1 1 1 = = e e 4n
≤ ) Pr (u is not covered by any of the Cj
⇓ Union bound 1 ≤ )Pr (C is not a cover 4
128
טענה 41.5 xi = kOP TLP
m X
E [|C|] ≤ kE [|C1 |] ≤ k
i=1
ומא"ש מרקוב: 1 4
≤ ) Pr (|C| ≥ 4kOP T
ואז נקבל את החסם על האופטימליות של האלגוריתם.
תרגיל 10
42
הגדרה Cross − P olytope 42.1 }Pn = {x ∈ Rn : kxk1 ≤ 1
טענה 42.2עבור Pnמתקיים: Pn .1הוא חיתוך של מס' סופי של חצאי מרחבים ולכן הוא פוליהדרון .כיוון שהוא חסום הוא פוליטופ. n
.2הקודקודים של Pnהם .V = {±ei }i=1 .3מתקייםPn = conv (V ) :
43 43.1
שיעור 11 LP
הגדרה 43.1בעיית LP למצוא מקסימום של פונקציה לינארית ע"פ תחום ב Rnהמוגדר ע"י משוואות ואי־שווינים לינארים. הגדרה 43.2על מישור ב Rn H = {x ∈ Rn | hc, xi = α} , c ∈ Rn , α ∈ R
הערה 43.3על מישורים מקבילים שומרים על cומשנים את α → β
129
הגדרה 43.4חצאי מרחב לכל על מישור מוגדרים שני חצאי מרחב: = x| hc, xi ≥ α }|{z ≥ closed half space open half space
≤ }|{z
α
>
x| hc, xi
closed half space
open half space
H+
≤
<
= H−
הגדרה 43.5פוליהדר חיתוך סופי של חצאי מרחב ב . Rn הגדרה 43.6פאון פוליהדר חסום. הערה LP 43.7זו הבעיה של מציאת המקסימום של פונקציה לינארית ע"פ פאון. הערה 43.8יש אלגוריתם ל LPבעל זמן ריצה פולינומי באורך הקלט ־ אלגוריתם האליפסואידים .לא מוכר אלגוריתם פולינומי חזק. הגדרה 43.9אלגוריתם פולינומי חזק עבור LP אם בעיית ה LPמוגדרת על ידי Am×nוהקלט נתון ב kספרות דיוק ,אז האלגוריתם רץ בזמן ) poly (m, nומחשב בדיוק של kביטים. הגדרה 43.10תוכנית לינארית תוכנית לינארית נראית כך: max hc, xi Ax ≤ b x≥0
הגדרה 43.11תוכנית לינארית בשלמים ILP כמו קודם ,רק n
}x ∈ {0, 1
n
הערה 43.12תכנון לינארי בשלמים זו בעיה N P־שלמה .אבל ,אפשר לנסות את הגישה הבאה :את התנאי }x ∈ {0, 1 נחליף ב .~0 ≤ x ≤ ~1נקבל כרגיל וקטור xשכל הקורדינטות שלו הן בין 0ל .1עכשיו אפשר לעגל את xבכל מיני שיטות ,למשל עיגול מקרי .לא צפוי שיתקבל פתרון אופטימלי ,אבל יש בעיות חשובות רבות שבהן עיגול כנ"ל מוביל לפתרון מקורב טוב.
130
הגדרה 43.13בעיית הSet cover יש קבוצת בסיס Xומשפחה fשל תתי קבוצות של .Xהבעיה הדיסקרטית :מצא תת משפחה קטנה ככל האפשר של fשאיחודה הוא כל .Xנניח |X| = mו |f | = nאז נגדיר: ( 1 Xi ∈ fj = ∀i ∈ [m] , ∀j ∈ [n] : Ai,j 0 otherwise בעיית ה set coverמחפשת וקטור } x ∈ {0, 1תחת האילוצים D E min ~1, x n
Ax ≥ ~1
הגדרה 43.14שיכוך רציונלי של set cover min h1, xi 0≤x≤1 Ax ≥ 1
הגדרה 43.15צורה 1של LP max hc, xi Ax ≤ b
הגדרה 43.16צורה 2של LP max hc, xi Ax = b x≥0
משפט 43.17כל LPאפשר להביא לכל אחת משתי הצורות הנ"ל תוך הגדלת גודל הבעיה בגורם קבוע. הוכחה :כדי להביא את צורה 2לצורה 1כל מה שנדרש הוא להפטר מהמשוואות .נחליף כל שוויון בזוג אישווינים משלימים.≤, ≥ : כדי להביא את צורה 1לצורה 2צריך להפטר מאי שווינים .אי שוויון כללי נראה כך . ha, xi ≤ δ :ע"מ להפטר ממנו נוסיף משתנה עזר 0 ≤ zו: ha, xi + z = δ
131
אם יש משתנה xiשלא מוגבל בסימנו אז: xi = u − v 0 ≤ u, v
הגדרה 43.18פתרון בסיסי מותר )basic feasible solution (BFS זה וקטור xשמקיים :הוא פתרון ) ,(Ax = bהוא מותר ) ,(x ≥ 0והוא בסיסי :כלומר העמודות המאונדקסות בA ע"י ) supp (xהן בת"ל .ניסוח שקול ומקובל לבסיסיות :יש בסיס עמודות Bשל Aכך ש.supp (x) ⊆ B הערה 43.19זה שקול לקודקוד של הפאון.
הגדרה 43.20תומך של וקטור support יהי xוקטור ,התומך שלו הוא קבוצת כל האינדקסים כך ש .xi 6= 0מסומן ב).supp (x משפט 43.21נביט ב :LP max hc, xi Ax = b x≥0 כש Am×nו . rank (A) = m < nנניח שהמערכת ספיקה )ז"א יש x ≥ 0המקיים ,(Ax = bוכן שפונקציית המטרה חסומה .אזי המקסימום של hc, xiיתקבל )לאו דווקא כן( בפתרון בסיסי מותר. הוכחה :רוצים להראות שלכל x ≥ 0המקיים Ax = bיש zשהוא bf sכך ש .hc, zi ≥ hc, xiאם xעצמו הוא bf sאז נקח .z = xאחרת x ,אינו בסיסי .ז"א ,קבוצת העמודות של Aהמאונדקסות ע"י ) supp (xהן כן תלויות לינארית. כלומר ,יש וקטור yהמקיים Ay = 0וגם ) .supp (y) ⊆ supp (xז"א yמערב רק עמודות המצויינות ע"י התומך של .xנביט בווקטורים מהצורה :x + y }A (x + y) = |{z Ax + Ay = b }|{z =0
=b
האם מתקיים ?x + y ≥ 0כן ,לפחות אם || קטן דיו .רוצים להבין hc, x + yi = hc, xi + hc, yi = hc, yiאז ע"י בחירה מתאימה של הסימן של ניתן להשיג אם 6 0 hc, x + yi > hc, xi נגדיל את || עד שאיזושהי קורדינטה תתאפס ,ז"א )supp (x + y) ( supp (x 132
ונמשיך כך עד שנצמצם את התומך של הוקטור שבידינו לקבוצות עמודות בת"ל. אם hc, yi = 0אז פונקציית המטרה אינה משתנה ,אבל אנחנו מצליחים כנ"ל לצמצם את התומך עד שהוא נהיה בת"ל.
43.2
גיאומטריה n
הערה 43.22נזכור :פאון Pב Rזו קבוצה חסומה המוגדרת כחיתוך של מס' סופי של חצאי מרחב. הגדרה 43.23על מישור תומך )(supporting hyperplane על מישור H ⊆ Rnנקרא על מישור תומך של Pאם: ∅ =P ∩ H 6 P ⊆ H+ ל H ∩ Pקוראים פאה ) (faceשל ,Pוהמימד שלה הוא המימד האפיני של הקבוצה הזו) .לפאה 0מימדית נקרא קודקוד ,לפאה 1מימדית נקרא צלע ,וכו( משפט 43.24יהיה Pהפאון המוגדר ע"י ,Ax = b, x ≥ 0ותיהיה .v ∈ Pאז התנאים הבאים שקולים: v .1הוא קודקוד של P v .2הוא bf sכפתרון מותר של Ax = b, x ≥ 0 הוכחה:1 ⇒ 2 : ע"פ ההגדרה הגיאומטרית של קודקוד ,יש על מישור } H = {x| hc, xi = αכך ש} H ∩ P = {vו P ⊆ H +ז"א hc, vi = αולכל } z ∈ P \ {vמתקיים v ∈ P .hc, zi < αאומר ש vהוא פתרון מותר .חסר :בסיסי? נזכיר את המשפט הקודם: משפט " 43.25האופטימום של LPמתקבל תמיד ב".BF S נביט בתוכנית הלינארית: max hc, xi x≥0 Ax = b לפי ההנחות המקסימום הזה = ,αהוא מתקבל ב vורק ב.v :2 ⇒ 1 נתון ש vהוא ,bf sרוצים למצוא על מישור שתומך ב Pב vובו בלבד .ננסה למצוא cכזה ש hc, vi = 0 ∀x ∈ P \ {v} : hc, xi < 0 בלי מאמץ ברור ש hc, xi ≤ 0לכל x ∈ Pכי .x ≥ 0 ≥ cמטרתנו :להראות שלכל } x ∈ P \ {vבעצם ,hc, xi < 0 ז"א ש) supp (xמכיל גם קורדינטות מחוץ ל) .supp (vנניח בשלילה .supp (x) ⊆ supp (v) :מכך ש}x ∈ P \ {v מתקיים ש ,Ax = bולכן .Ax = b = Avאבל ,מכך ש vהוא bf sאז העמודות המאונדקסות על ידי ) supp (vהן בת"ל .מכך ,ומכך ש ,x 6= vקיבלנו סתירה לייחודיות ההצגה באמצעות בסיס פורש.
133
תרגול 11
44 44.1
שיטת הסימפלקס
44.1.1
אינטואיציה
מיקסום cT xתחת האילוצים: Ax ≤ b x≥0 שמגדירים פאון. 44.1.2
תרגיל
מקסמו את 5x1 + 4x2 + 3x3תחת האילוצים: 2x1 + 3x2 + x3 ≤ 5 4x1 + x2 + 2x3 ≤ 11 3x1 + 4x2 + 2x3 ≤ 8 x1 , x2 , x3 ≥ 0 יותר נוח לעבוד עם שוויונות ,לכן נוסיף משתנים עודפים: 0 ≤ 5 − 2x1 + 3x2 + x3 0 ≤ 11 − 4x1 + x2 + 2x3 0 ≤ 8 − 3x1 + 4x2 + 2x3 x1 , x2 , x3 ≥ 0 ⇓ s1 = 5 − 2x1 − 3x2 − x3 s2 = 11 − 4x1 − x2 − 2x3 s3 = 8 − 3x1 − 4x2 − 2x3 0 ≤ x1 , x2 , x3 , s1 , s2 , s3 רוצים למקסם: z = 5x1 + 4x2 + 3x3 הפתרון הפיזבילי הראשון הוא:
x1 0 x2 0 x3 0 = ,z = 0 s1 5 s2 11 s3 8 134
:x1 כמו שהם וננסה לשפר אתx2 , x3 נשאיר את.ננסה לשפר את הפתרון הראשון 5 2 11 0 ≤ 11 − 4x1 ⇒ x1 ≤ 4 8 0 ≤ 8 − 3x1 ⇒ x1 ≤ 3 0 ≤ 5 − 2x1 ⇒ x1 ≤
:נקבל מהמשוואה הראשונה 2x1 = 5 − 3x2 − x3 − s1 ⇒ x1 =
5 3 1 1 − x2 − x3 − s1 2 2 2 2
⇓ s2 = 1 + 5x2 + 2s1 1 1 1 3 s3 = + x2 − x3 + s1 2 2 2 2 :מקסמו z=
1 5 25 7 − x2 + x3 − s1 2 2 2 2 :קיבלנו את הפתרון
5 x1 2 x2 0 x3 0 = , z = 25 s1 0 2 s2 1 1 s3 2 : נקבל את האילוצים,x3 נגדיל את
rst equation⇒x3 ≤ 5 rst equation⇒nothing third equation⇒x3 ≤ 1⇐tight : אגף במשוואה השלישיתx3 נעביר את x3 = 1 + x2 + 3s1 − 2s3 x1 = 2 − 2x2 − 2s1 + s3 s2 = 1 + 5x2 + 2s1 z = 13 − 3x2 − s1 − s3
135
2 x1 x2 0 x3 1 = , z = 13 s1 0 s2 1 0 s3 נשים לב שזהו הפתרון האופטימלי ־ x2 , s1 , s3כולם אי שליליים ,אך מופיעים ב zעם ,−ולכן לא ניתן לשפר את .z 44.1.3
איך מוצאים פתרון פיזבילי בסיסי ראשון למערכת ?cT x, Ax ≤ b, x ≥ 0
מערכת המשוואות שלנו היא: a11 x1 + · · · + a1n xn ≤ b1
.. . am1 x1 + · · · + amn xn ≤ bm נוסיף לכל המשוואות: s + a11 x1 + · · · + a1n xn ≤ b1
.. . s + am1 x1 + · · · + amn xn ≤ bm ונרצה למקסם את .s
45
תרגול אקסטרה 11
45.1
דואליות בתכנון לינארי
45.1.1
דוגמא
maxx1 + x2 + x3 0 ≤x1 , x2 , x3 1 ≥x1 + x2 1 ≥x1 + x3 1 ≥x2 + x3
136
נשים לב שפתרון אפשרי הוא: 1 2
= x1 = x2 = x3
לכן .OP T ≥ 32 :כיצד ניתן להוכיח\להשתכנע בקלות ש: לכל פתרון פיזיבילי xמתקיים:
3 2
≤ ?OP Tנחבר את כל אי השוויונים ונחלק ב ,2ואז
1 1 1 3 ≤ ) (x1 + x2 ) + (x1 + x3 ) + (x3 + x2 2 2 2 2
45.1.2
≤ x1 + x2 + x3
דוגמא
max2x1 + 3x2 0 ≤x1 , x2 3 ≥1 2x1 + x2 4 ≥2 3x1 + 2x2 12 ≥3 4x1 + 8x2 ננסה למצוא חסמים עליונים ל :OP T נחלק את אי שוויון :3 2x1 + 3x2 ≤ 2x1 + 4x2 ≤ 6 נקח את אי שוויון 1ועוד אי שוויון 3ונחלק ב:3 2x1 + 3x2 ≤ 5
שאלה:
מה החסם הטוב ביותר ששיטה כזאת יכולה לתת?
תשובה :ניקח y1 , y2 , y3 ≥ 0ונבצע: y1 (2x1 + x2 ) + y2 (3x1 + 2x2 ) + y3 (4x1 + 8x2 ) ≤ 3y1 + 4y2 + 12y3
we want
כיוון שאנחנו כופלים את yב ,xע"מ לשמר את הסימן נרצה .y ≥ 0נחפש min3y1 + 4y2 + 12y3 s.t. y≥0 ) 2y1 + 3y2 + 4y3 ≥ 2 (we're using the coe cients of x1 ) y1 + 2y2 + 8y3 ≥ 3 (we're using the coe cients of x2
137
≤
if y satis es constaints
2x1 + 3x2
תוכנית זו נקראת התוכנית הדואלית לתוכנית המקורית. טענה 45.1לכל y1 , y2 , y3שהוא פתרון פיזיבילי לתוכנית הדואלית ,ולכל פתרון פיזיבילי x1 , x2לתוכנית המקורית, מתקיים: 2x1 + 3x2 ≤ 3y1 + 4y2 + 12y3
משפט 45.2הדואליות למעשה ,הפתרונות האופטימיליים מקיימים שוויון: 2x1 + 3x2 = 3y1 + 4y2 + 12y3
באופן כללי ,נניח .c ∈ Rn , b ∈ Rm , A ∈ Mm×nנניח התוכנית הפרימלית היא: maxcT x, x ∈ Rn Ax ≤ b x≥b התוכנית הדואלית היא: miny T b, y ∈ Rm AT y ≥ c y≥0
טענה 45.3לכל x, yפיזיביליים מתקיים ש cT x ≤ y T b :ולכן אם מצאנו x, yכך ש ,cT x = y T bאזי זהו הפתרון האופטימלי. הוכחה :נסתכל על: ci xi = cT x yj bj = y T b
n X
≥ y T Ai x i
i=1 m X
n X
= y T Ax
i=1
≤ yj (Ax)j
j=1
m X
= y T Ax
j=1
⇓ cT x ≤ y T b
משפט 45.4אם x, yהם הפתרונות האופטימליים מתקיים .cT x = y T b
138
45.1.3
M in − Cut − M ax − F low
הגדרה M ax − F low 45.5 %
&&
יש ,s &% tנסמן ב Pאת אוסף המסלולים מ sל.t = max − f low X max xp p∈P
xp ≤ ce
X
∀e :
p: e∈p
x≥0 נניח הצלעות ממוספרות והמסלולים s → tממוספרים ,אז ניתן להציג: ( 1 ei ∈ p j = Aij 0 otherwise
נסתכל על הדואלי של הבעיה: ce ye
X
min
e∈E
y≥0 X ∀p ∈ P : ye ≥ 1 e∈P
טענה max − f low ≤ min − cut 45.6 נקח חתך מינימלי ,נגדיר: 1 e crosses the cut 0 otherwise
46
( = ye
תרגיל 11
הגדרה 46.1פתרון בסיסי מותר יהיו ) A ∈ Mm,n (Rכש m ≤ nו .b ∈ Rm ,rank (A) = mאז y ∈ Rnיקרא פתרון בסיסי מותר לתוכנית ] B ∈ [nכך ש: הלינארית Ax = b, x ≥ 0אם קיים m AB .1לא סינגולרית )כש) AB ∈ Mm×m (Rוהעמודות שלה הן העמודות של Aהמאונדקסות לפי .(B ) supp (y) ⊆ B .2כלומר (yi 6= 0 ⇒ i ∈ B 139
y .3פתרון מותר ).(Ay = b, y ≥ 0 הגדרה 46.2נקודה קיצונית בסט קמור נקודה z ∈ Cנקראת קיצונית אם6 ∃x 6= y ∈ C s.t. z = λx + (1 − λ) y, λ ∈ (0, 1) : טענה 46.3יהיו ) A ∈ Mm,n (Rכש m ≤ nו ,b ∈ Rm ,rank (A) = mיהיה קיים x ∈ Rnייחודי כך ש Ax = bו.supp (x) ⊆ B
][n m
∈ Bכך ש ABלא סינגולרית ,אז
טענה 46.4יהיו ) A ∈ Mm,n (Rכש m ≤ nו x ,b ∈ Rm ,rank (A) = mהוא נקודה קיצונית של הפוליהדרון } P = {y ∈ Rn : y ≥ 0, Ay = bאם"ם xהוא פתרון בסיסי מותר. טענה 46.5אם לתוכנית הלינארית max cT x, x ∈ Pיש פתרון אופטימלי ,אז יש לה פתרון אופטימלי שהוא פתרון בסיסי מותר.
הגדרה 46.6מטריצה totally unimodular מטריצה Aתקרא totally unimodularאם לכל תת מטריצה Cמתקיים }det (C) ∈ {−1, 0, 1 טענה 46.7תהי ) rank (A) = m ,m ≤ n ,A ∈ Mm×n (Zו Aהיא .totally unimodularיהיו b ∈ Zmו .c ∈ Rn אז אם קיים פתרון אופטימלי לתוכנית: maxcT x s.t. Ax = b x≥0
אז יש פתרון אופטימלי עם קורדינטות בשלמים. משפט 46.8קריימר )שימושי לטענה הקודמת( אם An×n x = bכש det (A) 6= 0אז למערכת משוואות הנ"ל יש פתרון ייחודי והוא: ) det (A0i )det (A
= ∀i ∈ [n] : xi
כש A0iזהה למטריצה Aרק שהחליפו את העמודה ה iבוקטור .b
טענה 46.9תנאים מספיקים למטריצה totally unimodular תנאים מספיקים כדי שמטריצה Aתהיה :T U Aij ∈ {−1, 0, 1} .1 .2אחד מהתנאים הבאים צריך להתקיים: )א( קיימת שורה או עמודה עם ערך אחד שונה מאפס. )ב( קיימת שורה או עמודה שכולה אפסים. )ג( לכל עמודה יש בדיוק 1אחד ו −1אחד.
140
47
שיעור 12
47.1
פתרון LP
47.1.1
מתכון
מביטים ב :LP max hc, xi s.t. Ax ≤ b x≥0 האם המערכת hc, xi ≥ T s.t. Ax ≤ b x≥0 ספיקה? ע"י ביצוע חיפוש בינארי על ערכי ,Tניתן להגיע קרוב מאוד לפתרון .מכאן ,אנו יודעים שיש בסיס של עמודות ,A נסמנו מ ,Bכך שאיתו מוצאים את האופטימום: Bx| = b
47.1.2
אישור ) (certi cateלאי ספיקות
עקרון הדואליות אומר שאם מערכת של משוואות ואי שווינים לינארים אינה ספיקה ,אז יש לכך הוכחה מהאופי הבא: יש צירוף מותר )כלומרת כופלים משוואות בגדלים כרצוננות אי שווינים בגדלים אי שליליים( הנותן .0 > 1 47.1.3
ההיבט הגיאומטרי
משפטי הפרדה בין קבוצות קמורות.
47.2
דואליות
משפט 47.1המשפט החזק על דואליות LP נביט בזוג התוכניות הלינאריות הבאות: LP
DLP
max hc, xi
min hb, yi s.t.
s.t.
yA ≥ c
Ax ≤ b
y≥0
x≥0
141
נניח שהתוכנית LPספיקה וחסומה .אז גם DLPהיא כזו ,ומתקיים השוויון: max hc, xi = min hb, yi
משפט 47.2המשפט החלש על דואליות LP בהנחה ש LP, DLPספיקים ,אם xמספק את y ,LPמספק את ,DLPאז: hc, xi ≤ hb, yi
הוכחה :נסתכל על: hb, yi ≥ hy, Axi = yAx = hyA, xi ≥ hc, xi
למה 47.3פרקש תהיה Am×nממשית ,ו ,b ∈ Rmאז: ∃y ∈ Rm .s.t hy, bi < 0, 0 ≤ yA ⇔6 ∃x ≥ 0 .s.t Ax = b
הוכחה :כיוון ⇒: אם יש yכזה :נניח שיש x ≥ 0כך ש ,Ax = bונביט ב: + = yAx = hy, Axi = hy, bi < 0
* yA, x }|{z} |{z ≥0
≤0
≥0
וקיבלנו סתירה. הערה 47.4אינטרפרטציה גיאומטרית של למת פרקש הקונוס הנוצר ע"י הוקטורים :a1 , · · · , an ∈ Rm nX o = ) C = cone (a1 , · · · , an λi ai | ∀i : λi ≥ 0 נשים לב ש: ) {Ax | x ≥ 0} = C = cone (a1 , · · · , an ∈ .b כש aiהן עמודות של .Aהנחת המשפט היא ש/ C
142
למה 47.5ניסוח אחר של פרקש ∈ ,bאז יש על מישור דרך הראשית שמפריד את bמ:C אם C ⊆ Rnקונוס ,ו/ C }H = {z | hy, zi = 0 b ∈ H− C ⊆ H+
מסקנה 47.6איך מסיקים את הדואליות החזקה מלמת פרקש? נאמר שרוצים לברר אם יש x ≥ 0המקיים Ax ≤ bשבשבילו ,hc, xi > Tונניח שהתשובה שלילית .אם המערכת הזו אינה ספיקה ,יש לכך הוכחה "לינארית" ,ז"א יש צירוף במקדמים ≤ 0של מערכת האי שווינים Ax ≤ bוכן ,yA ≥ cיש y ≥ 0שכאשר נכפיל אותו סקלרית בשני אגפי האי שוויון: hc, xi ≤ yAx ≤ hb, yi < T
הגדרה 47.7הפרדה לינארית חזקה אומרים שיש הפרדה לינארית חזקה בין הקבוצות S, T ⊆ Rnאם יש על מישור Hכך ש: + − S ⊆ Hopen , T ⊆ Hopen
למה 47.8הטלה ∈ ,bאז: תהיה K ⊆ Rnקבוצה קמורה וסגורה ,ו / K, b ∈ Rn .1יש וקטור אחד ויחיד z ∈ Kשממזער את המרחק kb − xk2ע"פ כל .x ∈ Kל zהזו קוראים ההיטל של bעל .K .2ההיטל מאופיין על ידי כך שלכל x ∈ Kמתקייםhx − z, b − zi ≤ 0 : 47.2.1
בעיות דואליות
הגדרה 47.9הבעיה הדואלית של בעיית התזונה של הפרה בעיית התזונה של הפרה מוגדרת כך :נתון וקטור :b ≥ 0דרישות הימנימום של הפרה בכ"א מאבות המזון ,וכן נתון וקטור c ≥ 0של מחיריהם של סוגי האוכל השונים .ממשפט הדואליות נקבל: LP
DLP
min hc, xi
max hb, yi s.t.
s.t.
yA ≤ c
Ax ≥ b
y≥0
x≥0
ניתן להסתכל על ה DLPכך :יש תעשיין שיכול לייצר "גלולות" של אבות המזון yi .הוא המחיר שהוא יגבה על יחידה אחת של גלולת אב המזון ה .iהאילוץ yA ≤ cמבטא את האילוץ של התעשיין להיות תחרותי עם סוגי המזון המסורתיים .ז"א (yA)j ≤ cjאומר שצירוף הגלולות השקול ליח' אחת של סוג אוכל jאומר לעלות לכל היותר כמחיר יחידה אחת של סוג זה ,דהיינו .cj
143
הגדרה 47.10בעיית הזרימה נתונה רשת זרימה :גרף מכוון ) G = (V, Eעם מקור s ∈ Vובור ,t ∈ Vוקיבולים לצלעות .c : E → R≥0 Pשימור החומר בכל קודקוד השונה מ s, tוחסומה מלמעלה על ידי זרימה זו פונקציה על צלעות מכוונות שמקיימת את .cמחפשים זרימה עם שטף מירבי ,ז"א ) .max s→e f (eאו בניסוח אחר ,אם נגדיר: }P = {All directed rails from s to t ( 1 ei ∈ Pj = Aij 0 otherwise אז הבעיה היא max hx, 1i s.t. Ax ≤ c x≥0
משפט 47.11משפט השטוף והחתך )(maxf low = min − cut משפט הדואליות של LPאומר שבעיית הזרימה שקולה ל: min hy, ci s.t. yA ≥ 1 y≥0 פירוש :אם
||E
} ,y ∈ {0, 1האילוץ yA ≥ 1אומר שזו קבוצת צלעות הפוגשת כל מסילה .s → t
47.3
אלגוריתם האליפסואידים
47.3.1
הגדרת הבעיה
עוסקים רק בבעיות ספיקות. יש גוף קמור ,P ⊆ Rnועלינו לברר אם ∅ = .P הנחות: ?
.1ידוע לנו R > 0כך ש)P ⊆ B (0, R .2אם ,P 6= 0אז הוא מכיל כדור ברדיוס .r > 0 איך מתואר לנו הגוף ?P ע"י שני אובות: .1אוב שייכות ) (membership oracle־ יודע לענות על השאלה :בהינתן ,x ∈ Rnהאם ?x ∈ P ∈ ) xכפי שענה לנו אוב השייכות( ,אוב ההפרדה ייתן לנו על .2אוב הפרדה ) .(separation oracleבהנחה ש / P מישור ש xנמצא מצידו האחד ו Pמצידו האחר. 144
47.3.2
האלגוריתם
הגדרה 47.12אליפסואיד תמונה של כדור היחידה תחת העתקה אפינית. בכל צעד יהיה לנו אליפסואיד Ekשמרכזו xkו .P ⊆ Ekהערכים ההתחלתיים הם: x0 = 0 )E0 = B (0, R בצעד ה kשואלים את אוב השייכות אם .xk ∈ Pאם כן ־ ∅ = P 6וסיימנו .אם לא ־ פונים לאוב ההפרדה ומקבלים על מישור .H
למה 47.13יש אליפסואיד Ek+1שמכיל את השטח המסומן 1 ) vol (Ek+1 ) < 1 − 2 vol (Ek n
ונפחו מקיים
הגדרה 47.14חצי אליפסואיד החיתוך של אליפסואיד עם חצי מרחב המוגדר ע"י על מישור שעובר דרך מרכז האליפסואיד. למה 47.15יהיה E ⊆ Rnאליפסואיד שמרכזו ב ,xויהיה E +חצי מ Eכלשהו ,אז יש אליפסואיד E 0המכיל את E + ומקיים: 1 )vol (E 0 ) < 1 − 2 vol (E n הוכחה :רעיון ההוכחה :יוצרים העתקה בין Eלבין כדור היחידה ,ומוכיחים את הלמה השקולה עליו: למה 47.16יש אליפסואיד ב Rnבנפח > )vol (unit ball in R^n
kxk ≤ 1, xn > 0
145
1 n2
, 1 −ואליפסואיד זה מכיל את חצי הכדור:
תרגול 12
48 48.1
מבנה המבחן
יהיו 4שאלות ,לבחור .3כל שאלה תקבל ציון בין 0ל .10אם הציונים הם x1 ≥ x2 ≥ x3אז הציון יהיה: 5x1 + 3x2 + 2x3 ובנוסף יש 2נקודות בונוס על לכתוב במחברת על אילו שאלות ענינו.
48.2
משחקים סכום אפס ומשפט המינימקס
48.2.1
אבן ,נייר ומספריים
)columns player (C scissors 1 −1 0
paper −1 0 1
rock 0 1 −1
rock )A := rows (R paper scissors
מה כדאי ל Rלשחק? אם האסטרטגיה של Cדולפת ל Rלפני המשחק ,אז Rיכול לדאוג לתשלום .1 הקבוצה }אבן ,נייר ,מספריים{ נקראת קבוצת האסטרטגיות הטהורות. אסטרטגיה מעורבת זו התפלגות על האסטרטגיות הטהורות. נניח Cמשחק לפי האסטרטגיה המעורבת ) q T = (q1 , q2 , q3ו Rמשחק לפי ) ,pT = (p1 , p2 , p3ואת המטריצה מקודם נסמן ב ,Aאז התוחלת של התשלום ל Rהיא: pT Aq
48.2.2
באופן כללי
הגדרה 48.1משחק סכום אפס של שני שחקנים זוהי מטריצה ) ,A ∈ Mm×n (Rהאסטרטגיות הטהורות של שחקן השורות Rהן ] ,[mשל שחקן העמודות Cהן ] .[nאסטרטגיה מעורבת היא התפלגות על הטהורות .בהינתן אסטרטגיה pשל Rו qשל ,Cתוחלת התשלום ל Rהיא: ϕ (p, q) = pT Aq
Rממקסם C ,ממזער. מה כדאי לעשות? נניח ש Rיודע שהאסטרטגיה ∗ pתגיע ל .Cבהנחה זו Cיבחר אסטרטגיה qשתמזער p∗T Aq
146
ואז התשלום ל Rיהיה = p∗T Aq min p∗T Aei
min
q∈∆n−1
]i∈[n
n כיוון שזו הסתברות אז יש רק n − 1דרגות חופש. כל eiמתאים לאסטרטגיה טהורה אחרת .אמנם ,q ∈ R ∗Tאבל ∗T Rיחפש אסטרטגיה pשממקסמת את R .minq∈∆n−1 p Aq = mini∈[n] p Aeiיפתור את התוכנית הבאה:
maxv = v + − v − ∀i :v ≤ pT Aei 1 p=1
···
1
p≥0 התוכנית תתן ערך vואסטרטגיה ∗ pכך שלכל אסטרטגיה qשל :C p∗T Aq ≥ v = max
min pT Aq
p∈∆m−1 q∈∆n−1
שחקן העמודות מעוניין לפתור: max pT Aq = min max eTi Aq ]q∈∆n−1 i∈[m
min
q∈∆n−1 p∈∆m−1
הוא יפתור את התוכנית הלינארית: minu = u+ − u− ∀i :u ≥ eTi Aq 1 q=1
···
1
q≥0
נשים לב: 1 ~ A −1 0 q ”1 ”∀i : u ≥ eTi Aq” = ”AT q − u ... ≤ 0” = ” ~1 ≤ 0 u ~ −1 −1 1 v ~ AT −1 0 p ”∀i : v ≤ pT Aei ” = ”AT p − ... ≥ 0” = ” ~1 ”≥ 1 0 u ~ −1 −1 v
147
תרגול אקסטרה 12
49 49.1
דואליות
49.1.1
בעיה
נתון גרף מכוון ) .w : E → [0, ∞] ,V = {1, · · · , n} ,G = (V, Eמטרה :מסלול הקצר מ 1ל.n נביט ב LPהבאה: maxxn s.t. x ∈ Rn x≥0 )∀e = (u → v) : xv − xu ≤ w (e x1 = 0 נשים לב שזה שקול ל maxxn s.t. x ∈ Rn x≥0 )∀e = (u → v) : xv − xu ≤ w (e x1 ≤ 0
תוכנית n
.1נמצא השמה x ∈ Rפיזיבילית כך ש)) xn = d (1, nולכן ).(OP T ≥ d (1, n .2נחשב ונבין את התוכנית הדואלית. .3נמצא השמה לתוכנית הדואלית שערכה הוא גם )) d (1, nולכן ).(OP T ≤ d (1, n השמה פיזיבילית נגדיר לכל ) xi = d (1, i) :iהמשקל של המסלול המינימלי מ 1ל .(iצ"ל: )∀e = u → v : d (1, v) ≤ d (1, u) + w (u → v נשים לב שזה נכון .נניח בשלילה שלא ,אז ) ,d (1, u) + w (u → v) < d (1, vכלומר מצאנו מסלול קצר יותר מ1 ל uמהמסלול המינימלי .סתירה. בנוסף ,מתקיים מההגדרה ) ,d (1, 1ולכן ההשמה פיזיבילית .נקבל שפונקציית המטרה היא: )xn = d (1, n
148
תוכנית דואלית :נסתכל על היצוג המטריציוני של הבעיה הפרימלית vertices (variables)
0
edges
1
−1
0
1
0
···
···
x1
0 . w (e) .. ≤ x n 0 0 Ae=(u→v),u = −1 Ae=(u→v),v = 1 Ae x ≤ w (e)
הייצוג המטריציוני נראה.ym+1 ומשתנה אחרון,y ∈ Rm+1 : יש משתנה לכל צלע:נסתכל על הבעיה הדואלית :כך edges
1 (u→v)
vertices (variables)
−1 (v→w)
1 0 0 .. .. . y ≥ . 0 .. . 1 0
−1
:פונקציית המטרה היא
*
w (e) , y min 0
+
! = min
X
w (e) ye
e
:והבעיה הלינארית היא ! min
X
w (e) ye
e
s.t.
rst vertex:ym+1 +
X
ye −
e:→e 1
last vertex;
X e:→e n
∀v 6= 1, n :
X
X
ye −
X e:1→e
ye ≥ 1
e:n→e
ye −
e:→e v
0≤y∈R
X
e:nv→ m+1
149
ye ≥ 0
ye ≥ 0
השמה לתוכנית הדואלית המטרה :למצוא השמה חוקית
m+1
y ∈ Rכך ש: )w (e) ye = d (1, n
X
הצעה :יהי Pהמסלול הקצר ביותר בין 1ל .nנגדיר: ( 1 e∈P = ye 0 otherwise ym+1 = 1 נשים לב שההשמה הנ"ל עונה על כל האילוצים ,כשהאילוץ הראשון הוא אילוץ ריק כי ניתן להגדיל את ym+1עד אינסוף והאילוץ יתקיים. מסקנה ניחשנו פתרון xלתוכנית הפרימלית ,ניחשנו פתרון yלתוכנית הדואלית .בגלל שהערכים של הפתרונות זהים ,זהו הפתרון האופטימלי.
50
בוחן 3
הגדרה 50.1בעיית יצירת גרף חסר משולשים יהי ) G = (V, Eגרף עם nקודקודים .רוצים להסיר כמה שפחות צלעות מ Gכך שניוותר עם גרף חסר משולשים. 1 e∈t טענה 50.2נניח המשולשים ממוספרים · · · t1 ,והצלעות ממוספרות · · · .e1 ,נגדיר 0 otherwise לינארית בשלמים לבעיה הנ"ל: E D min ~1, x
( = .At,eתוכנית
s.t. Ax ≥ 1 ||E
}x ∈ {0, 1
נשים לב שהבעיה הנ"ל שקולה ל) set − coverהמשולשים הם הסטים ,הצלעות הן האיברים בכל סט(.
150
חלק
IV
חזרה תרגול מיכאל
51 51.1
דואליות
נניח ) .f, c ∈ Rn , g, b ∈ Rm ,A ∈ Mm×n (Rנסתכל על הבעיה: max cT x s.t. Ax ≤ b x≥0 הבעיה הדואלית היא
max bT y s.t. AT y ≥ c y≥0
טענה f, g 51.1פתרונות אופטימליים לבעיות ) fלפרימלי g ,לדואלי( ,אם"ם: (∗) : ∀i : (Af )i = bi ∨ gi = 0 and ∀j : AT g j = cj ∨ fj = 0 תנאים אלו נקראים .complementary slackness conditions הערה 51.2דרך אחרת לכתוב את התנאי: AT g − c = 0
g T (Af − b) = 0 and f T
נשים לב שזה נובע מכך ש f, AT g − cהם אי שליליים.
151
הוכחה :כיוון :1נניח ש f, gאופטימליים .ממשפט הדואליות החזק: cT f = bT g Af ≤ b ⇓ 0 ≤ b − Af ⇓ 0 ≤ g T (b − Af ) = g T b − g T Af ⇓ 0 ≥1 g T Af − g T b AT g ≥ c ⇓ 0 ≤ AT g − c ⇓ strong duality 0 ≤ f T AT g − c = f T AT g − f T c = = f T AT g − bT g ≤ 1 0 ⇓ sandwich ) 0 = g T (b − Af כיוון :2עתה ,נניח ש)∗( מתקיים ,ונוכיח ש f, gאופטימליים .צ"ל )לפי דואליות חלשה( .cT f = bT g :כלומר ,אם yפיזיבילי דואלית ,אז הפתרון של הפרימאלי מקיים ≥ .bT yמ)∗(: = bT g
gT b }|{z
= g T Af
a number
g T Af = f T AT g = f T c = cT f ⇓ T
b g = cT f
51.2
השיטה ההסתברותית
טענה 51.3יהי ) .G ∼ G (n, pאז: ) p = (1 − ) ln(nאזי אכב"ו Gלא קשיר. .1אם n ) p = (1 + ) ln(nאזי אכב"ו Gקשיר. .2אם n הוכחה :כל סעיף בנפרד:
152
.1אם יש קודקוד מבודד ⇔ Gלא קשיר .נעריך את ההסתברות שזה יקרה .נסמן ב Xiאת המ"מ המציין שקודקוד iמבודד. X =X Xi ]i∈[n
⇓ 0 < X ⇔ there is an isolated vertex
ההסתברות לכל צלע ב"ת כי אנחנו ב) ,G (n, pלכן: n−1
)E [Xi ] = (1 − p
indicator
=
)Pr (Xi > 0
⇓ n−1
)E [X] = n (1 − p
נחשב את השונות של :X !2 X X X E Xi2 + E [Xi Xj ] = nE [X1 ] + = ] E [Xi Xj j6=i
=
X E X2 = E Xi
i
j6=i
E [Xi Xj ] = E [X] + n (n − 1) Pr (X1 , X2 are both isolated) =1
i
X
= E [X] +
j6=i
נשים לב שאם אחד מבודד ,אז ידוע לנו שהצלע בינו לבין האחר לא קיימת ,ולכן: 2n−2
=
2n−3
)n2 (1 − p 1−p
= E [X] +
]E [X n−2 )− E [X] (1 − p 1−p
= E [X] +
)− n (1 − p
2
153
2n−3
)=1 E [X] + n (n − 1) (1 − p
:p מהנתון על n−2
(1 − p)
=
n−2 ln (n) 1 + o (1) ln(n) 1 − (1 − ) = exp − (1 − ) (1 + o (1)) = n n1−
⇓ 2 2 E [X] E [X] n−2 E X 2 = E [X] + − E [X] (1 − p) = E [X] + − E [X] o (1) 1−p 1 + o (1) ⇓ 2
V ar [X] = E [X] (1 + o (1)) + o (1) E [X] ⇓ Pr (X = 0) ≤ Pr (|X − E [X]| ≥ E [X]) =
o (1) E [X]
2
chebyshev V ar [X]
≤
E [X]
2
=
2 o (1) E [X] + E [X] 2
E [X]
=
+ o (1)
:חישוב מהיר n−1
E [X] = n (1 − p)
n−1 ln (n) n = n 1 − (1 − ) ≈ 1− = n → ∞ n n
וגם היא, שאין לה צלעות יוצאות0 < |W | ≤ n2 כך שW ⊆ V לא קשיר גורר שקיימת קבוצהG : אבחנה.2 : מקיים את התנאיםW נחסום מלעיל את ההסתברות ש,|W | = k עבור.קשירה Pr (W has no outgoing edges) = (1 − p)
k(n−k)
Pr (W is connected) = Pr (W has a spanning tree) ≤ E [the number of spanning trees in W] = = pk−1
k−2 |k {z }
Cayley's formula
⇓
W has no outgoing
Pr edges and is connected
k(n−k)
≤ (1 − p)
pk−1 k k−2
154
נשים לב שהמאורעות הנ"ל ב"ת .כעת נחשב: n en k k(n−k) k−1 k−2 ≤ exp (−pk (n − k)) pk−1 k k−2 )(1 − p p k ≤ k k )ln (n ) ≤ exp k ln (e) + k ln (n) − k ln (k) − (1 + ≤ )k (n − k) + (k − 1) ln (p) + (k − 2) ln (k n k
≤ exp (−k ( ln (n) − O (ln (ln (n))))) ≤ q (n) , q (n) → 0 ⇓ n ∞ 2 X X n 1 k(n−k) k−1 k−2 k )(1 − p p k ≤ )q (n) = q (n →0 )| {z } 1 − q (n k k=1 k=1 } {z | →0 →1
51.3
מרטינגיילים וריכוז מידה
הגדרה 51.4מרטינגיילים ) (Ω, P rמרחב הסתברות X ,מ"מ ,נגדיר עידונים: {∅, Ω} = Ω1 ⊇ Ω1 ⊇ · · · ⊇ 2Ω נגדיר: ] Xt = E [X|Ω0 , · · · , Ωt אז · · · X0 = E [X] , X1 ,נקרא מרטינגייל. משפט 51.5א"ש אזומה אם X0 , · · · , Xkמרטינגייל ,ולכל ,|Xi − Xi−1 | ≤ ai :iאז: ! λ2 Pr (|Xk − E [X0 ]| ≥ λ) ≤ 2 exp − Pk )Θ (1 2 i=1 ai
בעיה יהי n ≥ 3כך ש
n 2
זוגי ,יהי
n 2
) ( 2
= .mנגדיר סדרה של גרפים G0 , G1 , · · · , Gm :ע"י:
.G0 = Kn .1 .2לכל Gt+1 ,tמתקבל מ Gtעל ידי מחיקת צלע מקרית. עבור גרף Gנסמן ב) T (Gאת מס' המשולשים ב .Gנרצה לדעת כמה משולשים יש ב .Gm 155
שאלות .1מהו ]) ?µ := E [T (Gm .2עבור 0 ≤ t < mכתבו את ] E [T (Gm ) |G0 , · · · , Gtכביטוי התלוי ב) .t, n, m, T (Gt .3הוכיחו שלכל 0 ≤ t < mמתקיים|T (Gt+1 ) − T (Gt )| ≤ n : .4הוכיחו שלכל 0 ≤ t < mמתקיים: )|E [T (Gm ) |G0 , · · · , Gt+1 ] − E [T (Gm ) |G0 , · · · , Gt ]| = O (n
.5הוכיחו: 1 2 Pr |T (Gm ) − µ| ≥ n log n = O n
תשובות .1 n m m−1 m−2 = ]) µ = E [T (Gm 3 n2 n2 − 1 n2 − 2 .2 m−2 −t−2
n 2
m−1 −t−1
n 2
m −t
n 2
) E [T (Gm ) |G0 , · · · , Gt ] = T (Gt
מתקיים: ] E [E [T (Gm ) |G0 , · · · , Gt ] |E [T (Gm ) |G0 ] , · · · , E [T (Gm ) |G0 , · · · , Gt−1 ]] = E [T (Gm ) |G0 , · · · , Gt−1
ולכן זהו מרטינגייל. .3ברור :בגרף עם nקודקודים ,כל צלע משתתפת בפחות מ nמשולשים .מכאן: |T (Gt ) − T (Gt+1 )| ≤ n
156
.4 from 2
= |] |E [T (Gm ) |G0 , · · · , Gt ] − E [T (Gm ) |G0 , · · · , Gt+1 m m−1 m−2 m m−1 m − 2 = T (Gm ) n − T (Gt+1 ) n = n n n n 2 −t 2 −t−1 2 −t−2 2 −t−1 2 −t−2 2 −t−3 ) T (G )m (m − 1) (m − 2 ) T (G n ≤ n m − n t+1 = n 2 −t 2 −t−1 2 −t−2 2 −t−3 n )) (T (G ) − T (G O n2 t t+1 ) 2 − t − 3T (Gt ≤ m )n · n2 + 3n3 = O n5−4 = O (n ≤ 4 4 ) Ω (n ) Ω (n m
.5נשים לב ש {E [T (Gm ) |G0 , · · · , Gt ]}t=0 :מרטינגייל )כמו ב ,(2כמו כן גם: ] µ = E [T (Gm )] = E [T (Gm ) |G0 לכן לפי א"ש אזומה:
4 )n log2 (n n4 log2 (n) = 2 exp − = Pr |T (Gm ) − µ| ≥ n2 log (n) ≤ 2 exp − P n2 ) O (n4 4 )2 O (n i=0 1 1 2 = 2 exp −Ω log (n) ≤ Ω(log(n)) = O n n
51.4
שרשראות מרקוב )הילוך מקרי פשוט(
הגדרה 51.6שרשרת מרקוב אי פריקה שרשרת היא א"פ אם לכל שני מצבים i, jקיים tכך שההסתברות להגיע מ iל jב tמהלכים חיובי. הגדרה 51.7שרשרת מרקוב לא מחזורית שרשרת היא לא מחזורית אם קיים זמן tכך שלכל .Pr (Xt = i) > 0 :i טענה 51.8הילוך מקרי על גרף הוא מחזורי אם"ם הגרף דו"צ. טענה 51.9גרם הוא דו"צ אם"ם אין בו מעגל באורך א"ז. הגדרה 51.10התפלגות סטציונארית אם Aמטריצת מעברים של שרשרת מרקוב ,אז ) πוקטור הסתברות( נקרא התפלגות הסטציונרית אם .πA = π
תרגיל נתון לוח שח .n × nדמויות לא יכולות לצאת מהלוח .על הלוח יש מלך שיכול לנוע לכל המשבצות מסביבו .מלך מרקובי מתחיל במשבצת ,X0ובכל שלב t + 1בוחר צעד חוקי בצורה ב"ת ואחידה וזז למשבצת .Xt+1 .1האם השרשרת אי־פריקה? כן. .2האם היא מחזורית? יש פה מעגל אי זוגי ,ולכן לא. מסקנה 51.11ההתפלגות של Xtשואפת להתפלגות הסטציונרי )תוצאה של פרון פרובניוס(. 157
תרגיל שאלה זהה רק עם פרש ,שיכול לזוז שני צעדים בכיוון אחד ואז צעד אחד בכיוון המאונך אליו. .1האם השרשרת אי־פריקה? כן .נוכיח שהפרש יכול להגיע לכל מקום .מספיק להוכיח שאם הוא בפינה הקיצונית, הוא יכול לזוז משבצת למעלה ומשבצת באלכסון. .2האם היא מחזורית? כן ־ נשים לב שהגרף הוא דו צדדי )אם נצבע את הלוח בשחור ולבן ,אז בכל צעד הפרש מחליף צבע(.
תרגיל הילוך מקרי על טורוס Zm × Znעם הצעדים }).{(−1, 0) , (1, 0) , (0, −1) , (0, 1 .1מצאו אפיון תורת מספרי על m, nכך שההילוך יהיה אי פריק ולא מחזורי .הנ"ל יתקבל אם"ם mאו nא"ז. הוכחה :נניח mא"ז ,אז הנה מעגל א"ז . (0, 0) , (1, 0) , · · · , (m − 1, 0) , (0, 0) :אם הגרף מחזורי ,אז שני המעגלים הבאים באורך זוגי: )(0, 0), · · · , (m − 1, 0 )(0, 0), · · · , (0, n − 1
אם הגרף לא דו"צ ,אז שני המעגלים באורך זוגי ⇐ m, nזוגיים. .2נקבע m = nא"ז .מתחילים הילוך מקרי ב) .X0 = (0, 0נסמן ב πtאת ההתפלגות של .Xtהוכיחו: 1 =1 π − π lim n }|{z n→∞ 2 stationary dist.
נסמן ב X1 , · · · , X4את מס' המהלכים מכל סוג .אז: 1 Xi ∼ Bin n, 4 n = ] E [Xi 4 )V ar [Xi ] = Θ (n
נשים לב: )n 4 log (n 1 √ n 64 log2 (n) n √ Θ (1) = O )log (n = )∀i : Pr Xi − > n log (n ≤ 2 exp − 4 4 n 4 n n
158
√ √ √ √ 2 2 ,A = Z2n \ [− n log (n) , − n log (n)] :[ ונסמן− n log (n) , − n log (n)] :"נגדיר את ה"אזור הכחול :נשים לב n2 − 2n log2 (n) 2 log2 (n) |A| = =1− = 1 − o (1) 2 2 n n n 1 Pπt (A) ≤ O = o (1) log(n) n ⇓ Pπ (A) =
lim
n→∞
1 kπn − πk1 ≥ |Pπt (A) − Pπ (A)| 2
תרגול יובל
159
52
∗
סוכם ע"י אביב יעיש
תוכן עניינים I
הסתברות 1
שיעור 1.1 1.2 1.3
2 3 4 5
1.4 תרגול 2.1 תרגול תרגיל שיעור 5.1 5.2
5.3
6
תרגול 6.1 6.2
7 8 9
תרגול תרגיל שיעור 9.1
6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 בסיס . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מהם הגדלים שאנחנו רוצים לייחס למ"מ? . . . . . . . . . . . . . . . . . . . . 1.1.1 אי שוויונות בסיסיים בתורת ההסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . תמורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . עוד משהו על ההתנהגות האופיינית של תמורות . . . . . . . . . . . . . . . . . 1.3.1 גרפים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 דוגמא ־ גרפים מקריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 חזרה על שיעור קודם . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 פונקציית הסף להופעה של K4ב . . . . . . . . . . . . . . . . . . . . G (n, p) , p = n− 3 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.2.1 2 פונקציית הסף להופעה של K4ב . . . . . . . . . . . . . . G (n, p) , p = n− 3 5.2.2 שתי עובדות חשובות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . urn models פרדוקס יום ההולדת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.1 חיתוך קבוצות מקריות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.2 אספן הקופונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5.3.3 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 קירובים שימושיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . הגבלות של שיטת המומנט הראשון ־ קודקודים מבודדים והתאמות מושלמות . . . . . . . . תזכורת ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, n, p 6.2.1 אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 ספרים על הסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.0.1 כמה טענות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . פרדוקס יום ההולדת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.1
∗כפי שהועבר בתשע"ז על ידי המרצה נתי ליניאל והמתרגלים מיכאל סימקין ויובל פלד
1
6 6 7 7 8 9 10 11 12 13 16 16 16 17 17 18 19 20 21 21 22 22 23 23 24 24 25 25 25 25
10
11
12 13
14
15
16 17 II
אספן הקופונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.1.2 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2 אי שוויון מרקוב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.1 אי שוויון צ'בישב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.2.2 תהליכים סטוכסטיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3 מהלכים מקריים ). . . . . . . . . . . . . . . . . . . . . . . . (random walks 9.3.1 מקדמים בינומיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.3.2 משפטים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9.4 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 סכומים נבדלים\שונים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10.1 תנאי החתונה ב). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, n, p 10.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 ריכוז מידה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.1 כמעט כל הגרפים הם כמעט רגולרים . . . . . . . . . . . . . . . . . . . . . . . 11.1.1 מתי גרף מקרי מפסיק להיות "זיווג" . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11.2 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3 שיעור . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 עוד הסתברות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1 אי שוויון . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Chernof f 13.1.1 אי תלות של מ"מ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.1.2 מרטינגלים )המרטינגל של . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . (Doob 13.2 אי שוויון . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . Azuma 13.2.1 בעיה עם מרטינגיילים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 13.2.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 חסמי צ'רנוף . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 14.1 תכונות אופייניות של ). . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G (n, p 14.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 א"ש אזומה ושימושיו . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1 15.1.1 משולשים ב . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . G n, 21 תבניות במחרוזות מקריות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 15.1.2 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 4 מרטינגיילים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 16.1 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 1
אלגברה לינארית 18
שיעור 18.1 18.2 18.3
19
תרגול 19.1 19.2 תרגול 20.1
20
26 26 26 26 28 28 29 31 32 32 33 34 34 34 36 37 37 37 37 39 40 40 42 43 43 43 45 45 45 47 47 48 48
49
. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 הגדרות בסיס . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . חבורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . חזרה ללינארית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . וקטורים עצמיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 18.3.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . נוסחאות נסיגה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 ע"ע ו־ו"ע . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
2
49 49 50 51 54 55 55 56 58 58
21 22
20.2 תרגיל שיעור 22.1 22.2
23
תרגול 23.1
24
תרגול 24.1 24.2
25 26
תרגיל שיעור 26.1 תרגול 27.1 תרגול 28.1
29 30
תרגיל שיעור 30.1 30.2
27 28
30.3
31 32 33 34
30.4 תרגול 31.1 תרגול 32.1 תרגיל שיעור
הגדרות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.1.1 דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 20.1.2 נשתמש באלגברה כדי להבין קומבינטוריקה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 5 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . איך מייחסים אורך\גודל לוקטור? . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . הגדרות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.1 מטריקות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.2 דוגמה חשובה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.3 משפחה חשובה של נורמות :נורמות ) lpובצידן . . . . . . . . . . . . . . . (Lp 22.2.4 נקודת מבט גיאומטרית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.5 גודל של מטריצה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.6 נורמה דואלית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 22.2.7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 מרחבים מטרים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.1.1 מרחב ההומומורפיזמים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 23.1.2 אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 תזכורות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . ערכים עצמיים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . לקרוא פרמטרים של Aסימטרית בעזרת הערכים העצמיים . . . . . . . . . . . 24.2.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 6 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 תזכורת . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 ערכים סינגולריים ו. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SV D אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 פירוק ספקטרלי ⇐ . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SVD הספקטרום של AT Aו . . . . . . . . . . . . . . . . . . . . . . . . . . . AAT 28.1.1 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 7 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 חזרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מסקנות מ. . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SVD בעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.2.1 כופלי לגרנז' . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . מה רוצים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.1 השיטה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.2 נשתמש . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 30.3.3 משפטים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 גישה וריאציונית לערכים סינגולריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 מטריצות שכנויות של גרפים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 8 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9
3
58 59 61 62 63 63 64 64 64 64 65 66 67 68 68 68 69 69 71 71 72 72 76 77 77 85 85 88 88 89 91 92 92 93 94 96 96 96 96 98 99 99 102 102 105 106
35
36 37 38 III
שיטת Monte-Carloלהערכת הסתברות של מאורע . . . . . . . . . . . . . . . . . . . . . 34.1 שיטת MCMC־ . . . . . . . . (Broder, 86) Markov Chain Monte Carlo 34.1.1 גרפים מרחיבים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 34.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 הילוך מקרי פשוט על גרף . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35.1 דוגמאות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 35.1.1 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 הילוך מקרי פשוט על גרף רגולרי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 36.1 תרגיל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 9 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 2
אופטימיזציה
39
שיעור 39.1 39.2 39.3
40
תרגול 40.1
41
תרגול 41.1
42 43
תרגיל שיעור 43.1 43.2 תרגול 44.1
44
45
תרגול 45.1
46 47
תרגיל שיעור 47.1
106 107 111 111 111 112 114 114 118 119
120
120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 אינטואיציה 120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . בעיות 120 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אלגוריתמים לפתרון 121 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP הסברים לכך שאלגוריתמים מטיפוס סימפלקס נוטים לעבוד היטב בבעיות מציאותיות 122 39.3.1 אלגוריתם האליפסואידים )122 . . . . . . . . . . . . . . . . . . . . (L.Khachyan 39.3.2 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 פוליהדרונים קמורים ואופטימיזציה לינארית 123 . . . . . . . . . . . . . . . . . . . . . . . . . סימונים 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40.1.1 דוגמאות 123 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 40.1.2 פאונים שנוצרים מתוכנית לינארית 125 . . . . . . . . . . . . . . . . . . . . . . . . 40.1.3 אקסטרה 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 תכנון לינארי ואלגוריתמי קירוב 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . בעיית 125 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . SET-COVER 41.1.1 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 10 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 129 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP גיאומטריה 133 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 שיטת הסימפלקס 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . אינטואיציה 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44.1.1 תרגיל 134 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 44.1.2 איך מוצאים פתרון פיזבילי בסיסי ראשון למערכת 136 . . . . ?cT x, Ax ≤ b, x ≥ 0 44.1.3 אקסטרה 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 דואליות בתכנון לינארי 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דוגמא 136 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45.1.1 דוגמא 137 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 45.1.2 139 . . . . . . . . . . . . . . . . . . . . . . . . . . M in − Cut − M ax − F low 45.1.3 139 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 11 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 פתרון 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . LP מתכון 141 . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.1 אישור ) (certi cateלאי ספיקות 141 . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.2
4
48
49
50 IV
51
52
ההיבט הגיאומטרי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.1.3 דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.2 בעיות דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.2.1 אלגוריתם האליפסואידים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3 הגדרת הבעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3.1 האלגוריתם . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 47.3.2 תרגול . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 מבנה המבחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.1 משחקים סכום אפס ומשפט המינימקס . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2 אבן ,נייר ומספריים . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2.1 באופן כללי . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 48.2.2 תרגול אקסטרה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 12 דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49.1 בעיה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 49.1.1 בוחן . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 3
חזרה
141 141 143 144 144 145 146 146 146 146 146 148 148 148 150
150
תרגול מיכאל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . דואליות . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.1 השיטה ההסתברותית . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.2 מרטינגיילים וריכוז מידה . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.3 שרשראות מרקוב )הילוך מקרי פשוט( . . . . . . . . . . . . . . . . . . . . . . . . . . . . . 51.4 תרגול יובל . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . . .
5
151 151 152 155 157 159
חלק
I
הסתברות 1 1.1
שיעור 1 בסיס
הגדרה 1.1מרחב הסתברות בדיד )סופי( קבוצה סופית )"מרחב המדגם"\"מרחב ההסתברות"( Ωביחד עם העתקה P r : Ω ⇒ R≥0עם התכונה ש= )Pr (x .1
P
x∈Ω
הגדרה 1.2מאורע אנחנו קוראים מאורעות אלמנטריים .ובאופן כללי :מאורע הוא תת קבוצה של .Ωאם A ⊆ Ωמאורע אז לאיברי P Ω ) . P r (A) = x∈A P r (xלכל מאורע מוגדרת ההסתברות שלו ) P r (Aעם הזהויות הברורות P r (∅) = 0 P r (Ω) = 1 )A ∩ B = ∅ ⇒ P r (A ∪ B) = P r (A) + P r (B אחרי ההרחבה הזו .P r : 2Ω ⇒ R≥0 ללא מאמץ רב אפשר להרחיב את ההגדרה גם למקרה ש Ωאינסופית ובת מניה )ז"א ⇔ |Ω| = ℵ0יש התאמה חח"ע .(Ω ↔ N הערה 1.3מתי לא די במערכת המושגים הזאת? איך מתגברים על חולשותיה? דוגמה :מטילים קוביה מאוזנת עד שיוצא המס .6עוצרים כאשר לראשונה מתקבל המס .6רוצים להבין באופן אופייני לכמה הטלות נזדקק ,מה ההסתברות שנסטה מזה באופן משמעותי .כדי להבין איך לענות על שאלה זו ,יש לדבר על המרחב: }}Ω = {a1 , a2 , ....|ai ∈ {1, .., 6 נשים לב ].|Ω| = ℵ = [0, 1 ע"מ להניח את היסודות לטיפול במרחבים כאלה נדרשת עבודת הכנה בתורת המידה ) .(measure theoryזו תורה שמאפשרת לייחס "גודל" )למשל שטח\נפח( למשפחה של תת קבוצות של קבוצה. הגדרה 1.4התניה )P r (A ∩ B )P r (A
= )P r (B/A
הגדרה 1.5אי תלות
6
אומרים ששני מאורעות A, B ⊆ Ωהם בלתי תלויים אם: )P r (A ∩ B) = P r (A) · P r (B וזה שקול ל)) P r (B/A) = P r (Bזה שאמרנו שהמאורע Aהתקיים לא משפיע על ההסתברות שהמאורע Bהתקיים(. הערה 1.6דוגמא :מטילים קוביה פעמיים A .הוא המאורע שיצא 3בהטלה הראשונה B ,הוא המאורע שיצא 5בהטלה השניה .אז 1 )= P r (A 6 1 = )P r (A ∩ B 36 = )P r (B
הגדרה 1.7משתנה מקרי זו פונקציה . f : (Ω, P r) → ... הגדרה 1.8מ"מ ממשי :הטווח הוא .R הגדרה 1.9מ"מ מציין ) :(indicatorהטווח הוא } .{0, 1יש התאמה חח"ע בין מ"מ מציינים לבין מאורעות .למ"מ מציין fמתאים המאורע }.{ω ∈ Ω|f (ω) = 1 1.1.1
מהם הגדלים שאנחנו רוצים לייחס למ"מ?
הגדרה 1.10תוחלת )"ממוצע"( :אם , f : Ω → Rאז )P r (x) · f (x
P
x∈Ω
= ] .E [f
טענה P1.11תוחלת היאPלינארית :ז"א אם X1 , ..., Xkמ"מ על אותו מרחב הסתברות ,ואם , a1 , ..., ak ∈ Rאז: ] E [ ai Xi ] = ai E [Xi חשוב להבין עד כמה המ"מ " Xמרוכז" ,כלומר ־ נוטה בהסתברות גבוהה לקבל ערכים קרובים לתוחלתו ].E [X הגדרה 1.12השונות של :X h i h i 2 2 = ]V ar [X] : = E (X − E [X]) = E X 2 − 2XE [X] + E [X 2 2 2 ]= E X 2 − 2E [X] + E [X] = E X 2 − E [X
1.2
אי שוויונות בסיסיים בתורת ההסתברות
טענה 1.13חסם האיחודP r (Ai ) :
P
≤ ) P r (∪ni=1 Ai
טענה 1.14אי שוויון מרקוב: אם Xמ"מ אי שלילי ,אז עבור קבוע 1 < cנקבל:
1 c
≤ )].P r (X ≥ cE [X
טענה 1.15החסם של אי שוויון מרקוב הדוק.
7
הוכחה :עבור }X : Ω → {0, 1 1 = )P r (X = 1 c 1 P r (X = 0) = 1 − c ⇓ 1 = ]E [X c ⇓ 1 c
= )P r (X ≥ cE [X]) = P r (X ≥ 1
טענה 1.16אי שוויון צ'בישב: יהי Xמ"מ עם תוחלת E [X] = µושונות σ) V ar [X] = σ 2סטיית תקן .(standard deviationיהי ,c > 0אז: 1 c2
≤ )P r (|X − µ| ≥ cσ
2
הוכחה :נגדיר מ"מ חדש ) , Y = (X − µנציב במרקוב. 1 P r Y ≥ c2 σ 2 = P r (|X − µ| ≥ cσ) ≤ 2 c
הערה 1.17ל E X kקוראים המומנט ה kשל .Xתוחלת = מומנט ראשון ,שונות )זה בערך( מומנט שני.
1.3
תמורות
הגדרה 1.18תמורה ־ העתקה חח"ע }π : {1, ..., n} → {1, .., n הגדרה 1.19נקודת שבת i ∈ [n] :היא נקודת שבת ) ( xed pointשל התמורה πאם .π (i) = i דוגמה :מרחב ההסתברות שלנו יהיה }Ω = {All permutations of {1, ..., n} in uniform probability נגדיר X :Ω → N≥0 } {Sn = Ω, unif כש , X (π) = number of xed points of πוהשאלה היא ?= ].E [X
8
פתרון: ( 1 π (i) = i נגדיר מ"מ מציינים X1 , ..., Xnכש = ) ,Xi (πנשים לב: 0 otherwise Xi מלינאריות התוחלת[Xi ] : !)(n − 1 1 = !n n
=
Pn
i=1
X
=X
= ] .E [Xלכל ,iהיות ש Xiמ"מ מציין:
number of permutations where π (i) = i !n
= )E [Xi ] = P rπ∈Sn (π (i) = i ⇓ 1 =1 n
E [X] = n
הגדרה 1.20התפלגות פואסונית ) P oi (λעם פרמטר λזו התפלגות על המספרים השלמים האי שלילייים: λk !k k
)נזכר ש e−λ λk! = 1
∞P
k=0
P r (k) = e−λ
(.
מס' נקודות השבת הוא פואוסני בגבול עם ,λ = 1כלומר לכל kטבעי: 1 1 · !e k
1.3.1
= )limn→∞ P r (X = k
עוד משהו על ההתנהגות האופיינית של תמורות
הצגנו מקודם תמורה כך: 12345678 56217438
דרך אחרת: 1→5→7→3→2→6→4→1
נשים לב שזהו מעגל. מתברר שהמבנה האופייני של תמורה מקרית בהצגה זו הוא כמו כמה מעגלים ,כשאחד בערך באורך , n2אחד בערך באורך ,... , n4והאחרון מאורך ) 1והוא נקודת השבת(.
9
דוגמה: שוב עובדים ב) ,(Sn , unif ormקובעים kטבעי ,ומגדירים מ"מ X (π) = number of circles of length k in π אם k = 1זו בדיוק השאלה הקודמת .רוצים להציג את Xכסכום של משתנים מקריים מציינים. לכל סידרה α1 , ..., αkשל מס' שונים זה מזה ב} ,{1, .., nנרצה להתאים מ"מ מציין .עלינו לחשוב על α1 , .., αk ועל , a2 , ..., αk , α1וכו' ,כעל אותו אובייקט .נסמן את מחלקת השקילות הזו ב] .τ = [α1 , ..., αk X Xτ =X groups
τ ∈equiv.
נגדיר ( 1 τ ∈π = )Xτ (π 0 otherwise
= )E [Xτ ] = |equivalence groups| P rπ∈unif orm Sn (τ ∈ π
X
= ]E [X
|τ |=k
n !)(n − k !n !)(n − k 1 !)(k − 1 = !)(k − 1 = k !n !)k! (n − k !n k
1.4
=
גרפים
):(Erdos-Szekeres Ramseyבגרסה כמותית משפט 1.21משפט k+l−2 .(N = k+l−2אם צובעים את הצלעות של ) KNהגרף השלם ש לב )נשים N = ויהיה , יהיו k, l ∈ N l−1 k−1 עם Nקודקודים( בכחול ובאדום ,אז יש בהכרח kיה כחולה או lיה אדומה )או שניהם(. הערה 1.22נשים לב :אם k = lאז
4k √ k
≈
2k−2 k−1
.אז:
1 log2 N 2
= N = 4k ⇔ k
משפט 1.23מקרה פרטי של המשפט של רמזי :בכל גרף על Nקודקודים יש קליקה מגודל < 21 log2 Nאו אנטי קליקה ) (indipendent setמגודל < . 21 log2 N משפט 1.24יש גרפים על Nקודקודים ללא קליקה וללא אנטיקליקה מגודל < .2log2 N הוכחה :רעיון ההוכחה :נעבוד במרחב ההסתברות ,Ω = G N, 12זה מרחב ההסתברות הכולל את כל הגרפים N על קבוצת הקודקודים } {1, .., Nבהתפלגות אחידה .יש ) 2( 2גרפים כאלה ,ולכן ההסתברות של כל גרף היא
10
N 1 ) = 2−( 2 N ( ) 2 2 המטבע יוצא ראש .נקבע מס' טבעי ,tונגריל 2מ"מ:
.דרך אחרת לתאר את המרחב הזה :לכל זוג קודקודים נטיל מטבע מאוזן ונשים צלע ביניהם אם"ם
X (G) = how many t-cliques are in G " Y (G) = " t-anticliques
מראים שאם t > 2log2 Nאז ) ,E [X + Y ] = E [X] + E [Y ] = o (1ומסיקים שיש Gשבשבילו = )X (G ,Y (G) = 0ב Gכזה אין tקליקה ,ואין t־אנטיקליקה. X =X ; XT T ⊆[N ],|T |=t
) (2t N N 1 = ] E [XT = )P r (t-ary is a clique t t 2
2
X
= ]E [X
תרגול 1
הגדרה 2.1התפלגות ברנולי Bernoulli ממ Xמתפלג ברנולי עם פרמטר ] p ∈ [0, 1אם P r [X = 1] = p P r [X = 0] = 1 − p
ה־דוגמא :ממ מציין ־ בהנתן מאורע ,Aהממ המציין של Aמקבל 1אםם Aקרה ,ו־ 0אחרת. נשים לב: E [X] = 1 · p + 0 · (1 − p) = p h i 2 2 = ]V ar [X] = E |X − E [X]| = E X 2 − E [X 2
)= E [X] − E [X] = p − p2 = p (1 − p
הגדרה 2.2התפלגות בינומית נאמר )] X ∼ Bin (n ∈ N, p ∈ [0, 1אם לכל : 0 ≤ k ≤ n n k n−k = ]P r [X = k )p (1 − p k
11
אפשר לחשוב על XכךXi :
Pn
i=1
= , Xכאשר,∀i : Xi ∼ Ber (p) :וכולם ב"ת .נשים לב: " n # n n X X X linear E [X] = E = Xi = ] E [Xi p = np i=1
i=1 n X n X E Xi2 + = ] E [Xi Xj i=1 j6=i
= ] E [Xi Xj
n X
= ] E [Xi Xj
n X n X
!2 =
E [Xi Xj ] = np +
Xi
n X
n X n X
E [Xi ] +
i=1 j6=i
i=1 j6=i
E X2 = E
i=1
i=1 j=1
i=1 n X n X
i=1
n X
=
i=1
= np + n (n − 1) p2 המעבר האחרון נובע מכך שההסתברות ש Xi, Xjשניהם יחד יהיו שונים מ 0היא .p2 2 ] V ar [X] = E X 2 − E [X] = np + n (n − 1) p2 − n2 p2 = np − np2 = np (1 − p) = nV ar [X1
2.1
דוגמא ־ גרפים מקריים 1
ראינו את מודל G n, 2ליצירת גרפים .גם מודל שנקרא ) G (n, pהוא מעניין ,כאשר ] p ∈ [0, 1וכל קשת נכנסת לגרף בהסתברות pבמקום בהסתברות . 12היום נראה מודל שנקרא ) ,G (n, n, pהמכיל שתי קבוצות במקום קבוצה אחת של nקודקודים .נקרא לקבוצה אחת ,Xולשניה .Yבמודל זה ,כל הקשתות בין Xל .Yמודל זה יוצר גרפים דו צדדיים מקריים. מ"מ מציין שמקבל 1אםם (x, y) ∈ Eמתפלג ברנולי עם פרמטר .pעבור x ∈ Xנסמן ב Rxאת הממ המציין של המאורע בו xמבודד ,כלומר ־ לא יושב באף צלע. n
) )Rx ∼ Ber ((1 − p נשים לב שההסתברות היא כיוון שההסתברות שלא תיהיה צלע לקודקוד אחד אחר היא ) .(1 − pיש nקודקודים מהקבוצה האחרת ,ולכן נקבל הסתברות זו .נסמן את הקודקודים ב Xע"י } .[n] = {1, .., nנסמן: Ri
n X
=R
i=1
נשים לב ש Rסופר את הקודקודים הבודדים בגרף .כיוון שה Riמתפלגים ברנולי עם אותו פרמטר ,וכיוון שהם ב"ת ,ניתן לאמר ש Rמתפלג בינומי .מדוע הם ב"ת? ניתן לראות שהם ב"ת בזוגות כיוון שההסתברות ששני קודקודים יהיו בודדים שווה למכפלת ההסתברות שכל אחד בנפרד בודדים .צריך להוכיח שכל תת קבוצה שלהם ב"ת ,וניתן n לעשות זאת באינדוקציה על אותו טיעון .קיבלנוR ∼ Bin (n, (1 − p) ) : כיצד המאורע R > 0תלוי ב?p התכונה "אין קודקודים מבודדים" היא מונוטונית )אם אני מוסיף צלעות לגרף בלי קודקודים מבודדים ,הוא עדיין ישאר בלי קודקודים מבודדים( .מהו ] P r [R = 0כפונק' של ?pאם p = 0אין צלעות בגרף ,ולכן יש קודקודים מבודדים ,ולכן .P r [R = 0] = 0אם p = 1נקבל .P r [R = 0] = 1 משפט 2.3השאפה של הסתברות לקודקודים מבודדים 12
א .יהי ,c < 1
)ln(n n
· p ≤ cאז lim P r [G (n, n, p) has a solitary vertex] = 1
∞→n
) p ≥ c ln(nאז ב .יהיו c > 1ו n lim P r [G (n, n, p) has no solitary vertices] = 1
∞→n
הוכחה :הוכחת ב: נסמן ב IXאת המאורע בו יש קודקוד מבודד ב .Xבאופן דומה נסמן IYו I = IX ∪ IYהמאורע בו יש קודקוד מבודד.
1 ]E [R] ≤ E [R ]E [R
] P r [I] ≤ P r [IX ] + P r [IY ] ≤symmetry 2P r [IX ] = 2P r [IY R takes only integer values = ]P r [IX ] = P r [R > 0 = Pr R ≥ 1 n
≤ )E [R] = n (1 − p) ≤∀x∈R:1+x≤exp(x) n · exp (−pn ) p ≥ c ln(nנקבל ) −pn ≤ −c · ln (nולכן: כיוון שעכשיו n ≤ n · exp (−c · ln (n)) = n1−c →because 1-c<0 0
3
תרגול אקסטרה 1
פרטים יובל פלד ,נמצא ב A422בימי ב' 15־ .14ליצור קשר לפני במייל! [email protected]
דוגמה 1 2
נתונה רשת מעגלית של רכבות עם nתחנות ו nמסילות .נתון שכל תחנה פעילה בהסתברות התחנות .מסילה פעילה אם התחנות בשני קצותיה פעילות .נסמן ב Xאת מס' המסילות הפעילות. .1מה התוחלת של ?X נציג את Xכסכום של ממ מציינים: X 1 active rail =⇒X Xi 0 otherwise i=1 n
13
( = Xi
ובאופן ב"ת משאר
נשתמש בלינאריות של התוחלת: 1 4
= ]E [Xi ] = 1 · P r [Xi = 1] + 0 · P r [Xi = 1] = P r [Xi = 1 ⇓ n 4
= ] E [Xi
n X
# = Xi
n X
" E [X] = E
i=1
i=1
הערה 3.1אם Yמ"מ מציין ,אז ].E [Y ] = P r [Y = 1 P r (X = 0) =? .2 נעשה זאת בעזרת מרקוב! הערה 3.2תזכורת לא"ש מרקוב X :הוא מ"מ אי שלילי ו ,a > 0אז
]E[X a
≤ )P r (X ≥ a
נשים לב: )P r (X = 0) = P r (X ≤ 0
א"ש מרקוב עוסק בסטיות מהתוחלת כלפי מעלה ,הפתרון הוא להשתמש במשלים ,למשל במקרה שלנו נגדיר: .Y = n − Xכיוון ש X ≤ nנקבל ,0 ≤ Yואז: 3n 4 3 ] E [Y = n 4
= ]E [Y ] =linear n − E [X
≤ )P r (X = 0) = P r (X ≤ 0) = P r (Y ≥ n
V ar [X] =? .3 הגדרה 3.3שונות משותפת: ] Cov (Xi , Xj ) = E [Xi Xj ] − E [Xi ] E [Xj
טענה 3.4אם Xi
P
= ,Xאז ) Cov (Xi, Xj
X
V ar [Xi ] +
i6=j
14
X
= ]V ar [X
. לינאריות של תוחלת+ V ar [X] = E X 2 − E2 [X] :הוכחה .נשתמש בטענה זו כדי להוכיח את הנדרש 1 3 1 = V ar [Xi ] = E Xi2 − E2 [Xi ] = E [Xi ] − E2 [Xi ] = − 4 16 16
.V ar [Y ] = p − p2 = p (1 − p) אזE [Y ] = p הוא מ"מ מציין וY אם3.5 הערה פעילהj פעילה והמסילה הi לא נחתכות )אין תחנה משותפת( אז המאורעות שהמסילה הj והiאם המסילות ה : ולכן,ב"ת E [Xi Xj ] = P r (the i and j rails are active) =
= P r (the i-th rail is active) P r (the j-th rail is active) = 1 = 16 :נשים לב
( 1 both i and j are active E [Xi Xj ] = 0 Cov (Xi , Xj ) = E [Xi Xj ] − E [Xi ] E [Xj ] = E [Xi Xj ] −
1 16
: במקרה האחר.Cov (Xi , Xj ) = 0 שלא נחתכות נקבלi, j לכן עבור מסילות E [Xi Xj ] = P r (i & j rails are active) =
1 1 1 1 ⇒ Cov (Xi , Xj ) = − = 8 8 16 16 :סה"כ
V ar [X] =
X
V ar [Xi ] +
X
Cov (Xi , Xj ) +
i,j intersecting
=
X
Cov (Xi , Xj ) =
i,j not intersecting
1 5n 3 n + 2n + 0 = 16 16 16
.Cov לפיV ar לפי הנוסחה של חישוב,הוא סכום על הזוגות הסדורים
P
i,j intersecting :הערה
P r (X = 0) =? .4 !נעשה זאת בעזרת צב'ישב P r (|X − E [X]| ≥ t) ≤
15
V ar[X] t2
: תזכורת לא"ש צ'בישב3.6 הערה
במקרה שלנו: 5 n
=
5n 16 n2 16
]V ar [X = ]E2 [X
P r (X = 0) ≤1 P r (|X − E [X]| ≥ E [X]) ≤chebyshev
הערה ≤1 3.7נובע מכך ש: ]X = 0 ⇒ |X − E [X]| ≥ E [X
כלומר ,המאורע X = 0מוכל במאורע ] |X − E [X]| ≥ E [Xולכן )].P r (X = 0) ≤1 P r (|X − E [X]| ≥ E [X
4
תרגיל 1
טענה 4.1אם X, Yמ"מ ב"ת אז ] .E [XY ] = E [X] E [Y טענה 4.2ההפך אינו נכון! n
טענה 4.3אם {Xi }i=1ב"ת בזוגות אז ] V ar [Xi
5 5.1
Pn
i=1
= ] Xi
Pn
i=1
[ V ar
שיעור 2 חזרה על שיעור קודם
משפט 5.1משפט Ramseyכמותי \ משפט Erdos Szekeres אם צובעים את צלעות Knבכחול ואדם ,אז בהכרח יש Klכחול או Klאדום )או שניהם( ⇔ = . k+l−2 l−1
k+l−2 k−1
≤ )(k, l
מסקנה 5.2מהצבה k = lמקבלים :בכל גרף על nקודקודים יש קליקה או אנטיקליקה מגודל ≤ . 12 − o (1) log2 n מאידך גיסא :יש גרפים )בעצם רוב הגרפים( מסדר =) nבעלי nקודקודים( בהם אין קליקה \ אנטיקליקה < .(2 + o (1)) log2 n הוכחה :נביט במרחב ההסתברות ⇔ G n, 12התפלגות אחידה על כל הגרפים מסדר .nנגדיר פרמטר kשיקבע בהמשך ,ונגדיר שני מ"מ X (G) = number of k-cliques in G
Y (G) = number of k-anticliques in G
אם נראה ש E [X + Y ] = 2E [X] < 1זה היה גורר שיש גרפים ללא kקליקות וללא kאנטיקליקות .ז"א .∃G s.t. X (G) = Y (G) = 0בעצם יתברר שע"י בחירה מתאימה של kיצא: )E [X + Y ] = o (1
16
ומכך ינבע שבהסתברות < 1 − nעבור ∞ → n → 0, nאין בגרף מקרי kקליקה ולא kאנטיקליקה. נכתוב: X
XT
=X
T ⊆[n],|T |=k
1 T-clique in G 0 otherwise ) (k2 n 1 1 = ]E [X ?=
= )XT (G
נשים לב ,מסטרלינג נקבל עבור :n >> k >> 1 ne k n )n (n − 1) ... (n − k + 1 = ))= (1 + o (1 k !k k אז: 1 2
!k ?=
הוכחה :מהו kשבשבילו < 1 −
k−1 2
ne 1 k−1 2 2
1 2
ne k
k
) (k2 n 1 = = ]E [X 2 k
? אם נמצא כזה ,kנקבל ש .E [X] → 0נוציא :log
k−1 ne < (1 − ) 2 2 k k−1 < log2 n + log2 k + c − 2 ⇓
(2 + o (n)) log2 n < k
2
5.2
פונקציית הסף להופעה של K4ב G (n, p) , p = n− 3
5.2.1
תזכורות
משפט 5.3אי שוויון צ'בישב אם Xמ"מ ממשי עם תוחלת ] µ = E [Xוסטיית תקן ,σז"א ] ,σ 2 = V ar [Xאז: 1 c2
≤ )Pr (|X − µ| ≥ cσ
17
מסקנה 5.4מקרה פרטי :אם Xמ"מ אישלילי עם תוחלת µושונות σ 2אז µ chebyshev ]V ar [X ⇒ ≤ )Pr (|X − µ| ≥ µ) = Pr (X = 0 σ µ2 אם )= on (1
]V ar[X µ2
=c
אז אסימפטוטית כמעט בוודאות .X > 0 2
5.2.2פונקציית הסף להופעה של K4ב G (n, p) , p = n− 3 2 משפט 5.5נביט בגרף מקרי ) .G (n, pאם p = o n− 3אז אכב"ו )אסימפטוטית כמעט בוודאות( אין K4ב. G מצד שני ,אם
−2 3
p >> nיש K4ב.G
הוכחה :הוכחה לא' .נגדיר מ"מ Xהמונה את מס' ה K4שב .G 1 S is a clique 0 otherwise X =X XS (
= )XS (G
|S|=4
n 6 p << n4 · n−4 = 1 4
= ]E [X
2 2 n−4כי .p = o n− 3 → p << n− 3 ⇒ p6 << n 2
הוכחה לב' .כאשר p >> n− 3אז n 6 = ]E [X ∞→ p 4 ע"פ המקרה הפרטי של צ'בישב נוכל להוכיח את ב' אם נראה ש V ar [X] = o µ2
נתחיל: XS
X
=X
|S|=4
2 2 X X 2 2 V ar [X] = E X − E [X] = E XS − E XS =1 |S|=4
|S|=4
נשים לב ש ai aj
X
a2i + 2
X
i<j
18
=
2
ai
X
אז:
X X 2 E XS2 − (E [XS ]) + 2 = E [XS XT ] − E [XS ] E [XT ] | {z } S
) Cov(XS ,XT
= E [Xs XT ] − p12
X
+2
2
)] E [XS ] − (E [XS
|S|=4
X
S
either 1 or 0
XS isonly
|S|=4
}
{z
P ] ≤µ= |S|=4 E[XS
|
נשים לב: E [XS XT ] = Pr (S is a clique ∧ T is a clique) = p11 נשים לב ש S, Tנחתכים ,לכן סה"כ יש בהם 6קודקודים ,לכן: n 6 6 2, 2, 2 לכן: 4
= n− 3
5.3
שתי עובדות חשובות
2 · = θ n6 p11 = θ n6 − 11 3
θ n6 p11 − p12
urn models
משליכים באקראי כדורים לכדים. .1מתי לראשונה תחול התנגשות? ז"א ,מתי צפוי שיהיה כד עם יותר מכדור אחד. √ תשובה :בערך אחרי nזריקות .פרדוקס ימי ההולדת. .2אספן הקופונים ־ באיזה רגע לא יוותרו כדים ריקים? תשובה :בערך ).nln (n נבנה מרחב הסתברות :כל המילים ω = ω1 ω2 ....בא"ב .(∀i : ωi ∈ [n]) 1, .., n נגדיר ממ :X }]X (ω) = min {t| {w1 , ..., wt } = [n Xשואל מתי המילה מכילה את כל האותיות ,כלומר ־ מתי לא יוותרו כדים ריקים. משפט 5.6סטרלינג2πn :
√
n n e
≈ !n
19
=1
=
מסקנה 5.7
− 21
)≈ en (2πn
nn !n
טענה 5.8אי שוויון הממוצעים ):(AMGM a1 + ... + ak k
1
≤ (a1 · .... · ak ) k
הוכחה :נשים לב ש logxקמורה וקעורה עבור :x > 0 1 >0 x 1 00 (logx) = − 2 < 0 x 0
= )(logx
מהקעירות נובע שלכל a1 , ..., akהלוג של הממוצע ≤ הממוצע של הלוגים )הדגמה לפי ציור( .בקמירות ,אי השוויון מתהפך .נכתוב זאת: 1 a1 + ... + ak (loga1 + ... + logak ) ≤ log k k m 1 a1 + ... + ak log (a1 · ... · ak ) ≤ log k k m 1 a1 + ... + ak log (a1 · ... · ak ) k ≤ log k
הערה 5.9 n e
ˆn ln (x) dx = xlnx − x|n1 = nlnn − (n − 1) = n (lnn − lne) = nln
≈ )ln (n!) = ln1 + ln2 + ... + ln (n
מסקנה 5.10אם ,ai = iלפי סטרלינג: 1 n a1 + ... + ak n+1 ≤ ≈ (a1 · .... · ak ) k = e k 2
5.3.1
פרדוקס יום ההולדת
זורקים kכדורים ל nכדים ורוצים להבין מה ההסתברות שכל כדור נופל בכד אחר .ההסתברות היא: 1 2 k−1 1· 1− · 1− · ... · 1 − =1 n n n
20
הערה 5.11טריק שימושי: x2 + ... !2
ex = 1 + x +
בפרט ,כש| |xקטן: 2
ex = 1 + x + O x
1
= ))= e− n (1+2+...+(k−1 )k(k−1 2n
k−1 n
2
1
≈1 e0 e− n e− n ...e−
= e−
√ לכן ,אם , k 2 << nז"א ,k << √nאז ההסתברות שלא חלה התנגשות )שני כדורים באותו כד( היא ).1 − o (1 מצד שני ,אם ,k 2 >> nז"א , k >> nאז ההסתברות הנ"ל שלא חלה התנגשות היא ).o (1 5.3.2
חיתוך קבוצות מקריות
נאמר ש] A, B ⊆ [nתת קבוצות מקריות מעוצמות k, lבהתאמה .רוצים לדעת מה ההסתברות שהקבוצות זרות. n−k )(n − k) (n − k − 1) ... (n − k − l + 1 n−k n−k−l+1 l = P rA,B (A ∩ B = ∅) = n = · · .... = n (n − )1 .... (n − l + )1 n n−l+1 l k k kl k k k = 1− 1− .... 1 − ≈ e− n ...− n−l+1 ≈ e− n n n−1 n−l+1
מסקנה 5.12אם kl >> nאכב"ו A, Bתחתכנה ואם kl << nאכב"ו תהיינה זרות ואם kl ∼ nאז ההסתברות שתחתכנה חסום מ 0ומ.1 5.3.3
אספן הקופונים
מתי לא יוותר כד ריק? דרך א nכדים ,משליכים kכדורים .מהי התוחלת של מס' הכדים הריקים? אם ) E [X] → o (1אכב"ו אין כדים ריקים .אם ∞ → ] E [Xאז יש לקוות שעל ידי שיקול מומנט שני כמעט בוודאות יש כד ריק. Xמ"מ מקרי שמונה את מס' הקדים הריקים: ( 1 i is empty = )Xi (ω 0 otherwise X =X Xi k X 1 = ]E [X E [Xi ] = n Pr (the rst urn is empty) = n 1 − n
21
k
1 k n
1 k n
נרצה ≈ ne− n k .n 1 − n1 → 0הוכחנו :אם ) ,k >> nln (nאז אכב"ו אין כדים ריקים. נגדיר מ"מ Xtשסופר כמה צעדים חלפו מהרגע שבו היו t − 1כדים שמכילים כדור עד לרגע שבו יש tכדים שמכילים כדור. X =X Xi = time until there are no empty urns X = ]E [X ] E [Xi . n 1 −ואכן ,אם ) k << nln (nאז ∞ →
Xiהוא מ"מ גיאומטרי עם סיכוי הצלחה
n−i+1 n
n 1 −ואילו אם ) k >> nln (nאז
= ,pלכן התוחלת:
1 n = p n−i+1 n n X X n 1 = ]E [X =n ))= n (logn + O (1 n − i + 1 j i=1 j=1
= ] E [Xi
דרך ב סיימנו כאן.
6 6.1
תרגול 2 קירובים שימושיים
הערה 6.1בשבוע שעבר ראינו: ∀x ∈ R : 1 + x ≤ ex
למה 6.2קיים c > 0כך שלכל ]:x ∈ [−c, c
1 − x ≥ exp − x + x2
הוכחה :ניתן להוכיח עם טיילור ,לא נעשה זאת .נגדיר את פונקציית ההפרש: 2 ) f (x) = 1 − x − e−(x+x
המטרה f :אי שלילית בסביבה של אפס .מספיק להוכיח f (0) ≥ 0 :וגם fמקבלת מינימום מקומי באפס .נתחיל: f (0) = 1 − 0 − e0 = 0 ≥ 0
22
כעת נוכיח את המינימום המקומי: 2
f 0 (x) = −1 − − (1 + 2x) e−(x+x ) ⇒ f 0 (0) = −1 + e0 = 0 עכשיו ,כדי לסיים את ההוכחה שזהו מינימום מקומי ,יש להראות שהנגזרת השניה חיובית בנקודה זו: 2 2 2 ) f 00 (x) = 2e−(x+x ) − (1 + 2x) e−(x+x
f 00 (0) = 2e0 − e0 = 1 > 0 לכן ל fיש מינימום מקומי באפס ,ו) , 0 ≤ f (0כנדרש. משפט 6.3קירוב סטירלינג n n
√
n! ≈ 2πn √ ne 2πn ne lim =1 ∞→n !n הוכחנו בשיעור: ).f = o (1
n
,n! = 1 + o (1) neכלומר :אם נגדיר את f : N → Rכך ש: n
n
,n! = 1 + f (1) neאז:
1 n n n ))= (2πn) 2n · = (1 + o (1 | {z } e e
n n e
2πn
√
≈ !n
)1+o(1
6.2
הגבלות של שיטת המומנט הראשון ־ קודקודים מבודדים והתאמות מושלמות
6.2.1
תזכורת )G (n, n, p
יש שתי קבוצות של קודקודים X, Yכך ש , |X| = |Y | = nוההסתברות שיש צלע בין קודקוד מקבוצה Xלקודקוד מקבוצה Yהיא .p קודקוד מבודד הוא קודקוד עם דרגה .0 טענה 6.4יהי Iהמאורע בו יש קודקודים מבודדים .אזי: ) ,p ≥ c ln(nאז limn→∞ Pr (I) = 0 .1אם c > 1ו n ) ,p < c ln(nאז limn→∞ Pr (I) = 1 .2אם 0 ≤ c < 1ו n הוכחה :נוכיח את חלק ב' ונשתמש בשיטת המומנט השני .לכל ] i ∈ [nנגדיר את המ"מ Riבתור האינדיקטור שi ∈ X n מבודד .נשים לב) Ri ∼ Ber ((1 − p) ) :יש nאפשרויות לקודקודים מהם תצא צלע ל , iההסתברות לכך שלא תיהיה צלע היא .(1 − pנגדיר: Ri = number of solitary vertices in X
n X
=R
i=1
⇓ n
) )R ∼ Bin (n, (1 − p
23
:נסתכל על n
E [R] = n (1 − p)
וc > 1 :'במצב א : לכן,p ≥ c ln(n) n n
E [R] = n (1 − p) ≤ n · exp (−pn) ≤ n · exp (−cln (n)) = n1−c → 0 וc < 1 :'במצב ב : לכן,p ≤ c ln(n) n n for big enough n ln (n) ln (n) ln2 (n) n E [R] = n (1 − p) ≥ n · 1 − c ≥ n · exp −n c ≥ + c2 n n n2 2 ln2 (n) = n1−c (1 + o (1)) → ∞ ≥ n · exp (−cln (n)) · exp −c | {z } n | {z } =n−c
→0
|
{z
}
→1
:נסתכל על n
n
V ar [R] = n (1 − p) (1 − (1 − p) ) ≤ E [R] {z } | {z } | =E[R]
Pr (I c ) | {z }
≤1
≤ Pr (R = 0) ≤ Pr (|R − E [R] ≥ E [R]|)
chebyshev
≤
no solitary vertex
V ar [R] 2
E [R]
≤
E [R] 2
E [R]
=
1 →0 E [R]
⇓ Pr (I) → 1
2 תרגול אקסטרה
7
.לא התקיים
2 תרגיל n
8
אזB ⊆ Ω וΩ { חלוקה שלAi }i=1 אם: חוק ההסתברות השלמה8.1 טענה Pr (B) =
n X
(Pr (B|Ai ) Pr (Ai ))
i=1
24
n
טענה 8.2חוק התוחלת השלמה :אם {Ai }i=1חלוקה של Ωו X : Ω → Rאז )) (E [X|Ai ] Pr (Ai
n X
= ]E [X
i=1
טענה 8.3אינפי שימושי= eλ :
λn n=0 n
∞P
טענה 8.4אם ) X ∼ P ois (λעם λ > 0אז: n
∀λ ∈ N ∪ {0} : Pr (X = n) = e−λ λn! .1 E [X] = λ .2 V ar [X] = λ .3 .4אם ) Y ∼ P ois (λ0ו X, Yב"ת אז ) X + Y ∼ P ois (λ + λ0
טענה 8.5קושי שוורץ עבור מ"מ :אם X, Yמ"מ מוגדרים מעל אותו מרחב הסתברות אז: 2 E [XY ] ≤ E X 2 E Y 2
טענה 8.6יהי Xמ"מ אי שלילי ,אז
9 9.0.1
E[X]2 ] E[X 2
≥ )Pr (X > 0
שיעור 3 ספרים על הסתברות
1. Alon & Spencer 2. Mitzenmacher Upfal
9.1
כמה טענות
טענה ∀x : ex ≥ 1 + x 9.1 הוכחה :כיוון א :מוכיחים בעזרת ציור או לפי טור טיילור של .ex כיוון ב 1 + x + x2 ≥ ex :לכל .x < 1.9הוכחה עם וולפרם אלפא או שוב לפי טור טיילור. 9.1.1פרדוקס יום ההולדת √ לא מדויק :כאשר משליכים כדורים באקראי ל nכדים ,צפוי שההתנגשות הראשונה תחול בערך בצעד ה. n 25
אם בוחרים באקראי קבוצה מגודל aוקבוצה מגודל bמתוך עולם מגודל ,nאז ההסתברות שהן באופן קונקרטי: ab זרות היא בקירוב . e− n 9.1.2
אספן הקופונים
לא מדויק:
משליכים באקראי כדורים ל nכדים ,צפוי שבערך בצד ה) nln (nכבר בכל כד יהיה לפחות כדור אחד.
Pלא ריקים. באופן קונקרטי :הגדרנו Tiמ"מ שהוא משך הזמן בין הרגע שיש i − 1כדים לא ריקים לרגע שבו יש iכדים n n . n−i+1ולכן ,התוחלת היא: שמנו לב ש Tiהוא מ"מ גיאומטרי עם פרמטר .E [Ti ] = n−i+1ואם T = i=1 Tiאז: n Ti
n X
= T
i=1
⇓ the harmonic sum
))= n (ln (n) + γ + o (1 1 i
{|}z Hn }|{z
1 =n n−i+1
P = n i=1
n X i=1
E [Ti ] = n
n X
= ] E [T
i=1
במגוון רחב של יישומי הסתברות ל"חיים" אנחנו לא מסתפקים בידיעה מהי התוחלת µשל מ"מ מעניין .חשוב לנו לדעת דברים מעניינים ,כמו: ?< )∆ Pr (X > µ + ?< )∆ Pr (X < µ − ?< )∆ > |Pr (|X − µ
9.2
תזכורת
X ≥ 0מ"מ עם תוחלת µושונות .σ 2 9.2.1
אי שוויון מרקוב 1 c
≤ )]Pr (X ≥ cE [X
דוגמא עם אספן הקופונים: 1 10
9.2.2
< ))Pr (T > 10nln (n
אי שוויון צ'בישב 1 c2
≤ )Pr (|X − µ| ≥ cσ
26
)הזמן עד שאין כדים ריקים( באמצעות אי שוויוןT לקבל משפט ריכוז מידה על: המטרה:דוגמא עם אספן הקופונים :צ'בישב {Ti } are indenpendent ⇓ X
V ar [T ] =
V ar [T ]
.p מ"מ גיאומטרי עם פרמטרX נניח: נחשב את השונות של מ"מ גיאומטרי. הוא מ"מ גיאומטריTi אבל כל k−1
Pr (X = k) = (1 − p) p ∞ ∞ ∞ X X X k−1 k−1 E [X] = k Pr (X = k) = kp (1 − p) =p k (1 − p) = k=1 ∞ X
=p
k=1
k (1 − p)
k−1
=1 p
k=1
k=1
1 1 = p2 p
We used the following calculations in =1 ∞ X
xt =
1 1−x
txt =
1
t=0 ∞ X t=0
2
{1 − x}
:נמשיך E X2 =
X
k 2 Pr (X = k) = p
k
k−1
k 2 (1 − p)
k
⇓k =t−1 ∞ X t (t − 1) xt−2 = t=2
X
X
k 2 + k xk−1
2 3
(1 − x) X = (k + 1) kxk−1 =
2 2
(1 − x)
⇓ V ar [X] =
1−p p2
⇓ V ar [T ] =
X
V ar [Ti ] <
n X i=1
n n−i+1
⇓ π σ = √ n = o (E [T ]) 6
27
2
X 1 ≤n k2 2
P
1 k2
2
= π6
≤
n2
π2 =: σ 2 6
כשמציבים באי שוויון צ'בישב מתקבלים: 1 c2
≤
π Pr |T − nln (n)| > c √ n 6
cמעניין אם: c → ∞ .1ולכן החסם הוא ).o (1 ∞→n
.2וכן ,nln (n) >> c √π6 nלמשל )log (n
9.3
תהליכים סטוכסטיים
9.3.1
מהלכים מקריים )walks
p
= .c
(random
נסתכל על הגרף: − − − − −(−2) − (−1) − 0 − 1 − 2 − − − − − −− יש לנו מהלך מקרי שמגדיר לו מ"מ Xשהוא מקומו לאחר nצעדים )כאשר הקודקודים ממוספרים(. Xi ∼ Bernoulli 1 = )Pr (Xi = 1 ? n X =X Xi
1 √ n
i=1 n
=θ
n 2
2n
= )Pr (X = 0
n n n n + + ... + n + ... + 0 1 n 2 r √ √ n n 2πn n 2n 2πn 2n 2 n! stirling e · √= = = n = 2 n √ n 2 πn π n n 2 2 πn !2 2e = 2n
הערה 9.2נניח ש ( 0 12 = Yi 1 12 X = Y Y n = ] E [Y 2 √ ובסיכוי גבוה לא נסטה מהתוחלת יותר מאשר ).O ( n 28
?Pr (X = k) מה בדבר:נחזור למהלכים .a − (n − a) = 2a − n = k צעדים שמאלה ⇐ נקודת הסיום היאn − a צעדים ימינה ולכןa = n+k 2 נניח שהיו :לכן n n+k 2
Pr (X = k) =
2n אמרנו ש
Pr (X = 0) = θ
1 √ n
:k ≥ 0 וכשנשווה בין שכנים עבור Pr (X = k + 1) = Pr (X = k)
n
n+k 2 +1
n
n+k 2
=1−
1 Pr (X = l) = n 2
n n+l 2
=
n+k 2
2k + 2 n+k+2
+1 !
1 k
≈
n−k 2 n−k 2 −
!
!
= 1 !n!
n−k 2 n+k 2 +
1
=
n−k = n+k+2
2k
e− n
Pr (X = 2) Pr (X = 4) Pr (X = l) = Pr (X = 0) · .... = | {z } Pr (X = 0) Pr (X = 2) Pr (X = l − 2) | {z } √1 n
n+k 2
n!
1
e− n ·2
l2
2 z }| { 1 −n 2 + 4 + ... + l 1 1 − l2 2n = θ √ e =θ √ e n n
.o (1) אז זהl >>
p nln (n) בפרט אם מקדמים בינומיים
9.3.2
: אזα ∈ (0, 1) אם9.3 טענה
n αn
1 2ב
= 2n(H(α)+o(1))
ערכה, היא סימטרית סביב חצי. היא פונקציית האנטרופיהH (x) = −xlog2 x − (1 − x) log2 (1 − x)כש .1, 0 ב0 וערכה הוא,1 הוא
29
נסתכל על: X n n−j n )αj (1 − α = (α + (1 − α)) = 1 j 1 . n+1איך נמצא אותו? נשווה שני איברים עוקבים על ידי חישוב המנה ביניהם המחובר הגדול ביותר הוא בין 1ל ונמצא מתי המנה היא < :1 n−j n j )j α (1 − α ≈1 n j+1 (1 − α)n−j−1 j+1 α
כש jקטן המנה < ,1כש jגדול המנה > .1 !)1 − α (j + 1)! (n − j − 1 ?1 − α j + 1 for which j = · = 1 α !)j! (n − j α n−j
n−j
=
)αj (1 − α
n−j−1
)(1 − α
n j
αj+1
n j+1
⇓ )(1 − α) j = α (n − j ⇓ j − αj = αn − αj ⇓ j = αn
נסתכל על האיבר ה ,jשהוא האיבר הגדול ביותר: n (1−α)n )ααn (1 − α <1 αn
1 < n+1 ⇓
!n
1 1−α
)αα (1 − α
n < αn
!n
<
1 1−α
)αα (1 − α
1 n+1
נותר רק לשים לב ש: )= 2H(α
1 1−α
)(1 − α
αα
ע"י מעבר ל log2בשני האגפים: )= H (α 1 1 + log )1−α = −αlogα − (1 − α) log (1 − α αα )(1 − α
30
1 1−α
=log
)(1 − α
αα
log2
9.4
משפטים
משפט 9.4הגבול המרכזי CLT - Central Limit Theorem הגדרה 9.5יהיו X1 , X2 , ....מ"מ שווי התפלגות וב"ת )או בקיצור ־ .(iidנניח ש E [X1 ] = µ V ar [X1 ] = σ 2 n X = Y Xi i=1
Y − nµ √ σ n
=Z
2
משפט 9.6תהיה
x √1 e− 2 2π
= ) ϕ (xפונקצית הצפיפות של מ"מ ) N (0, 1וϕ (x) dx
´x ∞−
= ) Φ (xאז לכל :a ∈ R
)lim Pr (Z < a) = Φ (a
∞→n
הערה 9.7ההתפלגות של Zדומה להתפלגות הנורמלית ).N (0, 1 משפט 9.8אי שוויון צ'רנוף )(Cherno X יהיו X1 , ..., Xnמ"מ מציינים ב"תi=1 i , !µ eδ
Pn
= . Xונסמן .µ = E [X] :אזי לכל :δ > 0 ≤ )Pr (X ≥ a := (1 + δ) µ
1+δ
)(1 + δ
!µ
e−δ
≤ )Pr (X < (1 − δ) µ
1−δ
)(1 − δ
הוכחה :נוכיח רק את אי השוויון הראשון .יהי t > 0שאת ערכו נקבע בהמשך ,אז: ] markov E [etx ≤ eta
Pr (X ≥ a) = Pr etx ≥ eta
נחשוב על ] E [etxכעל פונקציה במשתנה הממשי ,tנכתוב את טור הטיילור שלו: t 2 x2 t2 E etx = E 1 + tx + + · · · = 1+t E [X] + E X2 +... := moment generating function } | {z 2 2 } | {z second moment
rst moment
31
תרגול 3
10 10.1
סכומים נבדלים\שונים
הגדרה {x1 , ..., xk } = S ⊆ [n] 10.1נקראת בעלת סכומים נבדלים )או שונים( אם כל המספרים ]xi , I ⊆ [k שונים. שאלה תשובה
i∈I
P
מה הגודל המרבי של תת קבוצה של ] [nבעלת סכומים נבדלים? נגדיר פונקציה f : N → Nכש f (n) = k s.t. there is a subset of [n] of size k, and it has dierent sums,
and there is no subset of [n] with dierent sums of size k + 1
חסם קל∀n : f (n) ≤ n : חסם תחתון
נסתכל על . Sn := 1, 2, 4, ..., 2blog2 ncתרגיל Sn :בעלת סכומים נבדלים: |Sn | = blog2 nc + 1 f (n) ≥ blog2 nc + 1
חסם עליון נניח f (n) = kונניח ] S = {x1 , ..., xk } ⊆ [nבעלת סכומים נבדלים .יש 2kסכומים שונים וכולם קטנים )ממש( מ .nkכיוון שכל הסכומים שונים וחיוביים ,קיבלנו שיש לכל היותר nkסכומים שונים .כיוון ש Sקבוצה עם סכומים נבדלים ,אפשר להפיק ממנה 2|S| = 2kסכומים ,לכן: 2f (n) = 2k ≤ nk ⇓ log )f (n) ≤ log2 n + log2 k = log2 n + log2 f (n }log2 (f (n)) ≤ log2 log2 |{z )nk ≤ log2 (2log2 (n)) = log2 log2 n + log2 = log2 log2 n + O (1 ≤n2
⇓ )f (n) ≤ log2 n + log2 log2 n + O (1
חסם עליון טוב יותר נתחיל שוב עם Sכנ"ל .נגדיר הם איברי ,Sכמו בהגדרה של Sמקודם(. x1 + ... + xk 2
i.i.d
1 2
= ] xi E [i
.1 , ..., k ∼ Berנגדיר מ"מ
k X
= ] E [i xi
i=1
√ k 1X 2 kn2 k = ] ar [i ≤ x ≤⇒σ n 4 i=1 i 4 2
32
k X
i=1 i xi
= ]µ = E [X
i=1
x2i V
k X i=1
2
Pk
= ]σ = V ar [X
= ) Xה xiים
לכל ) λ > 1המשפט נכון ל ,λ > 0אבל נרצה דווקא :(λ > 1 1 λ2
≤ )Pr (|X − µ| ≥ λσ ⇓
1 λ2
Pr (|X − µ| < λσ) ≥ 1 −
מהו הגודל של ) ?(µ − λσ, µ + λσכלומר ,כמה מספרים טבעיים נכנסים לכל היותר לקטע הזה? לכל היותר .2λσ + 1לכל ) Pr (X = m) ≤ 2−k :m ∈ Nכי אם ההסתברות היא לא ,0בגלל שזו קבוצה בעלת סכומים נבדלים יש לכל היותר קבוצה אחת בעלת הסכום הזה( ,לכן: 2λσ + 1 1 ≤ )|≤ Pr (|X − µ < λσ 2 λ 2k ⇓ 1 2λσ + 1 ≤ 1− 2 λ 2k ⇓ 1−
√
2λ 2k n + 1 2λσ + 1 ≤ =2 ≤ 1 − λ12 1 − λ12 k
√
)f (n
⇓ log2
! k 1 = n + 1 − log2 1 − 2 f (n) ≤ log2 2λ 2 λ 1 1 ≤ )= −log2 1 − 2 + log2 n + log2 k + O (1 λ 2 1 )≤ log2 n + log2 k + O (1 2 ⇓ log2 3 √ log2 f (n) ≤ log2 log2 n = )log2 n + O (1 k + O (1) ≤ log2 }|{z 2 3
≤n 2
3 )+ O (1) = log2 log2 n + O (1 2
= log2 log2 n + log2
נציב: 1 )f (n) ≤ log2 n + log2 log2 n + O (1 2
10.2
תנאי החתונה ב)G (n, n, p
הגדרה 10.2תנאי החתונה
33
2
גרף דו"צ ) G = (U, V, Eמקיים את תנאי החתונה אם לכל W ⊆ Uאז | NG (W ) ≥ |W } | {z neighbors of W
11
תרגול אקסטרה 3
11.1
ריכוז מידה
11.1.1
כמעט כל הגרפים הם כמעט רגולרים
הגדרה 11.1גרף הוא dרגולרי אם לכל קודקודיו יש דרגה .d הגדרה 11.2גרף ) G = (V, Eהוא ) (d,־כמעט־רגולרי אם ) ∀v ∈ V : d (1 − ) ≤ deg (v) ≤ d (1 +
טענה 11.3אם G ∼ G n, 21אז: n−1 ∞→n ∀ > 0 : P rG G is , -almost-regular → 1 2 ? n−1נסמן ב Xאת הדרגה של איזשהו :v ∈ V הוכחה :למה 2 Xu
X
=X
}u∈V \{v
( 1 (v, u) ∈ E = Xu 0 otherwise ⇓
1 X ∼ Bin n − 1, 2 ⇓ n−1 2
34
= ]E [X
נביט במאורע המשלים ונראה מה אנו רוצים להוכיח: n − 1 n − 1 ∞→ n > Pr ∃v ∈ V : s.t. deg (v) − → 0 2 2 | {z }
Bv
) n Pr (B1
symmetry between vertices
=
)Pr (Bv
union bound X
≤
∞→n
)0 ← Pr (∪v∈V Bv
v∈V
צ"ל ,n Pr (B1 ) → 0
או במילים אחרות 1 Pr (B1 ) = o n
ננסה את אי שוויון צ'בישב הדרגה של הקודקוד :1
1 2
X ∼ Bin n − 1,
וגם n−1 2 n−1 = ]V ar [X 4 = ]E [X
n−1 2
> |]|X − E [X
= B1
לכן: n−1 ]V ar [X 1 ∞→n 4 )= (n−1 → 0 = 2 2 )2 (n − 1 n−1 2 2 4
chebyshev
זה נחמד ,אבל לא מספיק הדוק בשביל הטענה שלנו. נשתמש באי שוויון צ'רנוף מ"מ Xהוא סכום של מ"מ מציינים ב"ת ולכן ,E [X] = µולכל : > 0 2 µ 3
Pr (|X − µ| > µ) ≤ 2e−
35
≤
) Pr (B1
נפעיל על הדרגה של קדוקוד :1 )2 (n−1 6
= 2e−
2 n−1 2 − 3
Pr (B1 ) ≤ 2e
לכן: ∞→2 (n−1) n n−1 → 0 , -almost-regular ≤ n · 2 · e− 6 2
11.2
Pr G isn't
מתי גרף מקרי מפסיק להיות "זיווג"
הגדרה " 11.4זיווג" גרף שכל קודקודיו בדרגה ≥ .1 הערה 11.5צלע כפולה בין שני קודקודים מונעת מגרף להיות זיווג. נביט בתהליך המקרי הבא: • מתחילים עם nקודקודים מבודדים • בכל צעד נבחר זוג קודקודים באקראי ובאופן אחיד ,ונחבר ביניהם. טענה 11.6נסמן ב mאת מספר הצעדים שעשינו ,אז: ( √ n→∞ 1 m << n → is a "matching" √ 0 m >> n
)G (n, m } | {z
Pr
the graph after m steps
הערה 11.7נזכר בבעיית הכדורים והסלים: יש לנו nסלים ו mכדורים ,ושמים את הכדורים באקראי בסלים .ראינו שאם n ( √ 1 m >> n → )Pr (there is no bucket with ≥2 balls √ 0 m << n √
<< mאז
נשים לב שניתן להקביל את הבעיה שלנו לבעיית הכדורים והסלים :יש לנו nקודקודים ו mצלעות ,רק שהפעם במקום שכל כדור יכנס לסל ,כל צלע "נכנסת" לשני קודקודים )שונים( .הוכחה :הוכחה לטענה: = )"Pr (not a "matching the j-th edge didn't hit m = "= Πj=1 Pr a non isolated vertex|G (n, j − 1) is a "matching
)n−2(m−1 2 n 2
36
n−4 2 n 2
· · ...
n−2 2 n 2
·=1
12
תרגיל 3
טענה 12.1אם X = # of xed points of a permutation chosen uniformly at random אז: ]E [X] = 1 = V ar [X
טענה 12.2אינפי שימושי :טור טיילור של :e ∞ X xn !n n=0
= ex
טענה 12.3תוחלת של פונקציה יוצרת מומנטים של פואסון: t E etX = eλe −λ
הגדרה 12.4זיווג מושלם גרף ) H = (U, V, Eעם | |U | = |Vמכיל זיווג מושלם אם קיים M ⊆ Eכך ש| .|M | = |U משפט 12.5החתונה של Hall Hמכיל זיווג מושלם אם"ם הוא מספק את תנאי החתונה. הגדרה 12.6פונקציית האנטרופיה )−x log2 x − (1 − x) log2 (1 − x) x ∈ (0, 1 0 x = 0, 1
טענה 12.7פונקציית האנטרופיה רציפה ב] [0, 1ומקבלת מקסימום ב . 21
13
שיעור 4
13.1
עוד הסתברות
13.1.1
אי שוויון Chernof f
טענה 13.1אי שוויון Chernof f
37
( = )f (x
: אז,δ > 0 ונבחרE [X] = µ נסמן,X = Pr (X ≥ (1 + δ) µ) ≤
Pr (X ≤ (1 − δ) µ) ≤
Pn
i=1
Xi מ"מ מציינים ב"ת ויהיהX1 , ..., Xn יהיו !µ eδ
(1 + δ)
1+δ
!µ
e−δ (1 − δ)
1−δ
: δ > 0 לכל: בדיקה מהירה13.2 הערה eδ < (1 + δ)
1+δ
m δ < (1 + δ) ln (1 + δ) (for δ = 0 both sides=0) ⇓ deriviation 1 < ln (1 + δ) + 1 ⇓ 0 < (1 + δ)
1+δ
− eδ is rising
⇓ δ>0⇒
eδ 1+δ
(1 + δ)
<1
: ז"א,X היא פונקציית יוצרת המומנטים שלetX מ"מ אזX נזכיר שאם13.3 הערה etX = 1 + tX +
t2 t3 X + X 3 + ... 2 3!
⇓ t2 E etx = 1 + tE [X] + E X 2 + ... 2 Chernof f אי שוויון:הוכחה : אז,a := (1 + δ) µ :נסמן Pr (X ≥ a) = Pr etx ≥ eta
:נגדיר c:=
eta E [etx ]
⇓ Pr etx ≥ e
ta
markov E [etx ] = Pr etx ≥ cE etx ≤ eta
38
: נסמן. שיקטין את החסם ככל האפשרt ובסוף נבחר ערך של X=
X
Xi
E [Xi ] = pi ⇔ Pr (Xi = 1) = pi ⇓ h P i X are i.i.d so etXi are i.i.d n tx E e = E et Xi = E ΠetXi i = Πi=1 E etXi :נשים לב t E etXi = pi · et + (1 − pi ) = 1 + pi et − 1 ≤ epi (e −1) | {z } | {z } Xi =1
Xi =0
⇓
t X y E etX ≤ Πepi (e −1) = exp pi e −1 | {z } =µ
⇓ Pr (X ≥ a) ≤
exp ((et − 1) µ) = exp µ eta
et − 1 − t (1 + δ)
: נגזור ונשווה לאפס. שימזער את צד ימיןt נחפש et = 1 + δ ⇓ t = ln (1 + δ) ⇓ Pr (X ≥ a) ≤ exp (µ (δ − (1 + δ) ln (1 + δ))) =
!µ
eδ (1 + δ)
1+δ
אי תלות של מ"מ
13.1.2
: מ"מ מציינים עליוX; Y , מרחב הסתברותΩ Ω=
X = 0, Y = 0 X = 0, Y = 1 X = 1, Y = 0 X = 1, Y = 1 נזכר ש X = 1 ⇔ {ω ∈ Ω|X (ω) = 1}
39
באופן כללי ,אם X, Yמ"מ על מרחב הסתברות Ωואם לכל ) Sמדידה( חלקית לטווח של Xו ) Tמדידה( חלקית לטווח של ,Yאומרים ש X, Yב"ת אם מתקיים: ) Pr ((X ∈ S) ∧ (Y ∈ T )) = Pr (X ∈ S) Pr (Y ∈ T
13.2מרטינגלים )המרטינגל של (Doob החומר הנ"ל נמצא ב Probability & Computingשל .Upfal & Mitzenmacher הגדרה 13.4עידון .Π > σנגיד ש Πמעדנת את σאם שתיהן חלוקות ולכל חלק Sב σיש מס' חלקים P1 , ..., P1בחלוקה Πכך ש .S = ∪ri=1 Pi הגדרה 13.5מרטינגל )ע"פ (Doob יהי Ωמרחב הסתברות ,יהי X : Ω → Rמ"מ ממשי .נניח שמוגדרת על Ωסדרה של חלוקות הולכות ומתעדנותΠ0 . היא החלוקה הטריוויאלית ,שמעודנת על ידי ,Π1וכו' .בזה מוגדרת סידרה של מ"מ ]X0 = E [X ] Xk = E [X|Πk כש Xkזהו מ"מ שקבוע על כל חלק בחלוקה Πkוערכו הוא התוחלת המותנית של Xבחלק הזה. הערה 13.6מביטים במהמר שמתחיל עם הון התחלתי של .X0נניח שהוא מהמר כנגד גוף הוגן ,ז"א תוחלת הרווח = .0יש לו הימור ,Z1ואחריו הונו משתנה ל .X1התהליך נמשך והוא נוקט צעד ) Zkאקראי( בזמן .jההגינות של הקזינו מתבטאת בכך ש: ∀i : E [Xi |Z1 , ..., Zi−1 ] = Xi−1
13.2.1
אי שוויון Azuma
משפט 13.7גרסה לא ברורה אם יש לנו מרטינגל X0 , X1 , ...כך שההפרשים " Xi − Xi−1קטנים" ,אז Xמקיים משפט ריכוז מידה מעריכי. משפט 13.8אי שוויון Azuma יהיה X0 , X1 , ..., Xnמרטינגל ונניח שלכל iמתקיים .ci ≥ |Xi − Xi−1 | :אז לכל :λ > 0 λ2 Pr (|Xn − X0 | ≥ λ) ≤ exp − Pn 2 i=1 ci
40
: נסמן.( ונמשיךXj − X0 בXj )נחליף כלX0 = 0 בה"כ נניח ש:הוכחה Yi = Xi − Xi−1 ⇓ ∀i : |Yi | ≤ ci ⇓ by de nition E [Yi |X0 , ..., Xi−1 ] = 0 : חשבון.E eαYi |X0 , ..., Xi−1 :נביט ב eαYi ≤
eαci + e−αci Yi αci e − e−αci + 2 2ci
: תרגיל באינפי13.9 טענה t2 et + e−t < |{z} e2 2 } | {z
∀t :
RHS
LHS
LHS =
1 2
RHS = 1 +
: נפתח את שני האגפים לטורי טיילור:הוכחה t2 t2 t3 t2 t4 t2k 1 + t + + .... + 1 − t + − + ... = 1 + + + ... + 2! 2! 3! 2! 4! (2k)!
t2 t4 t6 t2k + + + ... + 2 2! · 4 3! · 8 k! · 2k נשים לב ש 1 1 ≤ (2k)! k!2k כי 1<
(k + 1) · ... · 2k 2 · ... · 2
:בחזרה להוכחה הקודמת
Yi =
1− 2
Yi ci
· (−ci ) +
41
1+ 2
Yi ci
ci
הצגנו את Yiכצירוף קמור של −ciו .ciהפונקציה ) eαYiכפונקציה של (αהיא קמורה. · eαci
Yi ci
1+ 2
· e−αci +
Yi ci
1− 2
≤ eαYi
נחשב תוחלת מותנית על X0 , ..., Xi−1ונקבל: eαci + e−αci in exercise α2 c2i ≤ e 2 ≤ E eαYi |X0 , .., Xi−1 2 ⇓ h i αYn α(Xn −X0 ) telescopic sum αYi E e = E Πni=1 eαYi =∗ E Πn−1 E e ≤ |X0 , ..., Xn−1 i=1 e c2 j 2
α2 c2n induction α2 Pn αYi j=1 ≤ E Πn−1 e 2 ≤ e i=1 e ⇓
P 2 ) markov E eα(Xn −X0 c α2 2 j −αλ ≤ e Pr (Xn − X0 ≥ λ) = Pr eα(Xn −X0 ) ≥ eαλ ≤ αλ e
אגף ימין מתמזער כאשר
13.2.2
Pλ 2 cj
= αוזה נותן בדיוק את מה שרצינו.
בעיה עם מרטינגיילים
הגדרה 13.10מספר צביעה המס' המינימלי של צבעים כך ששני קודקודים סמוכים צבועים בצבעים שונים. מהו מס' הצביעה האופייני של גרף ב ?G n, 12 n 1 ראינו שהגודל המירבי של אנטיקליקה ב G n, 2הוא ) .(2 + o (1)) log2 (nמכאן נובע שנדרשים לפחות 2log2 n צבעים. בעזרת ,Azumaאחד B. Bollobasהראה משפט חזק יותר :שכמעט בכל גרף ב G n, 12גם בכל קבוצה של לפחות logn2 nקודקודים יש אנטיקליקה ומגודל .(2 + o (1)) log2 n
42
תרגול 4
14 14.1
חסמי צ'רנוף
משפט 14.1יהיו X1 , ..., Xnמ"מ המקבלים ערכים ב}) {0, 1אינדיקטורים( ,נניח שכולם ב"ת .אזי ,לכל ): ∈ (0, 1 Xi
n X
=X
i=1
2 ]Pr (X ≤ (1 − ) E [X]) ≤ exp − E [X 2 2 ]Pr (X ≥ (1 + ) E [X]) ≤ exp − E [X 3
⇓ 2 ∈ Pr (X ]/ (1 ± ) E [X]) ≤ 2 exp − E [X 3
14.2
תכונות אופייניות של )G (n, p
טענה 14.2יהי ) G ∼ G (n, pויהי ) e (Gמס' הצלעות ב ,Gאזי: 2 n ∈ )Pr e (G ) / (1 ± ]p ≤ 2 exp − E [X 3 2
הוכחה :אפשר לכתוב Xij ונסיים. מסקנה 14.3אם
1 n2
בוודאות( ל) G (n, pיש
1≤i<j≤n
P
= ) e (Gכאשר Xijהוא האינדיקטור של המאורע .{i, j} ∈ Eנציב בצ'רנוף,
) p = ωנזכר→ ∞ : n2 2 p
)f (n )g(n
⇔ )) (f (n) = ω (g (nאז לכל > 0אכ"ב )אסימפטוטית כמעט
) (1 ±קשתות.
הוכחה :נשים לב :עבור nמספיק גדול p
n2 p⊆ 1± 2 2
n 2
) (1 ±
לכן:
n ∈ )≤ Pr e (G / 1± ≤ p 2 2 n (n − 1) p ∞→ n → 0 2 | {z } ∞→ 1 n2
because p=ω
2 ≤ 2 exp − 3 · 4
43
n2 p 2
∈ )Pr e (G ) / (1 ±
: אזי,i את הדרגה של קודקודd (i) נסמן בi ∈ [n] ואם לכל, ∈ (0, 1) וG ∼ G (n, p) אם14.4 טענה 2 Pr (∃i ∈ [n] : d (i) ∈ / (1 ± ) (n − 1) p) ≤ 2n exp − (n − 1) p 3
נשים לב:הוכחה d (i) ∼ Bin (n − 1, p) ⇓ chernof f 2 ∀i : Pr (d (i) ∈ / (1 ± ) (n − 1) p) ≤ 2 exp − (n − 1) p 3 ⇓ union bound Pr (∃i ∈ [n] : d (i) ∈ / (1 ± ) (n − 1) p) ≤
n X
Pr (d (i) ∈ / (1 ± ) (n − 1) p) ≤
i=1
2 ≤ 2n exp − (n − 1) p 3
.(1 ± ) np יש דרגהG (n, p) > אכ"ב לכל הקודקודים ב0 אז לכלp = ω
log(n) n
אם14.5 מסקנה : נשים לב:הוכחה
Pr (∃i : d (i) ∈ / (1 ± ) np)
≤
for large enough n
Pr ∃i : d (i) ∈ / 1±
(n − 1) p ≤
2 2 2 ≤ 2n exp − (n − 1) p = 2 exp − (n − 1) p + log (n) = 12 12
2 n log n log n = = 2 exp −O (1) p log n − − | {z } log n n} pn {z | {z } | {z } →∞ | →0 →∞ log n =log n pn | {z } →0 np = 2 exp −O (1) (log n (1 − o (1)) − o (1)) → 0 log n
44
תרגול אקסטרה 4
15 15.1
א"ש אזומה ושימושיו
הערה 15.1תזכורת לc־ליפשיציות אם fהיא c־ליפשיצית אז: ∀x1 , .., xn , xˆi 6= xi : |f (x1 , .., xn ) − f (x1 , ..., xˆi , .., xn )| ≤ c
משפט 15.2גרסה ידידותית של אזומה אם ) X = (X1 , .., Xmהם מ"מ ב"ת ,ו fהיא פונקציה c־ליפשיצית ו t > 0אז: 2t2
Pr (f (x) ≥ E [f (x)] + t) ≤ e− mc2
Pפרטי טענה 15.3מקרה m אם ,f = i=1 Xiאזי fהיא 1־ליפשיצית ומקבלים את חסם צ'רנוף עבור משתנה בינומי. 15.1.1
משולשים ב G n, 21 1
נסמן ב Tאת מס' המשולשים ב .G ∼ G n, 2נזכור: 1 i, j, k form a triangle⇔ {i, j} ,{i, k} ,{j, k} ∈E 0 otherwise X = T Ti,j,k (
= Ti,j,k
i,j,k
נשים לב ש Ti,j,kאינם ב"ת )למשל נסתכל על 4קודקודים ,בהינתן שיודעים ש 3חולקים משולש ההסתברות שקיים משולש נוסף גבוהה יותר( ולכן לא ניתן להשתמש בצ'רנוף .נרצה: ?≤ )] Pr (T ≥ (1 + ) E [T היום נראה שבמקרים מסויימים ,ניתן להציג סכום של מ"מ שאינם ב"ת כפונקציה ליפשיצית של מ"מ מקריים אחרים ב"ת. נבחר: X = (Xij )1≤i<j≤n כאשר Xijמ"מ מציין האם .{i, j} ∈ E
n 2
= .mנגדיר:
f (x) = T = number of triangles in the graph 45
בצורה מפורשת: Xij Xik Xjk
X
= )f (x
i,j,k
טענה f 15.4היא )(n − 2־ליפשיצית. הוכחה :כל צלע משתתפת בלכל היותר n − 2משולשים פוטנציאליים. נפעיל את אזומה: 2
n ) ( −22 3 n 2 1 n 64( )(n−2)2 2 ≤e ) = e−θ(n ) Pr (T ≥ (1 + ) E [T ]) = Pr T ≥ (1 + 8 3
נפתח את המעריך ונתעלם מקבועים: 2 6 −22 n3 n = −θ n2 2 = −θ 4 n n )64 2 (n − 2
טענה 15.5המעריך הדוק: 2 ) Pr (T ≥ (1 + ) E [T ]) ≥ e−θ(n
הוכחה :נשים לב G :גרף שלם ⇐
n 3
= ,Tלכן:
) (n2 2 1 ) = e−θ(n = )Pr (T ≥ (1 + ) E [T ]) ≥ Pr (G is the complete graph 2
46
15.1.2
תבניות במחרוזות מקריות k
נתון אלפבית Σבגודל sומילה y ∈ Σבאורך קבוע .kכמה עותקים )=תת מילה רציפה( של yנמצא במחרוזת מקרית Xבאורך ?nנסמן ב Mאת מס' העותקים של .yנציג את Mכסכום של מ"מ מציינים: ( 1 (xi , ..., xi+k−1 ) = y = Mi 0 otherwise Mi
n−k+1 X
=M
i=1
⇓ k 1 = ) Pr (Mi ] = E [Mi s ⇓ k 1 s
)E [M ] = (n − k + 1
נרצה לחשב: ?≤ )] Pr (M ≥ (1 + ) E [M נשים לב {Mi }i :אינם ב"ת! נגדיר: f (X) = # of copies of y in X נשים לב: ) X = (X1 , ..., Xn Xi = i-th letter in X
טענה f 15.6היא k־ליפשיצית. נפעיל את א"ש אזומה: )= e−θ(n
16
22 n2 nk2
−θ
Pr (M ≥ (1 + ) E [M ]) ≤ e
תרגיל 4 Pn
טענה 16.1יהיו X1 , ..., Xnמ"מ i.i.dהמקבלים מס' סופי של ערכים ,יהי Xi ב nכך שלכל ): ∈ (0, 1 1 ∈ Pr (X / (1 ± ) E [X]) ≤ C exp − 2 n C
i=1
47
= .Xקיים C > 0שלא תלוי
16.1
מרטינגיילים
הגדרה 16.2מרטינגיילים סדרה סופית או ספירה X1 , X2 , ....מוגדרת על אותו מרחב הסתברות נקראת מרטינגייל אם לכל :n E [Xn+1 |X1 , X2 , ..., Xn ] = Xn
משפט 16.3אי שוויון Azuma-Hoeding אם X1 , X2 , ...הוא מרטינגייל וקיימים קבועים חיוביים c1 ..., cn−1כך שלכל :k |Xk+1 − Xk | ≤ ck אז אי שוויון Azuma − Hoef f dingאומר לנו שלכל λ > 0ולכל :n ! λ2 Pr (|Xn − X1 | ≥ λ) ≤ 2 exp − Pn−1 2 2 k=1 ck
17
בוחן 1
טענה 17.1עבור Xמ"מ המקבל ערכים מבין } {0, 1, 2....ו∞ < ] E [Xמתקיים: ]Pr (X > 0) ≤ E [X
48
חלק
II
אלגברה לינארית שיעור 5
18 18.1
הגדרות בסיס
הגדרה 18.1מרחב וקטורי Vמרחב וקטורי מעל שדה .Fאיברי Vנקראים וקטורים ואיברי Fנקראים סקלרים. יש איבר 0 ∈ Vכך ש ∀v ∈ V : v + 0 = vתחת פעולת החיבור שבקרוב נגדיר. Vהוא מבנה אלגברי עם הפעולות הבאות: + .1הוא חיבור וקטורי .קומוטטיבי ,אסוציאטיבי. .2ויש פעולה של כפל וקטור בסקלרv ∈ V, α ∈ F : αv : הגדרה T : VF → WF 18.2נקראת העתקה לינארית אם: T (u +V v) = T u +W T v T (αv) = αT v
הגדרה 18.3תלות לינארית שהוקטורים v1 , .., vn ∈ Vתלויים לינארית אם יש סקלארים ) α1 , .., αn ∈ Fלא כולם אפס( כך אומרים Pn שi=1 αi vi = 0 הגדרה 18.4המימד של Vזהו ה nהגדול ביותר כך שיש v1 , ..., vn ∈ Vשהם בת"ל ,ומסמנים .dim V = nאם אין nכזה ,אומרים ש Vהוא אינסוף מימדי.dim V = ∞ : הגדרה 18.5אם dim V = nאז קבוצה של nוקטורים בת"ל נקראת בסיס. משפט 18.6לבסיס v1 , ..., vnשל מרחב וקטורי Vיש התכונה שלכל וקטור u ∈ Vיש ייצוג אחד ויחיד מהצורה .u = β1 v1 + ... + βn vn הערה 18.7יוצא שאם Fשדה כלשהו אז יש מרחב וקטורי nמימדי קנוני מעל Fשנסמן ב:V = Fn : }V = {(γ1 , ..., γn ) |∀i : γi ∈ F
Operations: ) (γ1 , ..., γn ) + (γ10 , ..., γn0 ) = (γ1 + γ10 , ..., γn + γn0 ) α (γ1 , ..., γn ) = (αγ1 , ..., αγn
49
הערה 18.8כאשר עובדים עם מרחבים וקטורים המוגדרים כך יש גם תיאור קונקרטי של העתקות לינאריות V → W באמצעות מטריצות: dim V = n, dim W = m (aij ∈ F)m×n ... a1n y1 x1 ... = ... ... ... amn yn xn } | {z } | {z ∈W
aij xj
a11 am1
∈V
n X
= yi
j=1
18.2
חבורות
הגדרה 18.9חבורה סופית זו קבוצה Gעם פעולה · .יש ב Gאיבר מיוחד שנקרא איבר היחידה ונסמנו ב id = idGעם התכונה: ∀g ∈ G : id · g = g ∀g ∈ G : g · id = g הכפל הוא אסוציאטיבי ולכל איבר g ∈ Gיש הופכי g −1המקיים: g · g −1 = id
אומרים שהחבורה Gקומוטטיבית )"אבלית"( אם: ∀g, h ∈ G : g · h = h · g
הערה 18.10דוגמה לחבורה קומוטטיבית :חיבור מודולו .n דוגמה לחבורה לא קומוטטיבית" ,Sn :החבורה הסימטרית" .זו החבורה של כל התמורות )פרמוטציות(π : [n] → : ] [nעם פעולת ההרכבה. הגדרה 18.11תת חבורה H ≤ Gהיא חבורה בפני עצמה עם אותה הפעולה: h ∈ H ⇒ h−1 ∈ H h1 , h2 ∈ H ⇒ h1 · h2 ∈ H idG = idH
50
הגדרה 18.12חבורות נורמליות יש תת חבורות H ≤ Gשמקיימות תנאי נוסף שנקרא נורמליות H" :היא תת חבורה נורמלית של ."Gכשזה המצב אפשר לראות את Gכמכפלה של Hבחבורת המנה.G/H : הגדרה 18.13חבורה פשוטה אם ל Gאין תת חבורות נורמליות ,אומרים ש Gחבורה פשוטה .יש משפט )"משפט המיון של חבורות פשוטות סופיות"( המתאר באופן מלא מיהן כל החבורות הפשוטות הסופיות.
18.3חזרה ללינארית משפט 18.14משפט הSVD "כל העתקה לינארית היא הרכבה של מתיחות לאורך צירים ושל סיבובים". הגדרה 18.15דרגת שורות של מטריצה נניח Aהיא מטריצה ,אז דרגת השורות של Aהיא הגודל המירבי של קבוצת שורות שהיא בת"ל. הגדרה 18.16דרגת עמודות של מטריצה נניח Aהיא מטריצה ,אז דרגת העמודות של Aהיא הגודל המירבי של קבוצת עמודות שהיא בת"ל. משפט 18.17דרגה של מטריצה דרגת השורות שווה לדרגת העמודות. הגדרה 18.18נאמר שמטריצה Am×nהיא מדרגה 1אם יש שני וקטורים um , vnכך ש A=u⊗v aij = ui vi
הערה 18.19קל לראות שכל מטריצה אפשר להציג כסכום של מטריצות מדרגה .1 הגדרה 18.20דרגה של מטריצה מגדירים דרגה של מטריצה Aכמספר המזערי של מטריצות מדרגה 1שסכומן הוא .A משפט 18.21הדרגה של מטריצה = מס' המירבי של שורות\עמודות במטריצה שהן בת"ל. הגדרה 18.22מתיחה אם x ∈ Vו T : V → Vטרנספורמציה לינארית ,נאמר ש Tמותחת פי λבכיוון xאם .T x = λx הערה 18.23בטרמינולוגיה המקובלת x :הוא וקטור עצמי ) (eigenvectorשל Tעם ערך עצמי ).λ (eigenvalue הערה 18.24נביט במשוואה :T x = λx aij xj
X
= (Ax)i } | {z
X
= (yA)j } | {z
j
yi aij
i
vector
vector
51
הגדרה 18.25גרעין אם Tm×n : Vn → Wmהגרעין )הימני( של Tהוא: } rker (T ) = {x ∈ V | T x = 0W אם Aמטריצה ,אז בדומה: }lker (A) = {z ∈ V | zA = 0
הערה 18.26נשים לב ש .(λI − T ) x = 0 ⇔ T x = λx " Tמותחת פי λבכיוון "xשקול ל) .x ∈ rker (λI − T הערה 18.27אם Aמטריצה אז r ker Aהוא מרחב לינארי ) r ker Aהוא תת מרחב של (Aוגם l ker Aהוא מרחב לינארי. הערה 18.28אם Aמטריצה ריבועית ,לשניהם יש אותו המימד: )dim (l ker A) = dim (r ker A) = dim (ker A) = n − rank (A
טענה 18.29 det (A) = 0 ⇔ rank (A) < n
טענה 18.30 det (λI − T ) = 0 ⇔ λ is an eigenvalue of T
הגדרה 18.31פולינום אופייני אם Tnmאז הפולינום האופייני שלה הוא פולינום −t12 ... −t1n ... ... ... ... ... λ − tnm
ממעלה nבמשתנה λשמוגדר כך: λ − t11 det (λI − T ) = det ... −tn1
הערה T 18.32מותחת בכיוון xפי λאם"ם xהוא ו"ע של Tעם ע"ע λאם"ם det (λI − T ) = 0ו.(λI − T ) x = 0 הגדרה 18.33סיבוב העתקה לינארית שמשמרת אורכים ,זוויות ⇔ מכפלות פנימיות. 52
הגדרה 18.34מכפלה פנימית xi yi
X
=x, y ∈ Fn : hx, yi :
xi yi
X
=x, y ∈ Cn : hx, yi :
hx, yi = kxk · kyk cos θ
כש θהיא הזוויות שבין הוקטור xלוקטור .y 2
הערה 18.35כיוון ש kxk2 = hx, xiאז שמירה על מכפלה פנימית מבטיחה שמירה על אורכי הוקטורים .מההגדרה עם הזווית של מכפלה פנימית יוצא ששמירה על מכפלות פנימיות גורר שמירה גם על הזויות. מסקנה 18.36סיבוב זו טרנספורמציה לינארית ששומרת על המכפלות הפנימיות .כלומר: ∀x, y ∈ V : hAx, Ayi = hx, yi yAT Ax = hx, yi m ∀y ∈ V : yAT A = y m AT A = I
הערה 18.37מה שנאמר עכשיו תקף גם למטריצות מלבניות :אם Am×nאז AATm×mזו מטריצה שהאיבר ה i, jשלה הוא המכפלה הפנימית של השורה ה iב Aעם השורה ה jב.A AT An×nזו מטריצה שהאיבר ה i, jשלה הוא המכפלה הפנימית של העמודה ה iב Aעם העמודה ה jב.A לכן AT A = I ,פירושו שכל עמודה ב Aהיא וקטור יחידה )כשמסתכלים על האלכסון ,(AT Aוכל שתי עמודות ניצבות זו לזו. מסקנה A 18.38היא מטריצה אורתוגונלית. הגדרה 18.39מטריצה אורתוגונלית ) A ∈ M (Rתקרא אורתוגונלית אם"ם כל שורה ב Aהיא וקטור מאורך יחידה וכל שתי שורות ניצבות זו לזו )⇔ .(AAT = I הגדרה 18.40מטריצה אוניטרית ) A ∈ M (Cתקרא אוניטרית אם"ם = I
∗A }|{z
transpose+adjunct
53
.A
וקטורים עצמיים
18.3.1
נתונה העתקה לינארית .T : V → Vהיינו רוצים לבחור בסיס ל Vשכל איבריו הם וקטורים עצמיים כך ש: αi vi
n X
!∃ }|{z
= α1 , ..., αn : y
n {(vi , λi )}i=1
∀y ∈ V
exists and unique
i=1
ולכן: αi λi vi
צרות
X
= αi T vi
X
= αi vi
X
Ty = T
לא לכל העתקה לינארית יש בסיס של ו"ע.
הצלה )חלקית( "כמעט כל ההעתקות הלינאריות הן טובות" ־ אם תוסיפו למטריצה רעש מקרי קטן ככל שתוסיפו ,אז בהסתברות גבוהה מקבלים מטריצה שיש לה בסיס של וקטורים עצמיים. m
m
טענה 18.41תהיה Aמטריצה ממשית ,ויהיו {ui }i=1ו"ע של Aעם ע"ע שונים זה מזה .אז {ui }i=1בת"ל. m
הוכחה :נסמן ב λiאת הע"ע המתאים ל .uiנניח ש kהוא האורך של התלות הלינארית הקצרה ביותר בין ה .{ui }i=1 Pk בה"כ ∗ = i=1 αi ui = 0אבל אין תלות קצרה יותר )ז"א תלות לינארית שמעורבים בה ≥ k − 1מה .(uiנשים לב: αi ui = A0 = 0
k X
A
i=1
⇓ αi λi ui = 0
k X
∗∗= αi Aui
k X
i=1
= αi ui
i=1
k X
A
i=1
אבל אם נכפיל את ∗ ב λkונחסיר מ∗∗ נקבל ת"ל על≥ k − 1מה :ui αi (λi − λk ) ui = 0
k−1 X
= α i ui
i=1
k X
αi λi ui − λk
i=1
k X
=0−0
i=1
משפט 18.42המשפט הספקטרלי למטריצות ממשיות סימטריות )ללא הוכחה( לכל מטריצה ממשית סימטרית Aיש מטריצה אורתוגונלית Uומטריצה אלכסונית Λכך ש: A = U ΛU T
איברי ) Λשבאלכסון( הם הע"ע של .Aבפרט למטריצה ממשית סימטרי כל הע"ע הם ממשיים.
54
מסקנה 18.43השורות של Uהן הו"ע של .A הוכחה :תהי ϕהעמודה ה jשב .Uאז: Aϕ = U ΛU T ϕ = U Λej = U λj = λj ϕ }|{z }|{z scalar
vector
הערה 18.44נשים לב: ∀x : Ax = U ΛU T x כש U Tמבצע סיבוב Λ ,מבצע מתיחה אחת לאורך כל ציר ,ו Uמבצע סיבוב בחזרה.
19
תרגול 5
19.1
תזכורת
הגדרה 19.1ע"ע ו־ו"ע אם Vמ"ו מעל T : V → V ,Cה"ל אז λ ∈ Cנקרא ערך עצמי של Tאם קיים 0 6= v ∈ Vכך ש.T v = λv במקרה זה vנקרא וקטור עצמי של .λ הגדרה 19.2פולינום אופייני אם Vסוף מימדי ו Aמטריצה שמייצגת את Tלפי בסיס קבוע ,אז הגדרנו )pA (x) = det (xI − A זהו הפולינום האופייני של .T הערה 19.3אם λע"ע של .pA (λ) = 0 ⇔ T הערה pA (x) 19.4לא תלוי בבחירת הבסיס ,ולכן ניתן לדבר על הפולינום האופייני של .T = det xI − SAS −1 = det S (xIS − A) S −1 = det (S) det (xIS − A) det S −1 )= det (S) det S −1 det (xIS − A) = det (xIS − A {z } | =1
55
19.2
נוסחאות נסיגה
הגדרה αi an+i 19.5
Pk
i=0
= an+k+1עבור .α0 , ..., αk ∈ C ∞
הגדרה 19.6פתרון למשוואת הרקורסיה הנ"ל היא סדרה {an }n=0 ⊆ Cכך שכל an+k+1 , an+k , ..., an מקיים את המשוואה. הערה 19.7דוגמא :פיבונאצ'יan+2 = an+1 + an : הפתרון עבור פיבונאצ'י: a0 = 0, a1 = 1, a2 = 1, a3 = 2, ....
∞
טענה 19.8לכל a0 , ..., ak ∈ Cקיימת ויחידה השלמה לסדרה {an }n=0שהיא פתרון. הוכחה :לבנות בצורה אינדוקטיבית איבר־איבר ,ומראים את היחידות באינדוקציה על ידי שתי סדרות שמתחילות בצורה זהה ומקיימות את התנאי ולהראות שההפרש ביניהן הוא .0 טענה 19.9נסמן את אוסף הפתרונות ב ,Vאזי Vהוא תת מרחב של הסדרות המרוכבות ממימד .k + 1כלומר :נסמן ∞ } W = {{cn }n=0 ⊆ Cאזי Wהוא מ"ו עם הפעולות: ∞
∞
∞
{cn }n=0 + {dn }n=0 = {cn + dn }n=0 ∞
= {αcn }n=0
∞ C,α {cn }n=0
∈α
הוכחה 0 ∈ V :כי הסדרה הקבועה 0היא תמיד פתרון. ∞ ∞ סגירות לחיבור :אם {an }n=0 , {bn }n=0 ∈ Vאזי: ) αi (an+i + bn+i
k X
= αi bn+i
i=0
k X
αi an+i +
i=0
k X
= ∀n, an+k+1 + bn+k+1
i=0
⇓ ∈V
∞ {bn }n=0
סגירות לכפל :יהי ,β ∈ C, {an } ∈ Vאזי לכל :n βan+i αi
k X
= αi an+i
i=0
k X
βan+k+1 = β
i=0
⇓ β {an } ∈ V קיבלנו ש Vת"מ )תת מרחב( של .W
56
+
∞ {an }n=0
הגדרה 19.10איזומורפיזם העתקה לינארית חח"ע ועל. הגדרה 19.11נגדיר T : Ck+1 → V :כך ש Tאיזומורפיזם .נגדיר:
a0 T ... = the only series that completes a0 , .., ak and is a solution ak Tמוגדר היטב לפי הטענה. להסתכלעל נוסחת הנסיגה ולוודא. הוכחה T :ה"ל :צריך a0 Tחח"ע :אם T ... = 0אז בפרט ) .a0 = ... = ak = 0נזכיר ש Tחח"ע ⇔ הגרעין של Tהוא .(0 ak a0 Tעל :אם {an } ∈ Vאז } .T ... = {an ak מסקנה dimV = k + 1 19.12 נשים לב שאם ,{an } ∈ Vאז לכל :n
α0 an+k 0 an+k−1 ... an 0 }
... ... 0 ... 1 0 ... ... 0 {z A
57
αk 1 0 0
an+k+1 an+k = ... an+1 |
vk ... : ו"ע מתאיםv = ... אז נניח,A ע"ע שלλ נשים לב שאם v0
vk ... = λ A ... v0
vk ∼ vk ... = ... ... v0 v1
⇓ v1 = λv0 ... vk = λ k v0 ⇓
k
k
λ ... ... is an eigenvector 1 ⇓ k+1 λ λ ... ... A ... = ... 1 λ
⇓ λk+1 =
k X
αi λi
i=0
אזי,an = λn אם נגדיר סדרה an+k+1 = λn+k+1 = λn λk+1 = λn
k X i=0
αi λi =
k X i=0
n+i αi λ | {z } an+i
5 תרגול אקסטרה
20
ע"ע ו־ו"ע
20.1
הגדרות
20.1.1
.(AT = A) סימטרית,R מעלm × m מטריצהA .Av = λv: כך שv 6= 0 אם קיים וקטורA הוא ע"ע שלλ ∈ R 20.1 הגדרה
58
הגדרה 20.2המרחב העצמי של :λ }Vλ = {v ∈ Rm |Av = λv
הגדרה 20.3הריבוי של :λ r (λ) = dim Vλ
משפט A ∈ Mm (R) 20.4סימטרית ,ו λ1 , ..., λkהם ע"ע של ,Aאז: r (λ1 ) + ... + r (λk ) = m
20.1.2
דוגמאות
A = Im .1מטריצת היחידה .נשים לב ש λ = 1ע"ע וגםVλ = Rm , r (1) = m : 1 ... 1 ,A = J = ... ... ... .2אם : v ∈ Rm 1 ... 1 Pm m 1 X i=1 vi = Jv = P ... vi ... m i=1 1 i=1 vi } | {z scalar
)א( אם vi = 0
Pm
i=1
אז ,Jv = 0משמע λ = 0הוא ע"ע של Jו: ( ) m X m | U = V0 = v ∈ R vi = 0 i=1 1
r (0) = m − 1 הוכחה :כאשר את =1ניתן להוכיח בכמה אופנים: .iנמצא m − 1וקטורים ב ,V0שהם בת"ל ,ופורשים כל וקטור ב :V0 1 ← i-th coordinate ui = −1 ← m-th coordinate
59
אם α1 , ..., αm−1 ∈ Rנדרוש:
α1 X m−1 ... = αi ui = 0 ⇒ ∀i : αi = 0 αm−1 i=1 −α1 − .... − αm−1 v ∈ V0 .iiמחפשים α1 , ..., αm−1 ∈ Rכך שαi ui = v vi
m−1 X
P
.נבחר αi = viואז צ"ל
v∈V0
αi = vm = −
i=1
m−1 X
−
i=1
1 )ב( נשאר עוד ע"ע אחד λבריבוי λ = m :r (λ) = 1עם הו"ע :v = ... 1 Jv = mv b b b a b b .3 b ... b b b a
a b .0 < b < a ∈ R ,A = נשתמש בעובדה הבאה: b b
טענה 20.5אם v ∈ Rmהוא ו"ע של A1עם ע"ע ,λ1וגם ו"ע של A2עם ע"ע .λ2אז לכל α, β ∈ Rנקבל: αA1 + βA2 v = (αλ1 + βλ2 ) v | {z } A
משמע v ,הוא ו"ע של Aעם ע"ע .αλ1 + βλ2 נשים לב ש: A = bJ + (a − b) I 1 לכן ,כל וקטור ב ) Uשהגדרנו קודם( הוא ו"ע של Aעם ע"ע ,b · m + (a − b) 1והוקטור v = ...הוא ו"ע של 1 Aעם ע"ע ,b · 0 + (a − b) · 1וסה"כ ) λ1 = a + b (m − 1עם ריבוי של m − 1ו λ2 = a − bבריבוי של .1 מסקנה rank (A) = m 20.6אם rank (A) < mאז dim ker (A) > 0ואז λ = 0הוא ע"ע של ,Aוזה לא נכון .מכיוון שסכום הריבויים של λ1 , λ2הוא ,mאין ל Aעוד ערכים עצמיים. טענה 20.7הדטרמיננטה של Aהיא מכפלת הע"ע שלה עם ריבוי. מהטענה נקבל:
m−1
))det (A) = (a − b) (a + b (m − 1 60
נשתמש באלגברה כדי להבין קומבינטוריקה
20.2
א"ש פישר20.8 משפט : כך שS1 , ..., Sm ⊆ {1, ..., n} אם ∀i : |Si | = a .1 ∀i 6= j : |Si ∩ Sj | = b .2 m ≤ n : אזa > bו :B ∈ Mn×m (R) נגדיר מטריצה:הוכחה Bk,i
( 1 k ∈ Si = 0 k∈ / Si .A = B T B נסתכל על Ai,j = |Si ∩ Sj | :i, j לכל20.9 טענה
Ai,j
n matrx multiplication X
=
k=1
T Bi,k Bkj =
n X
: נשים לב:הוכחה ( a i=j = |Si ∩ Sj | = b otherwise
Bk,i Bkj | {z }
k=1 1
k ∈ Si ∩ Sj otherwise
0
20.10 טענה ∀C, D : rank (CD) ≤ rank (D)
:משתי הטענות נקבל a A = b b
b b ... b b a
m = rank (A) ≤ rank (B)
61
≤
B has only n rows
n
21
תרגיל 5
טענה αi xi 21.1
Pk
i=0
p (x) = xk+1 −הוא הפולינום האופייני של αk αk−1 ... α0 1 0 A= ... 0 1 0
משפט 21.2יהיו α0 , ..., αk ∈ Cכש ,α0 6= 0ונסמן ב k X
= an+k+1
i=0
נוסחאת נסיגה .אז לפי המשפט היסודי של האלגברה קיימים λ1 , ..., λl ∈ Cו p1 , .., pl ∈ Nכך ש pi
) p (x) = Πli=1 (x − λi pi = k + 1
l X i=1
במקרה זה ,לכל 0 ≤ j < piנקבל ש an = nj λniהוא גם פתרון. מסקנה 21.3כל פתרון ניתן לכתיבה באופן ייחודי כ: + Al,1 + Al,2 n + ... + Al,pl npl −1 λnl
λn1
p1 −1
an = A1,1 + A1,2 n + ... + A1,p1 n
טענה 21.4אם T : V → Wה"ל חח"ע ועל ו} {viבסיס ב ,Vאז } {T viבסיס ב .W טענה 21.5חישוב דטרמיננטה לפי מינורים: )Ai,j det (matrix A without row i and column j
i+j
)(−1
n X i=1
טענה 21.6אם Aמטריצה משולשית ,אז . det (A) = Πi Ai,i טענה 21.7דטרמיננטה של מטריצת בלוקים אם ,An×n , Bn×m , Cm×n , Dm×mאז: 0 A B = det (A) det (D) = det D 0 D טענה det (A) 6= 0 ⇔ A is invertible 21.8 טענה 21.9סכום סדרה גיאומטרית ,אם :r 6= 1 rn − 1 =a r−1
a + ar + · · · + arn−1
62
A C
det
= )det (A
22
שיעור 6
22.1
תזכורות
הגדרה 22.1העתקה T : V → W עבור V, Wמרחבים לינאריים מעל אותו השדה T , Fנקרעת העתקה לינארית אם: ∀x, y ∈ V : T (x + y) = T x +W T y )∀x ∈ V, α ∈ F : T (αx) = αT (x נקרא גם טרנספורמציה לינארית )ט"ל(. משפט 22.2כל העתקה לינארית היא הרכבה של סיבובים ומתיחות בכיוון הצירים. הגדרה 22.3טרנספורמציה לינארית T : V → Vנקראת סיבוב אם היא שומרת על אורכים ועל זוויות. T
הערה 22.4ראינו שמעל Rסיבוב מתואר על ידי מטריצה אורתוגונלית Aכך ש ,AAT = Iומעל BB ∗ = BB = :C ) Iהעתקה אוניטרית(. הערה 22.5תת מרחב לינארי עובר דרך הראשית ,תת מרחב אפיני הוא הזזה של תת מרחב לינארי. הערה 22.6כאשר L ⊆ Vתת מרחב חד מימדי ורוצים להבין באילו תנאים =L
AL }|{z
}={Ax | x∈L
במקרה הזה Aמכפילה כל וקטור שב Lבקבוע ,λואז אומרים ש Lהוא מרחב עצמי חד מימדי עם ע"ע .λכלומר, לכל x ∈ Lמתקיים . Ax = λx הערה 22.7השורשים של |λI − A| = 0הם הע"ע העצמיים. הערה 22.8מקרה פשוט במיוחד של מתיחה הוא זה שבו הוקטורים העצמיים הם וקטורי היחידה הסטנדרטיים: ) Ax = (λ1 x1 , ..., λn xn λ1 0 ... A= 0 λn
משפט 22.9המשפט הספקטרלי למטריצות ממשיות סימטריות כל מטריצה ממשית סימטרית Aניתן להציג בצורה A = U ΛU Tכש Uמטריצה אורתוגונלית ו Λאלכסונית, כשאיברי האלכסון שלה הם הע"ע של Aוהשורות של Uהן הו"ע המתאימים )השורה ה iהיא הו"ע של הע"ע ה.(i
63
22.2
איך מייחסים אורך\גודל לוקטור?
22.2.1
הגדרות
הגדרה 22.10אורך של וקטור האורך של וקטור = מרחקו מהראשית. במימד אחד ,על הישר :המרחק בין x, y ∈ Rמוגדר כ|.|x − y הגדרה 22.11מרחב מטרי מרחב מטרי ) (X, dבנוי מקבוצה Xומפונקציה d : X × X → Rהמקיימת את התכונות הבאות: ∀x, y ∈ X : d (x, y) ≥ 0 d (x, y) = 0 ⇔ x = y )∀x, y ∈ X : d (x, y) = d (y, x )∀x, y, z ∈ X : d (x, y) + d (y, z) ≥ d (x, z) (triange inequality
22.2.2
מטריקות k
k
רוצים מטריקה "טובה" על R .Rהוא כמובן גם מרחב לינארי. הגדרה 22.12נורמה " ↔ kxkהאורך של "x זו העתקה Rk → R≥0עם התכונות הבאות: ∀x ∈ Rk : 0 ≤ kxk 0 = kxk ⇔ x = 0 ∀λ ∈ R, x ∈ Rk : kλxk = |λ| kxk )∀x, y ∈ Rk : kx + yk ≤ kxk + kyk (triange inequality כל מה שנאמר כאן עובר ללא שינוי אם מחליפים את Rkבמרחב לינארי ) VRאו .(VC 22.2.3
דוגמה חשובה P
אם Vמצוייד במכפלה פנימית) x, y → hx, yi :מעל xj yj :R נורמת :l2 , L2 p kxk2 = hx, xi
64
,מעל xj yj :C
P
( מקבלים את הנורמה הקרויה
הערה 22.13אי שוויון המשולש הוא בדיוק קושי שוורץ p p ? p hx + y, x + yi ≤ hx, xi + hy, yi m p = hx, xi hy, yi
p
?
hx + y, x + yi ≤ hx, xi + hy, yi + 2
= hx, xi + hy, yi + 2 kxk2 kyk2 m hx, yi ≤ kxk2 kyk2
דוגמה נביט במרחב הפונקציות הרציפות :f : [0, 1] → R v uˆ1 u u 2 kf k2 := t (f (x)) dx 0
אפשר לחשוב על וקטור ב Rnבתור פונקציה :{1, ..., n} → R x1 , ..., xn ↑
↑
n
1
כשרוצים לדעת עד כמה שתי פונקציות רציפות f, g : [0, 1] → Rשונות זו מזו )"מה מרחקן"( .דרך סבירה לעשות זאת היא להביט ב: s ˆ 1 2 = kf − gk2 (f (x) − g (x)) dx 0
הערה 22.14כותבים l2כשמתכוונים לנורמה על וקטורים ו L2כשמתכוונים לנורמה על פונקציות רציפות. 22.2.4
משפחה חשובה של נורמות :נורמות ) lpובצידן (Lp
נגדיר: x = [x1 , ..., xn ] ∈ Rn X 1 p p =kxkp : | |xi זו נורמה לכל ∞ ≤ 1 ≤ pכשהחשובות ביותר מתקבלות עבור ∞ . p = 1, 2,
65
נורמת : l1
נקראת גם נורמת מנהטן: | |xi
שימוש חשוב:
X
= l1 : kx1 k
נניח שנתונות לנו שתי התפלגויות .π, σדרך חשובה למדוד את המרחק ביניהן: 1 kπ − σk1 2
= dT otal−V ariation = dT V
למשל ,אם } Ω = {1, ..., nויש לנו pi = 1
X
P : p1 , ..., pn ≥ 0,
qi = 1
X
Q : q1 , ..., qn ≥ 0,
אז: 1X ))|pi − qi | = max (π (A) − σ (A A⊆Ω 2
: l0 מ.0
= )dT V (P, Q
לא נורמה )לא מקיים את המכפלה בסקלר( .נקרא התומך של וקטור ושווה למס' הקורדינטות בוקטור ששונות
נורמת ∞: l | = max |xi i
22.2.5
p1
p
| |xi
X
kxk∞ = lim kxkp = lim
∞→p
∞→p
נקודת מבט גיאומטרית
נניח ש kkנורמה על Rnמותאמת לה קבוצה חלקית ל Rnהקרויה כדור היחידה של הנורמה: }Bkk = {x ∈ Rn | kxk ≤ 1 B1הוא ריבוע. B2זוהי הספירה האוקלידית. Pכללי זהו אוקטהדר cross-polytope־ פאון עם 2nקודקודים ±ei , i = 1, ..., nויש לו 2nדפנות במימד . |xi | ≤ 1 עבור ∞ ב Rnהקוביה ה nמימדית ,ויש לה 2nקודקודים כאשר כל קודקוד מהצורה ) (1 , .., nכשכל .i = ±1 לקוביה יש 2nדפנות. xi = ±1, i = 1, .., n :
66
מה ניתן לומר באופן כללי על Bkkלנורמה כללית? Bkk .1הוא גוף קמור. Bkk .2סימטרי יחסית לראשית .ז"א x ∈ Bkkאז גם .−x ∈ Bkk Bkk .3הוא ממימד מלא )ז"א לא מוכל בתת מרחב ממש(. בהינתן B ⊆ Rnעם התכונות :מימד מלא ,סימטריה יחסית לראשית וקמירות ,מוגדרת נורמה כדלקמן: x ∈ Rn n o x kxk = inf λ | ∈ B λ
22.2.6
גודל של מטריצה
יהיו שני מרחבים נורמיים: ) (V, kkV ) , (W, kkW ותיהיה .T : V → Wנרצה להגדיר "גודל" ל ") Tנורמה אופרטורית"(. נשאל :עד כמה יכולה Tלהאריך אורכים? הגדרה 22.15נורמה אופרטורית: kT xkW kxkV
= sup x∈V
kT k
op ) (V,kkV )→(W,kkW
באופן כללי :נשתמש בנורמה הזו ובעוד מדדים ל"גודל" של מטריצות. הערה 22.16סוג חשוב ומעניין במיוחד של נורמות אופרטוריות לוקח בחשבון גם את המבנה הכפלי של אופרטורים )הרכבה(: S
T
U →V →W
היינו רוצים נורמות שמקיימות: kT ◦ Sk ≤ kT k kSk
67
נורמה דואלית
22.2.7
הגדרה 22.17הנורמה הדואלית של kk הגדרה 22.18נניח ) (Rn , kkמרחב נורמי .נשים לב שכל x ∈ Rnמקודד העתקה ") y → hx, yi : Rn → Rפונקציונל לינארי"( .נגדיר: ||hx.yi = kyk |= max |hx, yi
∗
kxk := max y
kyk=1
מתברר שזו נורמה שנקראת הנורמה הדואלית של .kk ∗
טענה kk 22.19הוא נורמה. דוגמאות טענה = kk∞ 22.20
∗ kk1 ∗
הוכחה :בהינתן x ∈ Rnנרצה לחשב את :kxk ) x = (x1 , ..., xn ∗
|kxk = max |hx, yi kyk1 =1
P P וכך ש| | xi yiגדול ביותר .בה"כ ) sgn (xi ) = sgn (yiולכן בה"כ מחפשים y1 , ..., ynכך ש|yi | = 1 ,∀i xi ≥ 0, yi ≥ 0ונקבל: X ∗ kxk = max xi yi Pyi ≥0 yi =1
כמובן הבחירה המיטבית היא yj = 1כש xjהוא הגדול מבין הxים ,ואז: ∗
∞kxk = kxk
23 23.1
תרגול 6 מרחבים מטרים
) (X, dכש dמקיימת סימטריה ,חיוביות ,א"ש המשולש. הגדרה 23.1מרחב נורמי מרחב נורמי זה מ"ו Vמעל } F ∈ {R, Cונורמה k·k : V → Rשמקיימת חיוביות ,הומוגניות וא"ש המשולש. הגדרה 23.2הומוגניות ∀α ∈ F, v ∈ V : kαvk = |α| kvk
68
23.1.1
דוגמאות n
• R : lp, l∞ , l • ”Cn : ”.... • |·| C : • בהינתן מ"נ ) (V, k·kאז d (u, v) = ku − vkהיא מטריקה על .V • ) .k·kF , V = Hom (Rn , Rm 23.1.2
מרחב ההומומורפיזמים
Vנקרא מרחב ההומומורפיזמים בין :S, T : Rn → Rm
n
n
m
m
Rל Rוהוא מרחב הה"ל )העתקות הלינאריות( מ Rל .Rנגדיר עבור
(S + T ) : Rn → Rm )vn → S (v) + T (v α ∈ R : (αT ) :Rn → Rm )v → αT (v אנחנו יודעים ∼ Rnm ) = Mm,n (R) ↔ Hom (Rn , Rm
הגדרה 23.3נורמות אופרטורוית בהניתן נורמה |·|1על ,Rnובהינתן נורמה |·|2על ,Rmאז לכל T : Rn → Rmאז: |T x|2 |x|1
= kT kop = max |T x|2 = max n |x|1 =1
06=x∈R
הערה 23.4עם ציורים :ב : R2 √ kk1 √ ≤ kk2 ≤ kk1 ≤ 2 kk2 n
משפט 23.5כל הנורמות על Rnשקולות תהי |·| נורמה על Rnאזי קיימים C, D > 0כך שלכל : v ∈ R n
C kvk1 ≤ |v| ≤ D kvk1 המשפט נכון גם לכל נורמה אחרת במקום .kk1 69
הוכחה :תחילה נזכר במשפט בולצאנו־ויירשטראס: משפט 23.6בולצאנו־ויירשטראס: אם ] {xn } ⊆ [a, bאז ל} {xnיש תת סדרה מתכנסת. משפט 23.7בולצאנו־ויירשטראס:++ אם {vn }n∈N ⊆ Rdוהסדרה חסומה ב ) l1כלומר קיים M > 0כך ש (∀n : kvn k1 < M :אז יש לה ת"ס מתכנסת ב .l1כלומר :יש v ∈ Rdותת סדרה {vnk }n∈N ⊆ {vn }n∈Nכך ש ∞→k
kvnk − vk1 → 0
נחזור להוכחת משפט השקילות: יהי v = [v1 , ..., vn ] ∈ Rnאזי: ≤ | |ei }|{z
| |vi }|{z
abs. value norm
n n n X triangle inequality X X vi e i ≤ = | |vi ei = ||v i=1
i=1
i=1
| |vi
n X
D
{ |} z · | ≤ max |ei ]i∈[n
i=1
} | {z =kvk1
⇓ |v| ≤ D kvk1 נניח בשלילה שלכל C > 0יש v ∈ Vכך ש .C kvk1 > |v| :נקח } {vnכך ש: 1 | kvn k1 > |vn n נגדיר:
vn kvn k1
∀n :
= ,wnאזי: vn 1 1 kvn k1 1 | |vn | = |wn = kwn k1 > = = n n kvn k1 n kvn k1 kvn k1 ⇓ 1 | > |wn n kwn k1 = 1
נפעיל את BW + +ונקבל ת"ס מתכנסת l
1 → w nk w ∈ Rn
70
∀n :
כלומר: ∞→k
kwnk − wk1 → 0 ⇓ |wnk − w| ≤ D kwnk − wk1 → 0 | |w| ≤ |w − wnk | + |wnk } | {z } | {z →0
→0
⇓ |w| = 0 ⇓ w=0 ⇓ kwnk − wk1 = kwnk k1 = 1 → 0 קיבלנו סתירה! ולכן קיים Cשמקיים את א"ְש.
24 24.1
תרגול אקסטרה 6 תזכורות
הגדרה 24.1גרעין של מטריצה ker A ≤ Rn }ker A = {v ∈ Rn : Av = 0
הגדרה 24.2תמונה של מטריצה: } Im (A) = {Av : v ∈ Rn
הגדרה 24.3דרגה של מטריצה )rank (A) = rk (A) = dim Im (A
משפט 24.4סכום דרגה ומימד הגרעין rank (A) + dim ker A = n
71
הגדרה 24.5עקבה Ai,i
m X
= )trace (A
i=1
משפט 24.6משפט מלינארית 1 )trace (AB) = trace (BA
הגדרה 24.7אורתונורמליות v1 , .., vnיקראו אורתונורמליים אם hvi , vi i = 1 ∀i 6= j : hvi , vj i = 0
24.2
ערכים עצמיים
משפט 24.8ספקטרלי ) A ∈ Mn (Rסימטרית אז: A = V ΛV T λ1 0 ... Λ= 0 λn | | V = v1 ... vn | | V TV = I לנוחות ,נניח.|λ1 | ≥ ... ≥ |λn | : הערה V T V = I 24.9שקול לכך ש v1 , .., vnהם א"נ ולכן הם בסיס. 24.2.1
לקרוא פרמטרים של Aסימטרית בעזרת הערכים העצמיים
טענה 24.10 |}dim ker (A) = |{i : λi = 0
72
:הוכחה ker A = {v : Av = 0 · v}
24.11 מסקנה rank (A) = |{i : λi 6= 0}|
24.12 טענה trace (A) =
n X
λi
i=1
:הוכחה
n X T = trace (Λ) = Λ λi trace (A) = trace (V Λ) V T = trace V · V | {z } i=1
I
נורמת פרוביניוס24.13 הגדרה v uX u n A2i,j kAkF := t i,j=1
24.14 טענה v u n uX kAkF = t λ2i i=1
: נשים לב:הוכחה 2 kAkF
= trace A · A
T
: סימטריתAכיוון ש 2
kAkF = trace A
2
X 2 T T = trace V Λ V = trace V Λ2 V T = λi | {z· V} ΛV I
73
נורמה אופרטורית24.15 הגדרה kAk2→2 = kAkop = max n 06=v∈R
kAvk2 kvk2
סימטריתA אם24.16 טענה kAk2→2 = max |λi | = |λ1 |
: נוכיח שני דברים:הוכחה .λ1 וזהו הוקטור העצמי של
kAvk kvk
= |λ1 | כך שv ∈ Rn יש.1
n . kAvk kvk ≤ |λ1 | מתקייםv ∈ R לכל.2
:v1 , ..., vn ניתן להציג אותו כצ"ל של,v ∈ Rn יהי v=
n X
αi vi
i=1
:kvk , kAvk נחשב את 2
kvk = hv, vi =
* n X
αi vi ,
i=1
n X
+ αj vj
=
j=1
n X n X i=1 j=1
αi αj
hvi , vj i | {z }
i6=j⇒hvi ,vj i=0
=
n X
αi2
i=1
?Av מהו Av =
n X
αi Avi =
i=1
n X
αi λi vi
i=1
⇓ 2
kAvk =
n X i=1
(αi λi )
2
n X
≤ |{z}
|λ1 |≥|λ2 |≥...
2
αi2 λ21 = λ21 kvk
i=1
היא מטריצה סימטרית אזA אם24.17 משפט rank (A) ≥
trace (A) 2
kAkF
74
2
2
=
trace (A) trace (A2 )
: נוכיח תחילה טענה מאוד שימושית:הוכחה : אזa1 , .., ar ∈ R אם24.18 טענה r X
!2 ≤r
ai
i=1
r X
a2i
i=1
: נגדיר:הוכחה a = [a1 , .., ar ] ∈ Rr v = [1, ..., 1] ∈ Rr :לפי קושי שוורץ |hv, ai| ≤ kvk kak m v v v u r u r r r r X X u X uX uX √ u 2 2 t t 1 ai = rt a2i 1 · ai = ai ≤ i=1
i=1
i=1
i=1
i=1
m r X
!2 ≤r
ai
i=1
r X
a2i
i=1
:נחזור להוכחת המשפט
2
trace (A) =
n X
!2 λi
i=1
: ולכן,λi = 0 נקבלi > r אז לכל,r = rank (A) נסמן 2
trace (A) =
r X
!2 λi
claim
≤ r
i=1
r X i=1
75
2
λ2i = rank (A) kAkF
25
תרגיל 6
.
טענה 25.1אם
..
λ1
D = אז:
λn n
| kDkop = max |λi i=1
טענה 25.2אם ) U ∈ Mn (Rאורתוגונלית )כלומר (U U T = Iאז: ∀A ∈ Mn (R) : kU Akop = kAkop
טענה 25.3אם ||1 , ||2הן נורמות על Rnאז קיימים C, D > 0כך שלכל :v ∈ Rn C |v|1 ≤ |v|2 ≤ D |v|1
הגדרה 25.4יהי Vמ"ו ו dמטריקה על .Vתהי k·kנורמה על .Vאומרים ש dנובעת מ k·kאם: ∀u, v ∈ V : d (u, v) = ku − vk
טענה 25.5קיימת מטריקה dעל Rnשלא נובעת מנורמה. n
הגדרה 25.6נניח Vמ"ו ,אז {vi }i=1 ⊆ Vנקראים אורתונורמליים אם: ( 1 i=j = ∀i, j : hvi , vj i 0 otherwise
הגדרה 25.7נניח Vמ"ו ,אז עבור :S ⊆ V }S ⊥ = {v ∈ V : ∀s ∈ S, hv, si = 0
טענה 25.8תהליך גרהאם־שמידט: k k יהי Vמ"ו ,יהיו {vi }i=1 ⊆ Vב"ת .אז קיימים {wi }i=1 ⊆ Vאורתונורמליים כך ש: } ∀1 ≤ i ≤ k : span {w1 , ..., wi } = span {v1 , ..., vi
76
טענה 25.9אם S ⊆ Vאז ⊥ Sהוא תמ"ו לינארי של .V טענה 25.10אם W ⊆ Vהוא תמ"ו אז לכל v ∈ Vקיים ייצוג ייחודי ⊥ v = w + u, w ∈ W, u ∈ W
⊥
טענה ,S ⊆ V 25.11אז ⊥ .(span (S)) = S טענה ,S ⊆ V 25.12אז
26
שיעור 7
26.1
תזכורת
⊥
⊥ .span (S) = S
הגדרה 26.1נורמה n־מימדית על Vמרחב לינארי מעל R זו העתקה kk : Rn → R≥0עם התכונות: ∀x ∈ Rn : kxk ≥ 0 x = 0 ⇔ kxk = 0
|λ| kxk
kxk + kyk
linearity
=
triangle inequality
≤
∀x ∈ Rn , ∀λ ∈ R : kλxk
∀x, y ∈ Rn : kx + yk
הגדרה 26.2ליפשיץ אומרים ש f : (V, kk) → Rהיא k־ליפשיץ אם ∀x, y ∈ V : |f (x) − f (y)| ≤ k kx − yk
הערה 26.3דוגמאות חשובות נורמות `:Lp , p1
p
| |xi
X
המקרים החשובים במיוחד: `2 .1־ נורמה אוקלידית. `∞ .2־ נורמת המקסימוםkxk∞ = maxi |xi | : 77
=kxkp :
הגדרה 26.4כדור היחידה בהינתן נורמה kkעל מרחב ליניארי Vמוגדר כדור היחידה: }B = {x ∈ V | kxk ≤ 1
הערה 26.5לא קשה לראות B = Bkk :זו קבוצה קמורה סימטרית יחסית ל") 0סימטרית מרכזית"( ובעלת מימד מלא. ראינו גם איך קבוצה כנ"ל מגדירה באופן יחיד נורמה. דוגמאות P .1הכדור של `2הוא . x ∈ Rn | x2i ≤ 1 .2כדור היחידה של ∞` זו הקובייה.{x ∈ Rn |∀i : −1 ≤ xi ≤ 1} : .3כדור היחידה של `1הוא האוקטהדר או ה|xi | ≤ 1} : cross − polytope
P
| {x ∈ Rn
הגדרה 26.6נורמה אופרטורית בהינתן נורמות ,נוח להגדיר גם "גודל" העתקות .למשל אם ) (V, kkV ) , (W, kkW ונניח T : V → Vהעתקה לינארית ,אז הנורמה האופרטורית של :T kT xkW = sup kT xkW kxkV x∈V,kxkV =1
kT kop = kT kV →W := sup
הגדרה 26.7נורמה דואלית ∗
בהינתן ) (V, kkמוגדרת הנורמה הדואלית ,kk :כדלקמן :נייחס לוקטור x ∈ Vאת ההעתקה: V →R v → hx, vi וזה מוליך להגדרה: ||hx, vi |= sup |hx, vi kvk kvk=1
הערה 26.8הנורמה הדואלית לנורמת `pהיא נורמת `qכש 1 1 + =1 p q
78
∗
kxk = sup v∈V
טענה 26.9הנורמה הדואלית ל `2היא `2 הוכחה :נסמן .kk := kk2נשים לב: ∗
kk = sup |hx, vi| =1 kvk2 =1
x kxk2
= the optimal choice is v 2
kxk2 hx, xi = = kxk2 kxk2 kxk2
=1
טענה `∗∞ = `1 26.10 הוכחה :נשים לב: ∗
|kxk∞ = max |hv, xi kvk∞ =1
בה"כ ,∀i : vi xi ≥ 0אחרת נחליף ל .−viהמקסימום מושג כאשר ) ∀i : vi = sgn (xi ⇓ |xi | = kxk1
X
= ) xi · sgn (xi
X
∗
טענה 26.11נורמת kkהיא נורמה. ∗
הוכחה :אי שליליות :היא ≤ ) 0כי היא סופרמום על אי שליליים( ,וגם . x = 0 ⇔ kxk = 0 לינאריות :מהלינאריות של המכפלה הפנימית: ∗
|kλxk = sup |λ hx, vi| = λ sup |hx, vi kvk=1
kvk=1
אי שוויון המשולש: ∗
∗
kxk + kyk
we want
≤
∗
kx + yk
∗
נביט בוקטור vבנורמת יחידה המשיג את .hv, x + yi = kx + ykנשים לב: ∗
|hv, xi| ≤ kxk
∗
|hv, yi| ≤ kyk
ומקבלים את הנדרש.
79
משפט 26.12קושי־שוורץ מוכלל בהינתן מרחב נורמי ):(V, kk ∗
∀x, y ∈ V : |hx, yi| ≤ kxk · kyk
הוכחה :יהיו :x, y ∈ V ||hv, yi ||hx, yi ≥ kvk kxk
∗
kyk = sup v
⇓ ∗
|hx, yi| ≤ kxk · kyk
הגדרה 26.13כדור היחידה הקוטבי אם ) (V, kkמרחב נורמי ו Bהוא כדור היחידה שלו ,אז כדור היחידה של הנורמה הדואלית )"הקוטבי" ־ .(polar }B ∗ = {x ∈ V |∀v ∈ B : hx, vi ≤ 1
הגדרה 26.14קונוס C ⊆ Rnהוא קונוס אם הוא סגור לחיבור ולכפל בקבוע אי שלילי: ∀x, y ∈ C : x + y ∈ C ∀x ∈ C, λ ≥ 0 : λx ∈ C
דוגמאות .1כל Rn .2האורתנטה החיובית: ∀x ∈ Rn : ∀i : xi ≥ 0
.3בוחרים איזושהי רשימה של וקטורים :a1 , ..., ak ∈ Rn }C = {x| ∀i : hx, ai i ≥ 0
80
הגדרה 26.15מטריצה מוגדרת חיובית\אי שלילית
מטריצה ממשית סימטרית נקראת מוגדרת חיובית )\(positive de nite=PDמוגדרת אי שלילית )positive (semide nite=PSDאם כל הע"ע שלה חיוביים\אי שליליים. הערה 26.16את אוסף כל המטריצות ה P SDבגודל n × nנסמן ב .P SDn משפט 26.17התנאים הבאים על מטריצה Aסימטרית ממשית שקולים זל"ז )זה לזה(: A ∈ P SDn .1 .2אפשר להציג את A = M M T .3התבנית הריבועית אי שלילית∀x : xAxT ≥ 0 : הוכחה :גרירות: • :2 ⇒ 3
2
xAxT = xM M T xT = hxM, xM i = kxM k2 ≥ 0
• :3 ⇒ 1 נניח ש xו"ע עם ע"ע λונרצה לטעון ש:λ ≥ 0 AxT = λxT
נכפיל משמאל ב:x 2
T xAx | {z } = λ kxk } | {z ≥0
≥0
• :1⇒2 בהסתמך על המשפט הספקטרלי ,ניתן להציג λn
√
T
A = V ΛVכש Vאורתוגונלי. √ λ1 1 .. Λ2 = . 1 2
M := V Λ ⇓
1
1
MMT = V Λ2 Λ2 V T = A
81
משפט 26.18התנאים הבאים על מטריצה Aסימטרית ממשית שקולים זל"ז )זה לזה(: A ∈ P D .1 .2אפשר להציג את Aכך , A = M M Tכש Mלא סינגולרית. .3התבנית הריבועית חיובית∀x : xAxT > 0 : הערה P SDn 26.19הוא קונוס. הוכחה :נשים לב: כפל בסקלר חיובי µ > 0מכפיל את הע"ע ב.µ חיבור :מתנאי 3במשפט על ה.P SD משפט 26.20ה(Singular Value Decomposition) SV D כל מטריצה ממשית Am×nניתן להציג בצורה: T A = Um×m Dm×n Vn×n
U, V are orthogonal σ1 0 0 .. . 0 D=0 , σ1 ≥ ... ≥ σn ≥ 0 0 0 σn 0 0 0 המספרים σ1 , ..., σnנקראים הערכים הסינגולריים של Aוהם נקבעים ביחידות. הערה 26.21 )”dim A = arg max (”σm > 0 m
הוכחה :היחידות של ה σiדי קלה: הערה 26.22תהיה Mמטריצה כלשהי ,אז M M Tזו מטריצה שבמקום ה) (i, jשלה מופיעה המכפלה הפנימית של השורה ה iוהשורה ה jשב .M M T Mכנ"ל עם עמודות. נביט ב AAT־ זו מטריצה .P SD T T T T T AAT = U D V | {zV} D U = U DD U =I
82
נשים לב:
.
0
..
σn2
2 σ1 =
T T U T A |A{z U} = Dm×n Dn×m =(U T A)T
0
m×m
}
|
{z
P SD
טענה 26.23למטריצה ממשית סימטרית Mול U M U Tכש Uאורתוגונלית יש אותם הע"ע .הוכחה :אם , M x = λx אז: y := U x T
U M U U x = U M x = λU x = λy
σ12 , ..., σn2הם הע"ע של המטריצה ה.AAT P SD
הערה 26.24מכפלה בבלוקים: ... ...
P11 Q11 + P12 Q21 = ...
Q12 Q22
P12 Q11 P22 Q21
P11 P21
למטריצות ).(m − 1) × (n − 1 הוכחה :באינדוקציה על הגודל של .Aספציפית ,נניח שהמשפט ידוע תוכנית הפעולה היא שנרצה למצוא וקטור u1ומטריצה U2כך ש u1 U2 m×mאורתוגונלית ,וכן וקטור v1 ומטריצה V2כך ש v1 V2 n×nאורתוגונלית:
0 B
σ1 0
T we want =
V2
U2 A v1
הערה 26.25מתברר ש σ1אינו אלא .kAkop נגדיר .σ1 := kAkopז"א יש וקטור יחידה v1כך ש σ1 u1 = Av1 kv1 k = 1 ku1 k = 1
83
u1
את וקטורי היחידה u1 , v1ניתן להשלים לבסיס אורתונורמלי ,ואלו תהיינה המטריצות U2 , V2בהתאמה .נסתכל על:
w B
=1
{ |} z 2 σ1 ku1 k T σ1 U2 u1 } | {z
σ1 w = 0 B
:=w
{ |} z uT1 AV2 = T U2 AV2 } | {z
because of orthogonality=0
uT1 Av1 = U2T Av1
V2
A v1
uT1 U2T
:=B
נטען ש w = 0ונראה שאם זה אינו המצב ,אז יש וקטור שתמונתו נמתחת בשיעור < .σ1 T u1 יש אותה נורמה אופ' ) (= σ1כמו ל.A הערה 26.26למטריצה A v1 V2 U2T הבה נפעיל את הטרנספורמציה הלינארית הזו על הוקטור , σ1 wונקבל: 2 2 σ1 + kwk T u1 σ1 A v1 V 2 = Bw w U2T .
..
מהי המתיחה המתקבלת? q 2 2 לקחנו וקטור שאורכו )נורמת `2שלו( , σ1 + kwk :וקיבלנו בתמונה וקטור שאורכו ≤ + kwk היא לפחות q 2 σ 2 + kwk 2 0 ≤ σ12 + kwk = q 1 2 σ12 + kwk 2
שוויון אם"ם ,w = 0ומכיוון ש σ1הוגדר כ kAkopיוצא ש.w = 0 קיבלנו שאם u1 , v1הוגדרו כנ"ל ,ו U2 , V2השלמות שלהם לבסיסים אורתונורמליים אז: T u1 σ1 0 v V A = 1 2 0 B U2T ע"פ הנחת האינדוקציה יש הצגה ˜ Ddiag ˜ V˜ T B = Um−1 n−1 ומה שראינו מקודם הוא
v1T V2T
0 B
σ1 U2 0
A = u1
0 σ1 ˜ U 0
1 U2 0
ולכן:
v1T V2T
0 V˜ T
0 1 ˜ D 0
84
A = u1
.σ12
המתיחה
תרגול 7
27 27.1
ערכים סינגולריים וSV D
משפט 27.1משפט הSVD אם ) ,A ∈ Mm,n (Rאז קיימות מטריצות )U ∈ Mm (R) , V ∈ Mn (R) , D ∈ Mm,n (R כך ש ,A = U DV Tומתקיים: U, V .1אורתוגונליות )אוניטריות( " D .2אלכסונית" )(∀i 6= j : Di,j = 0 .3וגם σ1 := D11 ≥ ... ≥ σmin(n,m) := Dmin(n,m),min(n,m) ≥ 0 תרגיל מצאו SV Dלמטריצה:
1 2
) ∈ M4 (R
3
A=
4
פתרון )?( 1
3 2
4 A = (?)
נשים לב שלערכים העצמיים 1, 2, 3, 4מתאימים הו"ע e1 , ..., e4 :נגדיר . v1 = e4 , ..., v4 = e1 :ברור ש} {viהוא בסיס אורתונורמלי של ו"ע .בבסיס זה: 1 e1 = , ..., e4 = 1 לכן:
1 1 1
1 1
3 2
1 4
1 1
A= 1
85
תרגיל מצאו SV Dל 2 0
0 2
=A
פתרון Aסימטרית .נוציא ע"ע:
−2 )= x2 − 4 = (x − 2) (x + 2 x
x −2
det (xI − A) = det
ולכן הע"ע הם .±2הו"ע המתאימים: 1 2 1 A = ·=2 1 2 1 1 נקח )הו"ע שמצאנו ,מנורמל( עבור .2 1 1 1 , √12ולכן: מאונך לו"ע הקודם .אם כך ,נקח אותו מנורמל עבור :−2 נשים לב ש −1 −1 1 1 1 1 1 1 2 0 √ √ =A 0 −2 2 1 −1 2 1 −1 √1 2
זה לא פירוק ) SV Dיש ע"ע שלילי( .נשים לב: S
R
z
|} { |} { z 1 1 −1 1 0 √= 0 −1 2 1 1 | {z } } | {z ref lection
rotation
1 −1
1 1
1 √ 2
45 deg
⇓ 0 RSR 2
0 2 SR = SR −2 0
2 0
A = SR
סדרה של ציורים לתאר את הפעולה של .A נשים לב ש RSRהיא אורתוגונלית )כמכפלה של אורתוגונליות( SR ,גם אורתוגונלית .נסמן: U = SR, V T = RSR וקיבלנו פירוק .SV D טענה 27.2הערכים הסינגולריים הם השורשים של הע"ע ).AAT ∈ Mm (R
86
: סימטריתAAT :הוכחה AAT
T
= AAT :SV D נקח.ולכן יש לה לכסון א"ג
A = U DV T :ונקבל AAT = U DV T V DT U T = U
UT
T DD | {z }
σ2 1
..
. σn2
תרגיל :SV D מצאו 1 √ √2 A= 2
√1 √2
− 2
פתרון :SV D נזכר שבהוכחה של.σ1 נרצה למצוא את σ1 = kAkop =
max
x∈R2 ,kxk2 =1
kAxk2
:זה שקול למקסום הפונקציה
2 2 √ √ 2
x
= √x + √y f (x, y) = A + 2x − 2y
y 2 2 : אז.x2 + y 2 = 1 תחת האילוץ f (x, y) =
x2 + 2xy + y 2 1 5 + 2x2 − 4xy + 2y 2 = + xy + 2 − 4xy = − 3xy 2 2 2 :נכתוב cos θ xy = sin θ 87
ואז נמקסם: 5 − 3 cos θ sin θ 2
= )g (θ
בתחום ] .θ ∈ [0, 2πנגזֹור: g 0 (θ) = 3 sin2 θ − 3 cos2 θ g 0 (θ) = 0 m 2
sin θ = 3 cos2 θ m
π 3π 5π 7π , , , 4 4 4 4
∈θ ⇓ ! 1 √ 2 =2 A 1 − √2 2
− √12
2
אפשר לקחת וקטור שמאונך ל − √12
28
0 √1 2 ? 0 √1 2
⇓ we know 0 2 A = 1 0 0 3 0
על מנת להשלים את המטריצה הימנית.
תרגול אקסטרה 7
28.1פירוק ספקטרלי ⇐ משפט 28.1משפט הSVD
SVD
):m ≥ n , A ∈ Mm×n (R T Am×n = Um×m Σm×n Vn×n
כש U, Vאורתוגונליות ,ו: σn
.
σ1
..
Σ=
σ1 ≥ ... ≥ σn ≥ 0
88
28.1.1
הספקטרום של AT Aו AAT T
נשים לב ש ,A A ∈ Mnוהיא סימטרית ,לכן יש הצגה: V ΛV T
spectral decomposition
=
AT A
ובאופן דומה: ˜ T AAT = U ΛU
מטרה :מה הקשר בין ˜ Λ ל Λובין Uל ?V נסמן: | vn |
...
| v , V = 1 | λn
.
..
λ1
Λ=
2
טענה λi = kAvi k 28.2 הוכחה: x, y ∈ Rn : xi yi = hx, yi
n X
T
=x y
i=1
⇓ T
2
kAvi k = hAvi , Avi i = (Avi ) Avi = viT AT Avi = λi viT vi = λi
למה λi ≥ 0 28.3 טענה λ > 0 28.4ע"ע של AT Aאם"ם λ > 0ע"ע של .AAT הוכחה :נוכיח את כיוון ⇐: נניח , AT Av = λvנכפיל משמאל ב:A AAT Av = λAv אם Av 6= 0אז הוא ו"ע של AATעם ע"ע .λנשים לב ש Av 6= 0כי .λ > 0 את כיוון ⇒ נוכיח באופן דומה. נסמן: λ1 ≥ ... ≥ λr > 0 = λr+1 = ... = λn
89
:לכן
λ1
Λn =
˜m Λ
=
..
. λr 0
λ1
..
..
.
. λr 0
: אז,ui :=
Avi σi
..
.
0 0
∈ Rm וגם,σi =
√
λi :1 ≤ i ≤ r נסמן לכל28.5 טענה . הם א"נu1 , .., ur .1
.λi עם ע"עAAT הוא ו"ע שלui .2 : :הוכחה .1 kAvi k =1 σi T Avi Avj 1 T T 1 T σj T hui , uj i = ui uj = = v A Avj = v λ j vj = hvi , vj i = 0 σi σj σi σj i σi σj i σi kui k =
.AAT הוא ו"ׂע שלAv = σi u אזλ 6= 0 עם ע"עAT A הוא ו"ע שלv הראנו שאם. כבר הוכחנו.2
| : הןU העמודות הראשונות שלr אזV = v1 |
| U = u1 |
...
90
| ur |
...
| vn אם28.6 מסקנה |
.U T AV = Σ נראה ש.SV D נוכיח את משפט ה:הוכחה . לא לפחד:רעיון ההוכחה − uT1 − .. . T T U = − ur − ∈ Mm×m . . . − uTm − | | | | AV = Av1 . . . Avr 0 = σ1 u1 . . . σr ur 0 ∈ Mm×n | | | | σ1 ! σ2 uT1 σ1 u1 . . . orthonormality T . . U AV = = = Σ = Mm×n .. . .. 0 . . σr 0
: ראינו28.7 מסקנה .(AT A, AAT הערכים הסינגולריים = שורש)ע"ע.1 .AAT = ו"ע שלU העמודות של.2 .AT A =ו"ע שלV העמודות של.3 .4 ∀i ≤ r : Avi = σi ui
.AAT או שלAT A מספיק למצוא פירוק ספקטרלי של,A שלSV D ולכן כדי למצוא
7 תרגיל
29
: טענות שימושיות לדטרמיננטות29.1 טענה det AT = det (A) ∀B, C ∈ Mn : det (BC) = det (B) det (C) A ∈ Mn : det (cA) = cn det (A) 1 det A−1 = det (A)
91
טענה 29.2אם A0מהווה פרמוטציה של שורה\עמודה אחת ביחס ל Aאז: )det (A0 ) = − det (A
טענה u, v ∈ Rn 29.3אז ) uv T ∈ Mn (Rהיא מדרגה 1או .0 טענה A ∈ Mn (R) 29.4היא סכום של kמטריצות מדרגה .1 v1 , · · · , vk ∈ Rn Pווקטורים א"נ v1 , · · · , vk ∈ Rmו α1 , · · · , αk > 0כך טענה 29.5קיימים וקטורים א"נ k T ש)i=1 αi ui vi = A ∈ Mn (R טענה 29.6נניח σ1 ≥ · · · ≥ σn ≥ 0הם הערכים הסינגולריים של ) ,A ∈ Mm,n (Rאז לכל :x ∈ Rm kAxk2 ≥ σn kxk
טענה 29.7תהי Nm : Rm → Rנורמה על ,Rmתהי Nn : Rn → Rנורמה על .Rnתהי ) ,A ∈ Mm,n (Rאז: )Nm (Ax
max
x∈Rn :Nn (x)=1
= kAkNn →Nm
טענה 29.8אי שוויון המשולש ההפוך אם k·kהיא נורמה אז: ∀x, y : |kxk − kyk| ≤ kx − yk
שיעור 8
30 30.1
חזרה
משפט 30.1הSV D לכל מטריצה ממשית Am×nיש הצגה:
0 σn
A = U DV T σ1 .. . D= 0
כש Um×mאורתוגונלית Vn×n ,אורתוגונלית" D ,אלכסונית" ו σ1 ≥ · · · ≥ σm ≥ 0נקבעים ביחידות. 92
הערה 30.2ראינו .σ1 = kAkop הערה 30.3בנוגע ליחידות של ה :σiהמספרים σi2הם הע"ע של המטריצה ה.AAT P SD הערה 30.4אם Xמטריצה ממשית כלשהי אז הספקטרום של XX Tושל X T Xהם זהים למעט הוספה של אפסים במספר הדרוש.
30.2
מסקנות
מSVD
הגדרה 30.5נורמת `2של מטריצות קרויה גם נורמת Frobeniusאו גם :Hilbert-Schmidt qX a2i,j =kAkF :
מסקנה 30.6מסקנה נוספת ממשפט ה:SV D X }trAT A |{z = σi2 SV D
2
kAkF
= }|{z
from the de nition
הוכחה :נשים לב: T
A = U DV T
A A = V DT U T U DV T = V DT DV T
טענה 30.7 ) tr (P Q) = tr (QP ) tr (P1 P2 · · · Pk ) = tr (Pk P1 · · · Pk−1
הוכחה: pi,j qj,i
X
= )tr (P Q
i
לפי הטענה: σi2
X
= = tr V T V DT D = tr DT D
T
tr AT A = tr V DT DV
כעת נשים לב: 2 kM kF
= m2i,j
X
= mi,j mTj,i
X
=
T
tr M M
וסה"כ קיבלנו את המבוקש. הערה 30.8נשים לב = rank (Am×n ) :ה dהמינימלי כך שניתן להציג .A = Xm×d Yd×n 93
30.2.1
בעיה
נתונה מטריצה ,Am×nרוצים למצוא לה קירוב " Bפשוט" ,למשל .rk (B) ≤ k משפט ) 30.9מסקנה מ(SVD תהיה ) A = U DV Tבהצגת ,(SV Dאז הקירוב המיטבי במונחי נורמת פרובניוס והן במונחי הנורמה האופרטורית ל Aע"י מטריצה Bמדרגה ≥ kהוא D(k) . B = U D(k) V Tזו המטריצה המתקבלת מ Dע"י החלפת · · · σk+1 , באפסים. הוכחה :לקירוב בנורמה אופרטורית. נשים לב kA − Bkop = σk+1מפני שזהו הערך הסינגולרי הגדול ביותר של .A − Bיש להוכיח ,אם כן ,שלכל מטריצה Cמדרגה ≥ kמתקיים .kA − Ckop ≥ σk+1כלומר ,שיש zוקטור יחידה כך ש k(A − C) zk2 ≥ σk+1 נבנה zכזה כך ש .Cz = 0מכיוון ש ,rank (C) ≤ kלגרעין הימני של Cיש מימד ≤ .n − kכלומר ,מטרתנו למצוא וקטור יחידה ) z ∈ r ker (Cכך ש .kAzk ≥ σk+1 נסמן את העמודות של Vב .v1 , v2 , · · · :בגלל חשבון המימדים הנ"ל אנחנו יודעים ש = } r ker (C) ∩ span {v1 , · · · , vk+1 ∅ 6 במילים אחרות ,יש וקטור יחידה αi vi
Pk+1
= zכך ש Cz = 0ולכן:
i−1
(A − C) z = Az
הערה 30.10ניתן לכתוב את A = U DV Tכךσi ui ⊗ vi : מההערה נקבל: αi σi ui
k+1 X
=
i
)Pmin(m,n i=1
⊗ σi ui
vi z }|{z
orthonormality = α i vi = α
Pk+1 i−1
k+1 X
=A )min(m,n
= σi ui ⊗ vi z
i
X
= Az
i
=vi
⇓ X
2 = σk+1
2 αi2 σi2 ≥ σk+1
αi2 } | {z
)(z is a unit vector, {vi } is an orthonormal basis
=1
הערה 30.11נשים לב: xi yj Mi,j
X
94
= xM y T
X
2
= k(A − C) zk
ונחשוב על,ui בתור מטריצת בלוקים שכל בלוק הוא עמודהU ( אז נחשוב עלSV D )פירוקA = U DV T אם : בתור מטריצת בלוקים באותו האופןV T σ − v1 − 1 | | .. .. A = u1 · · · un . . | | − vm − ⇓ min(m,n)
A=
X
σi ui ⊗ vi
i
Rayleigh-Ritz ריילי־ריטז30.12 משפט : אז,A הע"ע שלλ1 ≥ λ2 ≥ · · · ≥ λn ויהיו, מטריצה ממשית סימטריתAn×n תהיה xAxT
λ1 = max
= max xAxt
2
x6=0
kxk | {z 2}
kxk2 =1
Rayleigh's fraction
אז,λ1 , · · · , λn ו"ע המתאימים לv1 , · · · , vn יהיו λk+1 =
max
x⊥v1 ,··· ,vk
xAxT 2
kxk2 :ולדקדקנים
λk+1 =
x⊥{any
max
eigenvector of λ1 , · · ·
xAxT , λk }
2
kxk2 ו, ממשית סימטריתA אם30.13 הערה
Ax = λx, Ay = µy, λ 6= µ .x⊥y אז : נביט:הוכחה λ hx, yi = xAy = µ hx, yi ⇓ λ 6= µ hx, yi = 0 ⇓ x⊥y
95
30.3
כופלי לגרנז'
30.3.1
מה רוצים
רוצים למצוא את ערכי max/minשל ) f (x1 , · · · , xnבכפוף לכך ש: g1 (x1 , · · · , xn ) = 0
.. . gk (x1 , · · · , xn ) = 0
30.3.2
השיטה
מגדירים: ) λi gi (x1 , · · · , xn
k X
F (x1 , · · · , xn ) := f (x1 , · · · , xn ) +
i=1
λiהם משתנים פורמליים שנקראים כופלי לגראנז' .פותרים: ∂F =0 ∂xi ∀j ∈ [k] : gj (x1 , · · · , xn ) = 0 ∀i ∈ [n] :
משפט 30.14כל הנקודות הקריטיות של fעל המשטח ∀i ∈ [k] : gi = 0מתקבלות כך. הערה 30.15התנאי במשפט של כופלי לגראנז' אומר ש) grad (Fהוא ניצב למשטח המוגדר ע"י המשוואות: g1 = · · · = gk = 0
30.3.3
נשתמש
הוכחה :נוכיח את משפט .Rayleigh − Ritzנשתמש בכופלי לגראנז' :נשים לב ש maxkxk2 =1 xAxtהוא בעצם P P max aij xi xjבכפוף לתנאי . x2i = 1 X X = ) F (x1 , · · · , xn aij xi xj − λ x2i 1≤i,j≤n
∂F we want = 0 ∂xt m we'll show
∀t :
2 (Ax)t = 2λxt
96
:נראה זאת
X X ∂ X ∂ aij xi xj = att x2t + ait xi xt + atj xt xj = ∂xt ∂xt 1≤i,j≤n i6=t j6=t X X = 2att xt + ait xi + atj xj = i6=t
=
X
ait xi +
j6=t
X
atj xj
symmetry
=
2 (Ax)t
j
i
| {z } (xA)t
|
{z
(Ax)t
}
∂F ⇓ =0 ∂xt X ∂ X aij xi xj − λ x2i = 0 ∂xt 1≤i,j≤n
m 2 (Ax)t = 2λxt : כעת נשתמש במשפט הספקטרלי. ווקטור יחידהx יהי:λ1 , k = 0 ריילי־ריץ עבור X 2 ∗ T T = λi (xV )i ≤1 xAxT = |{z} xV Λ V x | {z } vec
vecT
:∗= נובע מ ϕM ψ = [ϕi ψj mij ] ⇓ M is diagonal ϕM ψ = [ϕi ψi mii ] :נמשיך ≤1 max λi
X |
2
(xV )i {z }
= λ1 · 1 = λ1
x is a unit vector, V is orthogonal, so =1
אזx = v1 אם נקח,מצד שני v1 Av1T = λ1 v1 v1T = λ1 .i = 1, · · · , k ( כשV x)i = 0 יוצא שx⊥v1 , · · · , vk כיוון ש, עכשיו. נחזור על אותו החשבון:כעת המקרה הכללי
97
30.4
משפטים
משפט 30.16בדומה לRayleigh − Ritz תהיה An×nמטריצה ממשית סימטרית ,ויהיו λ1 ≥ λ2 ≥ · · · ≥ λnהע"ע של ,Aיהיו v1 , · · · , vnו"ע המתאימים ל ,λ1 , · · · , λnאז בדומה ל:Rayleigh − Ritz xAxT 2
kxk2 xAxT 2
kxk2
λn = min
min
x⊥vk ,··· ,vn
= λk−1
משפט 30.17קורנט־פישר )(Courant-Fisher תהיה An×nממשית סימטרית ,ויהיו λ1 ≥ · · · ≥ λnהע"ע שלה ,אז: xAxT 2
kxk2 xAxT 2
kxk2
max
min
F :dim F =i x⊥F
min
min
= ∀i : λi+1
G:dim G=n−i x⊥G
= λi
מסקנה 30.18משפט השירוג )(interlacing תהיה An×nמטריצה ממשית סימטרית ויהיו λ1 ≥ · · · ≥ λnהע"ע שלה .נמחק לאיזשהו iאת השורה ה iואת העמודה ה iב Aונקבל את המטריצה ) B(n−1)×(n−1עם ע"ע µ1 ≥ · · · ≥ µn−1אז: λ1 ≥ µ1 ≥ λ2 ≥ µ2 ≥ · · · ≥ λn−1 ≥ µn−1 ≥ λn
הוכחה :איך מסיקים זאת מקורנט־פישר? נמשיך לעבוד עם ,Aאבל במקום להרשות כל וקטור ,xנרשה רק כזה בשבילו הקורדינטה ה iהיא .0 משפט 30.19פרון־פרובניוס )(Perron-Frobenios תהיה Mn×nמטריצה ממשית כך שכל איבריה ,mij ≥ 0ויהיה }ρ (M ) = max {|λ| |λ is an eigenvalue of M ל) ρ (Mקוראים הרדיוס הספקטרלי של .Mאזי ) ρ (Mהוא ע"ע פשוט )בלי ריבוי( של ,Mולכל שאר הע"ע יש מודולוס > ) .ρ (Mהו"ע המתאים לע"ע ) ρ (Mהוא חיובי .לכן ,אם xl , xrהו"ע הימני והשמאלי בהתאמה של הע"ע ) ,ρ (Mז"א xl M = ρ (M ) xl M xr = ρ (M ) xr
98
אזי: xr xTl hxr , xl i
t =
M ) ρ (M
lim
∞→t
יהיה ) G = (V, Eהגרף המכוון שבו ,mij < 0 ⇔ (i → j) ∈ Eנניח ש Gקשיר חזק ולא בעל מבנה ציקלי. הערה 30.20 z = x + iy p |z| = x2 + y 2
תרגול 8
31 31.1
גישה וריאציונית לערכים סינגולריים
הגדרה 31.1נקודה קריטית יהיו U ⊆ Rnפתוחה ו f : U → Rגזירה x ∈ U .נקודה קריטית של fאם ∆f (x) = 0
כלומר: ∂f (x) = 0 ∂xi
∀i ∈ [n] :
משפט 31.2תהי ) A ∈ Mn (Rמטריצה סימטרית ,ו λ ∈ Rו ,v ∈ Rnהתב"ש: • Av = λv • vנקודה קריטית של הפונקציה :f f : Rn \ {0} → R xT Ax 2
kxk2
= )f (x
f (v) = λ
הערה 31.3תזכורת σ :ערך סינגולרי של Aאם"ם σ 2הוא ע"ע של .AT A
99
הוכחה: T V
.
..
σn2
2 σ1 =V
U DV T = V DT U T U DV T = V DT D V T
T
AT A = U DV T
הגדרה 31.4עבור ) A ∈ Mm×n (Rווקטורי יחידה u ∈ Rm , v ∈ Rnו ,σ ≥ 0אם Av = σu AT u = σv
אז vנקרא וקטור סינגולרי ימני u ,נקרא וקטור סינגולרי שמאלי σ ,נקרא ערך סינגולרי. הוכחה :נראה שההגדרה השניה שקולה להערה הקודמת. כיוון :1נניח ש u, v, σסינגולריים ,אז: AT Av = AT σu = σ 2 v כיוון :2נניח .AT Av = σ 2 vאם נקח
Av σ
= uאז הכל יעבוד.
משפט 31.5תהי ) ,A ∈ Mm×n (Rיהיו u ∈ Rm , v ∈ Rnוקטורי יחידה .σ ≥ 0 ,התב"ש: • u, v, σסינגולריים • ) (v, uהיא נקודה קריטית של הפונקציה: f : Rn \ {0} × Rm \ {0} → R y T Ax kyk2 kxk2
→ )(x, y
f (v, u) = σ
הוכחה :נחשב: u0 v − v 0 u =0 v2
=
u 0 v
m 0
u v = v0 u
100
:ולכן ∂f (x, y) =0 ∂xi m
∂ y T Ax ∂ (kyk kxk) kyk kxk = y T Ax ∂xi ∂xi :נשים לב ש y T Ax =
n X n X
yl Alk xk
k=1 l=1
⇓ n
T
X ∂ y Ax = yl Ali ∂xi l=1
⇓ ∂ y T Ax kyk kxk = ∂xi
m X
! yl Ali
kyk kxk
l=1
:ו y T Ax
pPn
2 ∂ ∂ (kxk) ∂ (kyk kxk) l=1 xl = y T Ax kyk = y T Ax kyk = ∂xi ∂xi ∂xi 1 xi = y T Ax kyk · 2xi = y T Ax kyk 2 kxk kxk
:כלומר
m X
∂f (x, y) =0 ∂xi m ! yl Ali
kyk kxk = y T Ax
l=1
kyk xi kxk :לפי חישוב דומה
n X
∂f (x, y) =0 ∂yi m ! Ail xl
kyk kxk = y T Ax
l=1
101
kxk yi kyk
כל המשוואות האלה שקולות ל: !
kyk kxk x kxk kyk y
x kxk kyk = y T Ax y
0 AT A 0
נניח ש u, v, σסינגולריים .אזי צ"ל ∆f (v, u) = 0 :ו . f (v, u) = σאז כיוון ש v, uוקטורי יחידה: T v σv v v 0 AT A u = = = ∗= σ uT Av u σu u u A 0 Av σ
is a unit vector
=
u
=∗ is because:uT (Av) = uT σu
ועכשיו הכיוון השני :נניח ש) u, v, σ = f (v, uכש u, vוקטורי יחידה ,ו) (v, uנקודה קריטית של .fצ"ל Av = σu ו .AT u = σvכיוון שזו נקודה קריטית נציב: v v 0 AT = v| T{z }Au u u A 0 σ
⇓ T σv A u = σu Av
32 32.1
תרגול אקסטרה 8 מטריצות שכנויות של גרפים
הגדרה 32.1מטריצת שכנויות של גרף יהי ) G = (V = {1, · · · , n} , Eגרף לא מכוון A .היא מטריצת השכנויות של :G ( 1 {i, j} ∈ E = Aij 0 otherwise
מסקנה 32.2אבחנה A :סימטרית ולכן יש לה פירוק ספקטרלי: A = V ΛV T
טענה 32.3 = # of paths from i to j of length 2
102
i,j
A2
:הוכחה A2
i,j
=
n X k=1
1 = 0
Ai,k Ak.j | {z } {i, k} , {k, j} ∈ E otherwise
.0
λ1
≥
j,i=1
i∼j
v∈V
1 .. T : ולכן,x x = n אזx = . נסתכל על 1 λ1 ≥
1 X deg (v) n v∈V
: מקייםA שלλ צ"ל כל ע"ע:≤2 נראה את |λ| ≤ 4 = max degree in G : אז.| מקסימליxi | כך שi יהי,Ax = λxנניח ש X T.I X |xj | ≤ di |xi | ≤ 4 |xi | |λ| |xi | = |λxi | = |(Ax)i | = xj ≤ j: j∼i j: j∼i
1 .v1 = √1n ... וגםλ1 = d ־רגולרי אזd הואG אם32.5 מסקנה 1 32.6 מסקנה λn < 0
103
הוכחה: λi
n X
= )Ai,i = tr (A
X
=0
i=1
הגדרה 32.7אנטי־קליקה קבוצה S ⊆ Vנקראת אנטי־קליקה אם: ∀u, v ∈ S : u 6∼ v
הערה 32.8זו בעיה חישובית חשובה ו N P־קשה לחסום את גודלה של האנטי־קליקה הגדולה ביותר בגרף נתון .G משפט 32.9אם Sהיא אנטי־קליקה בגרף d־רגולרי עם nקודקודים ,אז −λn −λn ||S ≤ = n d − λn λ1 − λn
הוכחה :נסתכל על הוקטור המציין של :S ( 1 i∈S = xi ∈0 i /S נחשב את xT Axבשני אופנים: .1 0
S is an anticlique
=
xi xj
X
= xT Ax
i∼j
.2נציג את xכצ"ל של ו"ע: αi vi
n X
=x
i=1
⇓ ≥ αi2 λi
n are orthonormal X
=
} {vi
i=1
+ α i λ i vi
n X
αi vi ,
i=1
∗= αi2
n X i=2
104
n X
* = xT Ax
i=1
≥ α12 d +λn }|{z i=1
:נשים לב 1 1 v1 = √ ... n 1 ⇓ |S| 1 : α1 = hx, v1 i = √ n
2
2 : |S| = kxk =
* n X
αi vi ,
i=1
n X
+ αi vi
=
i=1
n X
αi2
i=1
⇓ 2 |S| (d − λn ) =∗ α12 d + λn |S| − α12 = λn |S| + n {z } | |{z}
from 2
from 1
: ונקבלxT Ax נאחד את שתי צורות ההצגה של 2
|S| 0 ≥ λn |S| + (d − λn ) |{z} n | {z } rst second
⇓ |S| −λn ≤ n d − λn
8 תרגיל
33
T ∗ = : אז קיים מיפוי לינארי יחודי,R ( מרחבי מכפלה פנימית סופיים מעלV, h·, ·iV ) , (W, h·, ·iW ) יהיו33.1 טענה : המקייםT T ∀v ∈ V, ∀w ∈ W : hT v, wiW = hv, T ∗ wiV
v1 , · · · , vn אז קיימים בסיסים א"נ,R ( מרחבי מכפלה פנימית סופיים מעלV, h·, ·iV ) , (W, h·, ·iW ) יהיו33.2 טענה : כך שσ1 ≥ · · · ≥ σn ≥ 0 וW לw1 , · · · , wn וV ל ∀v ∈ V :T v =
n X
hv, vi iV σi wi
i=1 n X
∀w ∈ W :T ∗ w =
i=1
105
hw, wi iW σi vi
הגדרה 33.3מטריצה positive − def inite ) A ∈ Mn (Rתקרא positive − def initeאם לכל x ∈ Rnמתקיים xT Ax = hAx, xi ≥ 0ושוויון אם"ם .x = 0 הגדרה 33.4מטריצה positive − semidef inite ) A ∈ Mn (Rתקרא positive − semidef initeאם לכל x ∈ Rnמתקיים .xT Ax = hAx, xi ≥ 0 n
טענה 33.5יהי Vמ"ו ו {vi }i=1בסיס א"נ לו תחת המכפלה הפנימית .h·, ·iVתהי h·, ·i1מכפלה פנימית על ,Vאז קיימת מטריצה ייחודית ) A ∈ Mn (Rכך ש Aסימטרית ו ,positive − def initeוכך שלכל u, v ∈ Vמתקיים: hu, vi iV hv, vj iV Ai,j
n X n X
= hu, vi1
i=1 j=1
n
טענה 33.6יהי Vמ"ו ו {vi }i=1בסיס א"נ לו תחת המכפלה הפנימית .h·, ·iVתהי Bסימטרית ו,positive−def inite נגדיר: Bi,j vj
n X
= TB
j=1
hx, yiB = hTB x, yiV אז h·, ·iBהיא מכפלה פנימית על .V הגדרה 33.7קונוס ∅ = C ⊆ Rmהוא קונוס אם לכל x, y ∈ Cו α, β ≥ 0מתקייםαx + βy ∈ C : טענה 33.8יהי } ,Pn = {A ∈ Mn (R) : A is symmetric and positive-semide niteאז: Pn .1הוא קונוס. ∀v ∈ Rn : vv T ∈ Pn .2 n
.3לכל A ∈ Pnקיימים {vi }i= ∈ Rnאורתוגונליים ו λ1 ≥ · · · ≥ λn ≥ 0כך ש λi vi viT
34 34.1
Pn
=i
= .A
שיעור 9 שיטת Monte-Carloלהערכת הסתברות של מאורע
ישנה התפלגות Pומאורע .Aנרצה להעריך את ) .p (Aנגריל באופן ב"ת סדרה של נקודות ω1 , · · · , ωN ∈ Ωלפי התפלגות .Pנגדיר מ"מ: ( ( 1 ωi ∈ A 1 p = Xi = 0 otherwise 0 1−p
106
נגדיר Xi
PN
i=1
1 N
= . Xנשים לב:
N 1 X = E X E [Xi ] = p N i=1 "N # N X {Xi }are i.i.d 1 X )p (1 − p 1 1 1 V ar X = 2 V ar Xi = )V ar [Xi ] = 2 N p (1 − p ≤ − 2 N N N N 4N i=1 i=1
לפי א"ש צ'בישב: V ar X 1 ≤ ≤ Pr X − p ≥ p = Pr X − E X ≥ p 2 p2 4N 2 p2 עבור 34.1.1
1 2 p2
>> Nנקבל כי בסיכוי גבוה . X − p ≤ p
שיטת MCMC־ 86) Markov Chain Monte Carlo
(Broder,
בעיה נתון גרף דו צדדי ) ,G = (V, Eכש .|V | = nכמה זיווגים מושלמים יש בגרף הזה? הבעיה הזו היא N Pקשה ).(Valiant, 79 הצעה נגדיר ) (Ω, Pכש Ωהיא אוסף כל הזיווגים המושלמים ,ו Pהיא התפלגות אחידה .נניח שנוכל להגריל זיווג M ∈ Ω לפי התפלגות אחידה .נגדיר {M0 } = A ⊆ Ωכש M0 ∈ Ωהוא זיווג שמצאנו .יהי Zמספר הזיווגים .נקבל:
1 Z
= )Pr (A
הצעה אחרת לA נקבע צלע e ∈ Eונגדיר } ) A = {M ∈ Ω : e ∈ Mמספר הזיווגים שעוברים דרך צלע מסוימת(" Pr (A) .אמורה להיות" גדולה ˜ , n1ולכן ב θ n2הגרלות של זיווג נוכל להעריך ) Pr (Aעם שגיאה כפלית קטנה .נשים לב: } # {M : e ∈ M } # {M : e, e0 ∈ M 1 · = ··· } # {M } # {M : e ∈ M } # {M
= )Pr (A
)הרעיון :עובדים בשיטת ה"בצל" ,קודם בוחרים צלע אחת ,מורידים אותה ואת הקודקודים שלה ,ואז מסתכלים על הגרף שנשאר .בוחרים שוב צלע ,וכו'(. איך נוכל להגריל בצורה יעילה M ∈ Ωבהתפלגות אחידה? נבצע מהלך מקרי על גרף של הזיווגים.
107
שרשראות מרקוב נתון גרף ) G = (V, Eכש} V = {1, · · · , nולכל שני קודקודים הסתברות המעבר ביניהם .תהי λ0התפלגות התחלתית של מיקום המהלך ,ונגדיר λtלכל t ≥ 0להיות התפלגות אחרי tצעדים .רוצים להבין את ההתפלגות של λtכאשר ∞ → .tנגדיר Xtלהיות המשתנה המקרי המתאר את מצב המהלך אחרי tצעדים ואז . Xt ∼ λt הגדרה 34.1מטריצת המעבר של המהלך המקרי מטריצה Pעם nשורות ו nעמודות: )Pij = Pr (Xt+1 = j|Xt = i נניח ש Pijלא תלוי ב) tזה נקרא שרשרת מרקוב הומוגנית(. דוגמה
מהלך מקרי על מעגל עם שלושה קודקודים: ) = 1 J − 1 I = 1 (J − I 2 |{z} 2 2 1 all ones
1 1 2
2
−
2
1 2 1 2 1 2
1 2 1 2 1 2
1 2 3 1 1 0 21 12 21 = 2 = P 2 12 0 21 1 1 1 2 3 2 2 0 λ0 = 1 0 0 ?= λ1
טענה .λ1 = λ0 P 34.2 הוכחה :נשים לב: )Pij λ0 (i) = (λP ) (j
3 X
= )Pr (X1 = y|X0 = i) Pr (X0 = i
i=1
3 X
= )λ1 (j
i=1
אחרי tצעדים נקבל t
λt = λt−1 P = · · · = λ0 P
נשים לב שהע"ע של Jהם 3, 0, 0 :והע"ע של Iהם . 1, 1, 1 :אם כך ,כיוון ש 1 )P = (P − I 2 אז כיוון ש Pו Iמתחלפות הע"ע של Pהם .1, − 12 , − 12נסמן את הו"ע .v1 , v2 , v3זהו בסיס כי Pמטריצה סימטרית ואי שלילית ,אז נסמן: λ0 = a1 v1 + a2 v2 + a3 v3 ⇓ t
1 3
1 3
1 3
= λ0 P = (a1 v1 + a2 v2 + a3 v3 ) P t = a1 v1 P t + a2 v2 P t + a3 v3 P t t t 1 1 t v2 + a3 − = v3 → a1 1 1 1 = a1 (1) v1 + a2 − ∞→t 2 2 108
נשים לב ש a1 = 31כי אנו רוצים לקבל התפלגות. הערה 34.3נשים לב שהטכניקה הזו לא תעבוד ב 4כי תמיד נדע מאיפה התחלנו )אחרי מס' זוגי של צעדים ניהיה בקודקוד אי זוגי ואחרי מס' אי זוגי של צעדים נהיה בקודקוד זוגי( .הבעיה היא שב 4הגרף דו צדדי. הגדרה 34.4שרשרת מרקוב סדרה של משתנים מקריים · · · X0 , X1 ,המקבלים ערכים ב} {1, · · · , nועם התכונה הבאה :לכל 1 ≤ tמתקיים: ) Pr (Xt = at |X0 = a0 , · · · , Xt−1 = at−1 ) = Pr (Xt = at |Xt−1 = at−1 מטריצת המעבר של השרשרת היא )= Pr (Xt = j|Xt−1 = i
Pijt
ומניחים כי היא לא תלויה ב.t מסקנה 34.5בתנאים האלה ,לפי נוסחת ההסתברות השלמה ,אם נסמן ב λtאת ההתפלגות של Xtמתקיים: λt+1 = λt P ⇓ λt = λ0 P t
משפט 34.6פרון־פרובניוס Perron-Frobenius תהי Pמטריצה n × nעם מקדמים אי־שליליים .ונניח כי מתקיימים שני תנאים: .1הגרף המכוון ) G = (V, Eהמוגדר על ידי Pהוא קשיר. .2לא ניתן לחלק את קבוצת הקודקודים Vלקבוצות S0 , · · · , Sd−1כך ש: ) E ⊆ (S0 × S1 ) ∪ (S1 × S2 ) ∪ · · · ∪ (Sd−1 × S0
יהי ) ρ (Pהרדיוס הספקטרלי של :P }ρ (P ) = max {|λ| : λ is an eigenvalue of P אזי ) ρ (Pהוא ע"ע של .Pיהיה xהו"ע מימין שמתאים לע"ע ) ρ (Pו yהו"ע משמאל: y T P = ρ (P ) y T P x = ρ (P ) x אז x, yוקטורים חיוביים ו: xy T hx, yi
t →
∞→t
109
P ) ρ (P
P מקיימת את התכונות של משפט .P Fאז ρ (P ) = 1 ונניח כי טענה 34.7תהי Pמטריצת מעבר של שרשרת מרקוב , 1 והוקטור העצמי מימין של Pהמתאים לע"ע 1הוא .x = ... = ~1 1 הוכחה :אמנם ,כל שורה של Pמסתכמת ל) 1ז"א Pמטריצה סטוכסטית( ,ולכן ,P · ~1כלומר ~1הוא ו"ע של Pמימין משמאל כך ש.yP = ρy = ρאזי קיים לפי P Fוקטור עצמי חיובי yשל PE D D ρ (P עם ע"ע .1נניח בשלילה כי E ) > 1 נגיע לסתירה על ידי כך שנראה ש ) 0 = y, ~1סתירה לכך ש yחיובי( .אמנם נחשב את yP, ~1בשתי צורות. מצד אחד: D E yP, ~1 = P T y, 1 = hρy, 1i = ρ hy, 1i
מצד שני: T P y, 1 = hy, P 1i = hy, 1i
ולכן קיבלנו: hy, 1i = ρ hy, 1i ולכן ,כיוון ש ρ 6= 1אז: hy, 1i = 0
והגענו לסתירה. מסקנה 34.8עבור מטריצה סטוכסטית Pהמקיימת את הדרישות של P Fמתקיים − Pyyi − − y − T ~1 · y 1 .. .. P t → D E = Pn = . . ~1, y i=1 yi y P − − − y − yi Pyyiמסומן ב Πוהוא נקרא ההתפלגות הסטציונרית של השרשרת כי .ΠP = Πולכן ,לכל התפלגות התחלתית λ0של השרשרת )או של המהלך המקרי( מתקיים: − Π − .. t λ0 P → λ0 Π = P . λ0 (i)=1
∞→t
−
− Π
משפט 34.9בתנאים הנ"ל ,לכל התפלגות התחלתית ,λ0ההתפלגות אחרי tצעדים ∞ → ,tשואפת להתפלגות הסטציונרית.
110
נתבונן במהלך מקרי על גרף רגולרי .ז"א יהי Gגרף רגולרי עם nקודקודים עם דרגה ,dאז מטריצת המעבר Pשל ההילוך המקרי: 1 0 d .. P = . 1 0 d Pהיא מטריצה סימטרית ולכן ההתפלגות הסטציונרית שלה היא
1 n
···
1 n
= .Π
הערה 34.10כדי שהתנאים של P Fיתקיימו נדרוש כי: .1הגרף Gהוא קשיר. .2ושהגרף אינו דו צדדי.
גרפים מרחיבים
34.2
הגדרה 34.11גרף מרחיב )(Expander יהי ) G = (V, Eגרף על nקודקודים .נאמר כי Gהוא מרחיב־ δעבור δ > 0אם לכל תת קבוצה S ⊆ V מתקיים: # of outgoing edges from S E S, S = ≥δ ||S ||S משפט 34.12משפטים על הקשר בין ההרחבה של גרף d־רגולרי(להתנהגות הערכים העצמיים שלו 1 (i, j) ∈ E = .(Gijיהי ):h (G יהיו d = λ1 ≥ · · · ≥ λnהע"ע של ) Gכש 0 otherwise E S, S = )h (G min | |V ||S S⊆V, |S|≤ 2 אזי: ) 2d (d − λ2
p
d − λ2 ≤ )≤ h (G }|{z 2
Cheeger
אלה המשפטים המקשרים בין ההרחבה של הגרף לפער הספקטרלי שלו )ולכן לתכונת העירבוב המהיר שלו(.
35 35.1
תרגול 9 הילוך מקרי פשוט על גרף
משפט 35.1יהי ) G = (V, Eגרף רגולרי )לכל הקודקודים אותה הדרגה( ,קשיר ,לא דו צדדי .יהי · · · X0 , X1 ,הילוך מקרי פשוט על ,Gכאשר X0מפולגת בהתפלגות כלשהי על .Vאזי: 1 | |V
= )∀v ∈ V : lim Pr (Xt = v ∞→t
111
הבהרה Xt :הוא מ"מ שמקבל ערכים ב .Vבהנתן Xt+1 ,Xtמתפלג לפי: ( 0 ∈ }{u, v /E = )∀u, v ∈ V : Pr (Xt+1 = v|Xt = u 1 {u, }v ∈ E )deg(u
35.1.1
דוגמאות
הגרף Kn הגדרה Kn 35.2 הקודקודים הם ] ,[nויש את כל הצלעות האפשריות. K2־ דו"צ ולא מעניין. Kn≥3־ הגרף לא דו צדדי )יש מעגל באורך .(3הגרף קשיר )מאוד!( .נקבע .X0 = 1מה ההתפלגות של ?X1 1 n−1 Pr (X1 = 1) = 0 1 = )Pr (X2 = 1 n−1 ∀j > 1 : Pr (X2 = j) = 1 − = )∀j > 1 : Pr (X1 = j
1 n−1
1 n−1
לכל ,tלכל :j 1 1 ))= (1 − Pr (Xt = j n−1 n−1
)Pr (Xt+1 = j) = Pr (Xt 6= j ⇓
t 1 −1 1 ∀t : Pr (Xt = 1) = + 1 − n n n−1 t 1 1 −1 ∀t ∀j > 1 : Pr (Xt = j) = − n n n−1 עתה נניח ש .∀j : Pr (X0 = j) = pjנשים לב: t 1 1 −1 + pj 1 − ) − (1 − pj n n n−1
= )∀t ∀j : Pr (Xt = j
הגרף Cn הגדרה Cn 35.3 מעגל פשוט על nקודקודים שנסמן אותם בV = {0, 1, · · · , n − 1} :
112
נניח ש nאי זוגי ,אחרת Cnדו צדדי .אם nאי זוגי אז Cnהוא מעגל באורך אי זוגי .נניח ש.X0 = 0 Pr (X1 = 0) = 0 1 1 = )Pr (X1 = 1) = = Pr (X1 = n − 1 2 2 1 = )Pr (X2 = 0 2 Pr (X2 = 1) = 0 1 = )Pr (X2 = 3) = Pr (X2 = n − 2 4 מטריצת השכנויות של Cnהיא: ··· 0
2 0
1 1
0 0
0
n−1 1 0
.
1
0
1
1
0
.
0
2
0 1
n−1
1 0
..
..
.
..
..
.
1
0
.
1
..
.
..
0
.. .
⇓ 1
. 0 . 0 . 1 0
0
..
..
0 1
.
..
..
.
1
0
..
1
0
0
1 1 A= 0 2
1
.
..
0
0 1
אם ) p = (p0 , · · · , pn−1ההתפלגות בזמן ,tאז pAההתפלגות בזמן .t + 1 טענה 35.4תהי ) X = (X0 , · · · , Xn−1ההתפלגות של ,X0אזי: lim xAt − n1 · · · n1 1 = 0
∞→t
הוכחה :נראה: .1ל Aיש ע"ע ,1עם ריבוי ) 1כלומר המימד של המ"ע המתאים הוא .(1 .2אם x 6= 1ע"ע של Aאז .|λ| < 1
113
ראשית נסמן
√1 n
√1 n
···
= u0
λ0 = 1 ⇓ 1 X 1 1 √ = xi √ = √ xi n n i n
X
= hx, u1 i
i
טענה 35.5השורשים של הפולינום האופייני של Aהם בדיוק )כולל ריבוי(: 2π cos k , k = 0, · · · , n − 1 n λk = cos 2πאז לכל |λk | < 1 :k ≥ 1 נשים לב ש 1כתוב פעם אחת ,ו −1לא כתוב ,ולכן אם נסמן n k 2πki 0 e n .. הוא ו"ע של . λkתרגיל :מכאן λkהוא שורש של ) pA (xכאשר ) ,A ∈ Mn (Cאבל הוכחה :הוקטור . 2πki )n (n−1
e
זה מספיק. הע"ע הכי גדול בערך מוחלט מלבד 1הוא
2
4π 2n2
T aylor .cos 2πעכשיו נרשום: ≈ 1− n
u0 , · · · , un−1 is an orthonormal basis of eigenvectors X =x hx, ui i ui i
X 1 hx, ui i xti ui xAt = √ u0 + n i≥1 2t X X 2π 2 2t 2 2 1 2 = hx, u i x ≤≈ 1 − hx, ui i ≤ kxk2 i i n 2 n2 i≥1
i≥1
36 36.1
···
1 n
t xA −
תרגול אקסטרה 9 הילוך מקרי פשוט על גרף רגולרי
גרף d־רגולרי ).G = (V = {1, · · · , n} , E הגדרה 36.1הילוך מקרי על G סדרה · · · X0 , X1 ,של קודקודים ב ,Gכש X0הוא קודקוד התחלתי ,ולכל Xt+1 ,tהוא שכן מקרי של .Xt נסמן :p(t) ∈ Rn )(t
)∀i : pi = Pr (Xt = i
114
אבחנה: (
1 {i, j} ∈ E 0 otherwise 1 = )A p(t d
= Aij )p(t+1
≥ −1 : A תזכורת :הע"ע של Aהם ,d = λ1 ≥ · · · ≥ λn ≥ −d :לכל הע"ע של d הוקטור העצמי הראשון )זה נכון לכל גרף d־רגולרי(: 1 1 . v1 = √ .. n 1
λn d
≥ ··· ≥
λ1 d
= .1
טענה G ⇔ λn = −d 36.2הוא דו"צ. הערה 36.3אם : λn = −d
1 .. A . A 1 1 A vn = √ −1 n B . B .. B −1 כש A, Bהם החלוקה לצדדים של .G נסמן ב Π ∈ Rnאת ההתפלגות האחידה: 1 n
Π = ... 1 n
הגדרה 36.4פער ספקטרלי של G
| |λ2 | |λn , d d
= max
∞→t
| |λi d
δ (G) = max
2≤i≤n
נראה שאם δ (G) < 1אז ,p(t) → πונראה שככל ש) δ (Gיותר קטן ,קצב ההתכנסות יותר מהיר. ) (t משפט p − Π ≤ (δ (G))t 36.5 2
115
נציג את:הוכחה p(0) =
n X
αi vi
i=1
α1 v1 = Π 36.6 טענה :הוכחה D E 1 α1 = p(0) , v1 = √ n
n X
(0)
pi
i=1
1 =√ n
| {z } =1
⇓ 1 1 . α1 v1 = .. = Π n 1
Pn
i=2
αi2 ≤ 1 36.7 טענה :הוכחה
n X
αi2 ≤
i=2
n X
n n
2 X 2 X
(0) (0) pi ≤ pi = 1 αi2 = p(0) = i=1
i=1
i=1
:סה"כ קיבלנו p(0) = Π +
n X
αi vi
i=2
⇓ p
(t)
= Π
1 A d
t p
(0)
=
1 A d
t
Π+
is an eigenvector with eigenvalue 1
=Π+
= t n X λi i=2
d
αi vi
116
1 A d
t X n i=2
αi vi =
:Π אז הביטוי הימני ידעך ונשאר עם
λi d
< 1 אם
2t n n
2 X
X λi
(t) 2t 2t 2 = α − Π ≤ δ (G) αi2 ≤ δ (G)
p i d 2 i=2 i=2 | {z } ≤1
⇓
(t)
t
p − Π ≤ δ (G) 2
.A ⊆ V תהי.t ≥
1 1−δ(G)
log
√ n
יהי. > 0 יהי36.8 מסקנה
Pr (Xt ∈ A) − |A| < n
:הוכחה X (t) 1 4 X (t) 1 |A| Pr (Xt ∈ A) − p − ≤ = p − ≤ i i n n n i∈A i∈A n
X (t) 1 √
(t)
(t) = p − − Π ≤ ≤ n − Π
p
p
≤ i n 1 2 i=1 √ t ≤ nδ (G) √ 1 n ⇓t= log 1 − δ (G) log √n √ 1 √ Pr (Xt ∈ A) − |A| ≤ n ≤ n√ = δ (G) 1−δ(G) {z } | n n ≤ 1e
נשים לב ש 1
δ 1−δ ≤
1 e
m 1 = eδ−1 e1−δ m x := δ − 1
δ≤
x + 1 ≤ ex
117
תרגיל 9
37
טענה 37.1יהי ) G = ([n] , Eגרף dרגולרי ,ותהי Aמטריצת השכנויות של .Gיהיו λ1 ≥ · · · ≥ λnהע"ע של .Aאז: A .1לכסינה אורתוגונלית. λ1 = d .2 ∀i ∈ [n] : |λi | ≤ d .3 .4אם יש kרכיבי קשירות ב Gאז λ1 = · · · = λk = dוגם .λk+1 < d .5אם Gדו צדדית ,אז ∀i ∈ [n] : λi = −λn+1−i .6ל Gיש רכיב קשירות דו צדדי אם"ם .λn = −d
הגדרה Total Variation Distance 37.2 יהיו ) p = (p1 , · · · , pn ) , q = (q1 , · · · , qnהתפלגויות על ] .[nאז ה Total Variation Distanceבין pו qמוגדר כך: n
1X 1 = kp − qk1 | |pi − qi 2 2 i=1 טענה 37.3יהיו p, qהתפלגויות על ] ,[nעבור ] A ⊆ [nאם: X = )pi , Q (A qi
X
= )δ (p, q
= )P (A
i∈A
i∈A
אז: |)δ (p, q) = max |P (A) − Q (A ]A⊆[n
טענה 37.4יהי ) G = (V, Eגרף קשיר לא דו צדדי עם ,|V | ≥ 2אז ההתפלגות הסטציונרית של מהלך מקרי על G היא: )deg (v |2 |E
= )P (v
הגדרה 37.5מהלך מקרי עצל יהי ) G = (V, Eכך שב Gאין קודקודים מבודדים .מהלך מקרי עצל על Gהוא שרשרת מרקוב · · · X0 , X1 ,כך ש: ∀t ∈ N : Xt ∈ V u=v {u, v} ∈ E
1 2
otherwise
0
1 ) 2deg(u
= )∀t ∈ N : ∀u, v ∈ V : Pr (Xt = v | Xt−1 = u
118
טענה 37.6יהי ) G = ([n] , Eגרף קשיר d־רגולרי )עם ,(d ≥ 1תהי x0הסתברות על ] ,[nיהיו · · · X0 , X1 ,הילוך מקרי עצל על ,Gכש .X0 ∼ x0אז: 1 n
= )∀k ∈ [n] : lim Pr (Xt = k ∞→t
הגדרה 37.7הקוביה הדיסקרטית n ) G = ({0, 1} , Eכש {u, v} ∈ Eאם"ם u, vנבדלים בקורדינטה אחת. טענה 37.8מהלך מקרי עצל על הקוביה הדיסקרטית כש) X0 = (0, · · · , 0שקול ל :בכל צעד ,קורדינטה נבחרת באקראי )באופן אחיד( ומוגדרת להיות או 0או ) 1בהסתברות חצי לכל אפשרות(. טענה 37.9תהי Gהקוביה הדיסקרטית .אז: G .1דו צדדי. n
.2יהי Atהמאורע בו עד זמן tכל הקורדינטות נבחרו במהלך המקרי העצל .אז לכל t ≥ nולכל }x ∈ {0, 1 מתקיים: 1 2n
.3מתקיים:
1 t n
= ) Pr (Xt = x|At
∀t : Pr (At ) ≥ 1 − n 1 −
.4נניח ,Xt ∼ ptאז קיים C > 0שלא תלוי ב nכך ש: 1 4
38
≤
t ≥ Cn2 ⇒ δ pt , 2−n , · · · , 2−n
בוחן 2
טענה 38.1אם v, v 0ו"ע של Aסימטרית אז .hv, v 0 i = 0
119
חלק
III
אופטימיזציה שיעור 10
39 39.1
אינטואיציה
הגדרה 39.1בעיית אופטימיזציה קבוצה )תחת הגדרה( ,Ωפונקציה < → ,f : Ωומחפשים x ∈ Ωשממקסם את :f )∀y ∈ Ω : f (y) ≤ f (x
הגדרה 39.2תכנון לינארי סוג של בעיית אופטימיזציה שבה Ω ⊆ Rnקבוצה המוגדרת ע"י משוואות ואי־שווינים לינאריים ,ובה fאף היא לינארית. הגדרה 39.3פאון )(polytope קבוצה חסומה ב Rnהמוגדרת ע"י רשימה סופית של משוואות לינאריות ואי שווינים לינאריים. הגדרה 39.4תכנון לינארי דרך אחרת להגדרה :רוצים למקסם פונקציה לינארית ) f (xכש xמוגבל לאיזשהו פאון .P מסקנה 39.5האופטימון מושג תמיד )לא בהכרח אך ורק ב( בקודקוד של הפאון .זה מאפשר לפחות לתת פתרון במס' צעדים סופי לבעיית ה .LP
39.2
בעיות
הגדרה 39.6בעיית התזונה של פרות יש מטריצה ,Am×nווקטורים b ∈ Rn , c ∈ Rmכך ש: aij = how many units of the j-th nutrient is in one unit of food type i
bi = the minimal amount of nutrient i needed so the cow will be healthy
cj = the price of one unit of food type j
והמטרה היא להזין במחיר מזערי את הפרות בתזונה הבריאה להן: min hc, xi s.t. x≥0 xA ≥ b כשהאילוץ xA ≥ bאומר "לכל אב מזון :תנו לפחות את המנה המינימלית הנדרשת". 120
הערה 39.7האילוצים x ≥ 0, xA ≥ bמגדירים פוליהדר. הגדרה 39.8בעיית על מישור מפריד עם שולי ביטחון ב Rnנתונות נקודות " {xi }i∈Iחיוביות" ונקודות " {yj }j∈Jשליליות" .מחפשים על מישור שמפריד ביניהן עם שולי ביטחון גדולים ככל האפשר .המשתנים הם ,α, β,והבעיה היא: max s.t. ≥0 ~∀i ∈ I : h α, x~i i ≥ β + ~∀j ∈ J : h α, y~j i ≤ β −
הגדרה 39.9בעית הזרימה ברשת נתון גרף מכוון )") G = (V, Eרשת"( עם מקור s ∈ Vובור ,t ∈ Vוכן נתונים קיבולים לצלעות .c : E → R≥0 זרימה בGזו פונקציה f : E → R≥0המקיימת את הדרישות הבאות: ])∀e ∈ E : f (e) ∈ [0, c (e X X = ∀v 6 s, t ∈ V : = )f (e )f (e) (preservation of material e→v
v→e
בכפוף לתנאים האלה רוצים למקסם את השטף שיוצא מ) sשנכנס ל:(t ! X X = )f (e )f (e s→e
e→t
הגדרה 39.10ניסוח אחר של בעיית הזרימה ברשת נתונים שוב .G, c, s, tתהיה Aהמשפחה של כל המסילות המכוונות מ sל tב .Gזרימה בנוסח זה מתוארת ע"י רשימה של מקדמים אי שליליים {xP }P ∈Aוהכוונה היא שאנו מזרימים xPלאורך המסילה .Pבניסוח זה ברור ששימור החומר מתקיים ,ונותר רק לדאוג לכך שלא נעבור את הקיבולים המותרים. ( 1 e ∈ P, s →P t = ∀e ∈ E, P ∈ A : Me,P 0 otherwise האינדקסים שלו היא ,Aובנוסף התנאי .M x ≤ cנשים לב שאילוצים אלו בעיית הזרימה :רוצים x ≥ 0שקבוצת P הם הפאון שלנו .פונקציית המטרה היא.max P ∈A xP :
39.3
אלגוריתמים לפתרון
LP
.1אלגוריתמים מטיפוס סימפלקס .הרעיון :בכל צעד עוברים מקודקוד של הפאון לקודקוד שכן באופן שמשפר את פונקציית המטרה. .2אלגוריתמים של נקודה פנימית. .3אלגוריתמים של נקודה קיצונית )לא נדבר כלל(. הערה Klee − M inty 39.11מצאו ב 1972פאון שמכשיל גירסה מסויימת של אלגוריתם הסימפלקס .כמעט כל גרסה של אלגוריתם הסימפלקס נכשלה ברבות השנים בדרך דומה. 121
שאלה קרובה: 39.3.1
מהו הקוטר המירבי של הגרף של פאון d־מימדי ,עם nדפנות.
הסברים לכך שאלגוריתמים מטיפוס סימפלקס נוטים לעבוד היטב בבעיות מציאותיות
.1מראים שאם מגרילים את התוכנית הלינארית אז בהסתברות קרובה לאחד גרסה מסויימת של הסימפלקס עובדת מהר.
Smoothed Analysis (Spielman Tang) .2 39.3.2
אלגוריתם האליפסואידים )(L.Khachyan
זהו אלגוריתם פולינומי בגודל הקלט לבעיית .LPלא ידוע האם יש אלגוריתם פוליומי חזק לבעיית .LP הגדרה 39.12אלגוריתם פולינומי חזק נניח שאיברי Am×n , b, cנתונים ב kביטים של דיוק .אלגוריתם פולינומי חזק הוא אלגוריתם שזמן הריצה שלו ) poly (m, nכשכל הפעולות מתבצעות ב kביטים של דיוק. כפי שציינו ,בעיית הספיקות קשה לפחות כמו .LPז"א ,נניח יש לנו תוכנית שמכריעה אם מערכת נתונה של משוואות ואי שווינים לינאריים היא ספיקה ,אז אפשר לקרוא לה מס' קטן של פעמים ע"מ לפתור .LPנניח הבעיה: max hc, xi x≥0 Ax ≤ b
אז נקבע Tונשאל האם hc, xi ≥ T x≥0 Ax ≤ b
ספיקה. הגדרה 39.13בעיית הספיקות נתון גוף קמור .P ⊆ Rnידוע: P ⊆ B (0, R) .1 .2אם ∅ = P 6אז הוא מכיל כדור מרדיוס ≤ .r הבעיה :להכריע אם ∅ = .P הגדרה 39.14אליפסואיד התמונה של כדור היחידה כשמפעילים טרנספורמציה אפינית )= לינארית +הזהה(.
122
40 40.1
תרגול 10 פוליהדרונים קמורים ואופטימיזציה לינארית
מעוניינים לפתור מקסם את cT xכאשר .Ax ≤ b, x ∈ Rnקבוצת הנקודות } {x : Ax ≤ bנקראת קבוצת הנקודות הפיזביליות .היא פוליהדר. 40.1.1
סימונים
הגדרה 40.1חצי מרחב עבור y ∈ Rn , a ∈ Rנגדיר את חצי המרחב: }Λ (y, a) := {x ∈ Rn : hy, xi ≤ a
הגדרה 40.2על מישור )H (y, a) = {x ∈ Rn : hy, xi = a} = Λ (y, a) ∩ Λ (−y, −a
הגדרה 40.3פוליהדר קמור )(convex polyhedron חיתוך של מס' סופי של חצאי מרחבים .אם הפוליהדר חסום ,אז הוא נקרא פאון קמור ).(convex polytope 40.1.2
דוגמאות
הגדרה 40.4סימפלקס n־מימדי: ) =
λi = 1, ∀i : λi ≥ 0
n+1 X
λi ei ,
i=1
) =
xi = 1
n+1 X
( =: x
n+1
x∈R
=4n :
i=1
= } = conv {e1 , · · · , en+1 (
n+1 X
: ∀i : xi ≥ 0,
n+1
x∈R
=
i=1
1 ,1 } xi =1
··· {z
Pn+1 i=1
1
= ∩n+1 i=1 Λ (−ei , 0) ∩ H |
same as
נסתכל על דוגמאות: })40 = {(1 41 = diagram 42 = diagram
123
הגדרה 40.5פאה יהי Pפוליהדר .פאה של Pהיא קבוצה מהצורה ) P ∩ H (y, aכך ש .P ⊆ Λ (y, a) :קודקוד של Pזה פאה מגודל .1 פאות של :41 1 0 ∅, , , 41 0 1
הגדרה 40.6קובייה n־מימדית n
= Cn := [−1, 1] ⊆ Rn = }]= {x ∈ Rn : ∀i : xi ∈ [−1, 1 = )= ∩ni=1 Λ (ei , 1) ∩ Λ (−ei , 1 ( n ) X = conv }i ei : 1 , · · · , n ∈ {±1 i=1
הוכחה :נראה שאכן 1 e1 + · · · + n enהוא קודקוד .נקח: )H (1 e1 + · · · + n en , n נשים לב: h1 e1 + · · · + n en , 1 e1 + · · · + n en i = n אם x ∈ Cnאז: i x i ≤∗ n
n X
= hx, 1 e1 + · · · + n en i
i=1
∗≤ הוא שוויון אם"ם i ei = x
P
.
הגדרה 40.7אורתנט n־מימדי = }On = {x ∈ Rn : ∀i : xi ≥ 0 )= ∩ni=1 Λ (−ei , 0
124
40.1.3
פאונים שנוצרים מתוכנית לינארית
נגדיר: })A = {(0, 1) , (1, 2 })B = {(−1, −1) , (3, 1
נרצה ישר שעובר בין Aל Bכך שהמרחקים על ציר yבין הנקודות לבין הישר יהיה מקסימלי .המשתנים הם a, b שייצגו את השיר: y = ax + b
אילוצים: b≤1 a+b≤2 −a + b ≥ −1 3a + b ≥ 1
כשאי השוויון הראשון מתאים ל) ,(0, 1אי השוויון השני מתאים ל) .(1, 2שניהם אמורים להיות מעל לישר .אי השווינות האחרונים מתאימים לנקודות ב Bשמתחת לישר. ציור שמראה את קבוצת הנקודות הפיסביליות. פונקציית מטרה :למקסם: 1 − b + 2 − (a + b) + −a + b + 1 + 3a + b − 1 = 3a + 3
נשים לב שזה שקול למיקסום ,3aששקול למקסם את .a
41
תרגול אקסטרה 10
41.1
תכנון לינארי ואלגוריתמי קירוב
41.1.1
בעיית SET-COVER
קלט קבוצה של איברים ,Uכש|U | = n אוסף של תתי קבוצותS1 , · · · , Sm ⊆ U : מטרה למצוא תת אוסף מגודל מינימלי שמכסה את כל איברי .U
125
דוגמה
}U = {1, 2, 3 }S1 = {1, 2 }S2 = {1, 3 }S3 = {2, 3 הפתרון האופטימלי הוא ) OP T = 2נדרשים במינימום 2סטים כדי לכסות את .(U
ננסח את SET-COVER
כבעיית תכנון בשלמים
נגדיר }b1 , · · · , bm ∈ {0, 1 bi = 1 ⇔ Si is a part of the collection אז הבעיה היא: bi
m X
min
i=1
}b1 , · · · , bm ∈ {0, 1 X ∀u ∈ U : bi ≥ 1 i: u∈Si
רלקסציית LP נחליף את ה biים ב xiים: xi
m X
min
i=1
]x1 , · · · , xm ∈ [0, 1 X ∀u ∈ U : xi ≥ 1 i: u∈Si
ואפשר לחשוב על xiככמה אני באמת רוצה את Siבאוסף.
126
הדוגמא הקודמת לאחר רלקסציית LP minx1 + x2 + x3 0 ≤ x1 , x2 , x3 ≤ 1 x1 + x2 ≥ 1 x1 + x3 ≥ 1 x2 + x3 ≥ 1 אז הפתרון האופטמלי מתקבל כש x1 = x2 = x3 = 21והוא שווה ל 3 2
= OP TLP
הערה 41.1נשים לב ש OP TLP ≤ OP T כי התחומים המותרים מוכלים .אבל יש אתגר ־ כיצד ניתן לקחת את הפתרון האופטימלי של ה ) LPאותו ניתן לחשב בזמן פולינומיאלי( ולחלץ ממנו לבעיה המקורית? )עיגול או roundingשל הפתרון של ה .(LP אלגוריתמי עיגול אלגוריתם 1אלגוריתם ראשון קלט :פתרון אופטימלי x1 , · · · , xmל .LP פלט :פתרון cלבעיה המקורית כך ש |c| ≤ f · OP TLPכאשר fהיא השכיחות המקסימלית )כל איבר u ∈ Uמופיע בלכל היותר ב fקבוצות מבין .S1 , · · · , Sm n o .1נחזיר c ← i : xi ≥ f1
טענה 41.2שתי טענות: c ≤ f · OP TLP .1 c .2הוא כיסוי של .U הוכחה :כל טענה בנפרד: 1 xi ≥ f1 .1נסמן 0 otherwise
( = biואז .bi ≤ f · xiנקבל:
xi = f · OP TLP
m X i=1
127
· bi ≤ f
m X i=1
= ||c
1 f
.2יהי .u ∈ Uצ"ל :יש iכך ש u ∈ Siוגם זה ,ולכן לפחות אחד מהם הוא לפחות . f1
≥ .xiואכןxi ≥ 1 ,
P
i: u∈Si
ויש לכל היותר fמחוברים בסכום
אלגוריתם 2אלגוריתם שני קלט :פתרון אופטימלי x1 , · · · , xmל .LP פלט :בהסתברות לפחות 12־ פתרון cלבעיה המקורית כך ש ≤ O (log n) · OP T | .n = |U
|C| ≤ O (log n) · OP TLPכאשר
.1נקבע )k ← ln (4n .2עבור :j ← 1, · · · , k )א( נבחר ] Cj ⊆ [mבאקראי באופן ב"ת בבחירות הקודמות כך ש Pr (i ∈ Cj ) = xi .3נחזיר C ← C1 ∪ · · · ∪ Ck טענה 41.3לכל u ∈ Uולכל ]:j ∈ [k
1 e
≤ ) Pr (u is not covered by Cj
הוכחה :איך בוחרים את ? C1לכל אחת מתתי הקבוצות האפשריות S1 , · · · , Smנכניס את Siל C1בהסתברות ,xi אז: ≤ ) (1 − xi
u∈Si
Pr (u is not covered by C1 ) = Πi:
נסמן ב fuאת מס' הקבוצות מבין S1 , · · · , smש uשייך אליהן ,אז: !fu P f fu X xi u 1 1 ) (1 − xi ≤ 1 − i: u∈Si ≤ 1− ≤ fu fu e
i: u∈Si
1 fu
means inequality
≤
אז באופן זהה 1 e
≤ ) Pr (u is not covered by Cj
מסקנה 41.4נשים לב: ) k ln(4n 1 1 1 = = e e 4n
≤ ) Pr (u is not covered by any of the Cj
⇓ Union bound 1 ≤ )Pr (C is not a cover 4
128
טענה 41.5 xi = kOP TLP
m X
E [|C|] ≤ kE [|C1 |] ≤ k
i=1
ומא"ש מרקוב: 1 4
≤ ) Pr (|C| ≥ 4kOP T
ואז נקבל את החסם על האופטימליות של האלגוריתם.
תרגיל 10
42
הגדרה Cross − P olytope 42.1 }Pn = {x ∈ Rn : kxk1 ≤ 1
טענה 42.2עבור Pnמתקיים: Pn .1הוא חיתוך של מס' סופי של חצאי מרחבים ולכן הוא פוליהדרון .כיוון שהוא חסום הוא פוליטופ. n
.2הקודקודים של Pnהם .V = {±ei }i=1 .3מתקייםPn = conv (V ) :
43 43.1
שיעור 11 LP
הגדרה 43.1בעיית LP למצוא מקסימום של פונקציה לינארית ע"פ תחום ב Rnהמוגדר ע"י משוואות ואי־שווינים לינארים. הגדרה 43.2על מישור ב Rn H = {x ∈ Rn | hc, xi = α} , c ∈ Rn , α ∈ R
הערה 43.3על מישורים מקבילים שומרים על cומשנים את α → β
129
הגדרה 43.4חצאי מרחב לכל על מישור מוגדרים שני חצאי מרחב: = x| hc, xi ≥ α }|{z ≥ closed half space open half space
≤ }|{z
α
>
x| hc, xi
closed half space
open half space
H+
≤
<
= H−
הגדרה 43.5פוליהדר חיתוך סופי של חצאי מרחב ב . Rn הגדרה 43.6פאון פוליהדר חסום. הערה LP 43.7זו הבעיה של מציאת המקסימום של פונקציה לינארית ע"פ פאון. הערה 43.8יש אלגוריתם ל LPבעל זמן ריצה פולינומי באורך הקלט ־ אלגוריתם האליפסואידים .לא מוכר אלגוריתם פולינומי חזק. הגדרה 43.9אלגוריתם פולינומי חזק עבור LP אם בעיית ה LPמוגדרת על ידי Am×nוהקלט נתון ב kספרות דיוק ,אז האלגוריתם רץ בזמן ) poly (m, nומחשב בדיוק של kביטים. הגדרה 43.10תוכנית לינארית תוכנית לינארית נראית כך: max hc, xi Ax ≤ b x≥0
הגדרה 43.11תוכנית לינארית בשלמים ILP כמו קודם ,רק n
}x ∈ {0, 1
n
הערה 43.12תכנון לינארי בשלמים זו בעיה N P־שלמה .אבל ,אפשר לנסות את הגישה הבאה :את התנאי }x ∈ {0, 1 נחליף ב .~0 ≤ x ≤ ~1נקבל כרגיל וקטור xשכל הקורדינטות שלו הן בין 0ל .1עכשיו אפשר לעגל את xבכל מיני שיטות ,למשל עיגול מקרי .לא צפוי שיתקבל פתרון אופטימלי ,אבל יש בעיות חשובות רבות שבהן עיגול כנ"ל מוביל לפתרון מקורב טוב.
130
הגדרה 43.13בעיית הSet cover יש קבוצת בסיס Xומשפחה fשל תתי קבוצות של .Xהבעיה הדיסקרטית :מצא תת משפחה קטנה ככל האפשר של fשאיחודה הוא כל .Xנניח |X| = mו |f | = nאז נגדיר: ( 1 Xi ∈ fj = ∀i ∈ [m] , ∀j ∈ [n] : Ai,j 0 otherwise בעיית ה set coverמחפשת וקטור } x ∈ {0, 1תחת האילוצים D E min ~1, x n
Ax ≥ ~1
הגדרה 43.14שיכוך רציונלי של set cover min h1, xi 0≤x≤1 Ax ≥ 1
הגדרה 43.15צורה 1של LP max hc, xi Ax ≤ b
הגדרה 43.16צורה 2של LP max hc, xi Ax = b x≥0
משפט 43.17כל LPאפשר להביא לכל אחת משתי הצורות הנ"ל תוך הגדלת גודל הבעיה בגורם קבוע. הוכחה :כדי להביא את צורה 2לצורה 1כל מה שנדרש הוא להפטר מהמשוואות .נחליף כל שוויון בזוג אישווינים משלימים.≤, ≥ : כדי להביא את צורה 1לצורה 2צריך להפטר מאי שווינים .אי שוויון כללי נראה כך . ha, xi ≤ δ :ע"מ להפטר ממנו נוסיף משתנה עזר 0 ≤ zו: ha, xi + z = δ
131
אם יש משתנה xiשלא מוגבל בסימנו אז: xi = u − v 0 ≤ u, v
הגדרה 43.18פתרון בסיסי מותר )basic feasible solution (BFS זה וקטור xשמקיים :הוא פתרון ) ,(Ax = bהוא מותר ) ,(x ≥ 0והוא בסיסי :כלומר העמודות המאונדקסות בA ע"י ) supp (xהן בת"ל .ניסוח שקול ומקובל לבסיסיות :יש בסיס עמודות Bשל Aכך ש.supp (x) ⊆ B הערה 43.19זה שקול לקודקוד של הפאון.
הגדרה 43.20תומך של וקטור support יהי xוקטור ,התומך שלו הוא קבוצת כל האינדקסים כך ש .xi 6= 0מסומן ב).supp (x משפט 43.21נביט ב :LP max hc, xi Ax = b x≥0 כש Am×nו . rank (A) = m < nנניח שהמערכת ספיקה )ז"א יש x ≥ 0המקיים ,(Ax = bוכן שפונקציית המטרה חסומה .אזי המקסימום של hc, xiיתקבל )לאו דווקא כן( בפתרון בסיסי מותר. הוכחה :רוצים להראות שלכל x ≥ 0המקיים Ax = bיש zשהוא bf sכך ש .hc, zi ≥ hc, xiאם xעצמו הוא bf sאז נקח .z = xאחרת x ,אינו בסיסי .ז"א ,קבוצת העמודות של Aהמאונדקסות ע"י ) supp (xהן כן תלויות לינארית. כלומר ,יש וקטור yהמקיים Ay = 0וגם ) .supp (y) ⊆ supp (xז"א yמערב רק עמודות המצויינות ע"י התומך של .xנביט בווקטורים מהצורה :x + y }A (x + y) = |{z Ax + Ay = b }|{z =0
=b
האם מתקיים ?x + y ≥ 0כן ,לפחות אם || קטן דיו .רוצים להבין hc, x + yi = hc, xi + hc, yi = hc, yiאז ע"י בחירה מתאימה של הסימן של ניתן להשיג אם 6 0 hc, x + yi > hc, xi נגדיל את || עד שאיזושהי קורדינטה תתאפס ,ז"א )supp (x + y) ( supp (x 132
ונמשיך כך עד שנצמצם את התומך של הוקטור שבידינו לקבוצות עמודות בת"ל. אם hc, yi = 0אז פונקציית המטרה אינה משתנה ,אבל אנחנו מצליחים כנ"ל לצמצם את התומך עד שהוא נהיה בת"ל.
43.2
גיאומטריה n
הערה 43.22נזכור :פאון Pב Rזו קבוצה חסומה המוגדרת כחיתוך של מס' סופי של חצאי מרחב. הגדרה 43.23על מישור תומך )(supporting hyperplane על מישור H ⊆ Rnנקרא על מישור תומך של Pאם: ∅ =P ∩ H 6 P ⊆ H+ ל H ∩ Pקוראים פאה ) (faceשל ,Pוהמימד שלה הוא המימד האפיני של הקבוצה הזו) .לפאה 0מימדית נקרא קודקוד ,לפאה 1מימדית נקרא צלע ,וכו( משפט 43.24יהיה Pהפאון המוגדר ע"י ,Ax = b, x ≥ 0ותיהיה .v ∈ Pאז התנאים הבאים שקולים: v .1הוא קודקוד של P v .2הוא bf sכפתרון מותר של Ax = b, x ≥ 0 הוכחה:1 ⇒ 2 : ע"פ ההגדרה הגיאומטרית של קודקוד ,יש על מישור } H = {x| hc, xi = αכך ש} H ∩ P = {vו P ⊆ H +ז"א hc, vi = αולכל } z ∈ P \ {vמתקיים v ∈ P .hc, zi < αאומר ש vהוא פתרון מותר .חסר :בסיסי? נזכיר את המשפט הקודם: משפט " 43.25האופטימום של LPמתקבל תמיד ב".BF S נביט בתוכנית הלינארית: max hc, xi x≥0 Ax = b לפי ההנחות המקסימום הזה = ,αהוא מתקבל ב vורק ב.v :2 ⇒ 1 נתון ש vהוא ,bf sרוצים למצוא על מישור שתומך ב Pב vובו בלבד .ננסה למצוא cכזה ש hc, vi = 0 ∀x ∈ P \ {v} : hc, xi < 0 בלי מאמץ ברור ש hc, xi ≤ 0לכל x ∈ Pכי .x ≥ 0 ≥ cמטרתנו :להראות שלכל } x ∈ P \ {vבעצם ,hc, xi < 0 ז"א ש) supp (xמכיל גם קורדינטות מחוץ ל) .supp (vנניח בשלילה .supp (x) ⊆ supp (v) :מכך ש}x ∈ P \ {v מתקיים ש ,Ax = bולכן .Ax = b = Avאבל ,מכך ש vהוא bf sאז העמודות המאונדקסות על ידי ) supp (vהן בת"ל .מכך ,ומכך ש ,x 6= vקיבלנו סתירה לייחודיות ההצגה באמצעות בסיס פורש.
133
תרגול 11
44 44.1
שיטת הסימפלקס
44.1.1
אינטואיציה
מיקסום cT xתחת האילוצים: Ax ≤ b x≥0 שמגדירים פאון. 44.1.2
תרגיל
מקסמו את 5x1 + 4x2 + 3x3תחת האילוצים: 2x1 + 3x2 + x3 ≤ 5 4x1 + x2 + 2x3 ≤ 11 3x1 + 4x2 + 2x3 ≤ 8 x1 , x2 , x3 ≥ 0 יותר נוח לעבוד עם שוויונות ,לכן נוסיף משתנים עודפים: 0 ≤ 5 − 2x1 + 3x2 + x3 0 ≤ 11 − 4x1 + x2 + 2x3 0 ≤ 8 − 3x1 + 4x2 + 2x3 x1 , x2 , x3 ≥ 0 ⇓ s1 = 5 − 2x1 − 3x2 − x3 s2 = 11 − 4x1 − x2 − 2x3 s3 = 8 − 3x1 − 4x2 − 2x3 0 ≤ x1 , x2 , x3 , s1 , s2 , s3 רוצים למקסם: z = 5x1 + 4x2 + 3x3 הפתרון הפיזבילי הראשון הוא:
x1 0 x2 0 x3 0 = ,z = 0 s1 5 s2 11 s3 8 134
:x1 כמו שהם וננסה לשפר אתx2 , x3 נשאיר את.ננסה לשפר את הפתרון הראשון 5 2 11 0 ≤ 11 − 4x1 ⇒ x1 ≤ 4 8 0 ≤ 8 − 3x1 ⇒ x1 ≤ 3 0 ≤ 5 − 2x1 ⇒ x1 ≤
:נקבל מהמשוואה הראשונה 2x1 = 5 − 3x2 − x3 − s1 ⇒ x1 =
5 3 1 1 − x2 − x3 − s1 2 2 2 2
⇓ s2 = 1 + 5x2 + 2s1 1 1 1 3 s3 = + x2 − x3 + s1 2 2 2 2 :מקסמו z=
1 5 25 7 − x2 + x3 − s1 2 2 2 2 :קיבלנו את הפתרון
5 x1 2 x2 0 x3 0 = , z = 25 s1 0 2 s2 1 1 s3 2 : נקבל את האילוצים,x3 נגדיל את
rst equation⇒x3 ≤ 5 rst equation⇒nothing third equation⇒x3 ≤ 1⇐tight : אגף במשוואה השלישיתx3 נעביר את x3 = 1 + x2 + 3s1 − 2s3 x1 = 2 − 2x2 − 2s1 + s3 s2 = 1 + 5x2 + 2s1 z = 13 − 3x2 − s1 − s3
135
2 x1 x2 0 x3 1 = , z = 13 s1 0 s2 1 0 s3 נשים לב שזהו הפתרון האופטימלי ־ x2 , s1 , s3כולם אי שליליים ,אך מופיעים ב zעם ,−ולכן לא ניתן לשפר את .z 44.1.3
איך מוצאים פתרון פיזבילי בסיסי ראשון למערכת ?cT x, Ax ≤ b, x ≥ 0
מערכת המשוואות שלנו היא: a11 x1 + · · · + a1n xn ≤ b1
.. . am1 x1 + · · · + amn xn ≤ bm נוסיף לכל המשוואות: s + a11 x1 + · · · + a1n xn ≤ b1
.. . s + am1 x1 + · · · + amn xn ≤ bm ונרצה למקסם את .s
45
תרגול אקסטרה 11
45.1
דואליות בתכנון לינארי
45.1.1
דוגמא
maxx1 + x2 + x3 0 ≤x1 , x2 , x3 1 ≥x1 + x2 1 ≥x1 + x3 1 ≥x2 + x3
136
נשים לב שפתרון אפשרי הוא: 1 2
= x1 = x2 = x3
לכן .OP T ≥ 32 :כיצד ניתן להוכיח\להשתכנע בקלות ש: לכל פתרון פיזיבילי xמתקיים:
3 2
≤ ?OP Tנחבר את כל אי השוויונים ונחלק ב ,2ואז
1 1 1 3 ≤ ) (x1 + x2 ) + (x1 + x3 ) + (x3 + x2 2 2 2 2
45.1.2
≤ x1 + x2 + x3
דוגמא
max2x1 + 3x2 0 ≤x1 , x2 3 ≥1 2x1 + x2 4 ≥2 3x1 + 2x2 12 ≥3 4x1 + 8x2 ננסה למצוא חסמים עליונים ל :OP T נחלק את אי שוויון :3 2x1 + 3x2 ≤ 2x1 + 4x2 ≤ 6 נקח את אי שוויון 1ועוד אי שוויון 3ונחלק ב:3 2x1 + 3x2 ≤ 5
שאלה:
מה החסם הטוב ביותר ששיטה כזאת יכולה לתת?
תשובה :ניקח y1 , y2 , y3 ≥ 0ונבצע: y1 (2x1 + x2 ) + y2 (3x1 + 2x2 ) + y3 (4x1 + 8x2 ) ≤ 3y1 + 4y2 + 12y3
we want
כיוון שאנחנו כופלים את yב ,xע"מ לשמר את הסימן נרצה .y ≥ 0נחפש min3y1 + 4y2 + 12y3 s.t. y≥0 ) 2y1 + 3y2 + 4y3 ≥ 2 (we're using the coe cients of x1 ) y1 + 2y2 + 8y3 ≥ 3 (we're using the coe cients of x2
137
≤
if y satis es constaints
2x1 + 3x2
תוכנית זו נקראת התוכנית הדואלית לתוכנית המקורית. טענה 45.1לכל y1 , y2 , y3שהוא פתרון פיזיבילי לתוכנית הדואלית ,ולכל פתרון פיזיבילי x1 , x2לתוכנית המקורית, מתקיים: 2x1 + 3x2 ≤ 3y1 + 4y2 + 12y3
משפט 45.2הדואליות למעשה ,הפתרונות האופטימיליים מקיימים שוויון: 2x1 + 3x2 = 3y1 + 4y2 + 12y3
באופן כללי ,נניח .c ∈ Rn , b ∈ Rm , A ∈ Mm×nנניח התוכנית הפרימלית היא: maxcT x, x ∈ Rn Ax ≤ b x≥b התוכנית הדואלית היא: miny T b, y ∈ Rm AT y ≥ c y≥0
טענה 45.3לכל x, yפיזיביליים מתקיים ש cT x ≤ y T b :ולכן אם מצאנו x, yכך ש ,cT x = y T bאזי זהו הפתרון האופטימלי. הוכחה :נסתכל על: ci xi = cT x yj bj = y T b
n X
≥ y T Ai x i
i=1 m X
n X
= y T Ax
i=1
≤ yj (Ax)j
j=1
m X
= y T Ax
j=1
⇓ cT x ≤ y T b
משפט 45.4אם x, yהם הפתרונות האופטימליים מתקיים .cT x = y T b
138
45.1.3
M in − Cut − M ax − F low
הגדרה M ax − F low 45.5 %
&&
יש ,s &% tנסמן ב Pאת אוסף המסלולים מ sל.t = max − f low X max xp p∈P
xp ≤ ce
X
∀e :
p: e∈p
x≥0 נניח הצלעות ממוספרות והמסלולים s → tממוספרים ,אז ניתן להציג: ( 1 ei ∈ p j = Aij 0 otherwise
נסתכל על הדואלי של הבעיה: ce ye
X
min
e∈E
y≥0 X ∀p ∈ P : ye ≥ 1 e∈P
טענה max − f low ≤ min − cut 45.6 נקח חתך מינימלי ,נגדיר: 1 e crosses the cut 0 otherwise
46
( = ye
תרגיל 11
הגדרה 46.1פתרון בסיסי מותר יהיו ) A ∈ Mm,n (Rכש m ≤ nו .b ∈ Rm ,rank (A) = mאז y ∈ Rnיקרא פתרון בסיסי מותר לתוכנית ] B ∈ [nכך ש: הלינארית Ax = b, x ≥ 0אם קיים m AB .1לא סינגולרית )כש) AB ∈ Mm×m (Rוהעמודות שלה הן העמודות של Aהמאונדקסות לפי .(B ) supp (y) ⊆ B .2כלומר (yi 6= 0 ⇒ i ∈ B 139
y .3פתרון מותר ).(Ay = b, y ≥ 0 הגדרה 46.2נקודה קיצונית בסט קמור נקודה z ∈ Cנקראת קיצונית אם6 ∃x 6= y ∈ C s.t. z = λx + (1 − λ) y, λ ∈ (0, 1) : טענה 46.3יהיו ) A ∈ Mm,n (Rכש m ≤ nו ,b ∈ Rm ,rank (A) = mיהיה קיים x ∈ Rnייחודי כך ש Ax = bו.supp (x) ⊆ B
][n m
∈ Bכך ש ABלא סינגולרית ,אז
טענה 46.4יהיו ) A ∈ Mm,n (Rכש m ≤ nו x ,b ∈ Rm ,rank (A) = mהוא נקודה קיצונית של הפוליהדרון } P = {y ∈ Rn : y ≥ 0, Ay = bאם"ם xהוא פתרון בסיסי מותר. טענה 46.5אם לתוכנית הלינארית max cT x, x ∈ Pיש פתרון אופטימלי ,אז יש לה פתרון אופטימלי שהוא פתרון בסיסי מותר.
הגדרה 46.6מטריצה totally unimodular מטריצה Aתקרא totally unimodularאם לכל תת מטריצה Cמתקיים }det (C) ∈ {−1, 0, 1 טענה 46.7תהי ) rank (A) = m ,m ≤ n ,A ∈ Mm×n (Zו Aהיא .totally unimodularיהיו b ∈ Zmו .c ∈ Rn אז אם קיים פתרון אופטימלי לתוכנית: maxcT x s.t. Ax = b x≥0
אז יש פתרון אופטימלי עם קורדינטות בשלמים. משפט 46.8קריימר )שימושי לטענה הקודמת( אם An×n x = bכש det (A) 6= 0אז למערכת משוואות הנ"ל יש פתרון ייחודי והוא: ) det (A0i )det (A
= ∀i ∈ [n] : xi
כש A0iזהה למטריצה Aרק שהחליפו את העמודה ה iבוקטור .b
טענה 46.9תנאים מספיקים למטריצה totally unimodular תנאים מספיקים כדי שמטריצה Aתהיה :T U Aij ∈ {−1, 0, 1} .1 .2אחד מהתנאים הבאים צריך להתקיים: )א( קיימת שורה או עמודה עם ערך אחד שונה מאפס. )ב( קיימת שורה או עמודה שכולה אפסים. )ג( לכל עמודה יש בדיוק 1אחד ו −1אחד.
140
47
שיעור 12
47.1
פתרון LP
47.1.1
מתכון
מביטים ב :LP max hc, xi s.t. Ax ≤ b x≥0 האם המערכת hc, xi ≥ T s.t. Ax ≤ b x≥0 ספיקה? ע"י ביצוע חיפוש בינארי על ערכי ,Tניתן להגיע קרוב מאוד לפתרון .מכאן ,אנו יודעים שיש בסיס של עמודות ,A נסמנו מ ,Bכך שאיתו מוצאים את האופטימום: Bx| = b
47.1.2
אישור ) (certi cateלאי ספיקות
עקרון הדואליות אומר שאם מערכת של משוואות ואי שווינים לינארים אינה ספיקה ,אז יש לכך הוכחה מהאופי הבא: יש צירוף מותר )כלומרת כופלים משוואות בגדלים כרצוננות אי שווינים בגדלים אי שליליים( הנותן .0 > 1 47.1.3
ההיבט הגיאומטרי
משפטי הפרדה בין קבוצות קמורות.
47.2
דואליות
משפט 47.1המשפט החזק על דואליות LP נביט בזוג התוכניות הלינאריות הבאות: LP
DLP
max hc, xi
min hb, yi s.t.
s.t.
yA ≥ c
Ax ≤ b
y≥0
x≥0
141
נניח שהתוכנית LPספיקה וחסומה .אז גם DLPהיא כזו ,ומתקיים השוויון: max hc, xi = min hb, yi
משפט 47.2המשפט החלש על דואליות LP בהנחה ש LP, DLPספיקים ,אם xמספק את y ,LPמספק את ,DLPאז: hc, xi ≤ hb, yi
הוכחה :נסתכל על: hb, yi ≥ hy, Axi = yAx = hyA, xi ≥ hc, xi
למה 47.3פרקש תהיה Am×nממשית ,ו ,b ∈ Rmאז: ∃y ∈ Rm .s.t hy, bi < 0, 0 ≤ yA ⇔6 ∃x ≥ 0 .s.t Ax = b
הוכחה :כיוון ⇒: אם יש yכזה :נניח שיש x ≥ 0כך ש ,Ax = bונביט ב: + = yAx = hy, Axi = hy, bi < 0
* yA, x }|{z} |{z ≥0
≤0
≥0
וקיבלנו סתירה. הערה 47.4אינטרפרטציה גיאומטרית של למת פרקש הקונוס הנוצר ע"י הוקטורים :a1 , · · · , an ∈ Rm nX o = ) C = cone (a1 , · · · , an λi ai | ∀i : λi ≥ 0 נשים לב ש: ) {Ax | x ≥ 0} = C = cone (a1 , · · · , an ∈ .b כש aiהן עמודות של .Aהנחת המשפט היא ש/ C
142
למה 47.5ניסוח אחר של פרקש ∈ ,bאז יש על מישור דרך הראשית שמפריד את bמ:C אם C ⊆ Rnקונוס ,ו/ C }H = {z | hy, zi = 0 b ∈ H− C ⊆ H+
מסקנה 47.6איך מסיקים את הדואליות החזקה מלמת פרקש? נאמר שרוצים לברר אם יש x ≥ 0המקיים Ax ≤ bשבשבילו ,hc, xi > Tונניח שהתשובה שלילית .אם המערכת הזו אינה ספיקה ,יש לכך הוכחה "לינארית" ,ז"א יש צירוף במקדמים ≤ 0של מערכת האי שווינים Ax ≤ bוכן ,yA ≥ cיש y ≥ 0שכאשר נכפיל אותו סקלרית בשני אגפי האי שוויון: hc, xi ≤ yAx ≤ hb, yi < T
הגדרה 47.7הפרדה לינארית חזקה אומרים שיש הפרדה לינארית חזקה בין הקבוצות S, T ⊆ Rnאם יש על מישור Hכך ש: + − S ⊆ Hopen , T ⊆ Hopen
למה 47.8הטלה ∈ ,bאז: תהיה K ⊆ Rnקבוצה קמורה וסגורה ,ו / K, b ∈ Rn .1יש וקטור אחד ויחיד z ∈ Kשממזער את המרחק kb − xk2ע"פ כל .x ∈ Kל zהזו קוראים ההיטל של bעל .K .2ההיטל מאופיין על ידי כך שלכל x ∈ Kמתקייםhx − z, b − zi ≤ 0 : 47.2.1
בעיות דואליות
הגדרה 47.9הבעיה הדואלית של בעיית התזונה של הפרה בעיית התזונה של הפרה מוגדרת כך :נתון וקטור :b ≥ 0דרישות הימנימום של הפרה בכ"א מאבות המזון ,וכן נתון וקטור c ≥ 0של מחיריהם של סוגי האוכל השונים .ממשפט הדואליות נקבל: LP
DLP
min hc, xi
max hb, yi s.t.
s.t.
yA ≤ c
Ax ≥ b
y≥0
x≥0
ניתן להסתכל על ה DLPכך :יש תעשיין שיכול לייצר "גלולות" של אבות המזון yi .הוא המחיר שהוא יגבה על יחידה אחת של גלולת אב המזון ה .iהאילוץ yA ≤ cמבטא את האילוץ של התעשיין להיות תחרותי עם סוגי המזון המסורתיים .ז"א (yA)j ≤ cjאומר שצירוף הגלולות השקול ליח' אחת של סוג אוכל jאומר לעלות לכל היותר כמחיר יחידה אחת של סוג זה ,דהיינו .cj
143
הגדרה 47.10בעיית הזרימה נתונה רשת זרימה :גרף מכוון ) G = (V, Eעם מקור s ∈ Vובור ,t ∈ Vוקיבולים לצלעות .c : E → R≥0 Pשימור החומר בכל קודקוד השונה מ s, tוחסומה מלמעלה על ידי זרימה זו פונקציה על צלעות מכוונות שמקיימת את .cמחפשים זרימה עם שטף מירבי ,ז"א ) .max s→e f (eאו בניסוח אחר ,אם נגדיר: }P = {All directed rails from s to t ( 1 ei ∈ Pj = Aij 0 otherwise אז הבעיה היא max hx, 1i s.t. Ax ≤ c x≥0
משפט 47.11משפט השטוף והחתך )(maxf low = min − cut משפט הדואליות של LPאומר שבעיית הזרימה שקולה ל: min hy, ci s.t. yA ≥ 1 y≥0 פירוש :אם
||E
} ,y ∈ {0, 1האילוץ yA ≥ 1אומר שזו קבוצת צלעות הפוגשת כל מסילה .s → t
47.3
אלגוריתם האליפסואידים
47.3.1
הגדרת הבעיה
עוסקים רק בבעיות ספיקות. יש גוף קמור ,P ⊆ Rnועלינו לברר אם ∅ = .P הנחות: ?
.1ידוע לנו R > 0כך ש)P ⊆ B (0, R .2אם ,P 6= 0אז הוא מכיל כדור ברדיוס .r > 0 איך מתואר לנו הגוף ?P ע"י שני אובות: .1אוב שייכות ) (membership oracle־ יודע לענות על השאלה :בהינתן ,x ∈ Rnהאם ?x ∈ P ∈ ) xכפי שענה לנו אוב השייכות( ,אוב ההפרדה ייתן לנו על .2אוב הפרדה ) .(separation oracleבהנחה ש / P מישור ש xנמצא מצידו האחד ו Pמצידו האחר. 144
47.3.2
האלגוריתם
הגדרה 47.12אליפסואיד תמונה של כדור היחידה תחת העתקה אפינית. בכל צעד יהיה לנו אליפסואיד Ekשמרכזו xkו .P ⊆ Ekהערכים ההתחלתיים הם: x0 = 0 )E0 = B (0, R בצעד ה kשואלים את אוב השייכות אם .xk ∈ Pאם כן ־ ∅ = P 6וסיימנו .אם לא ־ פונים לאוב ההפרדה ומקבלים על מישור .H
למה 47.13יש אליפסואיד Ek+1שמכיל את השטח המסומן 1 ) vol (Ek+1 ) < 1 − 2 vol (Ek n
ונפחו מקיים
הגדרה 47.14חצי אליפסואיד החיתוך של אליפסואיד עם חצי מרחב המוגדר ע"י על מישור שעובר דרך מרכז האליפסואיד. למה 47.15יהיה E ⊆ Rnאליפסואיד שמרכזו ב ,xויהיה E +חצי מ Eכלשהו ,אז יש אליפסואיד E 0המכיל את E + ומקיים: 1 )vol (E 0 ) < 1 − 2 vol (E n הוכחה :רעיון ההוכחה :יוצרים העתקה בין Eלבין כדור היחידה ,ומוכיחים את הלמה השקולה עליו: למה 47.16יש אליפסואיד ב Rnבנפח > )vol (unit ball in R^n
kxk ≤ 1, xn > 0
145
1 n2
, 1 −ואליפסואיד זה מכיל את חצי הכדור:
תרגול 12
48 48.1
מבנה המבחן
יהיו 4שאלות ,לבחור .3כל שאלה תקבל ציון בין 0ל .10אם הציונים הם x1 ≥ x2 ≥ x3אז הציון יהיה: 5x1 + 3x2 + 2x3 ובנוסף יש 2נקודות בונוס על לכתוב במחברת על אילו שאלות ענינו.
48.2
משחקים סכום אפס ומשפט המינימקס
48.2.1
אבן ,נייר ומספריים
)columns player (C scissors 1 −1 0
paper −1 0 1
rock 0 1 −1
rock )A := rows (R paper scissors
מה כדאי ל Rלשחק? אם האסטרטגיה של Cדולפת ל Rלפני המשחק ,אז Rיכול לדאוג לתשלום .1 הקבוצה }אבן ,נייר ,מספריים{ נקראת קבוצת האסטרטגיות הטהורות. אסטרטגיה מעורבת זו התפלגות על האסטרטגיות הטהורות. נניח Cמשחק לפי האסטרטגיה המעורבת ) q T = (q1 , q2 , q3ו Rמשחק לפי ) ,pT = (p1 , p2 , p3ואת המטריצה מקודם נסמן ב ,Aאז התוחלת של התשלום ל Rהיא: pT Aq
48.2.2
באופן כללי
הגדרה 48.1משחק סכום אפס של שני שחקנים זוהי מטריצה ) ,A ∈ Mm×n (Rהאסטרטגיות הטהורות של שחקן השורות Rהן ] ,[mשל שחקן העמודות Cהן ] .[nאסטרטגיה מעורבת היא התפלגות על הטהורות .בהינתן אסטרטגיה pשל Rו qשל ,Cתוחלת התשלום ל Rהיא: ϕ (p, q) = pT Aq
Rממקסם C ,ממזער. מה כדאי לעשות? נניח ש Rיודע שהאסטרטגיה ∗ pתגיע ל .Cבהנחה זו Cיבחר אסטרטגיה qשתמזער p∗T Aq
146
ואז התשלום ל Rיהיה = p∗T Aq min p∗T Aei
min
q∈∆n−1
]i∈[n
n כיוון שזו הסתברות אז יש רק n − 1דרגות חופש. כל eiמתאים לאסטרטגיה טהורה אחרת .אמנם ,q ∈ R ∗Tאבל ∗T Rיחפש אסטרטגיה pשממקסמת את R .minq∈∆n−1 p Aq = mini∈[n] p Aeiיפתור את התוכנית הבאה:
maxv = v + − v − ∀i :v ≤ pT Aei 1 p=1
···
1
p≥0 התוכנית תתן ערך vואסטרטגיה ∗ pכך שלכל אסטרטגיה qשל :C p∗T Aq ≥ v = max
min pT Aq
p∈∆m−1 q∈∆n−1
שחקן העמודות מעוניין לפתור: max pT Aq = min max eTi Aq ]q∈∆n−1 i∈[m
min
q∈∆n−1 p∈∆m−1
הוא יפתור את התוכנית הלינארית: minu = u+ − u− ∀i :u ≥ eTi Aq 1 q=1
···
1
q≥0
נשים לב: 1 ~ A −1 0 q ”1 ”∀i : u ≥ eTi Aq” = ”AT q − u ... ≤ 0” = ” ~1 ≤ 0 u ~ −1 −1 1 v ~ AT −1 0 p ”∀i : v ≤ pT Aei ” = ”AT p − ... ≥ 0” = ” ~1 ”≥ 1 0 u ~ −1 −1 v
147
תרגול אקסטרה 12
49 49.1
דואליות
49.1.1
בעיה
נתון גרף מכוון ) .w : E → [0, ∞] ,V = {1, · · · , n} ,G = (V, Eמטרה :מסלול הקצר מ 1ל.n נביט ב LPהבאה: maxxn s.t. x ∈ Rn x≥0 )∀e = (u → v) : xv − xu ≤ w (e x1 = 0 נשים לב שזה שקול ל maxxn s.t. x ∈ Rn x≥0 )∀e = (u → v) : xv − xu ≤ w (e x1 ≤ 0
תוכנית n
.1נמצא השמה x ∈ Rפיזיבילית כך ש)) xn = d (1, nולכן ).(OP T ≥ d (1, n .2נחשב ונבין את התוכנית הדואלית. .3נמצא השמה לתוכנית הדואלית שערכה הוא גם )) d (1, nולכן ).(OP T ≤ d (1, n השמה פיזיבילית נגדיר לכל ) xi = d (1, i) :iהמשקל של המסלול המינימלי מ 1ל .(iצ"ל: )∀e = u → v : d (1, v) ≤ d (1, u) + w (u → v נשים לב שזה נכון .נניח בשלילה שלא ,אז ) ,d (1, u) + w (u → v) < d (1, vכלומר מצאנו מסלול קצר יותר מ1 ל uמהמסלול המינימלי .סתירה. בנוסף ,מתקיים מההגדרה ) ,d (1, 1ולכן ההשמה פיזיבילית .נקבל שפונקציית המטרה היא: )xn = d (1, n
148
תוכנית דואלית :נסתכל על היצוג המטריציוני של הבעיה הפרימלית vertices (variables)
0
edges
1
−1
0
1
0
···
···
x1
0 . w (e) .. ≤ x n 0 0 Ae=(u→v),u = −1 Ae=(u→v),v = 1 Ae x ≤ w (e)
הייצוג המטריציוני נראה.ym+1 ומשתנה אחרון,y ∈ Rm+1 : יש משתנה לכל צלע:נסתכל על הבעיה הדואלית :כך edges
1 (u→v)
vertices (variables)
−1 (v→w)
1 0 0 .. .. . y ≥ . 0 .. . 1 0
−1
:פונקציית המטרה היא
*
w (e) , y min 0
+
! = min
X
w (e) ye
e
:והבעיה הלינארית היא ! min
X
w (e) ye
e
s.t.
rst vertex:ym+1 +
X
ye −
e:→e 1
last vertex;
X e:→e n
∀v 6= 1, n :
X
X
ye −
X e:1→e
ye ≥ 1
e:n→e
ye −
e:→e v
0≤y∈R
X
e:nv→ m+1
149
ye ≥ 0
ye ≥ 0
השמה לתוכנית הדואלית המטרה :למצוא השמה חוקית
m+1
y ∈ Rכך ש: )w (e) ye = d (1, n
X
הצעה :יהי Pהמסלול הקצר ביותר בין 1ל .nנגדיר: ( 1 e∈P = ye 0 otherwise ym+1 = 1 נשים לב שההשמה הנ"ל עונה על כל האילוצים ,כשהאילוץ הראשון הוא אילוץ ריק כי ניתן להגדיל את ym+1עד אינסוף והאילוץ יתקיים. מסקנה ניחשנו פתרון xלתוכנית הפרימלית ,ניחשנו פתרון yלתוכנית הדואלית .בגלל שהערכים של הפתרונות זהים ,זהו הפתרון האופטימלי.
50
בוחן 3
הגדרה 50.1בעיית יצירת גרף חסר משולשים יהי ) G = (V, Eגרף עם nקודקודים .רוצים להסיר כמה שפחות צלעות מ Gכך שניוותר עם גרף חסר משולשים. 1 e∈t טענה 50.2נניח המשולשים ממוספרים · · · t1 ,והצלעות ממוספרות · · · .e1 ,נגדיר 0 otherwise לינארית בשלמים לבעיה הנ"ל: E D min ~1, x
( = .At,eתוכנית
s.t. Ax ≥ 1 ||E
}x ∈ {0, 1
נשים לב שהבעיה הנ"ל שקולה ל) set − coverהמשולשים הם הסטים ,הצלעות הן האיברים בכל סט(.
150
חלק
IV
חזרה תרגול מיכאל
51 51.1
דואליות
נניח ) .f, c ∈ Rn , g, b ∈ Rm ,A ∈ Mm×n (Rנסתכל על הבעיה: max cT x s.t. Ax ≤ b x≥0 הבעיה הדואלית היא
max bT y s.t. AT y ≥ c y≥0
טענה f, g 51.1פתרונות אופטימליים לבעיות ) fלפרימלי g ,לדואלי( ,אם"ם: (∗) : ∀i : (Af )i = bi ∨ gi = 0 and ∀j : AT g j = cj ∨ fj = 0 תנאים אלו נקראים .complementary slackness conditions הערה 51.2דרך אחרת לכתוב את התנאי: AT g − c = 0
g T (Af − b) = 0 and f T
נשים לב שזה נובע מכך ש f, AT g − cהם אי שליליים.
151
הוכחה :כיוון :1נניח ש f, gאופטימליים .ממשפט הדואליות החזק: cT f = bT g Af ≤ b ⇓ 0 ≤ b − Af ⇓ 0 ≤ g T (b − Af ) = g T b − g T Af ⇓ 0 ≥1 g T Af − g T b AT g ≥ c ⇓ 0 ≤ AT g − c ⇓ strong duality 0 ≤ f T AT g − c = f T AT g − f T c = = f T AT g − bT g ≤ 1 0 ⇓ sandwich ) 0 = g T (b − Af כיוון :2עתה ,נניח ש)∗( מתקיים ,ונוכיח ש f, gאופטימליים .צ"ל )לפי דואליות חלשה( .cT f = bT g :כלומר ,אם yפיזיבילי דואלית ,אז הפתרון של הפרימאלי מקיים ≥ .bT yמ)∗(: = bT g
gT b }|{z
= g T Af
a number
g T Af = f T AT g = f T c = cT f ⇓ T
b g = cT f
51.2
השיטה ההסתברותית
טענה 51.3יהי ) .G ∼ G (n, pאז: ) p = (1 − ) ln(nאזי אכב"ו Gלא קשיר. .1אם n ) p = (1 + ) ln(nאזי אכב"ו Gקשיר. .2אם n הוכחה :כל סעיף בנפרד:
152
.1אם יש קודקוד מבודד ⇔ Gלא קשיר .נעריך את ההסתברות שזה יקרה .נסמן ב Xiאת המ"מ המציין שקודקוד iמבודד. X =X Xi ]i∈[n
⇓ 0 < X ⇔ there is an isolated vertex
ההסתברות לכל צלע ב"ת כי אנחנו ב) ,G (n, pלכן: n−1
)E [Xi ] = (1 − p
indicator
=
)Pr (Xi > 0
⇓ n−1
)E [X] = n (1 − p
נחשב את השונות של :X !2 X X X E Xi2 + E [Xi Xj ] = nE [X1 ] + = ] E [Xi Xj j6=i
=
X E X2 = E Xi
i
j6=i
E [Xi Xj ] = E [X] + n (n − 1) Pr (X1 , X2 are both isolated) =1
i
X
= E [X] +
j6=i
נשים לב שאם אחד מבודד ,אז ידוע לנו שהצלע בינו לבין האחר לא קיימת ,ולכן: 2n−2
=
2n−3
)n2 (1 − p 1−p
= E [X] +
]E [X n−2 )− E [X] (1 − p 1−p
= E [X] +
)− n (1 − p
2
153
2n−3
)=1 E [X] + n (n − 1) (1 − p
:p מהנתון על n−2
(1 − p)
=
n−2 ln (n) 1 + o (1) ln(n) 1 − (1 − ) = exp − (1 − ) (1 + o (1)) = n n1−
⇓ 2 2 E [X] E [X] n−2 E X 2 = E [X] + − E [X] (1 − p) = E [X] + − E [X] o (1) 1−p 1 + o (1) ⇓ 2
V ar [X] = E [X] (1 + o (1)) + o (1) E [X] ⇓ Pr (X = 0) ≤ Pr (|X − E [X]| ≥ E [X]) =
o (1) E [X]
2
chebyshev V ar [X]
≤
E [X]
2
=
2 o (1) E [X] + E [X] 2
E [X]
=
+ o (1)
:חישוב מהיר n−1
E [X] = n (1 − p)
n−1 ln (n) n = n 1 − (1 − ) ≈ 1− = n → ∞ n n
וגם היא, שאין לה צלעות יוצאות0 < |W | ≤ n2 כך שW ⊆ V לא קשיר גורר שקיימת קבוצהG : אבחנה.2 : מקיים את התנאיםW נחסום מלעיל את ההסתברות ש,|W | = k עבור.קשירה Pr (W has no outgoing edges) = (1 − p)
k(n−k)
Pr (W is connected) = Pr (W has a spanning tree) ≤ E [the number of spanning trees in W] = = pk−1
k−2 |k {z }
Cayley's formula
⇓
W has no outgoing
Pr edges and is connected
k(n−k)
≤ (1 − p)
pk−1 k k−2
154
נשים לב שהמאורעות הנ"ל ב"ת .כעת נחשב: n en k k(n−k) k−1 k−2 ≤ exp (−pk (n − k)) pk−1 k k−2 )(1 − p p k ≤ k k )ln (n ) ≤ exp k ln (e) + k ln (n) − k ln (k) − (1 + ≤ )k (n − k) + (k − 1) ln (p) + (k − 2) ln (k n k
≤ exp (−k ( ln (n) − O (ln (ln (n))))) ≤ q (n) , q (n) → 0 ⇓ n ∞ 2 X X n 1 k(n−k) k−1 k−2 k )(1 − p p k ≤ )q (n) = q (n →0 )| {z } 1 − q (n k k=1 k=1 } {z | →0 →1
51.3
מרטינגיילים וריכוז מידה
הגדרה 51.4מרטינגיילים ) (Ω, P rמרחב הסתברות X ,מ"מ ,נגדיר עידונים: {∅, Ω} = Ω1 ⊇ Ω1 ⊇ · · · ⊇ 2Ω נגדיר: ] Xt = E [X|Ω0 , · · · , Ωt אז · · · X0 = E [X] , X1 ,נקרא מרטינגייל. משפט 51.5א"ש אזומה אם X0 , · · · , Xkמרטינגייל ,ולכל ,|Xi − Xi−1 | ≤ ai :iאז: ! λ2 Pr (|Xk − E [X0 ]| ≥ λ) ≤ 2 exp − Pk )Θ (1 2 i=1 ai
בעיה יהי n ≥ 3כך ש
n 2
זוגי ,יהי
n 2
) ( 2
= .mנגדיר סדרה של גרפים G0 , G1 , · · · , Gm :ע"י:
.G0 = Kn .1 .2לכל Gt+1 ,tמתקבל מ Gtעל ידי מחיקת צלע מקרית. עבור גרף Gנסמן ב) T (Gאת מס' המשולשים ב .Gנרצה לדעת כמה משולשים יש ב .Gm 155
שאלות .1מהו ]) ?µ := E [T (Gm .2עבור 0 ≤ t < mכתבו את ] E [T (Gm ) |G0 , · · · , Gtכביטוי התלוי ב) .t, n, m, T (Gt .3הוכיחו שלכל 0 ≤ t < mמתקיים|T (Gt+1 ) − T (Gt )| ≤ n : .4הוכיחו שלכל 0 ≤ t < mמתקיים: )|E [T (Gm ) |G0 , · · · , Gt+1 ] − E [T (Gm ) |G0 , · · · , Gt ]| = O (n
.5הוכיחו: 1 2 Pr |T (Gm ) − µ| ≥ n log n = O n
תשובות .1 n m m−1 m−2 = ]) µ = E [T (Gm 3 n2 n2 − 1 n2 − 2 .2 m−2 −t−2
n 2
m−1 −t−1
n 2
m −t
n 2
) E [T (Gm ) |G0 , · · · , Gt ] = T (Gt
מתקיים: ] E [E [T (Gm ) |G0 , · · · , Gt ] |E [T (Gm ) |G0 ] , · · · , E [T (Gm ) |G0 , · · · , Gt−1 ]] = E [T (Gm ) |G0 , · · · , Gt−1
ולכן זהו מרטינגייל. .3ברור :בגרף עם nקודקודים ,כל צלע משתתפת בפחות מ nמשולשים .מכאן: |T (Gt ) − T (Gt+1 )| ≤ n
156
.4 from 2
= |] |E [T (Gm ) |G0 , · · · , Gt ] − E [T (Gm ) |G0 , · · · , Gt+1 m m−1 m−2 m m−1 m − 2 = T (Gm ) n − T (Gt+1 ) n = n n n n 2 −t 2 −t−1 2 −t−2 2 −t−1 2 −t−2 2 −t−3 ) T (G )m (m − 1) (m − 2 ) T (G n ≤ n m − n t+1 = n 2 −t 2 −t−1 2 −t−2 2 −t−3 n )) (T (G ) − T (G O n2 t t+1 ) 2 − t − 3T (Gt ≤ m )n · n2 + 3n3 = O n5−4 = O (n ≤ 4 4 ) Ω (n ) Ω (n m
.5נשים לב ש {E [T (Gm ) |G0 , · · · , Gt ]}t=0 :מרטינגייל )כמו ב ,(2כמו כן גם: ] µ = E [T (Gm )] = E [T (Gm ) |G0 לכן לפי א"ש אזומה:
4 )n log2 (n n4 log2 (n) = 2 exp − = Pr |T (Gm ) − µ| ≥ n2 log (n) ≤ 2 exp − P n2 ) O (n4 4 )2 O (n i=0 1 1 2 = 2 exp −Ω log (n) ≤ Ω(log(n)) = O n n
51.4
שרשראות מרקוב )הילוך מקרי פשוט(
הגדרה 51.6שרשרת מרקוב אי פריקה שרשרת היא א"פ אם לכל שני מצבים i, jקיים tכך שההסתברות להגיע מ iל jב tמהלכים חיובי. הגדרה 51.7שרשרת מרקוב לא מחזורית שרשרת היא לא מחזורית אם קיים זמן tכך שלכל .Pr (Xt = i) > 0 :i טענה 51.8הילוך מקרי על גרף הוא מחזורי אם"ם הגרף דו"צ. טענה 51.9גרם הוא דו"צ אם"ם אין בו מעגל באורך א"ז. הגדרה 51.10התפלגות סטציונארית אם Aמטריצת מעברים של שרשרת מרקוב ,אז ) πוקטור הסתברות( נקרא התפלגות הסטציונרית אם .πA = π
תרגיל נתון לוח שח .n × nדמויות לא יכולות לצאת מהלוח .על הלוח יש מלך שיכול לנוע לכל המשבצות מסביבו .מלך מרקובי מתחיל במשבצת ,X0ובכל שלב t + 1בוחר צעד חוקי בצורה ב"ת ואחידה וזז למשבצת .Xt+1 .1האם השרשרת אי־פריקה? כן. .2האם היא מחזורית? יש פה מעגל אי זוגי ,ולכן לא. מסקנה 51.11ההתפלגות של Xtשואפת להתפלגות הסטציונרי )תוצאה של פרון פרובניוס(. 157
תרגיל שאלה זהה רק עם פרש ,שיכול לזוז שני צעדים בכיוון אחד ואז צעד אחד בכיוון המאונך אליו. .1האם השרשרת אי־פריקה? כן .נוכיח שהפרש יכול להגיע לכל מקום .מספיק להוכיח שאם הוא בפינה הקיצונית, הוא יכול לזוז משבצת למעלה ומשבצת באלכסון. .2האם היא מחזורית? כן ־ נשים לב שהגרף הוא דו צדדי )אם נצבע את הלוח בשחור ולבן ,אז בכל צעד הפרש מחליף צבע(.
תרגיל הילוך מקרי על טורוס Zm × Znעם הצעדים }).{(−1, 0) , (1, 0) , (0, −1) , (0, 1 .1מצאו אפיון תורת מספרי על m, nכך שההילוך יהיה אי פריק ולא מחזורי .הנ"ל יתקבל אם"ם mאו nא"ז. הוכחה :נניח mא"ז ,אז הנה מעגל א"ז . (0, 0) , (1, 0) , · · · , (m − 1, 0) , (0, 0) :אם הגרף מחזורי ,אז שני המעגלים הבאים באורך זוגי: )(0, 0), · · · , (m − 1, 0 )(0, 0), · · · , (0, n − 1
אם הגרף לא דו"צ ,אז שני המעגלים באורך זוגי ⇐ m, nזוגיים. .2נקבע m = nא"ז .מתחילים הילוך מקרי ב) .X0 = (0, 0נסמן ב πtאת ההתפלגות של .Xtהוכיחו: 1 =1 π − π lim n }|{z n→∞ 2 stationary dist.
נסמן ב X1 , · · · , X4את מס' המהלכים מכל סוג .אז: 1 Xi ∼ Bin n, 4 n = ] E [Xi 4 )V ar [Xi ] = Θ (n
נשים לב: )n 4 log (n 1 √ n 64 log2 (n) n √ Θ (1) = O )log (n = )∀i : Pr Xi − > n log (n ≤ 2 exp − 4 4 n 4 n n
158
√ √ √ √ 2 2 ,A = Z2n \ [− n log (n) , − n log (n)] :[ ונסמן− n log (n) , − n log (n)] :"נגדיר את ה"אזור הכחול :נשים לב n2 − 2n log2 (n) 2 log2 (n) |A| = =1− = 1 − o (1) 2 2 n n n 1 Pπt (A) ≤ O = o (1) log(n) n ⇓ Pπ (A) =
lim
n→∞
1 kπn − πk1 ≥ |Pπt (A) − Pπ (A)| 2
תרגול יובל
159
52
Related Documents
67865 Mathematical Tools In Computer Science
February 2021 0
Igcse Computer Science Workbook
March 2021 0
Theory Of Computer Science
February 2021 0
Diamonds In Mathematical Inequalities
January 2021 1
9th Class Computer Science Important Questions
January 2021 1More Documents from "Tahir Mehmood"
67865 Mathematical Tools In Computer Science
February 2021 0
Ellington Darden - Bigger Muscles In 42 Days
March 2021 0
55981625 Score Keith Jarrett The Wind Piano
March 2021 0
