קורס Kafka
פרקים שיובאו ועדיין לא שויכו לקורס ייעודי.
תאריך פרסום הקורס: 26 באוגוסט 2019
פרקים בקורס
פרק 1
Introduction - Kafka - קפקה - הרצאה 1 מתוך 5
פורסם: 26 באוגוסט 2019
מבוא ל-Apache Kafka: Messaging System ו-Pub-Sub עם Topics; יתרון Decoupling ואתגר ה-ACK; חמישה אתגרים (Scale, גודל הודעות, Lazy Consumer, Fault Tolerance, Throttling); לידת קפקא בלינקדאין 2010, מקור השם מפרנץ קפקא, וחמש הדרישות מהפתרון; הכנה לפרק הבא — ארכיטקטורה.
פרק 2
Kafka components - Kafka - קפקה - הרצאה 2 מתוך 5
פורסם: 1 באוקטובר 2019
ארכיטקטורת קפקא: Producer ו-Consumer (מול Publisher/Subscriber), Broker ו-Cluster (ספירת ברוקרים), ZooKeeper כמפקח ומטא-דאטה, Controller ותפקידיו, Replication Factor לפי טופיק; זרימת הודעה — Leader, Followers ו-Quorum; Gossip Protocol, Heartbeats; סיכום ישויות. קישור לפרק 1 אם Pub-Sub לא ברור.
פרק 3
Topics and Partitions - Kafka - קפקה - הרצאה 3 מתוך 5
פורסם: 31 באוקטובר 2019
טופיק ופרטישנים: פיצול למקביליות והפצה בין ברוקרים; Commit Log (append-only), מחיקה לפי מדיניות; Offset ייחודי לפרטישן וזיהוי חד-ערכי (טופיק + פרטישן + אופסט); Current Offset לקונסיומר ואחריות מקומית; סדר הודעות רק בתוך אותו פרטישן; הכנה לפרק הבא — Keys וניתוב לפרטישן.
פרק 4
Producer - Kafka - קפקה - הרצאה 4 מתוך 5
פורסם: 14 בנובמבר 2019
פרודוסר ובחירת פרטישן: Round Robin בלי Key — איזון עומסים אך ללא שליטה בסדר בין ישויות; Hashing עם Key — אותו מפתח לאותו פרטישן וסדר בתוך הפרטישן; בחירת מפתח לוגי; השפעת הוספת פרטישנים על תוצאת ה-Hash ותכנון מראש; סיכום. פרק הבא — קונסיומר ו-Consumer Groups.
פרק 5
Consumer - Kafka - קפקה - הרצאה 5 מתוך 5
פורסם: 30 בנובמבר 2019
קונסיומר: Kafka Clients, Bootstrap Servers, Deserializers; Subscribe (כולל Regex) מול Assign לפרטישנים ספציפיים; Poll loop ורכיבים פנימיים; סינכרון Thread אחד. ניהול אופסטים — Last Committed מול Current Position; Auto Commit מול Manual (commitSync / commitAsync / callback); __consumer_offsets. Consumer Groups, Group Coordinator, Rebalance; סיום סדרת הקפקא.