कोर्स "डेटा इंजीनियर" - कोर्स 95,000 रूबल। यांडेक्स वर्कशॉप से, प्रशिक्षण 6.5 महीने, दिनांक: 11 दिसंबर, 2023।
अनेक वस्तुओं का संग्रह / / November 30, 2023
डेवलपर्स का अभ्यास करने के लिए
डेटा के साथ काम करने के लिए बुनियादी ढांचे का निर्माण करना सीखें और अपने ज्ञान को अपनी वर्तमान भूमिका में उपयोग करने या डेटा इंजीनियर की दिशा बदलने के लिए व्यवस्थित करें।
इच्छुक डेटा इंजीनियरों के लिए
ज्ञान की संरचना: स्पष्ट सिद्धांत के अलावा, बहुत अभ्यास करना होगा। आपको परियोजनाओं पर काम करने का अनुभव प्राप्त होगा - इससे आपको एक पोर्टफोलियो बनाने, अन्य उम्मीदवारों से अलग दिखने और वास्तविक काम में खोए नहीं रहने में मदद मिलेगी।
डेटा विज्ञान विशेषज्ञ और विश्लेषक
मास्टर कौशल जो आपको कार्यों को अधिक प्रभावी ढंग से निपटने में मदद करेंगे: डेटा पाइपलाइन बनाना, स्टोरफ्रंट डिज़ाइन करना, ईटीएल बनाना और बड़ी मात्रा में कच्चा डेटा एकत्र करना।
डेटा मॉडल अद्यतन कर रहा है
1 मॉड्यूल 2 सप्ताह
कंपनी आपको अपनी प्रक्रियाओं में डुबोती रहती है। जिस डेटा के साथ आप काम कर रहे थे उसे अपडेट कर दिया गया है, इसलिए आपको डेटा मॉडल बदलने की जरूरत है।
इस पाठ्यक्रम में आप:
- समझें कि कंपनी डेटाबेस कैसे बनाती है;
- नई व्यावसायिक आवश्यकताओं के अनुसार वर्तमान डेटाबेस की संरचना को अद्यतन करें;
- विश्लेषकों और प्रबंधकों के लिए नए शोकेस और मेट्रिक्स तैयार करें।
प्रौद्योगिकियाँ और उपकरण:
- पोस्टग्रेएसक्यूएल
पोर्टफ़ोलियो में +1 प्रोजेक्ट
ऑनलाइन स्टोर ऑडियंस एनालिटिक्स के लिए वृद्धिशील लोडिंग के साथ एक डेटा मार्ट बनाएं।
डीडब्ल्यूएच: डेटा मॉडल संशोधन
मॉड्यूल 2 3 सप्ताह
कंपनी बढ़ रही है, डेटा आर्किटेक्चर अधिक जटिल होता जा रहा है। आपको एक कार्य दिया गया है - डेटा के साथ प्रक्रियाओं को अनुकूलित करने के लिए।
इस पाठ्यक्रम में आप:
- व्यावसायिक घाटे को कम करते हुए (शून्य-डाउनटाइम परिनियोजन) पुरानी डेटाबेस योजना से नए में संक्रमण की प्रक्रिया के बारे में सोचें;
- डेटा माइग्रेशन तैयार करें;
- संभावित समस्याओं को ध्यान में रखें और परिवर्तनों को वापस लेने का विकल्प डिज़ाइन करें;
- एक नई डेटाबेस संरचना लागू करें और इसे डेटा के आसपास मौजूदा प्रक्रियाओं में अनुकूलित करें।
प्रौद्योगिकियाँ और उपकरण:
- पॉस्ग्रेएसक्यूएल
- अजगर
पोर्टफ़ोलियो में +1 प्रोजेक्ट
आप डेटा मॉडल को क्रम में रखेंगे और डेटा को ऑनलाइन स्टोर के मौजूदा स्टोरेज में स्थानांतरित कर देंगे।
ईटीएल: डेटा तैयारी स्वचालन
मॉड्यूल 3 3 सप्ताह
अब आप कंपनी के डेटा वेयरहाउस के बारे में लगभग सब कुछ जानते हैं। अब ईटीएल प्रक्रियाओं पर पुनर्विचार करने का समय आ गया है।
इस पाठ्यक्रम में आप:
- डेटा पाइपलाइन को स्वचालित करें;
- स्रोतों से डेटा की स्वचालित डाउनलोडिंग कॉन्फ़िगर करें;
- डेटाबेस में डेटा को नियमित और क्रमिक रूप से लोड करना सीखें।
प्रौद्योगिकियाँ और उपकरण:
- अजगर
- वायु प्रवाह
- पोस्टग्रेएसक्यूएल
पोर्टफ़ोलियो में +1 प्रोजेक्ट
ई-कॉमर्स प्रोजेक्ट के लिए स्रोतों से स्टोरफ्रंट तक डेटा की स्वचालित प्राप्ति, प्रसंस्करण और लोडिंग के लिए एक पाइपलाइन बनाएं।
डेटा गुणवत्ता जांच
मॉड्यूल 4 1 सप्ताह
आप यह सुनिश्चित करना चाहते हैं कि आपकी पहली पाइपलाइनें ठीक से काम कर रही हैं। डेटा गुणवत्ता की जाँच की जानी चाहिए, और ब्रेकडाउन को समय पर ट्रैक किया जाना चाहिए।
इस पाठ्यक्रम में आप:
- मेटाजानकारी और दस्तावेज़ीकरण का उपयोग करने का तरीका समझें;
- डेटा की गुणवत्ता का मूल्यांकन करें।
अनेक स्रोतों के लिए DWH
मॉड्यूल 5 2 सप्ताह
आप DWH पर शोध करना जारी रखते हैं क्योंकि कंपनी के विकास और इसलिए, डेटा वॉल्यूम में वृद्धि को रोका नहीं जा सकता है।
इस पाठ्यक्रम में आप:
- रिलेशनल डीबीएमएस पर स्क्रैच से डीडब्ल्यूएच बनाएं;
- डेटा स्रोत के रूप में MongoDB से परिचित हों।
प्रौद्योगिकियाँ और उपकरण:
- पोस्टग्रेएसक्यूएल
- MongoDB
पोर्टफ़ोलियो में +1 प्रोजेक्ट
आप इन-हाउस स्टार्टअप के लिए DWH को डिज़ाइन और कार्यान्वित करेंगे।
विश्लेषणात्मक डेटाबेस
मॉड्यूल 6 2 सप्ताह
अधिक से अधिक विशिष्ट असंरचित डेटा है जिसे संग्रहीत और संसाधित करने की भी आवश्यकता है। इसलिए, हम आपको एक उदाहरण के रूप में वर्टिका डीबीएमएस का उपयोग करके विश्लेषणात्मक डेटाबेस की अवधारणा से परिचित कराएंगे।
इस पाठ्यक्रम में आप:
- वर्टिका में भंडारण संगठन का अध्ययन करें;
- वर्टिका में डेटा के साथ बुनियादी संचालन करना सीखें;
- वर्टिका में एक साधारण डेटा वेयरहाउस बनाएं।
प्रौद्योगिकियाँ और उपकरण:
- वर्टिका
- पोस्टग्रेएसक्यूएल
- वायु प्रवाह
- एस3
पोर्टफ़ोलियो में +1 प्रोजेक्ट
वर्टिका का उपयोग करके उच्च-लोड कम-संरचित मैसेंजर डेटा सिस्टम के लिए एक DWH बनाएं।
डेटा लेक संगठन
मॉड्यूल 7 4 सप्ताह
क्लासिक समाधान डेटा की मात्रा से निपटने में मदद नहीं करते हैं। नई व्यावसायिक चुनौतियों से निपटने के लिए, आप एक डेटा लेक का निर्माण और आबाद करेंगे।
इस पाठ्यक्रम में आप:
- डेटा लेक आर्किटेक्चर पर विचार करें (ट्रांस। "डेटा लेक");
- एमपीपी सिस्टम में डेटा प्रोसेस करना सीखें;
- डेटा लेक को स्रोतों से प्राप्त डेटा से भरें;
- पायस्पार्क और एयरफ्लो का उपयोग करके डेटा प्रोसेसिंग का अभ्यास करें।
प्रौद्योगिकियाँ और उपकरण:
- Hadoop
- मानचित्र छोटा करना
- एचडीएफएस
- अपाचे स्पार्क (पाइस्पार्क)
पोर्टफ़ोलियो में +1 प्रोजेक्ट
एक डेटा लेक बनाएं और उसमें डेटा की लोडिंग और प्रोसेसिंग को स्वचालित करें।
स्ट्रीम प्रोसेसिंग
मॉड्यूल 8 3 सप्ताह
आपने बड़ी मात्रा में डेटा के साथ कठिनाइयों को दूर कर लिया है, लेकिन एक नया कार्य सामने आया है - आपको व्यवसाय को तेजी से निर्णय लेने में मदद करने की आवश्यकता है। यहां आपको स्ट्रीम डेटा प्रोसेसिंग के ज्ञान की आवश्यकता होगी। स्ट्रीमिंग)।
इस पाठ्यक्रम में आप:
- स्ट्रीम डेटा प्रोसेसिंग की विशेषताओं पर विचार करें;
- अपना खुद का स्ट्रीमिंग सिस्टम बनाएं;
- वास्तविक समय डेटा का उपयोग करके एक स्टोरफ्रंट बनाएं।
प्रौद्योगिकियाँ और उपकरण:
- काफ्का
- स्पार्क स्ट्रीमिंग
पोर्टफ़ोलियो में +1 प्रोजेक्ट
आप एक वास्तविक समय डेटा प्रोसेसिंग प्रणाली विकसित करेंगे।
क्लाउड प्रौद्योगिकियाँ
मॉड्यूल 9 3 सप्ताह
अब आप बड़ी मात्रा में डेटा और स्ट्रीम दोनों के साथ काम कर सकते हैं। जो कुछ बचा है वह क्लाउड सेवाओं का उपयोग करके सिस्टम की स्केलिंग को स्वचालित करना है।
इस पाठ्यक्रम में आप सीखेंगे कि पहले से अध्ययन किए गए समाधानों को कैसे लागू किया जाए, लेकिन क्लाउड में (उदाहरण के रूप में यैंडेक्स क्लाउड का उपयोग करके)।
प्रौद्योगिकियाँ और उपकरण:
- यांडेक्स। बादल
- कुबेरनेट्स
- kubectl
- रेडिस
- पोस्टग्रेएसक्यूएल
पोर्टफ़ोलियो में +1 प्रोजेक्ट
आप क्लाउड में डेटा भंडारण और प्रसंस्करण के लिए बुनियादी ढांचा विकसित करेंगे।
स्नातक परियोजना
मॉड्यूल 10 3 सप्ताह
पुष्टि करें कि आपने नए कौशल सीखे हैं।
यहां आपको किसी व्यावसायिक समस्या के समाधान को स्वतंत्र रूप से चुनने और लागू करने की आवश्यकता होगी। इससे आपको एक बार फिर से सीखे गए उपकरणों के उपयोग को सुदृढ़ करने में मदद मिलेगी, साथ ही आपकी स्वतंत्रता भी बढ़ेगी।