هندسة البيانات

يرتب البيانات حتى تصل من مصادر متفرقة إلى مكان يمكن الاعتماد عليه. ليس العمل استعلاماً واحداً، ولا لوحة تعرض أرقاماً.

يناسب من يحب البرمجة وقواعد البيانات ويتابع مسار المعلومة من أولها إلى آخرها. تحتاج أساساً في البرمجة وفي SQL. أدوات السحابة تأتي لاحقاً.

ماذا تتعلم في الوقت نفسه، وماذا تؤجل: بايثون (Python) وSQL معاً. أجّل أدوات جدولة الخطوط والسحابة حتى يعمل خط صغير وموثوق على جهازك.

السؤال الذي يُطرح: هل يتكرر الصف إذا شغّلت الخط مرتين؟ وهل يتوقف الفحص إذا فسد ملف؟ هذا ما ترفقه. أسماء الأدوات الكبيرة تأتي بعد أن يعمل الخط، لا لتملأ السيرة. الخط الذي لا يمكن إعادته لا يُعدّ خبرة.

https://www.postgresql.org/docs/ — وثائق PostgreSQL.
https://docs.python.org/3/tutorial/ — درس Python الرسمي.
https://airflow.apache.org/docs/ — جدولة الخط. بعد أن يعمل خط محلي، لا قبله.