ما به دنبال یک کارشناس ارشد پایگاه داده با تجربه و درک عمیق از سیستم های دریاچه های داده، انبارهای داده و پایگاه داده هستیم. در این نقش، شما مسئول طراحی، توسعه و بهینه سازی زیرساخت های داده در مقیاس بزرگ خواهید بود تا یکپارچگی بی نقص، دسترسی بالا و مقیاس پذیری را تضمین کنید. کاندید ایده ال باید در روش های مدیریت داده تخصص قوی داشته باشد و بتواند راه حل های پیشرفته ای را برای پشتیبانی از جریان های کاری تحلیلی پیچیده و نیازهای بلادرنگ (real-time) پیاده سازی کند. همچنین، شما با تیم های هوش مصنوعی همکاری نزدیک خواهید داشت تا مدل ها و راه حل های هوشمندی ایجاد کنید که از داده های ما به طور موثر بهره برداری کنند.
مسئولیت های کلیدی توسعه خطوط لوله داده: طراحی، توسعه و نگهداری خطوط لوله ETL/ELT مقیاس پذیر برای استخراج، تبدیل و بارگذاری کارآمد داده ها در سیستم های متنوع. اطمینان از سازگاری، قابلیت اطمینان و قابلیت حسابرسی داده ها. مدیریت دریاچه و انبار داده: رهبری در طراحی، بهینه سازی و نگهداری دریاچه ها و انبارهای داده برای سازمان دهی و بازیابی کارآمد داده ها، تسهیل تصمیم گیری مبتنی بر داده. مدیریت پایگاه داده: مدیریت و بهینه سازی پایگاه های داده رابطه ای و NoSQL برای تضمین عملکرد بالا، یکپارچگی داده و امنیت. استفاده از تکنیک هایی مانند ایندکس گذاری، شاردینگ و تکرار. یکپارچه سازی و تجمیع داده: توسعه جریان های کاری برای یکپارچه سازی و تجمیع داده ها از منابع متعدد، ایجاد مجموعه داده های غنی شده مناسب برای تحلیل و گزارش دهی. بهینه سازی عملکرد: نظارت و بهبود مستمر عملکرد دریاچه های داده، انبارهای داده و خطوط لوله مرتبط برای مدیریت ورودی و تبدیل داده های بزرگ مقیاس. تضمین کیفیت داده: با پیاده سازی و اعمال استانداردهای کیفیت داده، شامل اعتبارسنجی خودکار، تشخیص ناهنجاری و فرآیندهای تطبیق، دقت و قابلیت اطمینان داده ها را تضمین نمایید. روحیه کار تیمی: با همکاری نزدیک با دانشمندان داده، تحلیل گران کسب وکار و مهندسان هوش مصنوعی، اطمینان حاصل کنید که زیرساخت داده از تحلیل ها، یادگیری ماشین و اهداف کسب وکار پشتیبانی می کند؛ این همکاری امکان توسعه بی نقص مدل های هوش مصنوعی را فراهم می اورد. پشتیبانی زیرساخت: با تیم DevOps همگام شوید تا استقرار زیرساخت های داده ابری را سازمان دهی کنید، از ابزارهای "زیرساخت به عنوان کد" بهره ببرید و مقیاس پذیری، تحمل خطا و بازیابی از فاجعه را تضمین نمایید.
مهارت ها و صلاحیت ها مهارت های ارتباطی: تسلط قوی در ارتباط نوشتاری و گفتاری انگلیسی برای بیان موثر مفاهیم فنی به ذینفعان فنی و غیرفنی. تجربه: حداقل 3 سال تجربه حرفه ای در مهندسی داده، با تخصص عملی در مدیریت دریاچه های داده پیچیده، انبارهای داده و پایگاه های داده توزیع شده. دریاچه های داده: تجربه اثبات شده در طراحی و پیاده سازی معماری های دریاچه داده با استفاده از ابزارهایی مانند Amazon S3، Azure Data Lake یا Google Cloud Storage. انبار داده: تخصص در پلتفرم هایی مانند Amazon Redshift، Snowflake یا Google BigQuery، با تمرکز بر طراحی پیشرفته اسکیما و بهینه سازی کوئری. مدیریت پایگاه داده: تسلط قوی به SQL، با تجربه در مدیریت پایگاه های داده رابطه ای (مانند PostgreSQL و MySQL) و سیستم های NoSQL (مانند MongoDB و Cassandra). توسعه ETL: مهارت در ابزارهای ETL مانند Apache Airflow، Talend یا Informatica برای خودکارسازی جریان های کاری داده. برنامه نویسی: مهارت های قوی در Python، با تاکید بر نوشتن کد تمیز، ماژولار و مستند. پردازش داده های بزرگ: دانش عمیق از فریم ورک های داده بزرگ مانند Apache Spark، Hadoop یا Kafka برای پردازش داده های توزیع شده و جریانی. پلتفرم های ابری: تجربه عملی با پلتفرم های ابری مانند AWS، Google Cloud یا Azure، شامل استفاده از ابزارها و خدمات ابری. جریان بلادرنگ: تجربه با پلتفرم های جریان داده بلادرنگ مانند Apache Kafka یا Amazon Kinesis برای نگهداری خطوط لوله بلادرنگ.
مهارت های ترجیحی کانتینرسازی و ارکستراسیون: تجربه با Docker و Kubernetes برای کانتینرسازی و مدیریت بارهای کاری توزیع شده. تصویری سازی داده: آشنایی با ابزارهایی مانند Power BI یا Tableau برای پشتیبانی از بینش های کسب وکار و گزارش دهی.
این شغل می تواند با اضافه کاری همراه باشد.
معرفی شرکت
این شرکت در زمینه توسعه راه حل های پیشرفته هوش مصنوعی برای بازارهای مالی فعالیت می کند. شما در این موقعیت، نقش کلیدی در پیشبرد سیستم های مالی مبتنی بر هوش مصنوعی ما ایفا کرده و نوآوری در مرزهای تکنولوژی را رهبری خواهید کرد.