Вакансії Data Engineer / Big Data Architect

Досвід від 4 років Senior Full-time Не має значення Є тестове завдання Office, Remote Київ, Львів, Харків, Wroclaw
21.05.20240
Детальніше
  • DataBricks
  • Iceberg
  • Azure Cloud
  • Data Wrangler
  • Graph database
  • Jupyter Notebook
  • Python
  • LangChain
  • SQL
  • Microservices
  • Terraform
  • AWS SageMaker

Про продукт

Наш партнер – американська компанія, що спеціалізується на розробці інноваційних технологій штучного інтелекту для революціонізації операційної діяльності великих компаній у сфері нафтоочистки. Їх новаторський продукт вже привернув увагу ключових гравців у цій галузі, таких як Shell і Chevron.

За допомогою впровадження цієї системи великі підприємства модернізують та прискорюють обробку та аналіз статистичних даних, отримують оптимізований потік документів та можуть ефективно управляти ресурсами та складами. З цими покращеннями компанії можуть розраховувати на збільшення ефективності, зменшення витрат та конкурентну перевагу на ринку.

Твої обов’язки

  • Використання технології lakehouse (Databricks, Iceberg або подібної) для ефективного управління даними.
  • Розгортування та оптимізація рішень у хмарному сервісі Azure.
  • Впровадження та керування Graph базами даних для ефективних зв'язків даних.
  • Дотримання інженерних практик для оптимізації потоків даних.
  • Співпраця з DevOps для забезпечення надійної та масштабованої інфраструктури даних.
  • Забезпечення очищення та попередньої обробки даних для високоякісних наборів даних.
  • Дослідження та викорстання машинного навчання у процесах обробки даних.
  • Використання Jupyter Notebooks та Python для аналізу та маніпулювання даними.

Це про тебе

  • Маєш 4 роки досвіду роботи з Data Wrangler або з подібними інструментами.
  • Маєш експертизу з технологіями lakehouse (Databricks, Iceberg, тощо).
  • Маєш можливість брати участь у бізнес-тріпах.
  • Використовуєш хмарні сервіси Azure для рішень з даними.
  • Маєш практичний досвід з Graph базами даних.
  • Знайомий з принципами швидких інженерних практик для роботи з ефективними потоками даних.
  • Розумієш практики DevOps у середовищі, орієнтованому на дані.
  • Маєш сильні навички очищення та попередньої обробки даних.
  • Застосовуєш машинне навчання у обробці даних.
  • Використовуєш Jupyter Notebooks та Python для аналізу даних.
  • Маєш досвід у генеративному штучному інтелекті та технологіях LangChain.

Інформація про компанію Techstack

Techstack – це компанія з розробки програмного забезпечення, з унікальною технічною культурою та продуктоорієнтованим підхідом, що поєднуються для досягнення цілей партнерів. Команда забезпечує якісну розробку продукту та підтримку протягом усього часу співпраці. Techstack зосереджена на довгостроковому партнерстві та створенні найкращих рішень, які ідеально підходять для бізнесу.
Рік заснування: 2016
Кількість працівників: 101-250
Сайт: tech-stack.com

Переваги співробітникам

Відгукнутися
Outsource, Consulting / Integrator
Досвід не має значення Middle, Senior Full-time Не має значення Є тестове завдання Remote
15.05.20241
Детальніше
  • Azure Data Factory
  • Azure Data Lake
  • SQL
  • Python
  • Scala
  • Apache Spark
  • Azure Databricks
  • API
  • Kafka

We are seeking experienced Data Engineer proficient in Azure to join our dynamic team. As a Data Engineer, you will be responsible for data ingestion using ADF pipelines, working with Databricks, and communicating effectively with various stakeholders within the business.

Requirements

  • Strong technical background with experience in data engineering
  • Proficiency in Azure services, particularly Azure Data Factory and Azure Data Lake
  • Experience with SQL, Python, Scala, and Spark
  • Familiarity with data integration tools and techniques
  • Excellent communication skills with the ability to work collaboratively in a team environment

Responsibilities

  • Utilize Azure Data Factory (ADF) pipelines for data ingestion
  • Demonstrate proficiency in Databricks for data processing
  • Collaborate with business stakeholders to understand requirements and deliver solutions accordingly
  • Work with SQL, Python, Scala, and Spark for data processing tasks
  • Integrate data from various sources using Azure Data Lake and other data integration tools
  • Knowledge of APIs and Kafka topics for data collection and ingestion

Інформація про компанію ABCloudz

ABCloudz – компанія, що надає комплексні послуги з управління даними та інжинірингу даних, створює дуже успішні веб- і мобільні системи, адаптує та модернізує хмарні технології до AWS/Azure/AWS/GCP. Досвід компанії охоплює всі основні хмарні та локальні бази даних, включаючи рішення Oracle, SQL Server, Azure, AWS і GCP.
Рік заснування: 2002
Кількість працівників: 251-500
Сайт: abcloudz.com

Переваги співробітникам

Відгукнутися
$7000 – 8000
Outsource
Досвід від 3 років Lead Full-time Не має значення Є тестове завдання Remote
Бонус за рекомендацію: $1000
10.05.20241
Детальніше
  • GCP
  • BigQuery
  • GCS
  • Airbyte
  • SQL
  • dbt
  • Python
  • Flask
  • FastAPI
  • PostgreSQl
  • Redis
  • Docker
  • GraphQL
  • Monte Carlo
  • Open Metadata
  • Terraform
  • Pandas
  • React.js
  • GitHub Actions

About the role:

You will play a leading role in defining a tech roadmap, building, and maintaining the data platform for mid-size finance data processing. We are looking for someone who thrives in an extremely fast-paced, collaborative environment and is passionate about good engineering, getting things done, and developing a good product. Your input will be valued, and you will play a significant role in building and transforming the client’s wealth management platform using these technologies.

As a Data Tech Lead (Principal Data Engineer), you will be responsible for designing and implementing scalable data pipelines, ensuring data quality, and optimizing data processing for better performance. You will collaborate closely with cross-functional teams to understand business requirements and translate them into technical solutions. Your expertise in data engineering best practices, coupled with your ability to mentor and guide junior team members, will be crucial in fostering a culture of continuous learning and improvement within the organization.

Your ability to effectively communicate technical concepts, provide constructive feedback, and facilitate knowledge sharing among team members at all levels will be highly valued. By leveraging your experience and technical acumen, you will contribute to the professional growth and development of the entire data engineering team.

We are seeking a proactive individual who can be responsible for a big part of our data platform, drive innovation, and continuously enhance the data architecture to support the growing needs of the business. Your strong problem-solving skills and ability to navigate complex data challenges will be essential in ensuring the success of our data-driven initiatives.

About the project:

The client is a famous venture capital firm running the fund using Salesforce as the master data repository and Google Drive for document storage. Ranging from Excel to external commercial tools and custom-built user-facing apps, different departments use multiple siloed systems for data management.

The major challenge is the suboptimal time to make the final decision as analysts can’t rely on the existing data due to possible human errors and complicated data management. The solution is to build a unified data platform that will be integrated with Salesforce, fund accounting, and other existing systems to efficiently transform financial, legal, and ops data to data marts that are ready for interaction and comprehensive visualization with BI tools on web and mobile platforms.

Tech Stack:

Google Cloud, BigQuery, GCS, Airbyte, SQL, DBT, Python, Flask, FastAPI, Pandas, JavaScript (React), GraphQL, Terraform, GitHub Actions, Sigma Computing, Open Metadata, Monte Carlo Data, OpenAI, LLMs

Skills & Experience:

  • Possess a Bachelor’s degree in Computer Science or Software Engineering, or demonstrate substantial experience as a seasoned app developer.
  • Demonstrate a minimum of 3 years of proficiency in Python, SQL, data systems development life cycle, and preferably full-stack development.
  • Advanced experience using different kinds of databases (for example, PostgreSQL, BigQuery, Redis) including experience with query and optimization techniques.
  • Display a comprehensive understanding and practical experience with Google Cloud services.
  • Profound experience with unit and integration testing methodologies.
  • Hands-on experience working with Docker
  • Proven background in collaborative efforts with product managers and fellow engineers, particularly within distributed multicultural teams.
  • An excellent command of the English language, both written and verbal.
  • Possess outstanding communication skills, coupled with a sense of humor, and express a keen interest in the domains of personal and corporate finance.

Nice to have:

  • Experience with GraphQL and its integration with data platforms.
  • Familiarity with data observability tools like Monte Carlo Data and data discovery tools like Open Metadata.
  • Knowledge of the financial domain and understanding of wealth management, investment concepts.
  • Contributions to open-source projects or personal projects showcasing data engineering skills.

Responsibilities:

  • Collaborate with cross-functional teams to understand business requirements and translate them into technical solutions.
  • Design, implement, and maintain scalable and reliable data pipelines, data warehouses, and data lakes.
  • Develop and enforce best practices for data governance, data quality, and data security.
  • Mentor and guide engineers, fostering a culture of continuous learning and improvement.
  • Help maintain code quality, organization, and automation.
  • Collaborate with other teams as needed to ensure interoperability, stability, and code reusability.
  • Optimize data processing and querying for better performance and cost-efficiency.
  • Implement monitoring, logging, and alerting mechanisms to ensure the health and reliability of the data platform.
  • Stay up-to-date with the latest trends and technologies in the data engineering field (Modern Data Stack) and propose improvements to the existing architecture.

Інформація про компанію Proxet

Proxet – це компанія, що займається розробкою веб-сайтів, мобільних додатків та програмного забезпечення, пропонуючи індивідуальні технологічні рішення для широкого загалу клієнтів. Компанія реалізувала понад 100 проєктів у сферах охорони здоров'я, маркетингу, фінансових послуг, роздрібної торгівлі, нерухомості, аерокосмічної та автомобільної промисловості. Proxet також надає інтелектуальні та консультаційні послуги швидкорослим стартапам та компаніям зі списку Fortune 500.
Рік заснування: 2009
Кількість працівників: 251-500
Сайт: proxet.com

Переваги співробітникам

Відгукнутися
Досвід від 7 років Senior Full-time Не має значення Є тестове завдання Remote Львів
09.05.20242
Детальніше
  • ETL
  • ELT
  • AWS Redshift
  • BigQuery
  • Apache Airflow
  • Prefect
  • Dagster
  • SQLMesh
  • dbt
  • SQL
  • Python
  • Scala
  • Java
  • Great Expectations

We’re seeking a talented and dedicated Senior Data Engineer to join our team. The ideal сandidate will be instrumental in shaping our data architecture, integrating diverse data sources, and ensuring that our data pipelines are scalable, robust, and timely. With a keen understanding of modern data stack technologies, you’ll be at the forefront of our efforts to power our analytics, machine learning, and business intelligence initiatives.

Core Responsibilities:

  • Design, construct, install, and maintain large-scale data processing pipelines and other infrastructure.
  • Set the data strategy by selecting, architecting, and integrating cutting-edge database solutions.
  • Build, optimize, and maintain ETL/ELT processes using modern tools and platforms.
  • Ensure data integration from various sources, keeping in mind data accuracy, reliability, and timeliness.
  • Optimize database operations for maximum performance, including monitoring, troubleshooting, and improving existing systems.
  • Collaborate with data scientists, ML engineers, and other stakeholders to support their data infrastructure needs.
  • Interface with other tech teams to extract, transform, and load data from a wide variety of data sources.
  • Implement security measures to ensure data protection and compliance with relevant regulations and best practices.
  • Stay updated with the latest technology trends, evaluating and implementing new systems and tools as required.

Hard skills:

  • Bachelor’s/Master’s degree in Computer Science, Engineering, or a related technical field.
  • 7+ years of experience in a data engineering role.
  • 7+ years of experience with cloud warehousing platforms such as Redshift or BigQuery.
  • 4+ years experience with data orchestration platforms such as Airflow, Prefect, or Dagster.
  • 3+ years experience architecting and building big data solutions in the cloud, specifically those that leverage data lakehouse technologies, with a focus on performance optimization and partitioning.
  • 2+ years experience with a transformation workflow framework like dbt or SQLMesh.
  • Strong knowledge and experience with data lakes, delta lakes, and data lake houses.
  • Strong knowledge of SQL and scripting languages (Python, Scala, Java, etc.).
  • Strong knowledge of data warehousing strategies to include Inmon, Kimball and Data Vault.
  • Experience with data quality, ideally using a framework such as Great Expectations.
  • Experience in healthcare or behavioral health sectors.
  • Proven track record of architecting and deploying high-scale data infrastructure.

Інформація про компанію Abto Software

Abto Software – компанія повного циклу розробки програмного забезпечення на замовлення. Компанія створює і навчає інтелектуальні додатки, які допомагають підприємствам підвищити безпеку будинків людей, боротися з шахрайством і скоротити кількість дорожньо-транспортних пригод. Застосовуючи передові алгоритми комп'ютерного зору з урахуванням машинного навчання, команда може отримувати значну інформацію з зображень і переводити їх у реальні бізнес-додатки.
Рік заснування: 2007
Кількість працівників: 251-500
Сайт: abtosoftware.com

Переваги співробітникам

Відгукнутися
Product / Startup
Досвід від 7 років Senior Full-time Upper-Intermediate / B2 Є тестове завдання Remote
08.05.20243
Детальніше
  • Snowflake
  • dbt
  • ETL
  • Python
  • AWS
  • GCP
  • Microsoft Azure
  • Microsoft SQL Server
  • Columnar
  • Kubernetes

Healthcare benefits are complex, underutilized and a mystery for most users. We’re removing that complexity. Now more than ever, employers are adding value to their employees’ benefits like telemedicine and mental health services. HealthJoy’s industry-changing tech platform consolidates those benefits into a simplified benefits experience, saving users time and money.
At HealthJoy, we are committed to creating a diverse and inclusive workplace where everyone has the opportunity to succeed and thrive.

Your impact:

  • Owns and drives HealthJoy’s data integration solutions in terms of design, build, testing, and deployment via best-in-class standards for data modeling, data quality, and data architecture.
  • Foster a culture of sharing, re-use, design for scale stability, and operational efficiency of data and analytical solutions.
  • Lead the evaluation, implementation and deployment of emerging tools and process for analytic data engineering in order to improve HealthJoy’s productivity as a team.
  • Ensuring a sound and best in class design, with enterprise implementation, deployment and operational meets the technical quality standards.
  • Design and build reusable components, frameworks and libraries at scale to support analytics data products.
  • Collaborate with stakeholders to determine best practices for designing and deploying data models and data flows, and set up frameworks for data contracts that promote data quality and stability.
  • Clean, prepare and optimize data at scale for ingestion and consumption.
  • Partner with Engineering Managers and Staff Engineers to define technology roadmaps, align on design, architecture, and enterprise strategy.
  • Exhibit accountability at both a personal and team level.

Your experience:

  • 7+ years experience with the following:
    • Snowflake (Columnar MPP Cloud data warehouse);
    • DBT (ETL tool);
    • Python;
    • Experience designing and implementing Data Warehouse.
  • AWS/Azure/GCP cloud technology;
  • SQL objects (procedures, triggers, views, functions) in SQL Server. SQL query optimizations;
  • Data modeling and database design skills and knowledge of version control;
  • Experience working with data quality test frameworks;
  • Experience working in a microservices architecture and Kubernetes is a plus;
  • Experience formulating and implementing data contracts and service level agreements with stakeholder teams and setting up monitoring, alerting, and dependency management systems;
  • An ability and eagerness to constantly learn and share knowledge with others;
  • Strong written and verbal communication skills;
  • Insatiable curiosity to learn new software principles, technologies, and tools;
  • Passionate in collaborating with developers and testers; distributed team experience will be a plus.

Інформація про компанію HealthJoy

Мобільний додаток HealthJoy створює інтуїтивно зрозумілий та інтегрований досвід надання медичної допомоги, який усуває плутанину та складність у охороні здоров'я, надаючи своїм учасникам необхідні переваги у потрібний момент протягом лікування. Мобільна платформа та команда консьєржів з охорони здоров'я разом допоможуть знайти найкращих постачальників, віртуальну допомогу та заощадити кошти.
Рік заснування: 2014
Кількість працівників: 251-500
Резидент Дія.City
Сайт: healthjoy.com

Переваги співробітникам

Відгукнутися
Product / Startup, Consulting / Integrator
Досвід від 5 років Senior Full-time Не має значення Є тестове завдання Remote
07.05.20240
Детальніше
  • SQL
  • dbt
  • Snowflake
  • Amazon Redshift
  • Apache Airflow
  • Select Star
  • Airbyte
  • Monte Carlo

The Data Team at PandaDoc is currently overhauling existing processes and creating a cutting-edge insights infrastructure from the ground up. We have a reporting line directly to the CTO and co-founder of PandaDoc, so we have an ideal environment for visibility and impact generation.
Currently, we have 2 teams inside the Data organization: Analytics (Marketing, Revenue & Product) and Data Engineering (Data & Analytics Engineering). As a Senior Analytics Engineer you will join the Data Engineering team, reporting directly to the Director of Data Engineering.

We have two main priorities for the 2024 year:

  • Migrate to new infrastructure (Snowflake, Airbyte, Segment, Select Star, Monte Carlo, dbt, various BI tools) to ensure we remain at the forefront of industry trends, revising existing processes, building a strong data model, and creating standards as we go.
  • Generate impact by using data to find and address the biggest opportunities and key problems in different areas of the business.
  • Our Vision is to be the source of data and go-to recommendation engine for departments across the company... we just need you to join us and help us get there!

Responsibilities:

  • Work closely with Product Data Analysts and Data Engineers on data model requirements (metrics, dimensions, business logic) related to our product data (events, how customers use our product).
  • Build and own foundational data models that will serve various downstream applications (dbt + Snowflake).
  • Improve data quality, by developing business data observability strategies and alerts for different areas in the company (Monte Carlo).
  • Help define the Analytics Engineering function within the company, creating processes and standards.
  • Help define best practices for Snowflake, dbt, and data modeling.
  • Document all dimensions, metrics, and business logic (Select Star).
  • Cooperate closely with Data Engineers to make sure we create best-in-class infrastructure.
  • Foster collaboration with Product Data Analysts, Analytics Engineers and Data Engineers to achieve common goals.

Ideal requirements:

  • Proficiency in SQL (minimum of 5 years);
  • 3+ years of experience in dbt + Snowflake;
  • 5+ years of experience in a similar position (data warehousing, data modeling, data engineering);
  • Excellent communication skills.

You’ll get bonus points if you:

  • Have worked for a B2B startup in the past;
  • Have previously been involved in a Redshift to Snowflake migration;
  • Have experience with Airflow, Airbyte, Monte Carlo & Select Star;
  • Have built a marketing attribution model;
  • Have implemented revenue, churn and retention data models.

Інформація про компанію PandaDoc

PandaDoc – міжнародна IT-компанія, що надає комплексне програмне забезпечення для автоматизації документообігу, яке спрощує процес створення, затвердження та електронного підпису бізнес-документів, пропозиції, котирування та контракти.
Рік заснування: 2011
Кількість працівників: 501-1000
Резидент Дія.City
Сайт: pandadoc.com

Переваги співробітникам

Відгукнутися
Product / Startup
Досвід від 3 років Middle Full-time Не має значення Є тестове завдання Office
03.05.20241
Детальніше
  • Python
  • Java
  • NoSQL
  • RDMS
  • Columnar
  • Microsoft Azure
  • AWS
  • GCP
  • Apache Airflow
  • dbt
  • Snowflake
  • Docker
  • Kubernetes
  • Apache NiFi
  • AWS Kinesis
  • Kafka
  • Terraform
  • Ansible
  • ELK

NeoGames is a leader in the iLottery and iGaming space offering solutions spanning game studios, game aggregation, lotteries, online casino, sportsbook, bingo, and managed services offered through an industry leading core platform.
The Data & BI team owns the group’s Data & Analytics platforms spanning Data Engineering, Analytical Engineering and Business Intelligence to lead the group’s data-driven modernisation both internally and for its clients.
The Data Engineer will play a vital role as part of a cross-functional team to develop data pipelines to ingest, transform, distribute and expose data from the group’s Core Data Lake for integration, reporting, analytics, and automations.
The chosen candidate needs to be passionate about building scalable data models and architecture for consumption by other teams with the aim of making it easy for BI, Analytics, Product and other data consumers to build data-driven solutions, features and insights.

Responsibilities:

  • Create data pipelines – both as batch and in real-time - to ingest data from dissimilar sources.
  • Collaborate with the other teams to address data sourcing and provision requirements.
  • Design and monitor robust, recoverable data pipelines following best practices with an eye out for performance, reliability, and monitoring.
  • Innovation drives us - carry out research and development and work on PoCs to propose, trial and adopt new processes and technologies.
  • Coordinate with the Product & Technology teams to ensure all platforms collect and provide appropriate data.
  • Liaise with the other teams to ensure reporting and analytics needs can be addressed by the central data lake.
  • Support the Data Quality and Security initiatives by building into the architecture the necessary data access, integrity, and accuracy controls.

Requirements:

  • 3+ years of experience in Data Engineering.
  • Degree in Computer Science, Software Development or Engineering.
  • Proficient in Python. Past exposure to Java will be considered an asset.
  • Understanding of RDMS, Columnar and NoSQL engines & their performance.
  • Experience with cloud architecture and tools: Microsoft Azure, Amazon or GCP.
  • Experience with orchestration tools such as Apache AirFlow, dbt.
  • Prior exposure to the Snowflake ecosystem will be considered an asset.
  • Familiarity with Docker/Kubernetes and containerisation.
  • Strong background in stream data processing technologies such as NiFi, Kinesis, Kafka.
  • A grasp of DevOps concepts and tools including Terraform and Ansible are an advantage.
  • Understanding of distributed logging platforms - ideally the ELK stack.

Advantages:

  • Fluency in spoken and written English is essential.
  • Passionate about data and on the lookout for opportunities to optimise.
  • Passionate about technology and eager to trial and recommend new tools or platforms.

Інформація про компанію Aspire Global

Aspire Global – провідний B2B-провайдер рішень для iGaming, що пропонує компаніям все необхідне для управління успішним брендом iGaming, що охоплює казино та спорт. B2B-пропозиція включає надійну технічну платформу, власні ігри казино, власну букмекерську контору і агрегатор ігор.
Рік заснування: 2005
Кількість працівників: 501-1000
Сайт: aspireglobal.com

Переваги співробітникам

Відгукнутися
Досвід від 5 років Senior Full-time Не має значення Є тестове завдання Office, Remote Київ, Львів, Харків, Дніпро, Одеса, Sofia, Larnaca, Riga, Lublin, Krakow
30.04.20242
Детальніше
  • AWS
  • GCP
  • AWS Kinesis
  • Amazon S3
  • AWS Lambda
  • AWS IoT Greengrass
  • Timestream
  • Athena
  • IaC
  • Terraform
  • AWS CDK
  • Python

Our client specializes in manufacturing equipment for industrial automation.

Position overview

Role will primarily involve managing the data flow from robots to data pipelines, data warehousing and automating existing infrastructure. The ideal candidate will be highly proficient in AWS data components management and Infrastructure as Code (IaC) technologies.

Responsibilities

  • Automate and orchestrate data flow between devices and both AWS and GCP
  • Implement data warehousing solutions on AWS
  • Manage AWS data components, such as Kinesis Data Stream, Kinesis Firehose, S3 Bucket, Lambda, Greengrass IoT Core, Timestream, and Athena
  • Optimize the AWS infrastructure for cost, latency, reliability, and management
  • Develop and maintain comprehensive documentation of cloud infrastructure setup, policies, standards, and guidelines
  • Implement Infrastructure as Code (IaC) for reliable and repeatable infrastructure deployment

Requirements

  • 5+ years of experience in data engineering, specifically with managing data from multiple devices
  • Proficient knowledge of AWS services, particularly Kinesis Data Stream, Kinesis Firehose, S3 Bucket, Lambda, Greengrass IoT Core, Timestream, and Athena
  • Experience with Infrastructure as Code (IaC) technologies like Terraform or AWS CDK
  • Experience with handling data flow and data warehousing
  • Proficiency in programming languages relevant to data engineering such as Python
  • Familiarity with Quality Control and Test Automation practices

Nice to have

  • Relevant AWS or GCP certifications, as well as experience in the robotics or hardware industry

Інформація про компанію DataArt

Фахівці компанії допомагають клієнтам у розробці спеціального програмного забезпечення, яке покращує їх діяльність і розширює охоплення ринку завдяки командам висококваліфікованих інженерів, розташованих по всьому світу, глибокому розумінню галузевих секторів і постійному дослідженні технології. DataArt працює з клієнтами в будь-якому масштабі та на будь-якій платформі, адаптуючись разом із ними, коли вони змінюються, що дозволяє компанії надавати своїм клієнтам надійні, якісні рішення та довгострокові відносини.
Рік заснування: 1997
Кількість працівників: 1001-5000
Сайт: dataart.team

Переваги співробітникам

Відгукнутися
Досвід від 5 років Senior Full-time Upper-Intermediate / B2 Є тестове завдання Remote
30.04.20243
Детальніше
  • Java
  • Python
  • Apache Spark
  • Hive
  • SQL
  • Unix
  • Hadoop
  • Impala
  • Yarn
  • Talend
  • Hue
  • Apache NiFi
  • Apache Airflow
  • Spring
  • Maven
  • Git
  • uDeploy

Project description

During the 2008 financial crisis, many big banks failed or faced issues due to liquidity issues. Lack of liquidity can kill any financial institution over the night. That's why it's so critical to constantly monitor liquidity risks and properly maintain collaterals.
We are looking for a number of talented developers, who would like to join our team in Pune, which is building liquidity risk and collateral management platform for one of the biggest investment banks over the globe. The platform is a set of front-end tools and back-end engines. Our platform helps the bank to increase efficiency and scalability, reduce operational risk and eliminate the majority of manual interventions in processing margin calls.

Responsibilities

  • The candidate will work on development of new functionality for Liqudity Risk platform closely with other teams over the globe.

Must have

  • BigData experience (6 years+);
  • Java/python J2EE, Spark, Hive;
  • SQL Databases; UNIX Shell;
  • Strong Experience in Apache Hadoop, Spark, Hive, Impala, Yarn, Talend, Hue;
  • Big Data Reporting, Querying and analysis.

Nice to have

  • Spark Calculators based on business logic/rules
  • Basic performance tuning and troubleshooting knowledge
  • Experience with all aspects of the SDLC
  • Experience with complex deployment infrastructures
  • Knowledge in software architecture, design and testing
  • Data flow automation (Apache NiFi, Airflow etc)
  • Understanding of difference between OOP and Functional design approach
  • Understanding of an event driven architecture
  • Spring, Maven, GIT, uDeploy;

Інформація про компанію Luxoft

Luxoft надає бізнес-лідерам розширені можливості аналітики та програмної інженерії, які стабілізують підприємства та допомагають їм процвітати на мінливих і складних ринках. Компанія втілює унікальне поєднання інженерної досконалості та глибокої галузевої експертизи, щоб обслуговувати клієнтів у всьому світі, які спеціалізуються на автомобільних та фінансових послугах, подорожах та гостинності, охороні здоров’я, науках про життя, медіа та телекомунікаціях. Luxoft виходить за межі очікувань клієнтів, об’єднуючи технології, талант, інновації та найвищі стандарти якості.
Рік заснування: 2005
Кількість працівників: >5000
Резидент Дія.City
Сайт: luxoft.com

Переваги співробітникам

Відгукнутися
Outsource, Consulting / Integrator
Досвід від 5 років Senior Full-time Не має значення Є тестове завдання Office, Remote
29.04.20241
Детальніше
  • Apache Spark
  • Python
  • SQL
  • PowerBI
  • NoSQL
  • Azure Databricks
  • Delta Lake

Svitla Systems Inc. is looking for a Senior Data Engineer with Power BI for a full-time position (40 hours per week) in Ukraine. Our client is a leading expert network, providing business and government professionals with opportunities to communicate with industry and subject-matter experts to answer research questions. Their customers consult with these experts over the phone, in person at conferences, teleconferences, custom events, and workshops, or may gather their primary research data through surveys, polls, or web-based data offerings. Experts are categorized into six main industry sectors: healthcare, financial and business services, consumer goods and services; energy, industrials, and basic materials; tech, media, and telecom; and legal and regulatory. Since 2003, the company has provided its clients with primary research services, helping professionals comprehensively understand a topic before making significant investment and/or business decisions. Their multinational client list includes nine top 10 consulting firms, hundreds of hedge funds, and many of the largest private equity firms and fortune-ranked companies. As a Senior Power BI Analyst, you will be pivotal in leveraging data to drive informed decision-making and optimize business processes.

Requirements:

  • 5+ years of experience as a data engineer.
  • Strong understanding of data warehousing concepts and experience working with large volumes of data.
  • Exhibit proficiency in Spark, Python, and SQL to effectively manage and manipulate data.
  • Proficiency in BI tools (PowerBI).
  • Experience in building and optimizing data pipelines.
  • Familiarity with compliance-based environments and experience in building compliant software solutions.
  • Advanced working knowledge of  SQL and experience with relational and NoSQL databases.
  • Experience with Azure Databricks, including data engineering, data warehousing, and Delta Lake.

Will be a plus:

  • Working knowledge of Fivetran.

Responsibilities:

  • Utilize expertise in data concepts to work with large volumes of information effectively.
  • Develop and maintain BI solutions using tools like Power BI, Tableau, etc.
  • Design and implement robust data pipelines to ensure seamless data flow and accessibility.
  • Demonstrate proficiency in message queuing, stream processing, and highly scalable data stores.
  • Collaborate with cross-functional teams to build and deploy compliant software solutions in a compliance-based environment.
  • Utilize advanced SQL knowledge to work with relational and NoSQL databases, including query authoring and familiarity with various database systems (e.g., SQL Server, Neo4j, Elastic, Cosmos).
  • Build and optimize data pipelines on Azure Databricks, leveraging an in-depth knowledge of data engineering, data warehousing, and Delta Lake on Databricks.
  • Exhibit Spark, Python, and SQL proficiency to effectively manage and manipulate data.

Інформація про компанію Svitla

Svitla – це компанія, що консультує та впроваджує сучасні, стійкі рішення для клієнтів, використовуючи можливості цифрових, хмарних та інтелектуальних технологій. Компанія має великий досвід у багатьох галузях, включаючи електронну комерцію та роздрібну торгівлю, фінансові послуги, охорону здоров'я та біологічні науки, готельний бізнес та подорожі, логістику та транспорт, а члени команди є експертами у низці технологічних областей, включаючи міграцію та модернізацію хмари, аналіз даних, веб-розробку та мобільну розробку, IoT, штучний інтелект та машинне навчання.
Рік заснування: 2003
Кількість працівників: 501-1000
Сайт: svitla.com

Переваги співробітникам

Відгукнутися
Product / Startup, Investor / Accelerator
Досвід від 5 років Lead Full-time Upper-Intermediate / B2 Є тестове завдання Office Київ
26.04.20242
Детальніше
  • PySpark
  • Spark SQL
  • Scala
  • Apache Airflow
  • Azure Data Factory
  • IntelliJ
  • Maven
  • Git
  • Docker
  • AWS
  • GCP
  • Microsoft Azure
  • EMR
  • DataBricks
  • Azure Synapse
  • HDInsight
  • AWS Kinesis
  • NoSQL
  • AWS Redshift
  • DynamoDB
  • Aurora
  • PostgreSQl
  • Snowflake
  • Jenkins
  • StreamSets
  • Amazon QuickSight
  • Tableau
  • Looker
  • Agile

Requirements

  • 5+ years of relevant experience as a Data Engineer, building Data Platforms, Data lakes and Business Intelligence solutions;
  • BS degree in Computer Science or a related field;
  • Proficient in implementing data pipelines (i.e. Pyspark, Spark SQL, Scala), orchestration tools/services (i.e. Airflow, data factory), and testing frameworks;
  • Proficient with Software Engineering best practices, such as unit testing and integration testing, and software development tools, such as IntelliJ, Maven, Git, and Docker among others;
  • Experience in one of the main cloud services (AWS, Google Cloud, or Azure) with Big Data services (EMR, Databricks, Synapse, HDInsight, Kinesis, etc.);
  • Experience in databases (columnar, NoSQL, and relational databases: Redshift, Dynamodb, Aurora, Postgres, and/or Snowflake), data modeling, and data management tools;
  • Experience with orchestration, automation, integration, and continuous delivery frameworks such as Jenkins or Streamsets;
  • Experience with reporting systems and visualization tools Quicksight, Tableau, and Looker;
  • Experience working in Agile methodologies;
  • Upper-Intermediate English level.

Will be plus

  • Experience with DevOps, DataOps, and MLOps;
  • Experience with security and privacy regulations (GDPR, HIPAA);
  • Experience in Data Science and Machine Learning;
  • Knowledge of Data Mesh Architectures.

Responsibilities

  • Lead the design and implementation of the data & analytics architecture ensuring compliance, quality, and sustainable growth of the platform;
  • Build scalable data pipelines to integrate and model datasets from different sources that meet functional and non-functional requirements.
  • Provide the technology, tools, and data to support data scientists and BI analysts;
  • Manage the technical backlog on the Data & Analytics Platform;
  • Ensure the data quality by implementing and monitoring a data quality framework together with the data source teams;
  • Work with data infrastructure to triage infrastructure issues and drive them to resolution;
  • Collaborate with cross-functional stakeholders to understand their business needs;
  • Formulate and complete end-to-end analysis that includes data gathering, analysis, ongoing scaled deliverables, and presentations;
  • Foster a data-driven culture throughout the team and lead data projects that will have an impact throughout the organization;
  • Help to grow our data team with exceptional engineers.

Інформація про компанію Pin-Up Global

PIN-UP Global – екосистема незалежних компаній, які беруть участь у різних аспектах створення розважальних продуктів, використовують інноваційні технології та нестандартні підходи для розробки і масштабування своїх продуктів і послуг. PIN-UP Global поділяється на різні напрямки відповідно до їх профілю, і в кожному напрямку може діяти одна або кілька компаній, які взаємодіють між собою через конкуренцію та співпрацю.
Рік заснування: 2016
Кількість працівників: 1001-5000
Сайт: pin-up.global

Переваги співробітникам

Відгукнутися
Product / Startup, Education
Досвід від 5 років Lead Full-time Не має значення Є тестове завдання Office Berlin
23.04.20241
Детальніше
  • Python
  • SQL
  • AWS Kinesis
  • Agile

We are looking for an Engineering Manager, Data Engineering to join us in Berlin!

In your role as an Engineering Manager, Data Engineering, you will play a pivotal role in shaping the future of our data-driven educational products. Your work will directly contribute to the learning journey of millions of users worldwide. You will take good care of the Learner and Content technical domain and corresponding engineering team.

At Babbel, our Data Engineering team is focused on creating simple yet powerful systems that process streaming and batch data to power the user's app experience and drive insightful analytics. You will specialize in handling streaming data from our apps, as well as ETL pipelines and data models, that integrate with our core product features. These services are crucial for understanding how users interact with our app, tracking time spent, and counting activities as they happen.

You will:

  • Lead a multidisciplinary engineering team to develop high-quality data pipelines and infrastructure for personalization features
  • Foster both team growth and individual development, ensuring a culture of continuous improvement
  • Collaborate with product managers to drive technical discovery and delivery of innovative features and microservices
  • Ensure the integrity, compliance, and security of the team's outputs by implementing best engineering practices
  • Mentor team members on communication and engineering aspects, identify and address gaps in team capabilities and performance
  • Optimize agile methodologies and engineering excellence to enhance development efficiency and team dynamics
  • Build and nurture a diverse and inclusive team environment, valuing every member's contribution

You have:

  • 5+ years software development experience using Python, SQL and event event streaming technologies as well as cloud services in a production environment
  • 2+ years of experience in managing a team with a focus on mentoring and tech leadership
  • Experience in test automation and building a data observability and quality control solutions
  • Proficiency in agile methodologies, adapting processes to suit project needs and team dynamics
  • Skill in effective communication and collaboration across teams and disciplines
  • Commitment to fostering diversity and inclusion within your team
  • Eagerness for continuous learning, staying updated with industry trends and exploring new tools and techniques

Nice to Have:

  • Hands-on experience in building data-intensive event driven microservices using AWS Kinesis

Інформація про компанію Babbel

Babbel – компанія, що створює продукти, які допомагають людям вивчати та спілкуватись різними мовами. За допомогою уроків самонавчання, живих занять під керівництвом інструкторів з Babbel Live, Babbel for Business, серії подкастів і журналу користувачі можуть зосередитися на використанні нової мови в реальних ситуаціях з реальними людьми.
Рік заснування: 2007
Кількість працівників: 1001-5000
Сайт: ua.babbel.com

Переваги співробітникам

Відгукнутися
Product / Startup, Education
Досвід від 7 років Senior, Lead Full-time Не має значення Є тестове завдання Office Berlin
23.04.20242
Детальніше
  • Hadoop
  • Apache Spark
  • SQL
  • NoSQL
  • AWS
  • Microsoft Azure
  • GCP
  • Python
  • Scala
  • Java
  • DataBricks
  • Snowflake
  • ETL
  • Apache Airflow

We are seeking a Principal Data Engineer (full-time) to join our data engineering team Berlin.

As a dynamic, forward-thinking organization, we are seeking an experienced Principal Data Engineer to lead our data engineering initiatives. This pivotal role requires a blend of technical prowess and leadership skills, ideally suited for a professional passionate about shaping the future of data engineering. The successful candidate will drive the development and optimization of our data architecture, ensuring our data systems are robust, scalable, and efficient.

You will:

  • Advanced Data Architecture Design: Design and implement scalable and reliable data architectures. Lead initiatives for data modeling, data warehousing, and data lake development, ensuring the architecture supports current and future business needs. Develop and maintain scalable, efficient data architectures, incorporating modern data stacks like AWS, Databricks, and Snowflake. Ensure these architectures support both current and future business analytics, AI, and machine learning initiatives
  • Advanced Data Engineering: Apply expertise in big data technologies, real-time data processing, and cloud-based systems to enhance our data capabilities. Implement data pipelines, ETL processes, and data storage solutions
  • Expertise in ML/AI Tooling: Utilize tools such as AWS SageMaker, Databricks MLflow, and other advanced ML/AI technologies to facilitate data processing and analysis. Implement and oversee machine learning pipelines and data science workflows
  • Team Mentorship and Collaboration: Act as a mentor to junior data engineers, fostering a culture of technical excellence. Collaborate with cross-functional teams, including data scientists, analysts, and IT professionals, to align data engineering efforts with organizational goals
  • Innovative Solutions and Best Practices: Stay at the forefront of data engineering trends. Introduce innovative solutions and best practices in data processing, storage, and analytics. Evaluate and recommend new technologies to enhance our data capabilities
  • Data Quality and Governance: Establish and maintain high standards for data quality and integrity. Implement data governance frameworks and ensure compliance with data privacy and security regulations
  • Performance Optimization: Monitor system performance, identify bottlenecks, and implement solutions to optimize data flow and storage

You are:

  • Experience: 8+ years of experience in data engineering with a demonstrated track record in designing and managing large-scale data systems. Experience in leading data engineering teams is essential
  • Technical Expertise: Proficiency in big data technologies (e.g., Hadoop, Spark), database management systems (e.g., SQL, NoSQL), cloud services (e.g., AWS, Azure, GCP), and programming languages (e.g., Python, Scala, Java). Advanced skills in AWS, Databricks, Snowflake, and other modern data tools. Experience with big data technologies, real-time data processing, and cloud-based systems
  • Leadership Skills: Strong leadership and team-building capabilities. Ability to mentor and develop technical teams
  • Problem-Solving: Exceptional problem-solving skills and the ability to work on complex systems and challenges
  • Communication: Excellent communication and interpersonal skills, with the ability to engage effectively with technical and non-technical stakeholders

You have:

  • Strong programming skills in Python and SQL
  • Knowledge of distributed systems and Spark distributed data processing engine
  • Experience with ETL tools and pipelines that support data ingestion, processing, storage, and delivery, such as Airflow
  • Understanding of data security and privacy regulations and how to ensure data quality, consistency, and accessibility
  • Proficiency in designing, building, and maintaining data warehousing solutions based on Snowflake and Databricks Lakehouse Platform
  • Expert understanding of dimensional data modeling techniques
  • Data governance and management skills, such as defining and enforcing data quality standards, data contracts, data lineage, and data access policies, as well as ensuring data security and compliance
  • Expert knowledge of AWS platform and cloud computing principles
  • Strong infrastructure management skills, such as provisioning, configuring, and maintaining data servers, clusters, and networks, as well as automating and optimizing data workflows and processes
  • Ability to design, plan, drive, and document major architectural changes and propose innovative solutions for data engineering problems

Інформація про компанію Babbel

Babbel – компанія, що створює продукти, які допомагають людям вивчати та спілкуватись різними мовами. За допомогою уроків самонавчання, живих занять під керівництвом інструкторів з Babbel Live, Babbel for Business, серії подкастів і журналу користувачі можуть зосередитися на використанні нової мови в реальних ситуаціях з реальними людьми.
Рік заснування: 2007
Кількість працівників: 1001-5000
Сайт: ua.babbel.com

Переваги співробітникам

Відгукнутися
Досвід від 1 року Junior, Middle Full-time Не має значення Є тестове завдання Remote
22.04.20243
Детальніше
  • SQL
  • Python
  • Rest API
  • Microsoft Excel

Основні задачі:

  • Автоматизація аналітичної звітності по CRM і побудова автоматичних дашбордів.
  • Оптимізація, та покращення якості бази даних (перевірка отримуваних даних на помилки, дублі, повноту).
  • Сегментування клієнтської бази для проведення маркетингових комунікацій, розробка рекомендацій по роботі з цими сегментами.
  • Налаштування автоматичних регламентних сценаріїв комунікацій з клієнтами.
  • Розроблення рекомендацій щодо покращення існуючих процесів та алгоритмів, написання ТЗ.

Наші побажання до потенційного кандидата:

  • досвід роботи від 1 року на посаді аналітика або Data Engineer\Data Analyst;
  • знання SQL, MS Excel;
  • розуміння роботи REST API;
  • знання основ Python;
  • уважність, аналітичний склад розуму, скрупульозність, відповідальність.

Інформація про компанію АЛЛО

АЛЛО – маркетплейс національного масштабу з товарами від косметики й інструментів до одягу й меблів та доставкою замовлень на пошту, додому та до магазинів у 140 містах України.
Рік заснування: 1998
Кількість працівників: 1001-5000
Сайт: allo.ua

Переваги співробітникам

Відгукнутися
Product / Startup
Досвід не має значення Middle, Senior Full-time Advanced / Fluent / C1 Є тестове завдання Office Warszawa
20.04.20241
Детальніше
  • SQL
  • Microsoft Azure
  • Azure SQL
  • Microsoft Power BI
  • Azure Data Factory
  • Azure Cosmos DB
  • Oracle SQL
  • Snowflake
  • ETL
  • C#
  • .NET

At SimCorp, we support some of the biggest financial institutions in the world to be successful by simplifying their investments, accounting, and operations.
Currently SimCorp is transforming the way we deliver services to our clients. We are seeking a highly motivated member to join our team as a Senior Data Engineer. You will be joining a growing dynamic team within SimCorp’s Product Division. In our team, we create the reports and deliver it in various ways to our Investment Operation as a Service and Investment Account as a Service clients.

What you will responsible for:

  • Work with SimCorp Dimension Data Warehouse manager to create and maintain base marts and user marts 
  • Create reports and dashboards using BI tools
  • Support the team in using our ETL workflows to create Reports
  • Ensure that new data entities get implemented in the data model using schemas that are appropriate for their use, facilitating good performance and analytics needs.
  • Promote best practice regarding Pull requests in GitHub and SQL scripts in Snowflake 
  • Ensure quality in our data solutions and that we can ensure good data quality every time we release
  • Support technical writers and quality assurance specialists regarding the deliverables
  • Provide input to our framework team for enhancing the tools we utilize
  • Refine features and stories to an operation level in collaboration with the team and product owner.

What we value:

You will be great for this position if you have some of the following proficiencies:

  • Proven deep experience with Microsoft SQL.
  • Familiarity with Microsoft cloud data services (or similar cloud services), including but not limited to Azure SQL, Power BI, Azure Data Factory, Cosmos DB and Analysis Services (SAAS).
  • Experience with Data Warehouse (Oracle SQL) and Snowflake. 
  • Understanding of data mart structures, ETL processes, and data warehousing concepts.
  • Desire to work in an Agile environment and use DevOps/DataOps practices such as continuous integration, continuous delivery, and continuous deployment.
  • Some basic proficiency in C# .NET
  • Financial knowledge in investment banking and accounting is an advantage
  • Fluency in English.

As a professional, you embody one or more of these qualities:

  • Proactively collaborates with team members to achieve common goals.
  • Proven problem-solving skills and comfortable questioning specifications.
  • Effective communicator who is not afraid to speak up when needed.
  • Interested in sharing knowledge with your teammates.
  • Demonstrates a willingness to take initiatives.
  • Thrives in a collaborative environment and values teamwork.

Інформація про компанію SimCorp

SimCorp – міжнародна IT-компанія, що спеціалізуються на рішеннях для управління інвестиціями. Компанія пропонує провідні в галузі комплексні рішення для управління інвестиціями, платформу та екосистему, що включає партнерів, сервіси та сторонні підключення, дозволяє надавати найкращім фінансовим компаніям світу ефективність і гнучкість, необхідні для успіху.
Рік заснування: 1971
Кількість працівників: 1001-5000
Резидент Дія.City
Сайт: simcorp.com

Переваги співробітникам

Відгукнутися
Outsource, Consulting / Integrator
Досвід від 5 років Lead Full-time Не має значення Є тестове завдання Office, Remote
19.04.20241
Детальніше
  • MySQL
  • MySQL Galera Cluster
  • SQL
  • PostgreSQl
  • Redis
  • MongoDB
  • Snowflake
  • ClickHouse
  • GCP
  • AWS
  • Ansible
  • Helm
  • Linux

We are looking for an experienced DataBase Architect to join our team.

Responsibilities:

  • Proactively identify database performance problems and resolve them by proposing and delivering changes to the codebase
  • Providing database expertise to our architects, engineering and data science teams through code reviews, pairing and training to help deliver secure and performant database designs and queries
  • Review, optimize and refactor the existing database schema
  • Create and improve documentation
  • Database security best practices
  • Database best practices
  • Workflows and team processes
  • Long term scalability and architecture planning
  • Improve tooling to detect performance bottlenecks and security issues, early in the development cycle
  • Participate in the incident management processes to ensure reliability goals (SLOs) are met by working with the Platform Reliability Team.

Requirements:

  • 5+ years of working experience as DataBase Engineer
  • Significant experience in using MySQL for mission-critical applications
  • In-depth knowledge of MySQL backup/recovery and replication
  • It would be desirable to have a knowledge of MySQL clustering technologies like Galera Cluster
  • SQL and query optimising techniques with a demonstrable ability to both diagnose and prevent performance problems
  • Assist the development teams with database design and schema modifications
  • Expert understanding of high-performance MySQL (>50k QPS)
  • Working knowledge of PostgreSQL, Redis, MongoDB, Snowflake and Clickhouse
  • Core skills and attributes
  • Customer focussed
  • Thrive in a highly collaborative and fast-paced organisation that has office-based, distributed teams and individuals
  • Proficiency in the English language, both written and verbal, sufficient for success in a remote workplace
  • You are a good Linux admin
  • Bonus points if you have knowledge of
  • GCP (We are GCP focussed) or AWS data products and services
  • Ansible
  • Helm.

Інформація про компанію Itransition

Itransition – глобальна компанія з розробки програмного забезпечення, яка надає інноваційні рішення для підприємств великого та середнього розміру, а також стартапів. Компанія надає повний комплекс розробки ПЗ, інтеграції застосунків, стратегічного та технологічного IT-консалтингу.
Рік заснування: 1998
Кількість працівників: 1001-5000
Резидент Дія.City
Сайт: itransition.com

Переваги співробітникам

Відгукнутися
Досвід від 3 років Middle Full-time Не має значення Є тестове завдання B2B / ФОП, Трудовий договір Office Warszawa
18.04.20244
Детальніше
  • ETL
  • SQL
  • Oracle Database
  • Informatica PowerCenter
  • Ab Initio
  • Data Vault

We are a multinational team of highly skilled professionals with a strong digital mindset. We take pleasure in creating new solutions that have a real impact on our clients’ business. We are more than 4300 professionals with offices in Europe, the USA, Asia and LatAm. At Avenga you’re not obliged to do anything…but empowered to do everything! Join our team!
We are looking for an ETL Developer/Data Engineer to one of delivery teams in an international company from financial sector. If you are an achiever who always explores new opportunities, but also a collaborator, who believes in the strength of helping each other, please apply for this job offer.

This is your mission:

  • Participating in BI projects as an ETL Developer/ Data Engineer
  • Designing and implementing ETL processes
  • Optimizing loading data to DWH
  • Cooperation with a team of Data Engineers and Data Analysts.

What you bring along:

  • University degree (Computer Technology/Mathematics/Physics/Finance/Banking)
  • 3+ years of experience in creating ETL solutions
  • Advanced SQL knowledge (Oracle preferred)
  • Experience with ETL tools (for example, Informatica PowerCenter or Ab Initio)
  • Exeperience with Data Vault is a plus.

Інформація про компанію Avenga

Avenga – це організація, створена об’єднанням чотирьох ІТ-компаній із Малайзії, Німеччини, Польщі та України з метою надання найкращої допомоги партнерам у створенні індивідуального програмного забезпечення. Пропоновані компанією аутсорсингові послуги вже протягом десятиліть приносять цінність фармацевтичній і біологічній галузям, страховій, фінансовій та автомобільній промисловості. Компанія працює над розробкою та дизайном програмного забезпечення на замовлення, управлінням продуктами, проєктами технологічного консалтингу та послугами цифрової трансформації під ключ.
Рік заснування: 2019
Кількість працівників: 1001-5000
Сайт: avenga.com

Переваги співробітникам

Відгукнутися
Досвід від 5 років Lead Full-time Upper-Intermediate / B2 Є тестове завдання Office, Remote Budapest
18.04.20242
Детальніше
  • Scala
  • Java
  • SQL
  • Apache Spark
  • Kafka
  • GCP
  • AWS
  • Microsoft Azure
  • Snowflake
  • AWS Redshift
  • BigQuery
  • PostgreSQl
  • MSSQL
  • MySQL
  • Apache Airflow
  • Talend
  • AWS Glue
  • Azure Data Factory
  • NoSQL
  • MongoDB
  • Docker
  • ECS
  • Kubernetes
  • DynamoDB
  • Hadoop
  • DataBricks
  • JSON
  • XML
  • Storm
  • Avro

Big-league professionals never stop and always seek ways to enhance their expertise. The position of Data Tech Lead Scala on the NIX team is suitable for such experts. With us, the expert will be able to take their career to the next level and fully unleash their potential!

We are looking for a contractor who, if necessary, is ready to independently relocate to Hungary, Budapest.

Responsibilities:

  • Lead the design and development of data engineering solutions, including data pipelines and ETL processes, leveraging technical expertise
  • Mentor and lead a team of data engineers, providing technical guidance and oversight for high-quality deliverables
  • Accurately estimate time and resources required for new projects
  • Promote a continuous learning and improvement culture, staying up-to-date with industry best practices and emerging technologies
  • Evaluate team performance, provide feedback and coaching, and encourage collaboration and open communication within the team and with stakeholders
  • Participate in the recruitment process to select new team members

What we expect from you:

  • English level Upper-Intermediate (B2) and higher
  • 6+ years of proven experience developing software using Scala/Java
  • Proficiency in SQL and query tuning
  • Solid understanding of distributed computing approaches, patterns, and technologies (Spark, Kafka)
  • Deep knowledge of data warehousing principles and modeling concepts (OLTP/OLAP, (de)normalization, dimensional, star)
  • Experience with any cloud platform (GCP, AWS, Azure)
  • Experience in modern data warehouse building using tools like Snowflake, AWS Redshift and BigQuery
  • Expertise in relational databases (PostgreSQL, MSSQL, MySQL)
  • Experience with orchestration tools for data flows (e.g., Apache Airflow, Talend, Glue, Azure Data Factory)
  • A team player with excellent collaboration skills

Requirements:

  • Strong technical skills in code review, architecture and data models
  • Experience designing data pipelines and building ETL processes
  • Passion for continuous learning and improvement
  • Ability to accurately estimate time and resources for projects
  • Ability to manage timelines and deadlines
  • Excellent communication and collaboration skills
  • Ability to identify and address performance issues and recognize high performers
  • Strong leadership and mentoring skills
  • Experience in recruiting and building a team

Will be a plus:

  • Expertise in data storage design principles, including the pros and cons of SQL/NoSQL solutions
  • Deep knowledge of Spark internals (tuning, query optimization)
  • Experience with data integration and business intelligence architecture
  • Experience with non-relational databases (e.g., MongoDB, DynamoDB)
  • Experience with data lakes and lake houses (Azure Data Lake, Apache Hudi, Apache Iceberg, Delta Lake)
  • Experience with stream processing using industry standards (e.g., AWS Kinesis, Kafka streams)
  • Familiarity with distributed computing systems such as Hadoop, Storm, Hive and Beam
  • Experience with containerized (Docker, ECS, Kubernetes) or serverless (Lambda) deployment
  • Knowledge of popular data standards and formats (e.g., JSON, XML, Proto, Parquet, Avro, ORC)
  • Experience with Informatica, Databricks, Talend, Fivetran or similar
  • Experience in data science and machine learning, including building Machine Learning models

Інформація про компанію NIX Solutions

Основними сферами діяльності NIX є розробка ПЗ на замовлення та підтримка існуючого ПЗ. Також компанія займається віддаленим адмініструванням, технічною підтримкою ПЗ та консультаційними послугами.
Рік заснування: 1994
Кількість працівників: 1001-5000
Резидент Дія.City
Сайт: nixsolutions.com

Переваги співробітникам

Відгукнутися
Досвід не має значення Senior Full-time Upper-Intermediate / B2 Є тестове завдання Remote
17.04.20244
Детальніше
  • ETL
  • ELT
  • SQL
  • RDBMS
  • DataBricks
  • Apache Spark
  • Python

Seeking Senior Data Engineer to lead a small team, modernize a simple data platform into a cloud-based self-service analytics project.
Within an internal project at Sigma Software, we have two primary goals: to automate reporting and to create a self-service data analytics system for our company.
You will be responsible for designing and modeling data into DWH and Data Marts using Spark and MS SQL, exposing this data to, and collaborating with, BI engineers making reports in Apache Superset, and other roles consuming such data. Additionally, you’ll work with various other team members who rely on this data. Part of your task will involve transitioning our on-premises solution to a cloud-based environment.

Responsibilities:

  • Our goal is to create an efficient system for collecting, processing, analyzing, and visualizing large amounts of data from various sources
  • Lay down the foundation and model the data
  • Develop a platform for building and maintaining data pipelines that collect data from different sources
  • Create Data Warehouse
  • Analyze and prepare domain descriptions in collaboration with Business analytics
  • Create Data Marts
  • Design a permission model with flexible control over vertical and horizontal access to data.

Requirements:

  • Conceptual knowledge of data analytics fundamentals, e.g., dimensional modeling, ETL/ELT, reporting tools, data governance, data warehousing, structured and unstructured data
  • Strong SQL knowledge and experience with RDBMS, confident knowledge of database fundamentals
  • Experience in database development and data modeling, ideally with Databricks/Spark
  • Experience with Python
  • Working knowledge of serialization formats and their trade-offs (columnar vs. row-based)
  • Experience debugging and optimizing Spark jobs
  • Strong written and verbal communication skills
  • At least an Upper-Intermediate level of English
  • BS in Computer Science or a related field
  • Experience with a Business Intelligence tool is a nice-to-have.

Інформація про компанію Sigma Software

Sigma Software надає високоякісні рішення для розробки програмного забезпечення та ІТ-консультації більш ніж 170 клієнтам по всьому світу. Компанія працює з клієнтами у фінансово-банківській сфері, автомобільній промисловості, ЗМІ та рекламі, телекомунікаціях, кібербезпеці, індустрії азартних ігор, авіації, нерухомості, енергетиці та охороні здоров’я.
Рік заснування: 2002
Кількість працівників: 1001-5000
Резидент Дія.City
Сайт: sigma.software

Переваги співробітникам

Відгукнутися
Досвід не має значення Lead Full-time Upper-Intermediate / B2 Є тестове завдання Office
15.04.20243
Детальніше
  • Azure Data Factory
  • Azure Data Lake
  • Azure Databricks
  • Microsoft Purview
  • Azure Monitor
  • Azure Storage Services
  • Microsoft Azure
  • Azure Log Analytics
  • Python
  • GraphQL
  • Azure Key Vault
  • IAM
  • RBAC
  • Azure DevOps
  • Scrum
  • Kanban

Наш клієнт – міжнародний виробник косметики, парфумерії, засобів для догляду за шкірою та волоссям. Метою проєкту є створення рішення для інтеграції неструктурованих даних для Data Lake нашого клієнта з використанням власних хмарних сервісів Azure

Навички

  • Досвід роботи з Data Platform & Solution engineering and Azure’s PaaS offerings
  • Компетентність в Azure: Data Factory, Data Lake, Databricks, Microsoft Purview, Monitor, Storage Services, ADLS, Azure Functions, Log Analytics, Serverless Architecture, Azure Cognitive Services, Azure Form Recognizer
  • Практичний досвід і високий рівень володіння Python і GraphQL
  • Знання кращих практик безпеки (наприклад, використання Azure Key Vault, IAM, RBAC, Monitor і т.д.)
  • Вміння інтегрувати, трансформувати і консолідувати дані з різних структурованих і неструктурованих систем даних в структуру, придатну для побудови різних аналітичних рішень
  • Досвід організації та дотримання ефективного та результативного процесу розробки для Agile-команди
  • Хороші комунікативні навички, вміння працювати в команді
  • Високий рівень розуміння Azure DevOps, досвід роботи в Agile середовищі (Scrum, Kanban)
  • Досвід роботи з Azure ML буде перевагою
  • Знання письмової та усної англійської мови на рівні Upper-Intermediate і вище (B2+)

Обов'язки

  • Координувати та контролювати роботу команди розробників ПЗ для обробки даних
  • Налагоджувати та підтримувати процес розробки та інструменти для забезпечення ефективного та результативного виконання відповідно до найкращих галузевих практик (EngX)
  • Очолювати та сприяти реалізації MVP для неструктурованих даних, що надходять до системи
  • Брати участь у підтримці беклогу та Scrum-процесах
  • Брати участь у створенні BRD, SAD та подальшому впровадженні беклогу та інструкцій для наступних етапів проєкту
  • Очікувані результати: MVP для введення неструктурованих даних до корпоративного сховища даних на основі хмарних сервісів Azure для ETL, OCR, NER та кастомного коду Python

Інформація про компанію EPAM

З початку 1993 року EPAM надає підтримку світовим лідерам у проєктуванні, розробці та впровадженні програмного забезпечення, яке міняє світ. Починаючи з 2005 року, компанія EPAM в Україні пропонує свою експертизу у сфері інжинірингу та розробки продуктів, сприяючи успішному вирішенню складних бізнес-задач та ефективному управлінню процесом цифрової трансформації від початку до кінця.
Рік заснування: 1993
Кількість працівників: 1001-5000
Резидент Дія.City
Сайт: careers.epam.ua

Переваги співробітникам

Відгукнутися

Сторінки

Читайте нас в Telegram, щоб не пропустити анонси нових курсів.