Apache Sparkのフリーランス求人・案件一覧(82件)
41 - 60/件 全82件
【AWS/Databricks/常駐】大手自動車メーカーAI活用基盤開発:データエンジニアのフリーランス求人・案件
案件の内容
大手自動車メーカーAI活用基盤の開発(Databricks/AWS等)を担当。
求めるスキル
【AWS/Databricks/常駐】大手自動車メーカーAI活用基盤開発:データエンジニアのフリーランス求人・案件
案件の内容
大手自動車メーカーにおけるAI活用基盤の開発を担当。
求めるスキル
【AWS/インフラ/リモート併用】レポーティングシステム刷新:インフラエンジニアのフリーランス求人・案件
案件の内容
顧客社内で利用しているレポーティングシステムをAzure上からAWSへ刷新し、データ収集基盤の集約やシステム構成のシンプル化を目指すPJ。AWSアーキチームへ参画します。
求めるスキル
【BigQuery/Python/常駐】大手インターネット企業データ基盤構築:MLエンジニアのフリーランス求人・案件
案件の内容
大手インターネット企業の全社データ分析基盤の設計・構築を担当いただきます。BigQuery基盤の設計・運用、ETL/ELTパイプライン設計・開発、クロスクラウドデータ連携(OCI→GCP)、データモデリング、Terraformによる IaC、ネットワーク・セキュリティ設計、AIデータアクセス基盤(MCP/Agent)構築が主な業務です。
求めるスキル
【Snowflake/AWS/フルリモート】大手人材サービス向けデータ基盤構築:データエンジニアのフリーランス求人・案件
案件の内容
大手人材サービス企業において、データエンジニアとして参画していただきます。多種データソースとデータ基盤を接続し、必要なデータを安全に取得・加工してユーザーに提供します。データガバナンス担当者と協力し、データに対して適切な加工を行います。
求めるスキル
【BigQuery/Terraform/常駐】データ分析基盤構築:MLエンジニアのフリーランス求人・案件
案件の内容
大手インターネット企業の全社データ分析基盤のアーキテクチャ設計・構築。BigQuery基盤の設計・運用、ETL/ELTパイプライン開発、クロスクラウドデータ連携(OCI→GCP)、データモデリング、TerraformによるIaC、ネットワーク・セキュリティ設計、AIデータアクセス基盤(MCP/Agent)構築を担当します。
求めるスキル
【Python/AWS/リモート併用】海外事業向けバックエンド開発:バックエンドエンジニアのフリーランス求人・案件
案件の内容
新規事業開発室の海外事業立ち上げにおいて、AWSを基盤としたバックエンド開発を担当。iOSアプリから接続されるRESTful APIの開発、大規模データを扱うデータパイプライン構築、各種インフラ構築を実施いただきます。
求めるスキル
【Snowflake/AWS/フルリモート】人材サービス企業向けデータ基盤構築:データエンジニアのフリーランス求人・案件
案件の内容
大手人材サービス企業様にてデータエンジニアとして参画いただきます。データソースとデータ基盤を接続して必要なデータを安全に取得・保存し、データガバナンス担当者と連携してユーザーに安全な状態でデータを提供します。要件定義から設計・構築・テストまで一貫して担当いただきます。
求めるスキル
【Databricks/Spark/常駐】自動車メーカー向けAI活用基盤開発:データエンジニアのフリーランス求人・案件
案件の内容
大手自動車メーカーにおけるAI活用基盤の開発に参画していただきます。Databricksを用いたデータ分析基盤の構築が主な業務です。
求めるスキル
【Google Cloud/BigQuery/常駐】データ分析基盤構築:機械学習エンジニア/データエンジニアのフリーランス求人・案件
案件の内容
大手インターネット企業における全社データ分析基盤のアーキテクチャ設計・構築を担当していただきます。DWH/データレイク(BigQuery)運用、ETL/ELT、クロスクラウド連携、データモデリング、TerraformによるIaC、ネットワーク/セキュリティ(IAM/VPC/データガバナンス)、AIデータアクセス基盤(MCP/Agent)構築まで対応するポジションです。
求めるスキル
【Snowflake/AWS/フルリモート】HRサービス向けデータエンジニア:データエンジニアのフリーランス求人・案件
案件の内容
大手人材サービスを運営するエンドにてデータエンジニアとして参画。データベースをはじめとする多種データソースとデータ基盤を接続し、必要データを安全に取得・加工してユーザーへ提供します。データガバナンス担当者と協力します。
求めるスキル
【GCP/BigQuery/常駐】データ分析基盤構築:MLエンジニアのフリーランス求人・案件
案件の内容
大手インターネット企業の全社データ分析基盤のアーキテクチャ設計・構築を担当していただきます。BigQueryを中心としたDWH/データレイク設計・運用、ETL/ELTパイプライン開発、TerraformによるIaC、AIデータアクセス基盤(MCP/Agent)構築が主な業務です。
求めるスキル
【Python/Apache Spark/リモート併用】大手金融機関向け決算自動化におけるデータ連携開発:データエンジニアのフリーランス求人・案件
案件の内容
大手金融機関向け決算自動化プロジェクトにて、IFRS基準のデータ連携処理(ETL)を構築し後続サブシステムへ連携する仕組みの設計から開発までを担当します。Python/PySpark、AWS Glue、Redshift等を用いて実装を進めます。
求めるスキル
【Python/AWS Glue/リモート併用】大手金融機関決算自動化データ連携:データエンジニアのフリーランス求人・案件
案件の内容
大手金融機関の決算自動化プロジェクトにおいて、IFRS基準立ち上げに向けたETL処理および後続サブシステムへのデータ連携の設計・開発をご担当いただきます。AWS Glue/RedshiftをベースにPython/PySparkで大量データ処理を実装します。
求めるスキル
【Python/ETL/リモート併用】大手銀行決算自動化のデータ連携開発:データエンジニアのフリーランス求人・案件
案件の内容
大手銀行の決算自動化プロジェクトにおいて、IFRS基準立ち上げに伴うデータ連携の設計・開発を担当していただきます。ETL処理により後続サブシステムへデータ連携する仕組みを構築します。
求めるスキル
【Python/ETL/リモート併用】大手銀行決算自動化データ連携開発:データエンジニアのフリーランス求人・案件
案件の内容
大手銀行における日本基準とIFRS基準で行う決算の自動化プロジェクト。IFRS基準の立ち上げに伴い、ETL処理を行い後続のサブシステムへ連携する仕組みの設計〜開発を担当。インフラはAWS Glue/Redshift、アプリはPythonおよびPySparkを用いた大量データ処理を実施。
求めるスキル
【AWS/リモート併用】クラウド移行レポーティングシステム刷新:インフラエンジニアのフリーランス求人・案件
案件の内容
社内で利用しているレポーティングシステムを、Azure上の既存環境からAWSへ刷新するプロジェクト。データ収集基盤の集約やシステム構成のシンプル化を目的に、AWSアーキチームにて基盤設計・構築を担当していただきます。
求めるスキル
【AWS/リモート併用】レポーティングシステム刷新:アーキテクト/インフラエンジニアのフリーランス求人・案件
案件の内容
顧客社内レポーティングシステムの刷新プロジェクトにおいて、Azure上の既存レポーティングシステムをAWSへ刷新し、データ収集基盤の集約やシステム構成のシンプル化を目指すAWSアーキチームに参画いただきます。
求めるスキル
【Java/Spring Boot/リモート併用】金融機関向けデータレイク構築:アーキテクトのフリーランス求人・案件
案件の内容
大手金融機関のパブリッククラウド上データレイク構築プロジェクトにおいて、アプリケーション側(バックエンド側)のアーキテクチャリードを担当していただきます。要件定義以前の予備検討(方針決定、基盤構成検討)から参画いただき、将来的にグループ全体で活用するデータ基盤のデジタライゼーション推進を担うポジションです。
求めるスキル
【AWS/リモート併用】レポーティングシステム刷新(Azure→AWS移行):インフラエンジニアのフリーランス求人・案件
案件の内容
顧客社内で利用しているレポーティングシステムの刷新業務です。Azure上の既存レポーティングシステムをAWSへ刷新し、データ収集基盤の集約やシステム構成のシンプル化を目指すプロジェクトで、AWSアーキチームへの参画となります。
求めるスキル
41 - 60/件 全82件
Apache Sparkのフリーランス案件・求人に関する情報
Apache Sparkのフリーランス求人・案件について
Apache Sparkとは
Apache Sparkは、大規模データの高速処理を実現するオープンソースの分散処理フレームワークです。メモリ内(インメモリ)でデータを処理する仕組みにより、従来のHadoop MapReduceと比較して飛躍的に高速なデータ解析が可能であり、現在のビッグデータ処理におけるデファクトスタンダードとなっています。
主な特徴と役割
バッチ処理、ストリーミング処理(Spark Streaming)、機械学習(MLlib)、SQLクエリ(Spark SQL)など、多様なワークロードを単一のプラットフォームで統合的に扱える点が最大の特徴です。主にPython (PySpark)、Scala、Javaを用いて開発され、データパイプラインの構築や大規模ログ解析などで中心的な役割を果たします。
市場動向と将来性
AWS (EMR, Glue) や Google Cloud (Dataproc) といったクラウドサービスでの採用が進んでおり、データエンジニアやデータサイエンティストとしてのフリーランス案件は非常に豊富です。特に大規模データを扱うAI開発やデータ基盤構築の現場では必須スキルとされ、高単価で安定した需要が見込まれます。
