Apache Sparkのフリーランス求人・案件一覧（82件）

案件の内容

Azure上で稼働している既存レポーティングシステムをAWSへ刷新し、データ収集基盤の集約とシステム構成のシンプル化を目指すプロジェクトにおいて、AWSアーキチームの一員として設計・構築を担当していただきます。

求めるスキル

案件の内容

経営に寄与するデータ分析プロジェクトにおいて、分析テーマ実行・手順書作成、セマンティックレイヤ／カタログ設計・運用、Snowflake等を用いたAIエージェント機能の検討・検証、関連組織との調整・進捗／リスク管理を担当していただきます。

求めるスキル

案件の内容

Databricksのデータ基盤について、アーキテクチャ・セキュリティ・ワークスペース構成の設計リードを担当します。顧客との論点整理やPoCを踏まえた本番化設計、他基盤との役割分担整理も行います。

求めるスキル

案件の内容

Tableauを用いたデータ基盤の構築を担当します。あわせて、他チームとの仕様調整やデータ連携に伴う不具合対応・調整業務を行っていただきます。

求めるスキル

案件の内容

構築済みシステムのIF追加・変更に伴い、ETL改修（要件定義〜総合テスト）とデータ利活用を支援します。AWS上でデータ連携基盤の設計・実装を担当していただきます。

求めるスキル

案件の内容

Tableauを用いたデータ基盤の構築を担当していただきます。他チームとの仕様調整や不具合対応、データ連携に伴う調整業務が主な業務です。

求めるスキル

案件の内容

大手損害保険会社向けのデータ分析基盤およびAI実行基盤（AI-RUN）追加開発に携わります。AWSを中心に要件整理から設計・構築・試験・導入までを担当し、顧客向け資料作成・説明対応も行います。

求めるスキル

案件の内容

大手損害保険会社向けのデータ分析基盤およびAI実行基盤（AI-RUN）の追加開発に携わっていただきます。AWSを中心としたインフラ基盤について、要件整理から導入までを担当し、顧客向け資料作成や説明対応も行います。数か月ごとに小規模な追加開発を繰り返し実施します。

求めるスキル

案件の内容

大手損害保険会社向けのデータ分析基盤およびAI実行基盤の追加開発を担当します。クラウドを中心としたインフラの要件整理から設計・構築・試験・導入までを行い、あわせて顧客向け資料作成や説明対応も担当します。数か月ごとに小規模な追加開発を継続的に進めていきます。

求めるスキル

案件の内容

大手損害保険会社向けのデータ分析基盤およびAI実行基盤の追加開発におけるインフラ領域の技術支援案件です。顧客向け資料作成や説明対応を含む継続的な小規模追加開発に携わっていただきます。

求めるスキル

案件の内容

経営に寄与するデータ分析の推進を担当いただきます。分析テーマの実行と手順書作成、セマンティックレイヤやカタログの設計・運用、AIを活用した分析機能の検討と結果取りまとめ、関連組織との調整や優先度策定、進捗・リスク管理を行います。

求めるスキル

案件の内容

大手損害保険会社向けのデータ分析基盤およびAI実行基盤（AI-RUN）の増設開発案件です。AWSを中心としたインフラ基盤の要件整理・設計・構築・試験・導入までを担当します。顧客向け資料作成と説明対応も含み、数か月ごとに小規模な追加開発を繰り返します。

求めるスキル

案件の内容

自社データを活用したAIモデルの学習・改善と生成AIの活用による業務効率化・プロダクト開発を担当します。LLMの活用・Fine-tuning・RAG構成設計、AI PoCの技術検証およびレポーティング、Pythonを用いたデータ処理・API連携・プロトタイプ開発、GCP/AWSなどクラウド環境でのAIモデル運用を想定しています。

求めるスキル

案件の内容

必要技術に記載した技術を活用したデータ分析基盤構築の経験が豊富な方 ・既存システムの仕様を読み取り キャッチアップをスムーズに行える方 ・保守経験が豊富な方

求めるスキル

案件の内容

新データベース構築に際し、データのETL処理にdatabricksを使用するプロジェクトです。databricks及びPythonでの開発業務をご担当いただきます。 ・新規データを取りこむジョブの追加開発・テスト（取り込み処理は既存流用） ・既存パイプラインの保守、運用

求めるスキル

案件の内容

Databricksによるデータ解析システムの開発案件です。データエンジニアを1名募集致します。設計～テストまでご担当頂きます。

求めるスキル

案件の内容

データ基盤構築をお任せします。 ・データレイク / ETL 基盤の構築 ・ AWS Glue（Apache Spark）による分散処理・ ETL 開発 ・ S3 / Lake Formation を用いたデータ管理・セキュリティ設計 ・ BigQuery ベースの DWH 環境整備 ・ AWS → GCP 間データ連携パイプラインの最適化 ・ BigQuery によるデータモデリング・クエリ最適化 ・ IaC を軸としたマルチクラウド管理 ・ Terraform による環境差分管理・自動化 ・ 品質管理・運用効率化 ・ Airflow などのワークフロー管理と CI/CD 整備 ・ データ品質テストの自動化

求めるスキル

案件の内容

データ基盤構築を担っていただきます。サービス運用、ビジネス分析、出版社支援など、多岐にわたるデータ活用ニーズに対応できる基盤を目指します。 データレイク / ETL基盤の整備 ・AWS Glue（Apache Spark）を用いた分散処理およびETL開発 ・S3やLake Formationを活用したデータガバナンスおよびセキュリティ設計 BigQueryベースのDWH環境構築 ・AWSからGCPへのデータ連携フローの最適化 ・BigQueryでのデータモデリングおよびクエリのパフォーマンス改善 IaCによるマルチクラウド管理 ・Terraformを用いた環境差異の制御と自動化 運用効率化と品質確保 ・Airflowなどを用いたワークフローの管理とCI/CDの整備 ・データの信頼性を高めるテストの自動化 CTOやリードエンジニアと共に、データ基盤全体のアーキテクチャ設計方針の策定にも関わることが可能です。

求めるスキル

案件の内容

大手メーカー向けデータ利活用開発支援 9月～：概要設計（データ整備（性能・運用を踏まえたデータ量・項目整理）、データマート概要設計、Sparkジョブ先行性能測定） 10月～：データ収集・加工プログラム設計・開発・単体テスト、ダッシュボード（PowerBI）設計・開発・単体テスト 12月～：結合テスト支援、他開発支援等

求めるスキル

案件の内容

自動車会社向け、車両データ転送処理のPoC。AWS Lambda + Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動くようにマイグレーションし性能検証を実施する

求めるスキル