Sparkのフリーランス求人・案件一覧| フリーランスエンジニア募集

案件の内容

自動車会社向け、車両データ転送処理のPoC。AWS Lambda + Javaで実装されたデータの転送処理アプリをDatabricks(Sparkのマネージド基盤)上で動くようにマイグレーションし性能検証を実施する

求めるスキル

Java　開発経験, アジャイル開発経験もしくは近い環境での開発経験, PoC作業に興味がある方, 勤怠、コミュニケーション能力ともに良好な方！！

案件の内容

小中学生向け学習支援サービスにおけるデータ分析基盤の保守開発を担当していただきます。 ・既存システムのキャッチアップ ・データ分析基盤の保守開発

求めるスキル

・データ分析基盤の構築経験が豊富な方 ・既存システムの仕様把握・キャッチアップ能力が高い方 ・以下の技術を利用したシステム構築および開発経験 - Azure関連：Azure Data Factory, Azure Data Lake Storage, Azure Databricks - ツール・言語関連：SQL, Python（特にPySpark）, Apache Spark

案件の内容

必要技術に記載した技術を活用したデータ分析基盤構築の経験が豊富な方 ・既存システムの仕様を読み取り キャッチアップをスムーズに行える方 ・保守経験が豊富な方

求めるスキル

Azure（Azure Data Factory, Azure Data Lake　Storage, Azure　Databricks ） SQL、Python（PySpark)、　Apache Spark

案件の内容

大手企業におけるデータ統合基盤の移行プロジェクトです。 ・DIH（Data Integration Hub）からADF（Azure Data Factory）への移行作業 ・ADF移行方針決定、検証、連携テスト

求めるスキル

・Azure Data Factoryの設計経験 ・SQL（ストアドプロシージャ等）の設計経験 ・コミュニケーションスキル