2025年4月のふりかえりです。 引き続き B 社(月1日程度)、G 社(週5日)に関わらせていただいております。

B 社

引き続き、基本的に日中作業はおこなわず、対応が必要になった際に都度作業する方針で関わっております。

  • TechLead 業務
    • ひきつづき各エンジニアの成果物のレビューや、設計方針の相談・レビューなどに時間を使っています。

G 社

4 月は以下のような活動を行っていました。 PM 業務を 2 割くらい、Software Engineer 業務は 8 割くらいという割合で対応していました。

以下のような対応をおこなっていきました。

  • 引き続き使用しているPDMサービスの契約更新周りの対応を行っていました。
  • 生産計画のデータを従来から Google Sheets で取り回していましたが、これを DWH に取り込むようにしはじめました。これまでは生産実績だけ DWH に入っていたところ、一気通貫できるようになりました。
  • WMS 製品が吐き出す CSV に格納されている製品在庫のデータを DWH に連携するようにしました。従来は出荷実績のみだったところ、在庫中の実績も同期するようにしたので、より製品のライフサイクルなどが見えるようになった次第です。
  • 従来からHWの設計変更の情報を Jira で管理・運用しつつ DWH に同期するようにしていますが、このデータと部品の価格情報をひとまとめにするマートを構築して部品のパージの予実を紐づけることができるようなシステムが仕上がってきました。
  • 従来から EMS 側で管理していた製造工程の不良に関するエクセルのデータを DWH に取り込むようにしはじめました。早速 Redash のダッシュボードが構築されて短期〜長期のビジュアライズが進み始めています。

なお、4月から要素技術として dbt を使い始めています。 最初はOSS版でやっていこうとPoCを進めていましたが、Cloud版を使ったほうが全体工数が下がることと、よりマネージド範囲が広がって本来のETL実装のみに集中できること、OpenMetadata等との連携もより自動化が進むことなどを鑑みて Cloud 版の Team Plan を使うことに決めて稟議を通しました。 4月後半から新規実装は dbt で実装するようにし始めており、また、既存実装の dbt への以降も徐々にはじめているところです。

3月に導入した Airbyte も徐々に適用範囲が広がっていますが、一方で苦手なデータ形式も明らかになってきており、苦手なところは元々主に別チームで使用していた Fivetran を使うことで解決することが多くなっています。(Fivetran は利用金額が読みにくい上に跳ねやすいのでなるべく使いたくないという感じですね)

まとめると以下のようなデータパイプラインになってきました。

  • 主なデータソース: mysql, BQ(各種SaaSのデータはすでにここに入っている事が多い), BOX w/ Excel, Google Sheets, Google Drive w/ CSV, S3 w/ CSV
  • ELT: Airbyte / Fivetran / 自前実装
  • ETL: dbt / 自前実装
  • Metadata: OpenMetadata

5月以降も自前実装を Airbyte / Fivetran / dbt で実装し直すのを合間で進めつつ、主業務を進めていければという感じです。

おわり