データレイクのおじさん

Noteもやってます:https://note.com/yukinkoyuki

データ利用のピラミッド データエンジニア を俯瞰してみる

現在データエンジニアとして、社内で働いています。

が、、、あまり知名度?が高くないらしく入社される新卒の方もデータエンジニア ?とあまりしっくりしない様子。

そんなモヤモヤをいくつかの投稿を通して、解決できればいいなぁと思っております。

 

あまり注目されない技術以外の要素

 やはりエンジニアたるもの、技術がいいんです。

と言っても、技術と対になるその力を使う理由みたいなところがデータエンジニアにも求められてきます(そうでないと、あっという間にガラパゴス化してよくわからなくなる)。

そんな話も、後々してきたい。

 

データエンジニア ってなんだろうか?

私が思うデータエンジニア は、利用者(データエンジニア)が必要なものを見つけることを全力でサポートし、その仕組みを作ることだと持っている。

 

以下の素敵な図で紹介するようにHierarchy(ピラミッドの表現の方が好き)としてデータエンジニアは、

Explore/Transfromから下を主戦場としている※。集めて、ためて、綺麗にして、表現する。

単純に行ってしまえばそれ程度。。。のように思えるのだが、やはりそうも行かず、四苦八苦しながら、ピラミッドの土台を作成しているのが現実。

 

                               Data needs as illustrated by Monica Rogati

 

データエンジニアのイメージ

世の中的にバズっているのが上側であるためか、どうしても「やっぱりデータサイエンティストの方がすごいんですか?」と言われたりすることがあります。一部の超すごい人を除くと、お互いを埋め合う存在ですよ。と毎回答えてたりする。

 

様々な役割があって、データ活用が進んでいくものであるので、コードや方法論を交えながらData of Needsについてお話していければと思います。

 

つづく

 

※会社によって定義は違うようです(転職する際には面談などで見極めましょう)