「理論より実装」——機械学習の本質はサイエンスではなく工学だ

機械学習、深層学習は、コンピュータサイエンスによる研究よりも、性能チューニングとコストのトレードオフを考慮するエンジニアリング対象ではないか、という指摘にしびれた。

XユーザーのPedro Domingosさん: 「Machine learning is the study of techniques that don’t work in theory but do in practice.」 / X

英語からの翻訳：
機械学習とは、理論上は機能しないが実践上は機能する技術の研究です。

XユーザーのTJOさん: 「LLMがすっかりサイエンスではなくエンジニアリングの研究になったことを見れば良く分かる」 / X

XユーザーのFrancisco Soaresさん: 「@TJO_datasci 割と最初からそうじゃない？Transformers やDPO辺りが新しいかもしれないけど、9割くらいはDLとRLの応用とスケーラビリティ問題。だからすごくないっていうわけじゃないけど、この界隈の論文をここ数年読んでるとエンジニアとして面白さをとても感じると同時にサイエンスとしてすごく浅く感じる。」 / X

サイエンティストは、コストや納期の妥当性は考えずに、ひたすら理論上の可能性を考える。
あるべき論を突き進んで考える。
それはそれで楽しい。

一方、工学の対象は、基本はQCDのトレードオフの中で、最もバランスとの取れた実装手段を見つけることにある。
それこそが、エンジニアとしての最骨頂だ。
エンジニアとしては、工学の対象の方が面白いと思う。
エンジニアは結局、Howを考える人だ。
Howを突き詰めて考えるのが好きだ。
そして、Howこそが実際の世界を変える。
Howの試行錯誤が世界を変えるからだ。

「Why（理論）」を追うサイエンティストと、「How（実装）」で世界を変えるエンジニア。
泥臭いHowの試行錯誤こそが世界を変える。だからエンジニアリングは面白い。