Hadoopのメモ

オライリーのHadoop本を買って読んでいる。
Web上でも良い記事が沢山あるようなのでリンクしておく。

【元ネタ】
NTTデータのHadoop報告書がすごかった - 科学と非科学の迷宮

高信頼クラウド実現用ソフトウェア開発（分散制御処理技術等に係るデータセンター高信頼化に向けた実証事業）（委託先：株式会社エヌ・ティ・ティ・データ）　報告書（PDF形式：9,606KB）

2010年まとめ:データと向き合った一年 - 科学と非科学の迷宮

Twitter / @Wataru Yukawa: これからは、学生アルバイトが Google あるいは Amazon 上の分散システムを駆使して大量のデータを操り、そこらの新卒社員が統計学やデータマイニング、機械学習を駆使して新たな視点を創りだす時代です。 http://bit.ly/eZFael

Twitter / @Wataru Yukawa: うーみゅ、結局のところ大規模データを解析して意味ある情報を引き出すには統計的知識を持っていなくてはダメで、その知識をもとにMap関数とReduce関数書くってことかな。そういう解析屋さんと基盤整えるインフラ屋さんはまた別なのかな。

基幹系バッチ処理をHadoopで高速化: プログラマの思索

Hadoopの本質は分散I/Oにあり～クラウド時代の非同期処理: プログラマの思索

第1回　分散処理を隠蔽し、大規模開発を可能に - Hadoop向け基幹バッチ分散処理ソフト「Asakusa」の全貌：ITpro

Hadoop入門とクラウド利用 from naoki yanai

MapReduceのOSS版であるHadoopを大量データのデータマイングに使うのが最近のWeb技術の流れ。
でも、未だにレガシープログラムとして残っている大量のCobolプログラムをHadoopで置換できないだろうか？
業務バッチ処理をHadoopによる並列分散処理でより高速化できないのか？

昔から使っている、本番運用して安定しているから、と言う理由だけでCobolが今も生き続けている。
JavaはおろかRubyをやっていると、Cobolプログラムはあまりに古臭いコーディング規約やコーディング技術に縛られていて、書く気が失せる。
メインフレーム＋CobolをUnix＋Hadoopというオープン系システムで全て置き換えたい。