Wikipedia によると、節分は元々は季節の始まり(立春・立夏・立秋・立冬)の前日を指す言葉だったそうです。ところが、江戸時代以降は特に立春の前日を指すようになったそうです。そして、季節の変わり目に生じる邪気を払うための行事が、歴史の中で変遷して、現在の形になっているそうです。
邪気を擬人化した姿が鬼と思われます。
Wikipedia によると、鬼の肌の色は青・赤・黄・緑・黒の五色だそうです。仏教では、禅定を邪魔する五つの障害を五蓋(ごがい)というそうです。その五蓋を象徴する五色から取られたと考えられているそうです。また、五行の五色とも考えられているそうです(ただし、五蓋に合わせて白→緑に変更)。
追い払われる鬼にとっては、災難な1日ですね。