岡山県都窪郡加茂村(現在の岡山市)にて、庄屋を営む相賀虎右衛門の息子として生まれる。祖父は村会議員。
生家が没落して貧しかったため、小学校卒業後は書記見習として農学校に就職。2年後に岡山市の吉田書店に移り、さらに2年後、同書店で新しく設けた東京出張所の主任に任じられて上京(1914年)。
23歳で結婚。1922年、吉田書店店主吉田岩次郎の承諾により東京市神田区錦町に小学館を創業。同年9月7日、「日本文化の基礎は小学教育にある。小学校児童の教育こそ最も重要である」と提唱して、出版界初の独創的な学年別学習雑誌である「小学五年生」「小学六年生」を創刊。当初は赤字が続いたが、1923年4月号から黒字に転じる。
1923年9月1日、関東大震災にあって大きな打撃を受けたが、休まず雑誌を刊行。1926年には、小学館から娯楽誌出版部門を分離独立させ、集英社を設立。しかし過労がたたって1929年夏から病床生活を余儀なくされ、夫婦で日蓮宗に帰依する。1931年、祥宏と改名。
1938年8月12日に死去。42歳の若さだった。社長は長男の徹夫が継承した。その後小学館は1945年に株式会社化された。
42歳ってまだ若い・・・。
