光伸書房(いわゆる日の丸文庫)に入社し、編集の傍ら貸本劇画を描きはじめる。別冊」掲載の『秘密指令0』で正式に漫画家デビュー。以後、SF、ホラーなどを執筆する。雑誌デビューは1968年、芳文社「コミックmagazine」3月12日号掲載の『第七病棟異常なし』。1969年には「週刊少年マガジン」に『二人の救世主』を発表してメジャーデビューを果たす。翌1970年には同誌で初期の代表作である『光る風』の連載を開始。当時の社会情勢を巧みに反映させ、軍国主義の台頭とその恐怖を描いた内容は読者に強い衝撃を与えると同時にポリティカル・サスペンスをいち早く手掛けたことによって、高い評価を受けた。一軒家に引越し、この場所で数々の傑作を発表することになる。これまでのシリアスな内容とはうって変わったスラップスティックで過激なギャグは驚きと絶賛を浴び、ギャグ漫画の新境地を開拓。1974年、「週刊少年チャンピオン」にて連載開始された『がきデカ』が爆発的な大ヒットを記録。『がきデカ』は、水島新司の『ドカベン』や鴨川つばめの『マカロニほうれん荘』と並んで「週刊少年チャンピオン」の部数増に貢献した作品となり、社会現象を巻き起こした。1980年に『がきデカ』の連載を一旦終了。その後の1980年代は作風が変わり、『湯の花親子』に代表されるような「平凡な日常生活に潜む微妙な不条理・違和感」と「日本的な日常風景」を主題としたギャグ漫画を多く描くようになる。一方では、体型が真ん丸なキャラクターたちが活躍する『鬼刃流転―孤高の天才剣士柳左近』のような前衛的なギャグ漫画も発表している。漫画表現に限界を感じ、1990年の『がきデカ』完結編の脱稿とともに漫画執筆をやめ、小説家に転向したが、近年はまた漫画執筆に意欲を見せ、2004年には『がきデカ』の続編となる『中春こまわり君』を「ビッグコミック」にて発表した。『がきデカ』など破天荒な作風に移り変わった事で、「山上は当局に捕まり、人格改造を受けた」という噂がたった。内容をやや薄めて俗っぽくしたものである。爆発的な大ヒットとなった事で、むしろ苛立ちや嫌悪を感じていたと後年語っている。勝手にネーム(台詞)を書き換えられたことだと言われている。当時本人はマンガファン向けミニコミ誌のインタビューで、「小説だったらこんなこと(作者に無断で内容を書き換えられること)はあり得ないだろう」と語っていた。(『週刊漫画アクション』1974年2月28日号)冗談紳士録(『週刊漫画TIMES』1974年3月30日号)粉砕学園(『マンガストーリー』1974年5月18日号)天気晴朗なれども日は高し(『マンガストーリー』1974年6月15日号)幕末お笑い三人組(『コミックミステリー』1974年6月22日号)さるとび佐助(『がんがん野郎』1974年7月20日号、8月23日号)がきデカ(『週刊少年チャンピオン』1974年10月21日号~1980年12月22日号、1989年10月27日号~1990年11月8日号、2009年4月23日号)中春こまわり君(『がきデカ』の続編。2004年と2006年、2008年、2009年ビッグコミック誌上で掲載された。各巻に山上の自伝の連載が収録されていたが、長らく、単行本化はされていなかった。2017年に『大阪弁の犬』(フリースタイル)に収録されて刊行された。2008年から江口寿史監修、フリースタイルの吉田保編集。元アシスタントであり漫画評論家。山上は、三宅らが刊行していた同人誌『跋折羅』の活動も支援していた。