数多い文学賞のなかでも異彩を放つ審査員構成で、星新一賞のユニークさを象徴している。審査員が偶数名であるため、投票を繰り返しても容易に決着がつかない場面が何度もあった。科学的な理屈に合わない設定に対し科学者の審査員は「ドラえもん的」と呼んで辛い点をつける傾向がある。「タケコプター」のように物理的制約を無視した道具は受け入れがたいと主張する。SF作家の谷甲州氏やIHI執行役員の水本伸子氏は、非科学的な設定であってもそれを前提として細部が書き込まれリアリティーを感じさせることができれば、エンターテインメントとして優れているとみる。