A konstrukció közvetlen elődje az Ikarus 30-as típus volt, amelynek főbb műszaki tulajdonságait és sziluettjét is megörökölte. Az Ikarus 30-ast 1951-ben kezdték el gyártani, és városi, valamint távolsági célokra egyaránt használták. Azonban az előbbi feladatra szinte teljesen alkalmatlan volt, mivel a magas vételár és előállítási költség mellett rendkívül alacsony volt az álló utasok befogadóképessége. Ezek a problémák motiválták az Ikarus mérnökeit, hogy megkezdjék a 30-as típust leváltó jármű tervezését.
Az Ikarus 31 az Ikarus gyár által távolsági és városi célokra kifejlesztett autóbusz típusa volt.
Az Ikarus 31-es megörökölte elődje önhordó karosszériáját, amelyben csupán minimális változtatások történtek, valamint a hajtásláncot és a futóműveket is. Jelentős változtatás volt azonban a karosszéria szögletesebbé alakítása, ami már önmagában is növelte a belső teret. Anélkül, hogy túl egyhangú vagy kockaformájú legyen, a járműhöz egy figyelemfelkeltő homlokfalat terveztek. A díszítések eltávolítása után a típus szinte megkülönböztethetetlenné vált az Ikarus 30-as típustól. Azonban bizonyos jellemzők, mint a megnövelt üvegfelületek vagy a körbe üvegezett hátsó fal, még mindig elárulják a különbséget.