上世纪八十年代，养马川东仓上村群众在平整土地和建房时，均挖出废垣石基，由于没有继续挖掘，所以也未见可信文物。但据考古人员推测，应是古城遗址无疑。

这是一座什么样的古城，是何年代的古城？西汉高祖二年（前205年），分新安东境为谷城县。当时，新安县城位于秦故城，即今义马市南塔泥镇，那么谷城县城在哪里呢？因年代久远，无资料可考。但位于新安东境的这座古城是不是当年的谷城县城呢？从地理位置看，应是此古城。

西晋武帝太始元年（265年），废谷州城，以其境隶属新安。是年，新安县城由秦故城迁至今县城处。东晋孝文帝太元九年（384年），析新安东境为东垣县。此后经历了东晋、南北朝、隋、唐，直至唐武德四年（621年）废，共存在237年，长期与新安县并存。这东垣县城由在哪里呢?据《方纪要》称：在县东。《地名大辞典》记载：“在河南省新安县东。”而县东的古磁涧城、少水古城均不是东垣故城，那么养马古城应是东垣故城无疑。

隋文帝开皇十六年（596年），设谷州，辖新安、东垣两县。据《河南府志》记载：“谷州，因谷水而得名，在县东北二十里。”而养马川古城正式在新安县城东北二十里处，难道这是谷州古城？又据民国《新安县志》考证：“今考县城东北二十里有养马川，古称谷川，清末耕人掘土见废垣石基，长足三里，并有石础，高三尺强，现存王某家，疑此为隋谷州城遗址。”据此看这座古城应是谷州故城。又据《地名大辞典》记载：“谷州，后废，即今河南省新安县治。”似乎谷州又在今新安县城。从谷州辖新安、东垣两县看，那么今县城、养马川古城都可能做过谷州城。

隋文帝仁皇四年（604年），废新安县并入东垣。次年，改东垣为新安，县治为东垣县城，即养马古城。我疑养马观即此时所建，因当地群众歌谣：“先有柏(即养马观院中的那棵大柏树)，后有观（养马观），然后才有新安县。”所说新安县应是东垣改名为新安县的新安县，而不是秦始皇设立的新安县。养马观应是东垣城外的一座著名道观，观与县城俱兴。此后新安县治，在养马古城一直设立了22年，至唐贞观元年（627年），县治由迁回今新安县城。《旧唐书·地理志》记载：“贞观元年，新安迁回废州城。”《地名大辞典》注：“唐移县入谷州故城，东垣城废。”养马古城从此废弃，逐渐淹没在历史的烟云中。