開館後も資料の充実と施設の拡充を計り、国内最大の玩具博物館と認められるまでになった1984(昭和59)年４月に「日本玩具博物館」と改称した。

同時に子どもの文化遺産を守り評価を高める仕事に人生を賭ける決意をして45歳で会社を退職し博物館の運営に専念。国内のみならず海外からも消えつつある自然素材の玩具や人形の収集の収集活動を始め、たゆまぬ努力を積み重ねた。

収集に際して井上氏は、人が集めているから集めるのでなく、方針に沿って大切だと思ったものを地道に集め、そこでしか見ることが出来ないコレクションの構築を心がけた。世界140カ国から収集した8万点を超える貴重な資料の数々は白壁土蔵造りの６棟700㎡の建物で保存公開しているが、色々な角度から人形や玩具の魅力や面白さ楽しさを伝えるため、１号館と６号館で年間７回に及ぶ特別展を開催している。 　

香寺町の人口は現在2万人。姫路市のベットタウンとして人口は増えているが、大きな観光施設も観光地でもなく、知名度も高くはないが、現在同館の年間入館者数は5万人、リピーター比率は約3割と大きい。同館は個人が設立した民間の施設であるが、1987(昭和62)年には兵庫県が実施した住民アンケートで町の顔に選ばれ、町としても同年、町立の公園と駐車場を同館前に設置、さらに進入路の整備や国道に案内標識を設置するなどの支援を行っており、町のシンボル的な存在として現在に至っている。

また、同館が設立されるまで、町に観光客が訪れることはまれであったが、同館はテレビや新聞・雑誌などで全国的に紹介されることが多く、香寺町といえば玩具博物館のある町と香寺町名の認識度も高まっている。 　一方、井上氏は香寺町観光協会長として、香寺町の観光施設を巡る案内看板整備、町内散策のためのパンフレットの制作など、広く観光客を迎えるための受入体制の整備にも努めた。

一方、博物館運営についても「企画で迅速な意思決定ができなければ活力がそがれる」と個人運営の方針を変えずにやってきたが、今も国内外から増えつづける膨大な収集資料と拡大する事業を考えると、次世代に館を引き継ぐには新たな組織形態に移行するなど次のステップが必要と井上氏は感じている。

「ミュージアムが都市を再生する」(上山信一他著・日本経済新聞社)が話題を呼んでいるが、井上氏は観光が海外からの人々を迎える時代を迎え、博物館が文化遺産を守り継承するという原点に軸を置きながら、観光における博物館の新たな可能性を模索し挑戦し続けている。