歴史的な背景が重い分、現場では心霊・ホラーにまつわる怪談話も絶えない。閉館後の静まり返った館内で誰もいないはずの舎房から足音が聞こえる、誰もいない作業部屋の蝋人形が動いた、カメラのレンズ越しに不自然な影が写り込むといった噂が、怪談ファンや心霊スポット愛好家の間で真しやかに囁かれている。
特に旧網走刑務所二線校舎や独居房付近は、雰囲気が一変するエリアとして知られる。冷たく静まり返った通路を歩くだけで、背後に誰かが立っているような強い錯覚を覚える者も多いという。これが恐怖心が見せる幻覚なのか、それとも過去の執念が残した残留思念なのか、答えは闇の中だ。