黄石矶四面临水，其东北部江水深入，自古就是万里长江上的天然良港，也就是明史和古东流县志所载的“黄石港”。黄石港因江岔众多，大岔十八，小岔三十六，故民间又称之为“十八岔”。至民国年间，长江主航道外移，港内泥沙沉积严重，乡人便拦圩成湖，以在水浅处垦田。圩堤从大黄石嘴直连到罗家洲，这才让江湾“十八岔”的黄石港变成十八岔湖了。而历史上的黄石矶港，也就剩下村前的一段江岸，仅供来往船只避风中转了。
大约民国中期以前，黄石矶都还是比较繁荣的，毕竟还有两条半商业街和天然良港嘛。到民国后期逐渐式微，再后来由于断了与外界尤其是安庆的官、商衔接，又失去商业和码头的外部环境，很快也就真正衰落了。不过，虽然经济从天上落到地下，但是老居民们的常性却还丢不掉。上世纪六十年代前期，每天还能看到端着小泥壶的，“七老八十”的老人坐一起“呱白”。有靠在椅子上，有坐在小凳上，嗦一口“烟袋”，抿一口末茶或山楂叶茶，偶尔吐槽手里的老黄烟太冲，没有纸烟“来事”。老人们年少时多为少爷、“小开”，渐次年长后，有产业的就做东家，有学问的就到“省里”谋事，家里有货船就当船老板跑码头，有点小钱又坐不住的就天南海北跑生意，没多少钱又不想出门的那就只好在家“守店”了，因此，捧茶壶呱白于他们而言，也属于老习惯。
他们或叙自身经历，或聊所见所闻。共同的话题也很多，比如评论时政，评价村里某人某事，谁家孩子优劣，等等，内容是天马行空，古今中外无所不涉。其中共同的话把子，经常聊到的就有“彭大人、杨大人打红毛”的轶事了。
“我听我家老爹（意即父亲）讲，狗日的红毛打战那是真凶啊，不要命的冲，船被炮弹打沉了都不退，身上淌血了还划水扎猛子向岸上冲”
“凶人自有凶人磨嘛。听我小佬（叔叔）讲，他那天和一班人送炮子，亲眼看到杨大人冲上去砍，彭大人坐在大红炮上打炮，那是打红了眼，连老帅都在拼命了”
“不是顶子红就是颈子红，肯定要拼呐。听说小打几次，大拼了两次。哎呀，惨呐。黄石矶到处是伤兵，凶不凶看江边落了几多铁炮子就晓得了”
老人们说的，就是当年湘军彭玉麟和杨岳斌所部水师驻军黄石矶，攻打安庆时，反被驻安庆太平军反攻的那场战役。不用多少考证，现在四十五岁以上的黄石矶人，肯定捡过或看到过当年的“铁炮子”。
据史料记载，湘军攻下九江、彭泽、东流、望江后，其水师即将大本营从上游移至黄石矶，时称“老营”也称大营和行营。湘军水师将领有彭玉麟和杨载福（即杨岳斌）等。设黄石矶老营时间从咸丰八年（1858年）四月到咸丰十二年（1862年）六月，前后约两年零两个月。史载：
1、（咸丰）八年四月（1858年）四月，（杨岳斌即杨载福）与李续斌会攻九江...诏促东下，疏言楚境肃清后始能会师，遂移屯黄石矶。连攻安庆、枞阳、大通，夺其垒，分兵复建德...（摘自赵尔撰主编之《清史稿》）
2、（咸丰）八年六月：十一日，公（杨岳斌）于丑刻督带七营战船驶过安庆...十五日，公会同管带艇船浙江温州镇总兵吴全美率队进次芜湖...二十七日回至黄石矶老营驻扎。（摘自《杨岳斌集卷一p34》）
3、（咸丰八年）十二月，初六、初十等日，贼（太平军陈玉成部）分股来扰我黄石矶老营...（摘自《杨岳斌集卷一》p42）
4、咸丰九年（1859年）已未，正月初七日，在安徽黄石矶行营准湖广总督官文送由驿赍（ji，意为怀着）恩赏福字等各珍件。（摘自《杨岳斌集卷一》p40）
5、咸丰十年夏，（曾国藩）赴黄石矶水师营次前，...（摘自夏春涛《曾国藩如何培植人才刷新吏治》）
6、咸丰十年十二月二十三日 先是，太平天国定南主将黄文金率部攻占赣北多县，进逼湖口。是日，彭玉麟自黄石矶驰赴湖口（摘自《彭玉麟年谱》）
7、（咸丰）十一年七月二十八日，公（杨岳斌）在黄石矶行营，接到圣旨：“福建水师提督杨载福著赏假四个月，回籍省亲”。公奉旨之日，正督水师亟攻安庆，得手之际未便骤离营次。八月初四日，攻克安庆。（摘自《杨岳斌集》卷一）
此类记载甚多，仅摘其有提示意义部分。
从上述记载可知，黄石矶当时是湘军彭玉麟、杨岳斌水师大本营，而且湘军主帅曾国藩也曾入驻。湘军水师上击湖口、九江，下攻安庆、芜湖等，均以黄石矶为大本营，或称湖广总督行营。作为大本营，不仅有指挥调度和后勤筹集与转输功能，而且还在此打造兵器，发育了中国第一个兵工厂（此事另文叙）。
黄石矶从宋代控海水军基地开始，此后历朝都有驻军，明清有汛兵，民国有江防兵，连日寇都驻有一个小队的“短腿猪”。
安庆是太平天国首都南京的上游门户，如果丢了安庆，南京则必然不保。而黄石矶又是安庆的屏障，如黄石矶丢失，则安庆同样不保。这基本就是个连环扣，若取南京，则必先取黄石矶。黄石矶存则安庆存，安庆存则南京存。因此，太平军为了解除湘军对安庆的进攻威胁，就曾对黄石矶大营发动多次反攻。“初六、初十等日，贼分股来扰我黄石矶老营”，也就是说，双方至少在黄石矶进行过两次以上的激战。其实，除了史料记载，当年激战的痕迹在上世纪七十年代都还大量存在，黄石矶江边随便就捡到或大或小的铁炮子，以及矛头、残刀等兵器，孩子们当做攻防游戏的道具。除了常见的兵器弹药，还有许多不知何用的铁器，当时只觉得奇形怪状很好玩，现经史料提示，方才恍然大悟。这些也待另文叙述了。
