有个叫黄玉山的人，生性机敏聪慧，可是家里贫困，时常连读书用的灯油也买不起，靠给人家画像挣得一点钱，不过倒也远近闻名。
刚好他到山西各地去游玩，平阳太守桂公，籍贯是东海荣城人。他的母亲已年过七十了，就请黄玉山给他母亲画像。
当时，还是初春，当天天气阴晦寒冷，太夫人穿着貂裘大衣，带着凤凰帽子出来，显得十分的贵气，一群婢女环绕在她的四周，在太夫人旁边坐着便是太守的女儿，也带着貂裘帽子，遮盖在头上，穿着一身花团锦绣的大衣。
黄玉山手里拿着比，不知怎么话才好，想要丢开太守的女儿，她实在太耀眼，已深深映入他的脑海。笔拿在手上，跟着心思游走，没多一会儿，便画成了一幅，捧上去给众人观赏，婢女们都说：“这是女公子啊！”
黄玉山也感到有些惊愕，自认为画错了，把画收回来，又另外画了一幅进奉，众人才说神貌像是太夫人了。
画好之后，太守桂公酬谢他很多银两。
黄玉山回到住处，取出起初画的女子的像来，想着女子的容貌，又好好完善了一下，真是一位出尘绝世的美人儿。
一天晚上，黄玉山喝酒喝到半夜，拿起酒杯对着画像说：“公子也来喝一杯吧！”
他话音刚落，便看到画上的美人面颊红润起来，微微笑了几下，黄玉山感到很奇怪。
从此，每次吃饭的时候，都不忘记去画像面前祷祝一番。
一天傍晚下起了雨，黄玉山站到门外去观赏雨景，听到屋子里发出簌簌的响声，便靠着窗子向里面窥视，见到一个姣好的女子，两只手托着下巴，正坐在桌子旁边，和画上的人很相像。
黄玉山掀开门帘，一下闯进去，不见有什么人在哪里，四处察看了一下，也没有什么踪迹，心里怅惘地躺在床上，看着女子的画像，心里默默地祈祷，希望她能下来，可心里又不太相信她真能变成真人走下来。
接着，黄玉山感到有些困倦了，就睡去了。
女子忽然来揭开他的帐子，帐子上的钩子摇动，发出了响声，黄玉山也就醒过来了，伸手一探视，温如软玉，于是，一把揽入怀里。
女子道：“春雨凝寒，刺人肌肤，怎么整天把我挂在墙上呢？明天早上，你应当收藏到温暖的被子中了。”
黄玉山坐起来，抱着她，想要和她亲热。
女子道：“等一下，不要唐突了西子。你是一个风雅之人，请让我考考你，看能不能对出我的对子。要是不能，还是不要有什么企望。”
黄玉山道：“好吧，请出上联。”
女子道：“多晴今得雨。”
黄玉山立即于是，便成了夫妻。
黄玉山问女子的姓名。
女子道：“我叫非非。”
黄玉山不相信她是太守的女儿，便问道：“太守是谁？”
非非道：“我的父亲大人。”
黄玉山点了点头，道：“好吧！你告诉我你怎么到这里来了的？”
非非道：“往日有韩寿偷香，女子之中难道就没有像男子一样的吗？”
鸡叫的时候，非非就离去了。www.
从此之后，非非每夜都来和黄玉山相会，和黄玉山谈论诗文，都远远比黄玉山要好。
非非对黄玉山说：“我因为怜爱你的才华，才跑来依附你，可始终犯了私奔的丑行，要是被人察觉了，势必难以在一起。要是郎君真的爱我，还要得带着我一起逃离这里。”
黄玉山道：“这确实是个好办法，只是难以找到脚力。”
非非道：“这有什么难的？”
早上起来，便有两匹马站在门外了，挖动着蹄子，昂着头嘶叫。
黄玉山便整理了行装，骑上马，和非非并辔而驰，也不知道走了多少里路。接着，便走到了高低不平的山路上，道路随着山势弯折迂回，然而，非非走在前面，黄玉山看着她走得很顺畅，丝毫没有感到艰难。
来到一处地方，一重重的院墙，屋脊上面雕镂着各种贵兽，里面种满了树木，显得一派浓荫。
黄玉山跟着非非骑马进去，下了马，把马系在树上，然后走入厅堂之中。
一片鲜红的地毯铺在地上，像是个富贵之家，只是没有一个人来应承。
黄玉山问道：“这里是什么地方？”
非非道：“是我的老家。只因为父亲在外做官，很多年都没有回来，没有人料理，便显得荒芜了。”
一会儿，有一个老妪送茶到来，接着，又把蜡烛点上。
非非道：“我喜欢居住在楼上。”
“可以。”黄玉山表示没有意见。
老妪拿着灯，就在前面带路，沿着楼梯走上楼去。
黄玉山上到楼上，见那里颇为宽敞，翻看架上那些旧有的书籍，上满都标记有事桂家的东西，他问那服侍的老妪，也说那里是荣城，是桂公的故乡，没有什么不同的说法。可黄玉山心里还是有些疑团想不明白，他也懒得去想了。
在日常中，非非只叫老妪一个人送食物给他们吃，不见其他的一个人到楼上去。
非非还常常劝黄玉山好好读书，勉励他图谋上进，可是黄玉山始终是黄玉山，往往半半途而废，读一会儿，就坐不下去了，又喜欢见异思迁，这看一下，那看一下，常常在深更半夜之中，非非拿着女红还在陪着他读书，黄玉到了秋天的一个晚上，刚睡下去，忽然就听到有人破门打进去，接着便有人举着火把进去，很多手里拿着器械。
黄玉山正准备叫喊，一个人忽然举起一把白晃晃的刀子架在他的脖子上，他便不敢出声了。
只见有几个人，把非非的被子卷起来，连同非非也卷到里面，捆好就抬着，并把屋里有用的东西，席卷一空，然后就呼啸着走了。
又把黄玉山绑起来，拉着他，让他送他们到四十里之外的地方，才把他放了。
黄玉山一片狼藉，内心感到十分凄怆，找着路就回去了。
到了院子门口，门所得严严实实的，还打有封记，里面则是一片荒芜，显得十分清寂。
问左右邻近的人，又果然是桂公家的旧宅，那些人说，那宅子已十多年没有人居住了，近来听说桂公准备告老还乡，回归田里，想要重新修理旧宅，只是还没有回来。
黄玉山又问：“几个月前，他家的女儿曾经回来过吗？”
那些都说：“没见到。”
黄玉山怅然若失，知道相伴自己是鬼魅，即使是鬼魅，心里对她也是恋恋不舍，无法忘记。
荣城本来就已靠近了海边，黄玉山举目无亲，也没有来帮助，想要回去，只能一路讨饭，路上疲惫难忍，一个多月，才到达济南，又开始画画拿到集市上去卖，挣得一些钱勉强度日，仅仅能让自己有口饭吃，然而衣服只能穿着那些粗布麻衣。
重阳节那天，济南千佛寺有很多女子到那里去游览，黄玉山也随着众人到那里去游玩。
看见一个女子手里拿着一张红叶，正准备上车而去，然而揭开帘子的时候，频频看了黄玉山几眼。
起初的时候，黄玉山没有在意，等他刚明白过来，而车子早已走了，想着女子的神态面容，越想越觉得是非非。
黄玉山追上去，只见四周夜色已经降临，四周一片弥漫。
正在那里踌躇，便捡到一张红叶，上面有一首用发钗刻成的诗：“莫非非即是，今既是非非。
既识非非是，非非是耶非”
黄玉山读着不觉流下眼泪，怎么也要赶上去寻找非非的踪迹，远远地看着车架已驶入了山谷之中。
黄玉山也顾不得道路崎岖，颠簸着走进山里去。
大约二更天的时候，来到一个村子处。见一户人家，屋子四面都是石块砌在成的，并且墙面凹凸不平，也不见有什么灯火，只有门后面有一盏闪烁着的灯火，里面坐着一个老叟。
黄玉山走进去，询问那老叟：“刚才有一架车子，是到哪里去的？”
老叟听了他的话黄玉山顿时口塞，不知道怎么回答，过了好一会儿，才说：“我迷路了，想来跟着来借宿。”
老叟注视着黄玉山看了几下，说：“老夫不是开旅店的。”把黄玉山赶出门，就把门关上了。
黄玉山不得已，就盘腿坐在门前的地上。
�狗缰写潘估锸橐怖淞讼吕矗朴裆较胱欧欠牵闩踝藕煲段匚氐乜蘖似鹄矗袂逡豪镆安葜械�虫子鸣叫一样，让人感到凄凉。
门忽然开了，一个女子撑着灯笼出来查看，灯光照到黄玉山的脸上，女子道：“你不是黄郎吗？”
黄玉山正准备站起来相认，然而，灯火已经灭了，已看不清眼前的女子是不是非非了。
黄玉山拉着女子，还想要哭泣，女子道：“不要悲戚，要是哭出声来，你就没命了。”
女子拉着黄玉山悄悄地走进屋去，室内的桌子上有一盏灯，黄玉山看清了女子正是非非，便泪如雨下，眼泪大颗大颗地流了出来，已没有勇气抬起头来多看非非几眼了。
非非拉着他，也哭泣着道：“奴家辜负郎君了！郎君自己不长进，不知道自立为人，只凭着一点技艺，到处碌碌无为，这怎么能成一个家呢？所以，才让你遭受这一场灾厄。我也不是什么太守的女儿，因为可怜你孤苦无依，因此才冒名相伴在你的身边。实在是想成就你的好事，你为何自愿甘心暴弃，而浪费时光呢？就算我和你厮守终身，一生也不过是一个画士的妻子，这有什么贵气的呢？”
黄玉山对她说自己后悔了。
又听到有人在敲，老叟已走出去了，女子一下又把等吹灭了。
黄玉山问为什么，女子叫他不要出声。
黄玉山从窗的缝隙中看见外面，看一个戴着紫金高冠的男子进去，看样子，好像是尊贵的官员，直接走到了厅堂中。
女子指着黄玉山，用脚踩了两下地面，说：“那是小姨的夫婿。你和他相比起来，不是相形见绌了吗？”
于是，用袖子掩着脸隐隐哭泣起来。
黄玉山轻轻地说：“从此，我愿意自立，再也不让你蒙羞了。”两人才共枕而眠，各自倾诉别离之情。
黄玉山朦朦胧胧地就睡去了。
等他醒来的时候，屋舍人影都不见了，只有他一个人躺在石块上，大吃一惊，立即坐起来，发现身旁有一轴画卷，和一锭黄金，画就是他所画的那幅太守女儿的画，黄玉山看着画，感到无限幸好，还留有金子给他，可以备办行装立即回家去。
黄玉山回到住处，把金子换成了钱，就上路回去了。
回去之后，发奋读书，考取功名，不再说画画的事了。
也时常把非非的画像挂在屋子里，把她当做老师在一旁监督他一样，常常读完书之后，就对着画像大哭，大哭过后，又立即读书。
在乡试、会试中连连高中，最后进入京师，进入翰林院为官。
有一个山东的张进士，和黄玉山一同被录用，他知道黄玉山还没有娶妻子，想要把桂家的表妹嫁给他。
黄玉山问那女子的里居，果然是荣城桂公的女儿，觉得很奇怪，就答应了。
原来，桂公任期满了之后，去京师办理高老退休的事，在京师也拜见了张家的表兄张公，因为担心荣城，地处偏僻，找不到好女婿，就摆脱他给自己的女儿选个夫婿，并把女儿非非留在了京师。
一天，非非和众姊妹出奇华门去游玩，泛着小舟，到河里游乐。
忽然岸上有一个女子呼叫她们，想和她们一起渡船，非非一行便把船靠过去，让那女子上去。
女子上了船，忽然就不见了，众人都感到很奇怪。
回去之后，非非的动作神情，顿时就改变了，变得异常的机灵，读书作词，当时造诣高深的行家，对她也刮目相看。文词书章，拿来考察她，都不能考倒她。
和黄玉山订好亲之后，就选择了一个好日子成亲，张公给非非办理婚事。
黄玉山到门去迎娶，锣鼓喧天，异常热闹。
黄玉山迎娶非非回去之后，交拜行礼，进入新房，揭开非非的头巾，看非非和前面的非非没有什么差别，尽管他想眼前的非非不是前面的非非。然而，不知道现今的非非，到底是不是前面的非非呢？他也分辨不清楚。
新婚之夜，非非见到了画像，说：“画还是和原先一样，恐怕黄金早花费完了。”
黄玉山听了她的话，感到很惊讶，她怎么知道前面那假非非的事，便问道：“你是非非呢？还是不是非非？”
非非含笑对他说：“非非要是不是我，我怎么知道非非呢？我实在不是非非，我本来就知道非非的事。”
黄玉山也糊涂了，不知道她说的是哪一个非非，就拿以前的事来问她，雨夜同床而眠，楼上督促他读书，以及在山谷中留给他金子的事，非非都能清清楚楚地说出来。
黄玉山又详细地追问。
非非道：“我和你初次相见的时候，见你落笔绘画的时候，凝思不已，心里已被你感感动了，因此，情情思就移到了画上，等和你一起骑马逃走，也是心里想的事，把自己的情黄玉山才不再有什么话说。
后来，非非回荣城看望父母，她的父母也不能分辨，问起闺中幼小时候的事，也都记得清清楚楚。