十六周年新旧论坛合并修复说明

启人 · 发表于 2021-11-26 05:26:59

2021-11-25 22:05:24

概述

很久以前，那还是我用win98的时候有次我系统崩溃了，因为我是电脑白痴，朋友给我介绍了一个高手来帮我修电脑。
他看了一下电脑，问我有没有98的盘，我说没有。
他想了一下，叫我把固定电话拿给他，我想修电脑要电话干什么，但人家是高手，我也不好说什么，就把电话拔下来给他了。
他把电话线空着的一头接在电脑的一个插孔内，然后进入了dos，然后就开始在电话上不停地按着键，他按键的速度非常快，但是只按0，1两个键，我搞不懂这有什么用，但也不敢问，看了半个多小时，他还是不停地按这两个键，我渐渐的有些困，问他这东西要搞多久，他说要几个小时，我给他倒了杯茶，就一个人去隔壁睡觉了。
醒来的时候，一看已经过了4个多小时，我起身到隔壁，看见他正在98里面调试，过了一会儿，他说，你试试，我坐上椅子用了一下，真的好了，我当时也不懂电脑，谢过人家就走了。
后来我慢慢对电脑有了了解，终于了解，原来当时那位高手是用机器语言编了一个98系统，我后来问我朋友那位高手的下落，我朋友说前几年去了美国之后，杳无音讯......

很久以前，那还是我用winXP的时候有次我系统崩溃了，因为我是电脑白痴，朋友给我介绍了一个高手来帮我修电脑。
他看了一下电脑，问我有没有XP的安装盘，我说没有。
他想了一下，叫我把一张空的DVD刻录盘和一根针拿给他，我想修电脑要刻录盘和针干什么，但人家是高手，我也不好说什么，就把DVD刻录盘拿一张来给他了。
他把针头对着刻录盘戳，戳的速度非常快，但是只戳深或浅，我搞不懂这有什么用，但也不敢问，看了半个多小时，他还是不停地戳着DVD刻录盘，我渐渐的有些困，我问他这东西要搞多久，他说要几个小时，我给他倒了杯茶，就一个人去隔壁睡觉了。
醒来的时候，一看已经过了4个多小时，我起身到隔壁，看见他正在Xp里面调试，还装上了office、photoshop、迅雷、魔兽世界等软件……过了一会儿，他说，你试试，我坐上椅子用了一下，真的好了，我当时也不懂电脑，谢过人家就走了。
后来我慢慢对电脑有了了解，终于了解，原来当时那位高手是针头刻了一个单面双层的DVD，在里面刻上了Xp、office、photoshop、魔兽世界的安装程序，我后来问我朋友那位高手的下落，我朋友说前几年去了美国之后，杳无音讯....

五年五年又六年，这些年我偶尔会研究discuz论坛的组成，虽说技术仍然不是很好，但至少弄明白了一件事，所有在论坛看到的内容，实质就是一堆程序文件+一个数据库，就是说理论上也可以像上述段子那样，手动拼出一个论坛来。

整个过程拖了又拖当然还有一些其他因素的干扰，但终究还是做出来了，只是？没什么只是，挺好的。

六年前

六年，距离我上次发帖已经整整过去六年了，六年前发了十周年纪念文和视频，当年发视频之前还去b站贴吧问这种论坛纪念性质的视频发在b站合不合适还是发优酷土豆网好些。如今优酷土豆网站界面变得惨不忍睹，多年前的视频全部屏蔽掉了无法观看，有的还能在别处找到，有的再也看不到了，当然b站也删掉了许多旧的视频。
我极其怀旧，喜欢去翻看那些旧视频老文章。但这些年发现，真就是大多当初觉得不可能消失的内容，也说没就没了。因此越来越觉得在网上发表过什么，公开过什么内容，尽量不要将其主动删掉，指不定有谁在默默地关注着，偶尔会去看一看，网站、视频、文章、Q群......甚至只是一条评论、一条弹幕或一次登陆的记录。

时间追溯到2015年下半年，当时论坛有很多bug，比如页面显示乱码什么的。看了一下聊天记录是15年11月21号，我和小t第一次私聊，我跟他说论坛手机版有bug有空修复一下，他答应了。之后就是11月26号的十周年视频和纪念文。再过了一个礼拜12月初的时候，他把论坛版本转成了phpwind，直到今天我仍然为这件事很生气。我是觉得从topzj到独立之后，不管发生了什么，论坛的根不能变，就是discuz的界面风格不能变。而且还有一个细节，就是转换程序后，论坛两个重要的三级置顶帖（[纯手工][备份]我们的世界、【建个最高的楼】给世界最重要的EX君）没了也没人注意在意。

从那之后我就再没登陆过新站了，那个简洁的风格我实在接受不了。只是我还会经常去看看帖子什么的，当时不少人都还挺接受这个phpwind版本的，只不过论坛仍然是半死不活的样子，后来的几年，周年也再没有人去纪念，也没什么好纪念的其实，一年到头没几个人说话实际上。

处理的时间线

2011年一月份，我休学在家的时候曾经把topzj旧站的全部帖子，在archiver中查看（那时08年前的帖子早已全部屏蔽），并用记事本将其保存了下来，每个主题一个文本文件。也是那年，我家有个懂编程的亲戚曾经跟我闲聊说既然我有这批备份数据，不就能恢复论坛了嘛。当时我连hellow world都不会写，一点儿编程都不懂，而且就算会也只是有帖子文字而已，其他全没有怎么可能恢复出来，直接说别想了不可能。

2012还是2013年我找关系非常好的大学同学帮我做了一个小工具，可以直接从那5000多个文本文件中搜关键字查内容。当时是想用来找一些我记忆里的文字，这个工具后来也用上了。

2017年七月份，我有段时间无聊拿云服务器研究安装discuz论坛的时候，终于理解了论坛实质就是一个数据库+一堆文件。然后就有个想法并实现了，就是将旧站那5000多个主题的txt文本，做成了discuz数据库对应的数据，会员取发帖人的名字，密码资料等等统一。就这样做出了一份可以看的旧站论坛（当时还是discuzX3.2版本）。当时还挺激动地跟月联系了一下，不过月比较佛系没啥想法，也是因为论坛的人都没了，联系个谁都费劲。还有之后就是17年8月份我给小t留个言要商量事，至今也没回应。按当时的情况，大概是想找他研究新旧站数据合并吧。

2018年、2019年的时候，我自己后来搭别的discuz论坛被空间商要求关闭才知道，国内政策已经不允许个人建任何论坛类网站了，要做必须使用海外主机。

2020年五月份，我上新站发现打开首页是纯空白页，这个状态持续了很久。但当时我通过f12查看网页代码时还是能看到那些版块链接的，如果将链接输入在地址栏也能跳转显示各个版块。再后来就是2020年下半年，打开网址时显示了类似空间到期之类的提示。具体什么文字一时也找不到了。终于又过了不久，正如五年前视频中的预言那样，打开新站，变成了“该页无法显示”。

2014年底，我报的毕设课题是“数码宝贝世界论坛的设计与实现”，为了有更好的参考资料，我找月管小t要了一下网站后台空间密码、数据库密码什么的，但当初其实没怎么用上。
2015年底，新站转phpwind时，我上网站后台拷了一份数据库备份sql和论坛附件的压缩包，虽然我当时不知道怎么用，也不知道能用来做什么。

2020年底我将15年备份的数据尝试在一个续费多年几乎不用的虚拟主机上还原，虽说也只将就能看文字而且一堆bug，但好歹知道了这数据能用，确实存了新站的帖子和会员等内容。就这样草草地跟月过完了十五周年纪念。然后就有个想法，将新旧两站合并恢复。

结果还是拖了一年，也是因为忙别的而且毕竟需要海外主机还得新买挺麻烦的，就一直没弄，直到今年双十一终于买下来了。而且拖拉的最主要一点原因正如前面所说，我技术至今都很差，你让我玩个windows服务器我还能操作操作，linux系统让我搞就是纯抓瞎，按照原计划，我这波买本来也是想先自己学习搭一个新论坛用并且慢慢摸索等研究明白再去处理合并。结果巧的是发现了一个傻瓜式的操作面板镜像，使用后非常简单就能搭网站那种。让我改变了计划，优先处理论坛合并。
就这样，11月14号开工，到11月25号收稿，花了半个月左右的时间，这期间找了月和另一个游戏朋友帮了些忙，终于赶在周年之前处理完了所有内容。

其实谁都没想过有这么一天

“我曾经有一个论坛”，这些年来经常和朋友提起。我喜欢装逼，想吹又有些尴尬，论坛在哪呢？虽然说当年有些担心，但现在想想其实最后这几年也是在等，在等新站消失。
按我的设想有两种可能，一种是小t不搞了把论坛全部移交给月，这样有10年-那时的全部数据。另一种可能就是论坛彻底没了，我尝试拿15年备份的数据瞎搞。

启 2021/11/26 0:30:59
我找你也是干活
タケル 2021/11/26 0:31:08
我没干活
タケル 2021/11/26 0:31:14
活都是你干的
启 2021/11/26 0:31:31
你那风格包挺管用
启 2021/11/26 0:31:49
其实我就是喜欢朱律那风格才恢复论坛的
タケル 2021/11/26 0:32:33
我也就没事存着罢了
タケル 2021/11/26 0:32:43
能用上就好
タケル 2021/11/26 0:32:56
其实谁都没想过有这么一天

完工互吹的同时，这句话太感触了，其实谁都没想过有这么一天。
有时候想想确实挺好玩的，直到我回顾这整个流程的时候，我才想起当初要后台空间密码竟然是为了做毕设，我还以为是担心论坛会没特意要的备份呢。
还有我也没想到月保存的风格图片相关文件这么全。而这次能这么顺利地完成，也多亏了那个我这几年认识的游戏朋友，虽然我处理了接近一百张数据表，但论坛最核心的部分，为了能做到最好地展示效果，主题表和帖子表有大量地数据转换，是那个朋友帮弄的。

至于未来的打算，其实没啥想法，恢复完也就放养着供别人看就是，真要说数码宝贝我小学后就没看了，连第五部都没咋看过。
欣慰的是不管现在看上去是否幼稚，当年别人在我论坛发过的文我总算是保存了下来。
十六年，当初建论坛的时候才十三岁，都长大了。

很久以前，那还是我用discuz的时候有次我论坛崩溃了，因为我是电脑白痴，朋友给我介绍了一个高手来帮我修论坛。
他看了一下电脑，问我有没有数据备份，我说没有。
他想了一下，叫我打开记事本，我想修论坛要记事本干什么，但人家是高手，我也不好说什么，就打开了让他操作。
他然后就开始在记事本上不断打字，他打字的速度非常快，但是密密麻麻一大长篇不换行，我搞不懂这有什么用，但也不敢问，看了半个多小时，他还是不停地打字，我渐渐的有些困，问他这东西要搞多久，他说要几个小时，我给他倒了杯茶，就一个人去隔壁睡觉了。
醒来的时候，一看已经过了4个多小时，我起身到隔壁，看见他正在设置论坛功能，过了一会儿，他说，你试试，我打开几个帖子看了一下，真的好了，我当时也不懂电脑，谢过人家就走了。
后来我慢慢对电脑有了了解，终于了解，原来当时那位高手是把论坛全部数据写到了记事本里导入到数据库，我后来问我朋友那位高手的下落，我朋友说前几年去了数码世界之后，杳无音讯......

——タケル 2031-11-26 04:52:59

启人 · 发表于 2021-11-26 08:08:04

旧站数据

如果是老会员的话应该知道我当年存的topzj时期数据的txt文本格式是怎样的。
实际就是现在打开论坛右下角的Archiver页面，可以快速浏览每个纯文字的帖子，可以看到发帖人、日期、内容。
每个主题一大长篇列下来，但附件之类的是看不到的，也因此旧站所有附件全部丢失。
（其实我当年手动备份时还真想过把08年之后的所有附件也给弄下来，但后来不知为什么没做，都是陈年往事了）

现在再让我回想2017年具体是怎样做的这批数据我是一点儿也想不起来，看了一下截图，无外乎是将那5000多个txt文件里面的10多万帖子，逐条复制转化格式再整合到excel中导入，然后在本地数据库经过反复多次处理（这里还用到了大学同学给我做的搜索小工具），最终整合出了1084个会员、31个版块、5294个主题、128512个帖子。大概一个月搞定的。

会员的注册日期取最早发帖日期，最后访问时间取最晚发帖日期。
也就是说旧站的1084个会员是硬做出来的数据，什么密码邮箱资料啥的都没有，只是放在那里，也不可能有人去登陆。
也因此浏览分辨帖子是旧站还是新站的直接看id值就能看出来。

新站数据

同样2015年底的事我也不记得了，新站最后我弄到的备份有两个文件，一个是ourdmworld.sql，里面包含了全部新站数据库数据，另一个是attachment文件夹，里面包含了12年底到15年底的全部附件。
这些天来我一边处理数据的时候也一边想象着论坛那几年发生了什么。从discuz7.2到discuzX2.5，中间有过宕机（趋势统计数据中断），有过很多次版本更换（表情、引用帖子格式不一致），导致丢了很多东西。
总之就是最终拿到手的只有完整数据库和12年底到15年底的论坛相关附件。
12年底之前的附件和家园空间相册里面的图片等等，全部没有了。

总体整合说明

我是不知道有没有人这样处理过discuz数据，但我估计topzj相关的论坛能做这样整合的只有我一个人。
核心思想就是旧站所有用户主题帖子的id不变，新站用户id+1084，主题id+5294，帖子id+128512。
所有ourdmworld.net全部替换为ourdmworld.com。
变动涉及到的表一百多张，踩坑无数。

话是这么说但实际上处理起来是真难，就像前面讲的，新站数据它本身就经历过一堆版本，数据格式各式各样的。
为此这些天，天天跟朋友讨论到半夜，最大的难点就是那个帖子表，我不断地发现问题，并提出新的改动方案，然后朋友想办法处理。

所有QQ互联、推送等相关的数据我都拿掉了，本身也不习惯这功能，最后想弄的时候发现不行，新版discuzQQ互联得重新弄，挺麻烦的。

用户

首先是用户名，新旧站有很多重名的用户，所有重名用户，均将旧站用户名加了个_old区分，除了我自己这个“启人”ID被贝贝抢注过之外，那个ID我改成了“启人_new”，重名ID大约有75个。
新站会员的个人资料保留但空间主题风格没了，当然实际上我看了，只有几个人用过空间风格。
好友方面我尽可能地还原了，只是删除掉了一些对应不上的不合理数据。
短消息同理，也是尽可能原样保留。

版块

新旧站版块对应不上，保留了旧站的几个新站没有的版块——DM同人转载、DM画室等等。
心情区版块名以旧站为准。
删除了旧站“动漫交流”子版块，合并到“动漫讨论区”。
活动区移动到“休闲与娱乐”分类下。
版块介绍我挑选地搬了过来。
版块顶部版规我想了想还是不打算搬了，每个版块页面一大长篇版规，显示效果不好。
版主取的是最后时期的版主设定。

群组

群组这功能我不太熟，群组全部保留。

家园空间

由于相册全部图片丢失，所有相册相关的数据全部删除。
日志、记录、评论保留并且处理了当年没处理掉的广告类内容。
此外空间门户相关有很多缓存表数据我没搞懂用途，也给拿掉了。

零散数据

勋章、道具，本来这俩是不打算弄的但最终还是处理了，所有勋章道具相关的数据和日志，全部处理复原，但暂时不开放使用。
论坛任务、每日签到相关的数据全部拿掉。
所有的数据统计表全部重新计算录入、各种操作日志表几乎全部处理复原。

帖子

帖子处理是整个过程中最难的也是朋友帮我处理了大部分的东西。
所有ourdmworld.net全部转化为ourdmworld.com。
最重点：新站所有帖子内容中全部涉及到用户id、版块id、主题id、帖子id的内容，全部按上面的规则转化，这使得当前论坛的帖子内链接、引用链接跳转正常。
（当然用户签名也有许多跳转问题，我手动搞定了）
在朋友的处理过程中还有累计几百上千个特例也是我逐个手动解决的。
尽可能地删掉了所有当年没处理掉的广告垃圾帖子。
旧站的digmon.aa.topzj.com相关的链接，没法做转换处理，因为当年topzj是所有论坛公用一个大的表存的帖子或主题

帖子附件

2012年12月份之前的附件由于没有，这部分帖子拿掉了附件。2012.12-2015.12的附件全部保留，并在帖子中显示图片。
（当年绝对发生了什么，因为这个时间点前后存的附件路径都不一致）

帖子表情

这个在我的计划范围外，因为最初的计划中没有想过能恢复表情，当时我手里连表情图片都没有。后来跟月联系的时候发现她保存着当年新站的几乎所有表情，就导入了，又找朋友研究替换新旧表情代码，最终复原了新站几乎所有帖子的表情。
极少数旧站帖子也给一并复原了表情（300多个帖子）。
新站的html转义表情无法显示。
时隔六年，我终于把我喜欢的丘比龙表情包加进去了。

风格

其实不管是毕设也好，还是转phpwind时也罢，主要我还是太喜欢"朱律"这个浅蓝色界面风格了，也是找的月要到了风格文件，捣鼓半天成功复原了。
但其他的风格、四季风格等等，目前都没弄。

头像

按理说头像图片一个也没有，但比较巧的是2015年我做十周年纪念视频的时候，存了一些用户头像做素材。有大概37个，仅这些头像全给恢复了，其余头像全没了。

论坛设置

就如同十几年前topzj申请过好几个论坛一样，在大多数复原工作结束后，我又重新过了一边全部设置。积分规则和用户组相关全部重新设置，用户各项统计及积分数据全部重新计算。
原友情链接里还存活的站我只找到三个——神龙斗士之家、小甜甜、数码市镇，然后又加了两个还存活的数码相关站——DMS、数码视窗。（不管当年发生了什么不愉快，活到今天都不容易）
应用插件方面暂时不弄，但我估计未来肯定还要考虑装个签到插件并且导入旧签到数据的，当然我不会去做什么签到专区或者强制签到这种恶心人的设定。

好了，这次几乎是手工把discuz数据表全部过了一遍，今后再出现啥问题，估计也不难处理了，直接去数据库弄就是。

话说又这么多年过去了，discuzX也快被腾讯抛弃了，挺可惜的，我这次整合论坛数据，发现discuzX有挺多有用的好功能都没有尝试过。
无奈时代变了，说多了都是泪。

启人 · 发表于 2021-11-26 08:43:20

接下来有什么打算？月这样问我。
当然是放养不管了，还能怎么样，主要是我对这动画停留在小学看VCD的了解程度，也没有什么兴趣，不然还是可以继续发展的。
不过放养也不是没有事可做，虽然这波急匆匆地赶周年前处理完了，但还有许多细节要处理。
一个已经确定要做的就是由于这次是新旧两站合并，内容比较混乱，打算下掉所有置顶帖（十六周年了还TM挂着六周年文赛的置顶），以导航帖的形式展示。
也会期盼着有人来填自己许多年前的坑，也想了解一下当年的那些人现在过得怎样了，我跟月说实在没人你就一个人在论坛写日记好了。
整个过程的核心思想只有一个————
老实说，我真的不希望许多记忆被埋没。

补充：
密码忘记的请联系月改密——论坛ID：タケル、QQ：594368400
（再次强调旧站所有账号（uid 1-1084）的密码是统一的，想登陆旧站ID必须联系改密，新站ID仍然是各人曾经使用的密码）
QQ群：107516793

-2021-11-27 07:29:44

2021-12-14 07:50:09
2016-2020的数据通过 Wayback Machine 快照找回了一部分强行添加进去了，pid：219169-219458，tid：12979-13020，uid：7863-7892

2021-12-18 09:36:25
现在知道了，2012年12月份有人误删了文件导致图片和附件全没了，详见悲剧