最近在写蜘蛛。需要一张庞大的url表来记录各种url被线程的读取状况，因此需要连续的请求，以及多线程的并发操作等。
很显然，sqlserver并不能完全的满足需求。
推荐一下Berkeley DB
Berkeley DB相当于存储于本地硬盘的一个大的Hash表，由Key,Value构成.
需要下载的相关内容
Berkeley DB 4.5.20
Berkeley DB for .NET 0.95
基本操作
// 添加数据到DBD数据库
public bool Add(string key,string obj)
{
string DbPath = @"e:\search\data\data.db";
Db db = new Db(DbCreateFlags.None);
DbEntry wKey = DbEntry.InOut(Encoding.UTF8.GetBytes(key));
DbEntry wData = DbEntry.InOut(Encoding.UTF8.GetBytes(obj));
DbFile dbf = db.Open(null, DbPath, null, BerkeleyDb.DbType.BTree, Db.OpenFlags.Create, 0);
WriteStatus wStatus = dbf.Put(null, ref wKey, ref wData);
dbf.Sync();
db.Close();
if (wStatus == WriteStatus.Success)
{
return true;
}
else
{
return false;
}
}
// 根据key返回值
public string GetVal(string key)
{
string result = string.Empty;
DbEntry rData = DbEntry.Out(new byte[2048]);
DbEntry rKey = DbEntry.InOut(Encoding.UTF8.GetBytes(key));
Db db = new Db(DbCreateFlags.None);
DbFile dbf = db.Open(null, DbPath, null, BerkeleyDb.DbType.BTree, Db.OpenFlags.Create, 0);
ReadStatus rStatus = dbf.Get(null, ref rKey, ref rData, DbFile.ReadFlags.None);
db.Close();
if (rStatus == ReadStatus.Success)
{
result = Encoding.UTF8.GetString(rData.Buffer, 0, rData.Size);
}
return result;
}