建站学 - 轻松建站从此开始!

建站学-个人建站指南,网页制作,网站设计,网站制作教程

当前位置: 建站学 > 建站指南 > 建站经验 >

Discuz!NT论坛数据库读写分离方案

时间:2010-06-21 22:36来源: 作者: 点击:
目前在Discuz!NT这个产品中,数据库作为数据持久化工具,必定在并发访问频繁且负载压力较大的情况下成 为系统性能的‘瓶颈’。即使使用本地缓存等方式来解决频繁访问数据库的问题,但仍旧会有大量的并发请求要访问动态数据,虽然 SQL2005及2008以上版本中性能不断提升,

      目前在Discuz!NT这个产品中,数据库作为数据持久化工具,必定在并发访问频繁且负载压力较大的情况下成 为系统性能的‘瓶颈’。即使使用本地缓存等方式来解决频繁访问数据库的问题,但仍旧会有大量的并发请求要访问动态数据,虽然 SQL2005及2008以上版本中性能不断提升,查询计划和存储过程运行得越来越高效,但最终还是 要面临‘瓶颈’这一问 题。当然这也是许多大型网站不断研究探索各式各样的方案来有效降低数据访问负荷的原 因, 其中的‘读写分离’方案就是一种被广泛采用的方案。
      Discuz!NT这个产品在其企业版中提供了对‘读写分离’机制的支持,使对CPU及内存消耗严重的操作(CUD)被 分离到一台或几台性能很高的机器上,而将频繁读取的操作(select)放到几台配置较低的机器上,然后通过‘事务 发布订阅机制’,实现了在多个sqlserver数据库之间快速高效同步数据,从而达到了将‘读写请求’按实际负载 情况进行均衡分布的效果。
 
      下面就简要介绍一下其实现思路。注:有关数据同步的工具已在sqlserver中自带了,可以参考这篇文章
     
      将相应的数据由Master(主)数据库中‘发布’出来,然后使用推送的方式(注:事务发布可以指定是‘通过主 数据库推送’ 还是‘订阅服务器去获取’)发送到订阅它的数据库中,就实现了数据同步功能。
 
      下面就介绍一下如何通过改变既有代码来实现在‘几个从数据库(类似快照)’间进行读取数据的负载均衡。
 
      原有的代码中因为使用了分层机制,所以我们只要在‘数据访问层’动一下心思就可以了。在这里我的一个设 计思路就是不改变已有的数据库访问接口(包括参数等)的前提下,实现底层自动将现有的数据访问操作进行负载 均衡。这样做的好处不用多说了,同时也让这个负载均衡功能与数据访问层相分离,不要耦合的太紧密,同时如果不晓得底层 的实现原理也可以只通过一个开关(后面会介绍),就可以让自己的sql语句自动实现动态负载均衡。
    
      说到这里,我来对照代码进一步阐述:
 
      首先就是(Discuz.Data\DbHelper.cs)代码,主要变动如下(新增方法部分):   

代码
/// <summary>
/// 获取使用的数据库(或快照)链接串
/// </summary>

/// <param name="commandText">存储过程名或都SQL命令文本</param>
/// <returns></returns>
public static string GetRealConnectionString(string commandText)
{
    
if (DbSnapConfigs.GetConfig() != null &&
 DbSnapConfigs.GetConfig().AppDbSnap)
    {
        commandText 
=
 commandText.Trim().ToLower();
        
if (commandText.StartsWith("select"|| ((commandText.StartsWith(BaseConfigs.GetTablePrefix) &&
 UserSnapDatabase(commandText))))
        {
            DbSnapInfo dbSnapInfo 
=
 GetLoadBalanceScheduling.GetConnectDbSnap();

            
if (DbSnapConfigs.GetConfig().RecordeLog && snapLogList.Capacity >
 snapLogList.Count)
                snapLogList.Add(
string.Format("{{'SouceID' : {0}, 'DbconnectString' : '{1}', 'CommandText' : '{2}', 'PostDateTime' : '{3}'}},"
,
                                 dbSnapInfo.SouceID,
                                 dbSnapInfo.DbconnectString,
                                 commandText.Replace(
"'",""
),
                                 Discuz.Common.Utils.GetDateTime()));

            
return
 dbSnapInfo.DbconnectString;
        }
    }

    
return
 ConnectionString;
}

       上面的方法将会对传入的sql语句进行分析,找出其中是CUD操作还是SELECT操作,来区别是读还是写操作。而snapLogList列表则是之前所配置的‘事务发布订阅’模式下的相关‘从数据库’(Slave Database)链接串的列表,例如(dbsnap.config文件的DbSnapInfoList节点): 

代码
<?xml version="1.0"?>
<DbSnapAppConfig xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:xsd="http://www.w3.org/2001/XMLSchema">
  
<AppDbSnap>true</AppDbSnap>
  
<WriteWaitTime>1</WriteWaitTime>
  
<LoadBalanceScheduling>RoundRobinScheduling</LoadBalanceScheduling> --WeightedRoundRobinScheduling
  
<RecordeLog>false</RecordeLog>

  
<DbSnapInfoList>
    
<DbSnapInfo>
      
<SouceID>1</SouceID>
      
<Enable>true</Enable>
      
<DbconnectString>Data Source=DAIZHJ\DNT_DAIZHJ;User ID=sa;Password=123123;Initial Catalog=dnt_snap;Pooling=true</DbconnectString>
      
<Weight>4</Weight>
    
</DbSnapInfo>
      
<DbSnapInfo>
      
<SouceID>2</SouceID>
      
<Enable>true</Enable>
      
<DbconnectString>Data Source=DAIZHJ-PC\2222;User ID=sa;Password=123;Initial Catalog=tabletest;Pooling=true</DbconnectString>
      
<Weight>3</Weight>
    
</DbSnapInfo>
  
</DbSnapInfoList>
</DbSnapAppConfig>

       有关相应配置节点和负载均衡算法会在后面提到,这里为了保持文章内容的连续性暂且跳过,下面接着浏览一下上面调用的‘UserSnapDatabase’方法:

代码
/// <summary>
/// 是否使用快照数据库
/// </summary>

/// <param name="commandText">查询</param>
/// <returns></returns>
private static bool UserSnapDatabase(string commandText)
{
    
// 如果上次刷新cookie间隔小于5分钟, 则不刷新数据库最后活动时间

    if (commandText.StartsWith(BaseConfigs.GetTablePrefix + "create"))
    {
        Utils.WriteCookie(
"JumpAfterWrite"
, Environment.TickCount.ToString());
        
return false
;
    }
    
else if (!String.IsNullOrEmpty(Utils.GetCookie("JumpAfterWrite")) && (Environment.TickCount - TypeConverter.StrToInt(Utils.GetCookie("JumpAfterWrite"), Environment.TickCount)) < DbSnapConfigs.GetConfig().WriteWaitTime * 1000
)
        
return false
;
    
else if (!commandText.StartsWith(BaseConfigs.GetTablePrefix + "get"
))
        
return false
;

    
return true
;
}

 

      该方法的作用很简单,就是当数据库有CUD操作时,通过写cookie的方式向客户端写一个键值‘JumpAfterWrite’,这个键值很重要,就是提供一个标签(flag)来指示:‘当前用户执行cud操作时,页面跳转到其它页面而主数据库还没来得及将数据推送到从数据库’这一情况而造成的‘数据不同步’问题。
     举了例子,当在一个版块中‘发表主题’后系统自动跳转到‘显示该主题页面’时,如果主数据库中插入了一个新主题而从数据库没有被及时更新这一主题信息时,就会报‘主题不存在’这个错误。所以这里加了一个设置,就是下面这一行: 

(Environment.TickCount - TypeConverter.StrToInt(Utils.GetCookie("JumpAfterWrite"), Environment.TickCount)) < DbSnapConfigs.GetConfig().WriteWaitTime * 1000)

 

    
      它所做的就是确保用户cud操作之后,在规定的时间内还是访问主数据库,当时间超过时,才将当前用户的访问请求(select)均衡到其它从数据库中。

      当然,在GetRealConnectionString()方法中,还有一行代码很重要,就是下面这一行:    
    

DbSnapInfo dbSnapInfo = GetLoadBalanceScheduling.GetConnectDbSnap();

 

    
    它的作用就是加载配置文件信息,其中最主要的就是相应的‘负载均衡算法实例’来获取相应的从数据库链接串,下面先看一
下‘静态属性’GetLoadBalanceScheduling的相关信息:

 

代码
/// <summary>
/// 负载均衡调度接口
/// </summary>

private static ILoadBalanceScheduling m_loadBalanceSche;
/// <summary>

/// 初始化负载均衡调度接口实例
/// </summary>

private static ILoadBalanceScheduling GetLoadBalanceScheduling
{
    
get

    {
        
if (m_loadBalanceSche == null)
        {
            
try

            {
                m_loadBalanceSche 
= (ILoadBalanceScheduling)Activator.CreateInstance(Type.GetType(string.Format("Discuz.EntLib.{0}, Discuz.EntLib", DbSnapConfigs.GetConfig().LoadBalanceScheduling), falsetrue));
            }
            
catch

            {
                
throw new Exception("请检查config/dbsnap.config中配置是否正确");
            }
        }
        
return
 m_loadBalanceSche;
    }
}

 

(责任编辑:admin)
织梦二维码生成器
顶一下
(0)
0%
踩一下
(0)
0%
------分隔线----------------------------
发表评论
请自觉遵守互联网相关的政策法规,严禁发布色情、暴力、反动的言论。
评价:
表情:
用户名: 验证码:点击我更换图片
栏目列表
推荐内容