查看文章 |
网上各种短网址(ShortUrl)算法应用的初步详细汇总
2011年08月11日 星期四 下午 9:26
算法原理 算法一 1)将长网址md5生成32位签名串,分为4段, 每段8个字节; 2)对这四段循环处理, 取8个字节, 将他看成16进制串与0x3fffffff(30位1)与操作, 即超过30位的忽略处理; 3)这30位分成6段, 每5位的数字作为字母表的索引取得特定字符, 依次进行获得6位字符串; 4)总的md5串可以获得4个6位串; 取里面的任意一个就可作为这个长url的短url地址; 这种算法,虽然会生成4个,但是仍然存在重复几率,下面的算法一和三,就是这种的实现. 算法二 a-zA-Z0-9 这64位取6位组合,可产生500多亿个组合数量.把数字和字符组合做一定的映射,就可以产生唯一的字符串,如第62个组合就是aaaaa9,第63个组合就是aaaaba,再利用洗牌算法,把原字符串打乱后保存,那么对应位置的组合字符串就会是无序的组合。 把长网址存入数据库,取返回的id,找出对应的字符串,例如返回ID为1,那么对应上面的字符串组合就是bbb,同理 ID为2时,字符串组合为bba,依次类推,直至到达64种组合后才会出现重复的可能,所以如果用上面的62个字符,任意取6个字符组合成字符串的话,你的数据存量达到500多亿后才会出现重复的可能。 具体参看这里彻底完善新浪微博接口和超短URL算法,算法四可以算作是此算法的一种实现,此算法一般不会重复,但是如果是统计的话,就有很大问题,特别是对域名相关的统计,就抓瞎了. 短网址算法枚举 一个来自http://www.snippetit.com/2009/04/php-short-url-algorithm-implementation/ , 代码如下: <?php function shorturl($input) { $base32 = array ( 'a', 'b', 'c', 'd', 'e', 'f', 'g', 'h', 'i', 'j', 'k', 'l', 'm', 'n', 'o', 'p', 'q', 'r', 's', 't', 'u', 'v', 'w', 'x', 'y', 'z', '0', '1', '2', '3', '4', '5' ); $hex = md5($input); $hexLen = strlen($hex); $subHexLen = $hexLen / 8; $output = array(); for ($i = 0; $i < $subHexLen; $i++) { $subHex = substr ($hex, $i * 8, 8); $int = 0x3FFFFFFF & (1 * ('0x'.$subHex)); $out = ''; for ($j = 0; $j < 6; $j++) { $val = 0x0000001F & $int; $out .= $base32[$val]; $int = $int >> 5; } $output[] = $out; } return $output; } ?> 各大微博短网址(ShortUrl)的算法 ,第一种算法的C#实现 <?php // 这是c#代码,受编辑器的限制,只能用php public static string[] ShortUrl(string url) { //可以自定义生成MD5加密字符传前的混合KEY string key = "Leejor"; //要使用生成URL 的字符 string[] chars = new string[]{ "a","b","c","d","e","f","g","h", "i","j","k","l","m","n","o","p", "q","r","s","t","u","v","w","x", "y","z","0","1","2","3","4","5", "6","7","8","9","A","B","C","D", "E","F","G","H","I","J","K","L", "M","N","O","P","Q","R","S","T", "U","V","W","X","Y","Z" }; // 对传入网址进行MD5加密 string hex = System.Web.Security.FormsAuthentication.HashPasswordForStoringInConfigFile(key + url, "md5"); string[] resUrl = new string[4]; for (int i = 0; i < 4; i++) { //把加密字符按照8位一组16进制与0x3FFFFFFF进行位与运算 int hexint = 0x3FFFFFFF & Convert.ToInt32("0x" + hex.Substring(i * 8, 8), 16); string outChars = string.Empty; for (int j = 0; j < 6; j++) { //把得到的值与0x0000003D进行位与运算,取得字符数组chars索引 int index = 0x0000003D & hexint; // 把取得的字符相加 outChars += chars[index]; //每次循环按位右移5位 hexint = hexint >> 5; } //把字符串存入对应索引的输出数组 resUrl[i] = outChars; } return resUrl; } ?> 高进制数字转换,使用六十二进制将十进制数字变“短”。(作者自称很高效,但是来源页www.zoeey.com/cnphpdocs /short.url.radix.convert.html 打不开) 例如数据库中第 56800235583 条信息,对应的短网址后缀可以是 ZZZZZZ 。 下面是存储示例: <?php //id 自增序列/自增编号 //url 目标链接 //*suffix* 短网址后缀 (并不需要存储在数据库内) +------------+-----------------------+---------+ |id | url | *suffix*| +------------+-----------------------+---------+ |123456 | http://zoeey.com/ | w7e | +------------+-----------------------+---------+ |123457 | http://www.zoeey.com/ | w7f | +------------+-----------------------+---------+ |56800235582 | http://zoeey.org/ | ZZZZZY | +------------+-----------------------+---------+ |56800235583 | http://www.zoeey.org/ | ZZZZZZ | +------------+-----------------------+---------+ ?> 短网址使用流程: 提交网址存储后获取其编号 如:123456 用dec2Any将编号转换为62进制,并拼接网址 如:http://go.to/w7e 用户访问到 http://go.to/w7e 时,提取短网址后缀 w7e 用any2Dec将短网址后缀转换为10进制,得到链接编号 如:123456 使用编号查询链接,并进行跳转 [/list] 下面是进制转换所需要的源码: <?php /* * MoXie (SysTem128@GMail.Com) 2010-6-30 17:53:57 * * Copyright © 2008-2010 Zoeey.Org . All rights are reserved. * Code license: Apache License Version 2.0 * http://www.apache.org/licenses/LICENSE-2.0.txt */ error_reporting(E_ALL); /** * 返回一字符串,十进制 number 以 radix 进制的表示。 * @param dec 需要转换的数字 * @param toRadix 输出进制。当不在转换范围内时,此参数会被设定为 2,以便及时发现。 * @return 指定输出进制的数字 */ function dec2Any($dec, $toRadix) { $MIN_RADIX = 2; $MAX_RADIX = 62; $num62 = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'; if ($toRadix < $MIN_RADIX || $toRadix > $MAX_RADIX) { $toRadix = 2; } if ($toRadix == 10) { return $dec; } // -Long.MIN_VALUE 转换为 2 进制时长度为65 $buf = array(); $charPos = 64; $isNegative = $dec < 0; //(bccomp($dec, 0) < 0); if (!$isNegative) { $dec = -$dec; // bcsub(0, $dec); } while (bccomp($dec, -$toRadix) <= 0) { $buf[$charPos--] = $num62[-bcmod($dec, $toRadix)]; $dec = bcdiv($dec, $toRadix); } $buf[$charPos] = $num62[-$dec]; if ($isNegative) { $buf[--$charPos] = '-'; } $_any = ''; for ($i = $charPos; $i < 65; $i++) { $_any .= $buf[$i]; } return $_any; } /** * 返回一字符串,包含 number 以 10 进制的表示。<br /> * fromBase 只能在 2 和 62 之间(包括 2 和 62)。 * @param number 输入数字 * @param fromRadix 输入进制 * @return 十进制数字 */ function any2Dec($number, $fromRadix) { $num62 = '0123456789abcdefghijklmnopqrstuvwxyzABCDEFGHIJKLMNOPQRSTUVWXYZ'; $dec = 0; $digitValue = 0; $len = strlen($number) - 1; for ($t = 0; $t <= $len; $t++) { $digitValue = strpos($num62, $number[$t]); $dec = bcadd(bcmul($dec, $fromRadix), $digitValue); } return $dec; } $sol = '<br />' . PHP_EOL; echo dec2Any('56800235583', 62), $sol; // ZZZZZZ echo any2Dec('ZZZZZZ', 62), $sol; // 56800235583 echo dec2Any('123456', 62), $sol; // w7e echo any2Dec('w7e', 62), $sol; // 123456 ?> from:http://blog.xe28.tk/archives/188/ base62算法(C#) public string base62(int x) { string show = ""; x = Math.Abs(x); while (x > 0) { int s = x % 62; string str = ""; if (s > 35) { str = Chr(s + 61); } else if (s > 9 && s <= 35) { str = Chr(s + 55); } else { str = Chr(s + 65); } show += str; x = int.Parse(Math.Floor(x / 62m).ToString()); } return show; } public static string Chr(int asciiCode) { if (asciiCode >= 0 && asciiCode <= 255) { System.Text.ASCIIEncoding asciiEncoding = new System.Text.ASCIIEncoding(); byte[] byteArray = new byte[] { (byte)asciiCode }; string strCharacter = asciiEncoding.GetString(byteArray); return (strCharacter); } else { throw new Exception("ASCII Code is not valid."); } } 直接调用base62方法 |
最近读者:

