进行A / B(分割)测试主要有两种思路:
- 基于Javascript的解决方案,例如Optimizely,Google Analytics内容实验。
- 服务器端解决方案,如Django-AB,Splango和django-lean。 (另外,自己写。)
我的理解是,基于Javascript的解决方案对于“哪个颜色按钮转换得更好”非常引人注目,但对于切换整个页面布局来说并不是那么好,而且对于尝试大型功能更改(例如漏斗中的页面序列)完全不可行。
这引导我走向服务器端解决方案。我并不为自己的编码而疯狂,只有在没有其他选择时才会这样做。我试图通过改进我的网站的核心功能来增加价值,而不是通过创建更好的拆分测试框架。
我发现用于拆分测试的Django应用程序是各种混合的未维护,未记录,记录不正确,与Django 1.5不兼容。这让我感到惊讶,因为Django和Python社区似乎非常关注良好的文档。我也很惊讶我所尝试过的测试框架都没有与Django 1.5兼容 - 测试不是像Django / Python世界中的核心部分那样是在Rails中吗?
这是我发现的:
Splango https://github.com/shimon/Splango - 与Django 1.5不兼容(尽管我发现大多数兼容性错误都很容易修复)。自2010年10月以来,除了2012年8月的修复声明确保模板包含在安装中之外,大部分未被触及。由于在通过PyPI安装Splango时,模板不会包含在安装中,因此修复程序无效或未提交给PyPI。文档在很大程度上是准确的,但并不完全涵盖如何设置测试和获取报告。它告诉您如何配置模板以收集数据,但管理界面中似乎需要执行完全未记录的其他步骤,而且我不确定我是否已正确完成它们。
Django的瘦肉。原来在 https://bitbucket.org/akoha/django-lean 自2010年7月以来一直没有更新。有一个明显“祝福”的分叉 https://github.com/anandhenry2002/django-lean 自2012年5月以来,从原始版本复制后未发生变化。原始文档的不正确之处在于无法实现示例。 (虽然你可能会像我一样混淆你的方式。)新版本的文档存在格式问题,使得难以在github上阅读。 (这似乎是因为它是来自旧项目的未更改的文档,并且BitBucket语法在Github上不起作用。)django-lean Google Group自2012年7月以来没有收到任何消息。
Django的迷你瘦 https://github.com/DanAncona/django-mini-lean - 最近于2013年2月更新,但未记录。
精益 - https://bitbucket.org/brianjinwright/leaner - 最后更新于2012年7月,没有文档。
Django-AB - 最后更新于2009年5月。不是包,也不能通过PIP或PyPI安装。将结帐放入我的django app文件夹(并将文件夹重命名为ab)并按照安装说明进行操作后,加载模板加载器时出错,我没有进一步跟踪。
到目前为止,Splango似乎是赢家,因为我实际上已经能够或多或少地工作(通过手动安装模板,然后编辑它们来修复Django 1.5不兼容性)。
任何人都可以指出我错过的任何事情吗?