PHP Engines

Резервное копирование данных в MySQL

AgManiX — Tue, 31 Jan 2012 21:06:11 GMT

Резервное копирование базы данных — это такая штука, которую вечно приходится настраивать для уже работающих проектов прямо на «живых» production-серверах.
Подобная ситуация легко объяснима. В самом начале любой проект еще пуст и там просто нечего копировать. В фазе бурного развития головы немногочисленных разработчиков заняты исключительно прикручиванием фишек и рюшек, а также фиксом критических багов с дедлайном «позавчера». И только когда проект «взлетит», приходит осознание, что главная ценность системы — это накопленная база данных, и её сбой станет катастрофой.
Эта обзорная статья — для тех, чьи проекты уже достигли этой точки, но жареный петух ещё не клюнул.

1. Копирование файлов базы

Базу данных MySQL можно скопировать, если временно выключить MySQL-сервер и просто скопировать файлы из папки /var/lib/mysql/db/. Если сервер не выключить, по очевидным причинам вероятна потеря и порча данных. Для больших нагруженных баз эта вероятность близка к 100%. Кроме того, при первом запуске с «грязной» копией базы данных MySQL-сервер начнет процесс проверки всей базы, который может затянуться на часы.

В большинстве «живых» проектов регулярное выключение сервера БД на длительное время неприемлемо. Для решения этой проблемы применяется трюк, основанный на снэпшотах файловой системы. Снэпшот — это что-то вроде «фотографии» файловой системы на определенный момент времени, сделанный без реального копирования данных (и потому быстро). Аналогичным образом работает «ленивое копирование» объектов во многих современных языках программирования.
Общая схема действий такова: блокируются все таблицы, сбрасывается файловый кэш БД, делается снэпшот файловой системы, разблокируются таблицы. После этого файлы спокойно копируются из снэпшота, после чего он уничтожается. «Блокирующая» часть такого процесса занимает время порядка секунд, что уже терпимо. В качестве расплаты на какое-то время, пока «жив» снэпшот, снижается производительность файловых операций, что в первую очередь бьет по скорости операций записи в базу.

Некоторые файловые системы, например, ZFS, поддерживают снятие снэпшотов нативно. Если вы не пользуетесь ZFS, но на вашем сервере стоит менеджер томов LVM, вы также сможете скопировать базу MySQL через снэпшот. Наконец, под *nix можно воспользоваться драйвером снэпшотов R1Soft Hot Copy, но этот способ не заработает в контейнере openvz (процесс бэкапа MySQL описан здесь).

Копирование файлов — самый быстрый способ перебросить базу данных целиком с одного сервера на другой.

2. Копирование через текстовые файлы

Для того, чтобы считать в бэкап данные из production-базы, необязательно дергать файлы. Можно выбрать данные запросом и сохранить их в текстовый файл. Для этого используется SQL-команда SELECT INTO OUTFILE и парная ей LOAD DATA INFILE. Выгрузка производится построчно (можно отобрать для сохранения только нужные строки, как в обычном SELECT). Структура таблиц нигде не указывается — об этом должен заботиться программист. Он также должен позаботиться о включении команд SELECT INTO OUTFILE в транзакцию, если это необходимо для обеспечения целостности данных. На практике SELECT INTO OUTFILE используется для частичного бэкапа очень больших таблиц, которые нельзя скопировать никаким другим образом.

В большинстве случаев намного более удобна созданная Игорем Романенко утилита mysqldump и парная ей mysqlimport. Утилита mysqldump формирует файл, содержащий все SQL-команды, необходимые для полного восстановления БД на другом сервере. Отдельными опциями можно добиться совместимости этого файла с практически любой СУБД (не только MySQL), кроме того, существует возможность выгрузки данных в форматах CSV и XML.

Для баз MyISAM существует официальная бесплатная утилита mysqlhotcopy, которая работает вроде бы быстрее, чем mysqldump. Существует аналогичная утилита для InnoDB, но она платная.

Утилита mysqldump консольная. Существуют её надстройки и аналоги, позволяющие управлять бэкапом через веб-интерфейс, например, украинская тулза Sypex Dumper.

Недостатки универсальных утилит бэкапа в текстовые файлы — это относительно невысокая скорость работы и отсутствие возможности делать инкрементные бэкапы.

3. Инкрементные бэкапы

Традиционно рекомендуют держать 10 бэкапов: по одному на каждый день недели, а также бэкапы двухнедельной, месячной и квартальной давности — это позволит достаточно глубоко откатиться в случае порчи каких-либо данных.
Храниться бэкапы должны точно не на том же диске, что и живая база, и не на том же сервере. На случай пожаров и прочих катаклизмов лучше всего арендовать пару юнитов в соседнем дата-центре.

Эти требования могут стать проблемой для больших баз. Прокачка бэкапа 100-гигабайтной базы по 100-мбитной сети займет часа три, на которые полностью забьет канал.
Частично решить эту проблему позволяют инкрементные бэкапы, когда полный бэкап делается, скажем, только по воскресеньям, а в остальные дни пишутся только данные, добавленные или измененные за прошедшие сутки. Сложность в том, как выявить эти самые «данные, изменившиеся за сутки».

Здесь практически вне конкуренции система Percona XtraBackup, которая содержит модифицированный движок InnoDB, анализирует двоичные логи MySQL и вытаскивает из них необходимую информацию.

Общая проблема с любыми бэкапами в том, что они всегда отстают. В случае фатального сбоя основного сервера восстановить систему можно будет только с некоторым «откатом» по времени, что очень и очень разочарует её пользователей. Если в системе так или иначе были затронуты финансовые потоки, подобный «откат» может в прямом смысле влететь в копеечку.

4. Репликация

Избежать откатов призвана система репликации MySQL. Идея репликации основана на том, что кроме «главного» сервера («Мастера») постоянно работают ведомые сервера MySQL («слейвы»), которые получают инкрементные бэкапы с мастера в режиме реального времени. Таким образом, время отката уменьшается почти до сетевого лага. В случае краха Мастера можно оперативно назначить «новым Мастером» один из слейвов и перенаправить клиентов на него. Кроме того, слейвы могут обрабатывать запросы на чтение данных (SELECT-ы); это можно использовать для выполнения каких-то расчетов или снижения нагрузки на мастера. MySQL поддерживает репликацию «из коробки», процесс настройки репликации в MySQL хорошо описан юзером whisk. Существует возможность запуска конфигураций Master-Master, а с помощью внешних аппаратно-программных систем — и балансировки нагрузки между мастерами. Только не нужно забывать про ограничения, накладываемые CAP-теоремой.

Репликация — это очень здорово, только использовать её нужно по назначению. Реплика — это полная копия базы, но это не резервная копия! Очевидно же, что если на мастере выполнить DROP TABLE или UPDATE users SET password=«Haha!», изменения будут тут же скопированы на слейв, и откатить их назад станет невозможно.

Вместо заключения

Главное помнить, что бэкап в каждом случае индивидуален. Его нельзя настроить один раз и забыть. Администратор обязан хотя бы раз в месяц пытаться восстановить базу с нуля из бэкапов. В живых развивающихся проектах структура БД постоянно меняется, поэтому рано или поздно какие-то данные перестанут попадать в бэкап просто потому, что забыли поправить скрипты. Если это обнаружится в момент падения основной базы, ценность таких бэкапов окажется равной нулю.

Denwer 3

FSoL — Fri, 28 Oct 2011 15:22:57 GMT

Джентльменский набор Web-разработчика («Д.н.w.р», читается «Денвер») — (Apache, PHP, MySQL, Perl и т.д.) и программная оболочка, используемые Web-разработчиками для разработки сайтов на «домашней» (локальной) Windows-машине без необходимости выхода в Интернет. Главная особенность Денвера — удобство при удаленной работе сразу над несколькими независимыми проектами и возможность размещения на Flash-накопителе.

[adminred]Скачать с Letitbit[/adminred]

Bluefish v2.0.3

AgManiX — Fri, 28 Oct 2011 05:53:59 GMT

Bluefish Editor — мощный свободный текстовый редактор с подсветкой синтаксиса. Предназначен, в первую очередь, для веб-дизайнеров и программистов.
Возможности

Настраиваемая подсветка синтаксиса
Проверка орфографии HTML-страниц
Автодополнение HTML-тегов
Поддерживаемые языки

HTML
PHP
C
Java
JavaScript
Pascal
Perl
Python
R
Ruby
SQL
XML
CSS
[adminred]Скачать с LetItBit:
http://php-engines.do.am/load/redaktory/bluefish_v2_0_3/6-1-0-14
[/adminred]
Скачать с сайта:
[hide=1]http://php-engines.do.am/load/0-0-0-14-20[/hide]

Adobe DreamWeaver CS5 + crack

AgManiX — Thu, 27 Oct 2011 21:51:08 GMT

Оригинальное название: Adobe Dreamweaver CS5
Операционная система: Windows XP/Vista/7
Год: 2010
Язык (интерфейса): Русский
Лекарство: Присутствует

Описание: Adobe Dreamweaver CS5 - программа для разработки и поддержания веб-сайтов. Adobe Dreamweaver включает самые прогрессивные возможности и технологии, с помощью которых можно создавать динамичные и современные веб-сайты, соответствующие последним стандартам. Данное приложение позволяет не только с легкостью проектировать дизайн сайта, используя визуальные методы, но и предоставляет необходимые средства для продуктивной разработки веб-приложений. Тут присутствует полная поддержка формата CSS с функцией проверки его совместимости с различными браузерами, функциональный редактор кода веб-страниц и возможность работать с такими технологиями, как: XML, jаvasсrірt, PHP, Adobe ColdFusion, ASP и ASP.NET. В Adobe Dreamweaver CS5 появилась поддержка новых популярных CMS, функции подсказки по пользовательским классам PHP и по коду для отдельных сайтов и многое другое.
[adminred]Скачать с LetItBit: http://u.to/J2tEAQ
Каталог файлов: http://php-engines.do.am/load/redaktory/dreamweawer_cs5/6-1-0-11
[/adminred]

Adobe Photoshop CS5 AMXdM Pack

AgManiX — Wed, 26 Oct 2011 14:56:32 GMT

Adobe Photoshop ([əˈdəubɪ ˈfəutəʃɔp], Эдо́уби Фотошо́п) — многофункциональный графический редактор, разработанный и распространяемый фирмой Adobe Systems. В основном работает с растровыми изображениями, однако имеет некоторые векторные инструменты. Продукт является лидером рынка в области коммерческих средств редактирования растровых изображений, и наиболее известным продуктом фирмы Adobe. Часто эту программу называют просто Photoshop (Фотошоп).

Особенности репака:
1. Портативная версия от команды RJAA
2. Исправлены мелкие ошибки (AgManiX de Mal the Heaven Fire)
3. exe сжат еще на 20% (AgManiX de Mal the Heaven Fire)
4. Написан специальный консольный установщик на английском, позволяющий быстро распаковать файлы(AgManiX de Mal the Heaven Fire)
[adminred]Скачать LetItBit: http://u.to/JbhDAQ
Каталог файлов: http://php-engines.do.am/load....-1-0-10

Notepad++

AgManiX — Wed, 26 Oct 2011 12:59:36 GMT

Notepad++ — свободный текстовый редактор для Windows с подсветкой синтаксиса большого количества языков программирования и разметки. Он базируется на компоненте Scintilla, написан на C++ с использованием STL, а также Win32 API и распространяется под лицензией GPL. Базовая функциональность программы может быть расширена как за счёт плагинов, так и сторонних модулей, таких как компиляторы и препроцессоры.
[adminred]Скачать с LetItBit
http://u.to/0apDAQ
[/adminred]
Скачать с сайта
[hide=1]http://php-engines.do.am/load/0-0-0-9-20[/hide]