Повышение надежности системы

Повышение надежности предыдущей схемы (используя nginx).

В предыдущей схему существует один потенциально ненадежный элемент backend сервер. При его сбое система через некоторое время утрачивает возможность отрабатывать запросы, так как время кэширования на memcahed заканчивается и все запросы начинают идти на этот сервер. В результате система не может выдать никакого контента пока он не будет перезапущен. Чтобы этого избежать можно дать возможность frontend возвращать данные с просроченным сроком давности, реализовать это на уровне memcached усложняет способ работы с ним:

• по умолчанию, если закончилось время хранения контент удаляется;
• и при смене поведения усложняется алгоритм работы с ним из frontend.

В результате наиболее простым методом, если используется в качестве frontend nginx, можно разрешить ему при сбоях использовать собственный кэш (опция proxy_cache_use_stale). Пример:

    proxy_cache_path        /var/tmp/nginx/cache  levels=1:2   keys_zone=one:10m inactive=20m max_size=500m;

    server {
            listen          80;

            location / {
                    if ( $args = "" ){

                            set                     $memcached_key   "$uri";
                            memcached_pass          127.0.0.1:11211;    
                            error_page              404 502 503 504 = @backend;
                            add_header              "Content-Type" "text/html; charset=UTF-8";
                            add_header              "Cache-Control" "max-age=15";         
                    }                                                                     

                    proxy_pass              http://backend;
                    proxy_set_header        X-Real-IP  $remote_addr;
                    proxy_set_header        HOST  $http_host;
                    proxy_buffers           8  32k;

                    proxy_cache_key "$scheme://$host$uri$is_args$args:";
                    proxy_cache one;
                    proxy_cache_min_uses 1;
                    proxy_cache_valid 200 30s;
                    proxy_cache_use_stale error timeout http_500 http_502 http_503;

            }

            location @backend {
                    proxy_pass              http://backend;
                    proxy_set_header        X-Real-IP  $remote_addr;
                    proxy_set_header        HOST  $http_host;
                    proxy_buffers           8  32k;

                    proxy_cache_key "$scheme://$host$uri$is_args$args:";
                    proxy_cache one;
                    proxy_cache_min_uses 1;
                    proxy_cache_valid 200 30s;
                    proxy_cache_use_stale error timeout http_500 http_502 http_503;
            }
            ...............

В данном случае frontend не обязательно слабое звено - его можно продублировать с меньшими затратами по сравнению с дублированием backend + slaveDB.

Код корректного перезапуска merle

При использование кода связи с memcached возможен случай когда соединение с memcached по каким-то причинам потеряно, например: рестарт memcached.

• В данном случае возможен случай когда выполнить вызов не удается, но пересоединение не получается (закрытие (disconnect) сообщает - что закрывать нечего, а открытие (connect) сообщает - что уже есть соединение). В данном случае нужно убить это псевдо-рабочее соединение и запустить наново.
• Другой случай когда соединяться не с кем - тогда метод connect просто выходит, не вызывая исключение, что очень плохо, так как не понятно, что произошло с системой - чтобы отловить эту ситуацию нужно разрешить посылку сигнала о завершении потока и ожидать получение этого сообщения.

Пример кода:

%%use with restart
try_with_restart(LU, F) ->
   try
       F()
   catch
       Sub : Reson ->
           debug_log(LU, "Start procedure restart connect:~p~n",[{Sub,erlang:get_stacktrace(),Reson}]),
           spawn(fun() ->
               process_flag(trap_exit, true),
                       Connect = merle:connect(?MEMCACHED_HOST,?MEMCACHED_PORT),
               case Connect of
                   {error, {already_started, Client}} ->
                       debug_log(LU, "try kill client status:~p~n",[Connect]),
                       exit(Client,kill);
                   Value ->
                       debug_log(LU, "Some other error:~p~n",[Value])
               end,
                       receive                                      
                               {'EXIT', Pid, Why} ->                
                                       debug_log(LU, "Me killed~p~n", [{Pid, Why}])
                       end
           end),
           undefined
   end.

Примечание:

1. F - функция обращающаяся к merle;
2. debug_log() - вывод в логи отладочной информации.

merle совместимый с nginx

Выложил коды проектов используемых мною с некоторыми изменениях в них.

Изменения в коде merle (memcached erlang interface) нацелено на совместимость с другими языками программирования, в частности возможность получения сохраненного контента из nginx.

Стандартный код использует binary_to_term для сохранения контента в результате при попытке получить контент из memcahed из других программ, ожидающих возврат обычной строки, в начале контента невозможно так как появляются служебные данные erlang.

В код добавлены функции сохранения как строка merle:setlist( url, time, content), и получения контента в виде строки merle:getkeylist (url). Также удалено использование нестандартного gen_server. Удален только для упрощения поддержки кода, так как усовершенствования по очередям сообщений в проекте были не нужны.

В результате этих изменений удалось организовать систему когда frontend server(использовался nginx) мог не запрашивая backend получить сразу данные из кэша, также получилось использовать как общих кэш и для php.

Остальные функции постарался оставить без изменений их поведения и формата сохраняемых ими данных(term_to_binary), измения заключаются в переносе функций преобразования term_to_binary(getkey) и binary_to_list (getkeylist) из вызовов gen_server.

В erlyweb изменены:

• опции компиляции по умолчанию, теперь поведение подобно поведению make, когда компилируются только измененные файлы;
• добавлена обработка исключение при рендеренге компонентов встроенных в основную страницу (вместо него при ошибке выдается указание, что компонент отработал с ошибкой), исключение при отработке основной страницы не отлавливается и передается при ошибке дальше, его нужно отлавливать внутри этой страницы самостоятельно;
• также, добавлена поддержка использования прописных букв в пути к каталогам с компонентами(ранее использовалось преобразование всех букв к строчным).