- Move linux to new disk with rsync:
- rsync -avxHAXW --progress /<old disk mount point> /<new disk mount point> --exclude=/<old disk mount point>/dev --exclude=/<old disk mount point>/sys --exclude=/<old disk mount point>/proc --exclude=/<old disk mount point>/run
- or with cp:
- cp -afv /home/ /mnt/home/
- Update /etc/fstab with new uuid by:
- ls -l /dev/disk/by-uuid/
- Restore grub:
- grub-install /dev/xxx
- update-grub2
Идеи приходящие в голову. Надеюсь они кому-то помогут. Заранее благодарен за комментарии.
Showing posts with label пока не забыл. Show all posts
Showing posts with label пока не забыл. Show all posts
Saturday, December 5, 2020
Move linux to new disk commands
Sunday, October 8, 2017
Впечатление от презентации GooglePixel2
и немного других продуктов.
Гугл решил перестать мерятся аппаратными решениями и никаких терагерц процессоров и
терабайт хранилищ на устройствах не будет, и камеры впечатлять числами
мегапикселей уже тоже не будут. Так же всяких гибких без рамочных штук тоже не будет.
Гугл решил что нейронные сети ответ на все вопросы, и главное пользовательское
ощущение от продукта.
Как результат, если сравнивать с другими флагманами кажется, что ничего
выдающегося там нет. И в момент когда ставишь кастомную прошивку пол цены как
и не бывало. Но все же стоит топовый процессор, достаточное количество памяти
(для ближайших пары релизов андроида должно хватить) и качественная камера.
Особенности реализованы программно через нейронные сети или специфично для
официальной прошивки:
- фотографии с обоих камер - как будто снято со сдвоенных камер или профессиональной камеры, все за счет нейронных сетей, достигается через использование через сдвоенные пиксели, только в отличии от самсунг который использует эти пиксели только для улучшенного фокуса, гугл через нейросеть хочет еще получать более точные данные о глубине и направлении пришедшего света. Также камера содержит аппаратную стабилизацию изображение в добавок к программной;
- улучшенный ассистент все время слушает и больше фич;
- полная оффлайн база слепков музыки и без соединения на заблокированном экране показывает музыку которая сейчас слышна;
- одна карточка виртуальная и одна физическая SIM карта.
Разницы в аппаратной части между обычной и XL версией нет, только размер
экрана и в топовой версии углы экрана надкусаны.
И относительно sdcard и 3,5 разъема для наушников, гарантировать скорость
общения с внешней картой сложно и встроенная emmc все же на порядок быстрее. И разъем для наушников это скорее атавизм, тоже можно получить через usb-C
разъем и тогда DAC будет именно в наушниках и каната вместо провода больше
не нужно.
Ну и микробы переводчики больше тоже не нужны, гугл предлагает наушники переводчики.
И ноутбук тоже теперь обладает достаточным объемом диска (512Gb SSD) чтобы считаться ноутбуком, правда он больше какой-то трансформер и его можно вывернуть и получить планшет. А google home следит за устройствами и через нейронную сеть решает как лучше сформировать луч к устройству.
Tuesday, July 25, 2017
Create wagon for netconf
On separate centos machine(if you use centos as base for cloudify manager).
Prepare external python packages:
- sudo yum install -y epel-release
- sudo yum install -y python-pip python-setuptools python-pip python-wheel python-setuptools python-virtualenv
Install packages for lxml dependencies:
- sudo yum install -y python-devel gcc-c++ gcc libxslt-devel libxml2-devel zlib-devel libffi-devel openssl-devel
Install wagon environment:
- mkdir wagon
- virtualenv wagon
- cd wagon
- . bin/activate
- pip install --upgrade pip
- pip install wagon
Create wagon:
- wagon create -t tar.gz https://github.com/cloudify-cosmo/cloudify-netconf-plugin/archive/0.2.0.zip
On Manager:
- sudo yum install -y openssl libxml2 libxslt
Saturday, August 1, 2015
SSD firmware update
Если судить по последним сообщениям проблема с последней прошивкой
связанна с реализацией raid в ядре linux, поэтому обновление должно
быть безопасно для обычных пользователей.
Samsung более не распространяет архив с кодом для обновления.
Вместо него предлагая образ для cdrom, но если его записать на flash он
не распознаётся как загрузочная. Поэтому для обновления нужно поступить
немного по другому:
- bunzip2 FreeDOS-1.1-memstick-2-256M.img.bz2
- dd if=FreeDOS-1.1-memstick-2-256M.img of=/dev/sdb bs=512k
- mount -t auto -o loop Samsung_SSD_840_EVO_EXT0DB6Q.iso /media/usb1/
- mount -t auto -o loop /media/usb1/isolinux/btdsk.img /media/usb2/
- mount -t auto /dev/sdb1 /media/usb0/
- cp /media/usb2/samsung/ /media/usb0/ -vr
- umount /media/usb2/
- umount /media/usb1/
- umount /media/usb0/
- sync
Thursday, May 21, 2015
DDOS vs CDN
Текущие методики чистки трафика от паразитного как то DDOS или накручивание счетчиков представляют собой правила на блокирование трафика по регионам адресов и дополнительные проверки на живость пользователя через капчи даже скрытое от пользователя когда браузер сам высчитывает какую-то магию или проверку на какие-то специфичные свойства браузера - куки в local storage или флеше, теги в кешируемом содержимом.
Эти способы имеют не очень приглядные особенности - заблокировав людей по принципу присутствия включенного js или флеша, сразу отбрасывают людей с выключенным js или если сбойнул какой-то код или мобильных пользователей с альтернативными браузерами. При этом желающих обойти эту проблему решение лежит на поверхности - разобраться что куда ставиться и с эмулировать или запустить эмуляцию всего браузера и или если есть доступ к банерной системе - грузить этот сайт вместе со своим банером на пользовательских системах.
При ограничении трафика по адресу вы сразу отбрасываете пользователей с этого региона и теряете часть добросовестных пользователей, в случае тора для сайтов связанных с образовательной деятельностью или обсуждающих какие-то проблемы общества - мы теряем наиболее активных пользователей которым из-за ограничение трафика провайдером или из желания сохранить конфиденциальность своих интересов от третьих лиц.
Возможным решением таких проблем было бы максимальная кешируемость страниц с информацией с попыткой по максиму использовать CDN и лимитация трафика по объёму по регионам и выполнение проверок на живость только на этапе заполнения форм, когда js уже может быть жизненно важен для работоспособности.
Sunday, March 22, 2015
SSD performance
SSD диски SAMSUNG 840 EVO имеют неприятную особенность деградации производительности -
по изначальной спецификации скорость чтения записи должна быть на уровне
400-450 Mb/s, но современем скорость падает до 100Mb/s. Или совсем
запущенные случаях до 30 для случая 0,5Tb записвнных блоков для 240Gb
диска.
Возможные причины данного поведения:
- скрываются во внутренней структуре дисков когда диск состоит из TLC памяти и треть которой используется как кеш в виде SLC, что позволяет ускорить работу диска. Как следствие метод ускорения перенести в этот кеш наиболее часто используемые области;
- не достаточно эффективная работа TRIM для записи информации нужно полностью очищенные области памяти так как перезапись нескольких байт не поддерживается в флеш памяти;
- особенности процесса поддержки равномерного износа ячеек когда каждая следующая операция записи идет в следующий очищенную область памяти и при падении заряда в ячейках памяти при чтении эти данные переносятся в новую область а старая переноситься в буфер свободных областей и так по кругу.
- особенности чтения многоуровневой памяти - когда уровень заряда памяти постепенно падает и нужно несколько раз прочитать информацию с различными уровнями усиления пока не совпадут контрольные суммы.
Возможный способ решения этих особеностей предположительно используемый
утилитой самсунга для востановления производительности:
перечитать все заполненые области диска и сохранить уровни усиления
для стабильного чтения с ячеек и перенести плохо читающиеся области в
новые области памяти. Все свободные области принудительно сбросить чтобы
подготовить для последующей записи.
Для запуска этой утилиты с usb диска нужно подготовить флешку таким образом:
- скачать freedos и записать на флешку;
- скачать утилиту для восстановления производительности Performance Restoration Software и записать на тот же диск;
- загрузиться с флешки без загрузки драйверов и запустить утилиту, скопированную на предыдущем шаге;
- выключить компьютер, не перегружаться, а именно выключить. Это нужно чтобы все буферы сбросились и диск перечитал прошивку. ( freedos поддерживает poweroff команду ).
После этих действий производительность возвращается в заявленные производителем рамки. Для быстрой проверки можно запустить: hdparm -tT /dev/sda
Sunday, December 14, 2014
Пиринговый браузер
Bittorent планирует выпустить браузер базирующийся на использовании пиринга для получения данных с сайтов, возможно такая идея имеет некоторые затруднения:
- популярность, нужно получить достаточный процент использования, чтобы выйти на уровень эффективности технологии и как следствие требуются плагины для основных браузеров или модуль проксирования для поддержки остальных браузеров;
- при кажущейся приватности: сайт и провайдер теряют к какой-то степени возможность контроля за трафиком, переходя в ранг трекеров, но в тоже время все соседи с которых идет скачивание контента начинают видеть хоть и частично весь трафик. И появляются проблемы с https/http 2.0 - загнать такой трафик в пиринговую сеть сложно так как каждый пакет шифруется ключом зависящим от сессии и как следствие его не расшариш без сессии нужны надежные обходные пути.
Saturday, January 4, 2014
Proxy и маршрутизация
Нет предела совершенству.
Оптимизация трафика на уровне прокси имеет несколько ограничений, если верить данным с chrome beta на мобильном телефоне, он смог уменьшить затраты трафика на 65% для сайтов благодаря тому что пропускал трафик через свои сервера и минимизировал его. Недостатков я не заметил, но если верить статистике с httparchive - крупные сайты достигли 77 пунктов в pagespeed - что достаточно не плохо на уровне среднего уровня оптимизации и с сравнение трафика пропущенного с оптимизацией с чистым трафиком покажет достаточно не плохие результаты, подобные двойному уменьшению объёма трафика.
Но все же они тоже не спасут - если присутствует большой объем данных описывающих состояние передающихся на каждый запрос, как противоположность передачи только существенных изменений - никакая оптимизация не поможет, так как если разбить трафик на такие части:
- анонимные данные, не зависящие от клиента,
- данные специфичные для клиента,
- информация о смене состояния.
То первые два соответственно могут покрываться кешированием данных и сжатием данных, то третий случай никаким образом не уменьшишь, так как эти данные закешировать нельзя, сжать из-за динамического изменения контента качественно тоже не получится, так как эти данные описывают динамику работы сайты или другого источника контента и затраты ресурсов на генерацию этих данных скрыть уже не получится, невозможно избежать стадию анализа полученного контента, которую невозможно начать не получив полностью контент и сжатие только уменьшает негативные последствия, но не решает саму проблему.
Оптимизации вида пропустить весь трафик через общий канал с проксированием на ближайшем к клиенту сетевом оборудовании или минимизации объёма трафика пропуская его через минимальный маршрут решает проблему только частично. Вследствие того что, только прогнав максимум трафика через подобные анализаторы, мы сможем его оптимизировать, но в тоже время мы создадим единую точку отказа, так есть только один путь передачи данных и проблемы с ним лишают нас соединения полностью.
Но идея вида максимально совместного использования инфраструктуры всеми возможными видами использования канала, как например: телевиденье, мобильная связь, интернет, позволяет получить покрытие до 100%. Так как исчезает потребность установки в некоторой малопопулярной местности оборудования (сетевое оборудование, передатчиков) для всех видов связи, устанавливает один, остальные арендуют. Так же изменить принцип работы мобильной сети, когда любой трафик должен пройти до корневого оборудования, вне зависимости где находятся источники этого трафика, чтобы соединение между конечным оборудованием разных видов связи, как частный случай одного, не шло через корневые узлы, а происходило по минимально возможному маршрут, например трафик для голоса и передачи данных обменивался в рамках пары десятков километров, а управляющий трафик шел, как и раньше на корневые узлы. Что позволит получить в достаточно большую теоретическую выгоду, так как данные миновав низкоскоростной канал связи, которым является последняя миля, могут быть централизовано быть проанализированы и пущены кратчайшим путем до получателя.
Мітки:
CDN,
кэш,
оптимизация,
пока не забыл,
размышления
Friday, August 23, 2013
Фасеточные фонари
Идея навеяна системой используемой в машинах выше среднего класса когда отражатель вместе с фарой поворачивается чтобы осветить нужные участки дороги и сдвигать луч чтобы не слепить встречные авто или немного сдвигать луч при повороте.
Этого же можно добиться заменив в стандартных фарах лампочки или другой излучающий элемент такую конструкцию:
- на излучатель виде фасеточного глаза насекомых, содержащего несколько светодиодов с собственными линзами с отдельным управлением каждым светоизлучающим элементом, что позволит освещать только участки и чем на больше количество зон разбиты такие излучатели тем точнее можно регулировать освещённость. Обратную часть излучателя можно сделать не управляемым или просто обеспечивающим не сфокусированный ближний свет, так как они будут использоваться через отражатель плюс линзы на передней части. Но также нужно учитывать ограничение стандартное оптики фары когда невозможно регулировать полное направление света из-за использования дополнительных линзовых элементов на стекле фары заднего отражателя. Задний отражатель используемый в фарах можно не брать во внимание так как отбивает только обратный свет;
- две инфракрасные камеры(по возможности);
- одну обычную.
Принцип работы:
излучатель инфракрасного диапазона с двумя камерами используется как объёмный дальномер (по отличию данных изображения в стерео кадрах можно определить примерное расстояние до объектов), чтобы просканировать площадь перед автомобилем и используя дополнительно данные с обычной камеры как датчика освещённости меняя область засвеченную в фарами и яркость в этих областях чтобы создать равномерную освещённость перед автомобилем.
излучатель инфракрасного диапазона с двумя камерами используется как объёмный дальномер (по отличию данных изображения в стерео кадрах можно определить примерное расстояние до объектов), чтобы просканировать площадь перед автомобилем и используя дополнительно данные с обычной камеры как датчика освещённости меняя область засвеченную в фарами и яркость в этих областях чтобы создать равномерную освещённость перед автомобилем.
Использование не полного комплекта:
- Можно использовать обычную камеру плюс фасеточные излучатели без объёмного датчика для получения примерно равномерного освещения. Объёмный датчик только дает возможность регулировать освещённость для удаленных объектов с повышением их освещённости и минимальную освещённость как ближний свет для прилежащих, также эти датчики можно использовать для того чтобы снизить скорость перед препятствием.
- Без обычной камеры мы не можем определить общую освещённость и как следствие учесть другое внешнее освещение.
Основное достоинство такой системы отсутствие двигающихся частей и не нужны датчики положения.
Wednesday, August 21, 2013
Память
Управление памятью всегда является компромиссом между выделением памяти под все объекты с минимизацией изменения в виде cow принципа, что позволяет максимальное не блокируемое взаимодействие потоков с общей памятью и минимизацией утечек памяти. COW подход используется в языках с передачей сообщений и очень легковесными потоками - что позволит получить высокую производительность. Но память не освобождается в таких случаях до полного завершения всех процессов, потенциально имеющих возможность обратится к этой памяти, и нет возможности произвести утряску памяти без остановки всех процессов.
Для минимизации случаев, когда память уже не используется, но она освобождалась не в том порядке как выделялась, что часто бывает, так как память под результат выделяется в конце выполнения подпрограммы. Идея в том чтобы перед выполнением запомнить состояние выделения память или передать в функцию, перед окончанием выполнения, указатели на выделенные в ходе исполнения данные и переместить результат как можно ближе к предыдущей границе выделения памяти как было перед запуском под программы. Это позволяет более экономно использовать память, как пример с минимальными изменениями текущей логики выделения вызвать realloc для результата после освобождения всех ненужных объектов из памяти, что бы она пыталась переместить данные ближе к предыдущей границе (возможно, это потребует изменить внутреннюю семантику функции, так как возможно если памяти достаточно функции реального перемещения не выполняет), также это поможет, если использовалось динамическое увеличение буфера для работы при котором всегда при нехватке памяти выделялось в два раза больше, чем нужно для работы. Такая простая утряска решит проблему когда из-за большого количества повторных выделений и перемещений у нас память занята меленькими не занятыми областями, а результат далеко расположен по сравнению с изначальным выделением.
Monday, October 24, 2011
Графики на html таблицах
Маленький js код для показа графиков как html таблиц(чтобы выглядело как обычная картинка). Реализация рисования на canvas не столь интересна - так она работает не во всех броузерах - а так любой браузер может показать график с выключенной погрузкой картинок и возможно даже так мы экономим для простых картинок трафик:-)
Sunday, October 2, 2011
Создание карты для RMaps
Лучший вариант для создания карты это Mobile Atlas Creator. Все достаточно интуитивно и просто выбираешь откуда брать карту(Map Source: OpenStreetMap OsmaRender) и в какой формат сохранять(Atlas Setting:RMaps). На карте справа выбираем область нужную нам. В ZoomLevels - выбираем нужные увеличения для области, в Аtlas Content - нажимаем Add Selection. И нажимаем кнопочку CreateAtlas. Эта последовательность действительна для версии 1.8. В 1.9 - вас спросят о типе результирующего файла сразу при запуске.
Есть еще SAS.Планета - в ней много опций и карт - но очень не интуитивный интерфейс создание офлайн версий. Первая проще и умет именно то что нужно.
Tuesday, December 21, 2010
Магия глубины
На прошлых выходных мне случайно попалась ссылка на интересный сайтик, который долго искал - на нем предлагаются драйвера для Windows для поддержки стереоскопичного 3d. Когда то лет 5 назад у уже видел ссылку на подобную функциональность, она включалась редактором реестра для Nvidia карт, но они ее почему-то удалили. Теперь опять в дровах она появилась, но опять для Nvidia и для топовых карт, это не является достаточным основанием, как по мне менять свои компьютер с ATI видеокартой. Вот теперь эту функциональность можно посмотреть на любой видео карте. Правда некоторые игры имеют возможность самостоятельно создавать картинку с искажениями цветов нужные для анаглифных очков, но хотелось везде и сейчас.
И вот на какие мысли это меня натолкуно:
На уровне драйверов это приводит в теории к двукратному увеличению нагрузки для видеокарты, так как просчитывается отдельные изображения для каждого глаза. Но при этом очень большое количество данных просто пересчитывается впустую, так как для дальних планов(где различия из-за расстояния между глазами ниже пикселя) данные расчеты выполняются в общем-то в пустую. На уровне игрового движка в теории это можно минимизировать - просчитать какие объекты видны обоим глазам (множество того что они видят - почти полностью одно и тоже).
Это в принципе равнозначно тому, что у обоих кадров подобны буферы глубины кроме близко расположенных объектов. И если генерировать сначала буфер глубины для далеких объектов, там где разница в отображении для разных глаз меньше пикселя, то загружая эти данные в буфер глубины мы резко сокращаем количество расчетов цвета и для точек, так как все дальние точки уже учтены на этом буфере. Или можно брать кадр с расстоянием до точек для одного глаза и убирая все точки ближе определенного минимума- мы получим исходные данные для второго глаза. Правда можно еще учитывая данные о расстоянии немного сдвигать изображения для каждого глаза - но это получается какая-то косоглазая глубина.
Если идти далее можно предположить что герои в играх не умеют моментально резко передвигаться на большие расстояния и можно немного схитрить и ускорить графику не удаляя полностью весь буфер, а только близ лежащие точки. Но тут могут быть проблемы, если изображение начнет удаляться или поворачиваться - у нас то в буфере не будет ошибок, если пользователь идет только вперед и объекты только приближаются - в общем без сложного анализа не обойтись - например делать грубый слепок для маленького разрешения и сравнивать их перед использованием старой матрицы - если точки только приблизились без изменения цвета, то все нормально, но вот если нет начнем пересчет.
На уровне игрового движка можно сделать карты глубины для больших расстояний для всех круговых углов обзора и использовать ее как тестуру по границам доступного в течении ближайшего пространства, тогда можно подправляя при приближении к этим границам, добиться возможности место расчета далеких объектов просто поставлять большую текстуру - думаю это снимает проблемы больших пространств, где нужно пересчитать все что может попасть в область видимости. Подобные текстуры, как я знаю, используются в Quake2 для неба, но они статичны. Я думаю это резко сокращает количество полигонов.
Может так и делают и я что-то упустил?
Sunday, September 5, 2010
Псевдослучайное сжатие
Пост который я давно хотел написать,
и пишу чтобы не забыть...
Это было давно, как теперь кажется, я учился в университете и полдня мне рассказывали интересные штуки(кроме случаев когда рассказывали не очень).
И на предмете защита информации, или как-то подобно называвшемся, очень часто предметы имели длинные названия, которые все сокращали до очень кратких фраз, была у нас тема псевдослучайные последовательности на основе xor и регистров сдвига. Это очень простые по логике устройства умевшие генерировать n-1 чисел, где n это 2 в степени разрядности регистра сдвига. Почему на одно число меньше, если это очень хорошее число установить в регистре сдвига, то он будет всегда выдавать только его. Все остальные числа спокойно переходили одно в другое по случайному закону, но всегда по одной последовательности. Ну зато они и псевдослучайная последовательность. Разнообразие этих генераторов немного все таки ограничено, так некоторые варианты, как я помню можно упростить до более простых.
Ну так вот нужно было по части последовательности определить конфигурацию генератора. Для этого нужна половина максимального периода и провести какие-то сложные вычисления с использованием мнимой единицы. У меня что-то эти вычисления не сходились. Поэтому я решил пойти по другому пути придумать свой алгоритм. На бумаге он очень хорошо сходился и главное давал результат гораздо быстрее сложных математических расчетов.
Ну так вот нужно было по части последовательности определить конфигурацию генератора. Для этого нужна половина максимального периода и провести какие-то сложные вычисления с использованием мнимой единицы. У меня что-то эти вычисления не сходились. Поэтому я решил пойти по другому пути придумать свой алгоритм. На бумаге он очень хорошо сходился и главное давал результат гораздо быстрее сложных математических расчетов.
Он заключался как я помню в том чтобы выписать эту всю последовательность в виде треугольника, так как в качестве результата всегда выдавалось полное содержимое регистра сдвига без изменений. То-есть в первой строке первый известное состояние когда известны все биты в регистре, в следующем со сдвигом на один разряд, неизвестен 1 бит. И так до конечного состояния. Теперь предполагая о предположительной длине этого регистра сдвига, в моем случае это было просто, я знал что длина исходных данных равна половине полной последовательности и мог четко предположить, что регистр сдвига будет определенной длины. Хотя это в общем-то особого значения так как этот алгоритм можно использовать и для неизвестной длины цепочки, только корректируя результирующую формулу. В этом случае - нужно выполнить полный перебор всех возможных значений формулы от минимального до максимально возможной разрядности. Что хорошо для медленной скорости передачи исходной последовательности, но для случае если скорость передачи сравнима со скоростью пересчета то смысла в этом алгоритме нет, он не дает той-же скорости как исходный классический метод с мнимыми числами.
После того как выписали - вычитаем из первой строки вторую(в общем-то для данной сложения по модулю 2 это равнозначно сложению.) И перебираем какие значения формул настроек генератора могут выдать подобный бит, нам их при половине полной последовательности хватит так она всегда больше чем разрядность регистра, кроме совсем тривиальных случаев.
Как я выше указал мы берем от совсем минимальной длины регистра сдвига до максимально возможной для данной последовательности - мы где-то можем примерно проверить разрядность до длины полученной последовательности-2. Причина в том что на полной последовательности мы ничего проверить не можем, на -1 мы можем хоть уже делать предположения, о том какие настройки возможны, на -2 можем начать отбрасывать точно не подходящие и прогнозировать множество возможных вариантов. Но так как мы начинаем с минимального - мы делаем предположение основываясь множестве уравнений полученных вычитанием верхней строки из строки расположенной на 1 строку ниже. Чем длиннее предполагаемая разрядность, тем меньше уравнений и больше множество вариантов. И начиная с минимальной разрядности мы отбрасываем варианты.
В моем случае для простых случаев в рамках 4 бита регистр, 8 бит полупоследовательность - это выполняется быстрее и по сложности проще. Но зато благодаря этому я нашел пару неточностей в решениях полученных другими (были возможны более короткие регистры) и главное сдал лабу.
И вот мысль - сейчас все алгоритмы сжатия основываются на нахождении повторяемости - а в данном случае полностью на оборот, чем непоследовательное тем лучше. И задание только получить начальное значение и формулу регистра сдвига.
P.S.: Я мог конечно что-то забыть и здесь есть неточности, но все же пока все не забыл, постарался максимально правильно все описать.
После того как выписали - вычитаем из первой строки вторую(в общем-то для данной сложения по модулю 2 это равнозначно сложению.) И перебираем какие значения формул настроек генератора могут выдать подобный бит, нам их при половине полной последовательности хватит так она всегда больше чем разрядность регистра, кроме совсем тривиальных случаев.
Как я выше указал мы берем от совсем минимальной длины регистра сдвига до максимально возможной для данной последовательности - мы где-то можем примерно проверить разрядность до длины полученной последовательности-2. Причина в том что на полной последовательности мы ничего проверить не можем, на -1 мы можем хоть уже делать предположения, о том какие настройки возможны, на -2 можем начать отбрасывать точно не подходящие и прогнозировать множество возможных вариантов. Но так как мы начинаем с минимального - мы делаем предположение основываясь множестве уравнений полученных вычитанием верхней строки из строки расположенной на 1 строку ниже. Чем длиннее предполагаемая разрядность, тем меньше уравнений и больше множество вариантов. И начиная с минимальной разрядности мы отбрасываем варианты.
В моем случае для простых случаев в рамках 4 бита регистр, 8 бит полупоследовательность - это выполняется быстрее и по сложности проще. Но зато благодаря этому я нашел пару неточностей в решениях полученных другими (были возможны более короткие регистры) и главное сдал лабу.
И вот мысль - сейчас все алгоритмы сжатия основываются на нахождении повторяемости - а в данном случае полностью на оборот, чем непоследовательное тем лучше. И задание только получить начальное значение и формулу регистра сдвига.
P.S.: Я мог конечно что-то забыть и здесь есть неточности, но все же пока все не забыл, постарался максимально правильно все описать.
Tuesday, July 28, 2009
Толстенный клиент
Пока не забыл, или помощь другим понять как все работает.
Описание архитектуры толстого клиента к разработке которого я был причастен. Данное произведение можно разбить на две части: интерфейс пользователя и и система связи с сервером и хранения разнообразных бизнес сущнотей. Все писалось и переписывалось несколько раз в связи с изменениями требований, и как следствие система немного не идеально выглядит, но вполне нормально работает (выполняет возложенную на нее роль). Описание содержит, то состояние архитектуры клиента, каким он был, когда я отвечал за его разработку, и может не соответствовать текущему состоянию.Основные характеристики:
- полностью написан на C#;
- есть возможность конструировать и редактировать отображения внутри приложения;
- протокол взаимодействия полностью основан на передача XML через HTTP;
- может при запуске после регистрации полностью обновить справочники и загрузить новую версию самого себя и предложить переустановить;
- есть возможность удаленного подключения к компоненту связи с сервером и просмотра рабочего стола пользователя(удаленное управления и debug), позволяет разобраться с проблемами клиента, если он в локальной сети, работает только с разрешения пользователя(пункт меню в трее);
- полностью динамическая генерация визуальных форм на основе xml.
Подсистема отображения
- Общается с подсистемой связи с сервером и хранения словарей через протокол описанный в За и Против URI-based interface.
- общие принципы описаны здесь.
Система разбита не несколько частей:
- логика работы с динамическим интерфейсом, позволяет сконструировать компоненты на основе их описания в xml (сериализованного в объекты, но более простые чем полное описание компонента Windows Forms c некоторыми дополнительными свойствами);
- класс простейшей формы - Конструктор принимает ссылку на уже загруженные описания всех форм (словарь визуальных элементов) и ссылку на компонент связи с сервером (тот который имеет интерфейс на основе URI), содержит свойство текущая отображенная форма, позволяет узнать и изменить текущую отображенную форму. Также содержит внутренние виртуальные функции вызываемые при смене отображения, возврата делегата для события и получения списка для компонента с определенным тегом. Общий принцип работы этого компонента: при получении события о смене формы, получить описание новой формы, представляет собой список мета-компонент и их позиций с описанием расположения на форме. Все компоненты которые отсутствуют на новой форме делаются скрытыми. Мета-компоненты (содержат простые компоненты: кнопочки, поля для ввода) отсутствующие на форме создаются - через вызов виртуальной функции которая должна вернуть этот компонент (в базовом классе она ищет описание компонента в словаре визуальных элементов), в этой функции можно добавлять нестандартные компоненты, которые невозможно описать, как простейший элемент или реализовать привязку начальных обработчиков к элементам. При создании нового элемента ему привязывается обработчик полученный из виртуальной функции, которую должны все потомки перегрузить, чтобы обрабатывать специфическую для тега(идентификатора элемента) логику. (К тегу привязывает делегат вызываемый по событию смены содержимого элемента). Сбрасывается привязанный контент в элементе - вызывается виртуальная функция, которая возвращает список по умолчанию для элемента, который устанавливается (все элементы имеют свойство список по содержимого). Затем вызывается виртуальная функция для сообщения всем потомкам этого класса о том, что сменился вид отображения.
- Наследники предыдущего - реализуют вся логику реакции на смены отображения и содержимого. При смене содержимого элемента вызывается делегат в котором выполняется специфическая для данного элемента(тега) логика, например перегрузить содержимое элемента, так как связь с базой осуществляется через URI, то формируется запрос содержащий для простой логики тег изменившегося элемента и зависимые от него с значениями выбранными пользователем и передается на обработку которая возвращает список который сразу можно присвоить элементу. Для некоторых сложных элементов с циклическими зависимостями в классах есть булевские переменные состояния которые блокируют циклический вызов обработчиков. Основная сложность для простых элементов - для специфичного тега всегда одна логика(один обработчик) - и как следствие все одинаковые элементы всегда работают одинаково, и нужно помнить, что для специфичной логики лучше создавать новый тег. (Баги в этой логике - на новой форме с элементами у которых совпал тег с прежним значением(например: марка) будет вести себя по старой логике и сбрасывать значение модели - и можно долго искать причину сброса модели. В общем нужно четко следить за соответствием предполагаемой сущности и тегом элемента к которому привязываешься. И в логике обработке события быть готовым, что какого-то элемента не окажется.) Для упрощения отображения сущностей, каждый объект сущности имеет функции устанавливающие значение элементов сущности в зависимости от тега, можно пройтись по списку отображенных тегов на форме и получить значение компонента из сущности по тегу компонента, в этих функциях можно также преобразовывать значения элементов и тегов(если значение не текстовое или не четко преобразуется в элемент-значение). Для компонентов логику которых сложно отобразить через событие смены содержимого - список (например: таблица) - можно при смене отображения добавлять нужные обработчики и удалять лишние. (Эти элементы добавляются через перегрузку виртуальной функции поиска мета-компонента). При удалении элемента(случается при превышении количества скрытых элементов) - отвязываются все обработчики(опять таки через виртуальные функции - можно при желании перегрузить). Также остался атавизм - описание мета-компонента через UserControl, для таких форм существует возможность указать еще и отображение внутри элемента - ранее использовалось для сложных компонентов с различным расположением элементов в зависимости от формы, сейчас почти негде не используется, но возможность добавления таких мета-компонентов есть. Основной их недостаток их невозможно отредактировать внутри программы, нужно перекомпилироать исходники;
- Форма - содержит одного из наследников выше указанного класса. Должна содержать 2 основных обработчика - привязка делегата для выполнения команды выполнить в основной программе описанной через URI и функцию вызова команды в элементе отображения выполнить в починенном (перегружаемая функция в предыдущем классе);
- Программа - должна создать(загрузить) описание форм и связь с сервером и создать контролер окон. В нем вызвать команду создать одно окно с формой по умолчанию полученное из компонента связи сервером. Также есть простейшее меню в system tray - для простейших команд, можно передать различные команды компонентам: скрыть все окна, отключиться от сервера, разрешить удаленное управление программой и обновить справочники(внутреннюю базу);
- Контролер окон - позволяет создать окно выполнив команду выполнить в основной программе передав в окно через вызовов выполнить в починенном команду, закрыть все окна с определенным отображением(реализовано через вызовы в починенных окнах - закройся, если ты...), закрыть окно - обычно подчинеенное окно просит систему об этом.
Связь с сервером:
- Содержит описание всех сущностей;
- отвечает за сериализацию и передачу объектов на сервер;
- позволяет патчить XML(нужно при частичном обновлении справочников, позволяет избежать копирования всех сущностей перед наложением изменений, чтобы откатиться назад);
- также выполняет всю бизнес логику общения с сервером;
- может выполнять запросы синхронно и асинхронно(сейчас используется первый метод). При асинхронном методе возвращается номер сообщения по которому можно узнать результат и можно добавлять делегаты для реакции на завершение обработки;
- реализует процедуру регистрации на сервере;
- реализует процедуру выборки сущности из словаря (хранилища сущностей) по нечетким правилам(подобие SELECT) и кэширование результатов.
Вот в общем-то и вся логика:-)
Subscribe to:
Posts (Atom)