Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

Возврат к списку

Разработчики ПО для высоконагруженных сайтов научили решение сохранять кэш при перезагрузке системы

09.10.2019     

Разработчики выпустили несколько новых версий Memcached 1.5.18 и 1.5.19 – программный комплекс позволяет кэшировать информацию в оперативной памяти. ПО актуально для сайтов с высокой нагрузкой.

Главная «фишка» версии 1.5.18 – сохранение содержимого кэша при перезагрузке системы. В 1.5.19 расширили текстовый протокол по умолчанию.

Что такое Memcached

Memcached – высокопроизводительная система хранения данных в оперативной памяти сервера. Систему разработали создатели LiveJournal для собственных нужд. Решение повышает скорость загрузки сайтов и оптимизирует их производительность. Memcached можно использовать в случае повышенной нагрузки на основную СУБД и дисковую подсистему.

Основа программы – хеш-таблица с парами «ключ-значение». Данные из хеш-таблиц позволяют моментально определять сервер, на котором хранится информация. А значит, быстрее находить данные в кэше и извлекать их.

Сервис написан на С и является кроссплатформенным. Клиентские библиотеки ПО есть для C/C++, Python, Java, Perl, Ruby, PHP, .Net. Код Memcached распространяется под лицензией BSD.

Сохранение кэша после перезапуска

В Memcached 1.5.18 разработчики добавили так называемый «теплый кэш». Теперь содержимое кэша сохраняется между перезапусками сервиса.

Memcached 1.5.18 избавляет от появления пиков нагрузки из-за пустого серверного кэша. Когда приложение стартует, оно извлекает содержимое кэша из сохраненной копии и использует его в работе. Сайт не тратит время на сбор коллекции данных, его производительность повышается, растет стабильность доступа.

Разработчики подчеркнули: пока «теплый кэш» – экспериментальная функция, и его стоит использовать осторожно. Они также призвали делиться отзывами о новой функции, чтобы улучшить продукт.

Поддержка устройств постоянной памяти

Начиная с Memcached 1.5.18, для кэширования данных можно использовать не только оперативную, но и постоянную память (persistent-memory, например NVDIMM) через их монтирование с использованием DAX (прямой доступ к ФС в обход страничного кэша без применения уровня блочных устройств).

Хеш-таблица с парами «ключ-значение», записи о соединениях и другая информация по-прежнему будут храниться в оперативной памяти. До перезагрузки эти данные копируются в файл .mmap.

После перезапуска Memcached данные извлекаются из .mmap-файла в оперативную память. Демон исправляет внутренние указатели и восстанавливает хэш-таблицу. Для небольших сайтов это занимает несколько секунд. Но если у вас в памяти около миллиарда элементов, то готовьтесь подождать 2-3 минуты.

«Теплый кеш» помогает, даже если приложение аварийно перезагрузится. Так как основной массив данных сохранится в .mmap-файле, потеряются только самые свежие данные, а значит, сайты будут загружаться быстрее.

Расширение текстового протокола

В Memcached 1.5.19 появился дополнительный набор метакоманд в текстовом протоколе, доступном по умолчанию. Добавили преимущественно функции, которые раньше работали только для бинарного протокола.

Метакоманды также стоит считать экспериментальными. По крайней мере, в нескольких следующих релизах.

Чем это может быть полезно в 1С

На Инфостарте можно найти решения, использующие Memcached для более быстрого получения данных из 1С через протокол XML-RPC (для 7.7 и 1С++) и через протокол OData (для 8.3).

В частности, решение «PHP-драйвер к OData-интерфейсу 8.3» активно развивается на GitHub, и позволяет кэшировать данные из 1С для интеграции с сайтами, использующими в качестве СУБД PostgreSQL, MSSQL и MySQL.
 

Подробное описание новых версий проекта Memcached на GitHub



Источник: https://infostart.ru/journal/news/tekhnologii/razrabotchiki-po-dlya-vysokonagruzhennykh-saytov-nauchili-reshenie-sokhranyat-kesh-pri-perezagruzke-_1132964/
Автор:
Ксения Шестакова Обозреватель


Комментарии
Избранное Подписка Сортировка: Древо
1. VmvLer 09.10.19 18:00 Сейчас в теме
Перевел заголовок в свое понимание
Разработчики ПО для высоконагруженных сайтов создали механизм сохранения кэша при перезагрузке системы


ну а чо, хорошая станция сейчас от 32 гиг ОП, так что можно толкать туда кеши - вдруг никто и не заметит или поставят 128 гиг.
2. IssakN 3 10.10.19 09:18 Сейчас в теме
Демон исправляет внутренние указатели и восстанавливает хэш-таблицу

Просветите что за демон? На моей памяти так называли daemon tools.
3. A_Max 17 10.10.19 09:26 Сейчас в теме
(2) Термин из юникс систем ="Сервис".
4. IssakN 3 10.10.19 09:27 Сейчас в теме
(3)Благодарю. Век живи - век учись.
5. Chai Nic 142 10.10.19 16:47 Сейчас в теме
В экосистеме 1с8 подобный "теплый кэш", сохраняемый между перезапусками, пользуется очень нехорошей репутацией из-за отсутствия контроля его целостности и когерентности.. в результате "очистка кэша" стала действием номер 1 при глюках.
Оставьте свое сообщение

См. также

Нежданный релиз: Google представила версию Android 11 для разработчиков

Новость ОС Android Мобильные приложения

Google раньше обычного срока представила новую, одиннадцатую версию Android. Релиз предназначен для разработчиков – он поможет изучить особенности обновленной ОС и адаптировать приложения для нее.

сегодня в 14:49    161    VKuser24342747    0       

Новая эра: Microsoft показала Windows 10X и открыла доступ к эмулятору

Новость ОС Windows Microsoft

Windows 10 должна была стать последней в линейке. Но Microsoft изменила свои планы. Компания не только показала, как будет выглядеть новая операционная система, но и предоставила возможность протестировать основные функции Windows 10X в эмуляторе.

сегодня в 13:38    386    user1015646    4       

Впервые за восемь лет: ЦБ внес изменения в положение о блокировке счетов

Новость Банки Безопасность Центробанк

Центральный банк обновил список ситуаций, при которых транзакции могут быть признаны сомнительными. Перечень критериев изменен впервые за восемь лет.

сегодня в 11:39    255    VKuser24342747    2       

Искусственный интеллект научили редактировать «Википедию»

Новость Искусственный интеллект

Свободная энциклопедия не раз выручала каждого из нас. Но как часто вы видели пометки вроде «Источник не указан 1000 дней»? Теперь за редактирование «Википедии» взялась система искусственного интеллекта, разработанная в Массачусетском технологическом институте (МТИ). Ее научили переписывать устаревшие предложения в энциклопедии.

вчера в 17:20    353    user1015646    2       

Илон Маск говорит, что все разработки ИИ должны регулироваться, даже в Tesla

Новость Искусственный интеллект Маск

Генеральный директор SpaceX и Tesla Илон Маск заявил в своем твиттере, что все разработки в области искусственного интеллекта должны регулироваться, даже в его собственной компании.

вчера в 14:09    445    SKravchenko    7       

Жесткий конец: SSD в новых ноутбуках вытеснят HDD к концу 2020 года

Новость Прогнозы

Твердотельные накопители готовы вытеснить жесткие диски на рынке мобильных ПК. К концу 2020 года в Западной Европе все новые ноутбуки будут оснащены SSD.

26.02.2020    832    VKuser24342747    16       

Мобильную ОС от выходцев из Nokia разрешили использовать госорганам

Новость Безопасность Импортозамещение Мобильные приложения

Операционная система «Аврора» успешно прошла сертификацию ФСТЭК А4. Теперь мобильную ОС, разработанную выходцами из Nokia и выкупленную российской ОМП («Открытая мобильная платформа»), смогут использовать государственные органы и крупные компании с особыми требованиями к безопасности.

25.02.2020    630    user1015646    0       

Пулл-реквесты из консоли: вышла бета-версия утилиты GitHub CLI

Новость GitHub

Одна из главных проблем при работе с GitHub – отсутствие стандартных инструментов, которые бы позволили выполнить пулл-реквест из консоли. Но с официальной утилитой GitHub CLI можно будет забыть о необходимости установки GUI-версий или создании пулл-реквестов через веб-интерфейс.

25.02.2020    752    user1015646    0       

Чипы Intel Cascade Lake Refresh станут ответом на 7-нм AMD EPYC

Новость Intel Микропроцессоры

Intel намерен обновить свои серверные процессоры Xeon Scalable второго поколения, стремясь оказать давление на конкурента в сфере многоядерных процессоров AMD EPYC. Этот шаг может уменьшить текущую нехватку чипов на рынке.

20.02.2020    822    SKravchenko    5       

Google запретит небезопасные скачивания в Chrome

Новость Google Веб Интернет

Google будет бороться с потенциально небезопасной загрузкой файлов в браузере Chrome. Разработчики опубликовали планы по постепенному блокированию небезопасных загрузок по HTTP, начатых на защищенных HTTPS-страницах.

20.02.2020    727    user1015646    11       

Ubuntu побил Windows 10 в тесте на производительность

Новость Windows Linux

Основатель Phoronix Media и главный разработчик Phoronix Test Suite Майкл Ларабел протестировал производительность двух операционных систем – Windows 10 и предстоящего дистрибутива Ubuntu 20.04 LTS Linux на ноутбуке за 199 долларов.

19.02.2020    1481    SKravchenko    28       

Минкомсвязь разрешит Apple и Samsung разблокировать технологию Wi-Fi 6

Новость Apple Гаджеты Минкомсвязь

В России скоро может появиться возможность сертифицировать устройства с поддержкой Wi-Fi 6. Новая технология будет разблокирована на смартфонах Apple, Samsung и Huawei.

18.02.2020    1070    VKuser24342747    1       

На заводе телеграфных аппаратов в Калуге запустят производство смартфонов

Новость Гаджеты Импортозамещение

В марте 2020 года на Калужском заводе телеграфных аппаратов начнется серийный выпуск защищенных российских смартфонов и планшетов MIG S6 и MIG T8X.

17.02.2020    1150    AnastasiaKl    11       

Кто выиграет и проиграет когда Google откажется от сторонних cookies

Новость Google Веб Интернет

Google заявил, что к 2022 году Chrome перестанет принимать сторонние cookie-файлы. Попробуем выяснить, кому и чем это грозит.

17.02.2020    1027    SKravchenko    0       

Больше возможностей: представлен релиз ядра Linux 5.5

Новость Linux

Cоздатель операционной системы – Линус Торвальдс традиционно представил важное обновление ядра Linux 5.5. Работа над изменениями заняла у команды около двух месяцев.

05.02.2020    2397    user1015646    7       

Робот-бухгалтер сэкономил российской компании 50 млн рублей за год

Новость Бухучет Робототехника

В среде программистов ходит шутка о том, что в будущем целые ведомства заменит один небольшой скрипт. В «Билайне» сделали важный шаг в этом направлении: робот-бухгалтер RobBee сократил годовые расходы компании на 50 млн рублей и уже окупился.

31.01.2020    3703    user1015646    42       

Текст, написанный ИИ, впервые защитили авторским правом

Новость Развлечения, искусство, спорт Искусственный интеллект

Суд в китайском Шэньчжэне защитил авторским правом статью, созданную с помощью искусственного интеллекта. Это первый судебный прецедент, который позволяет расценивать ИИ как творческую силу. 

30.01.2020    1445    SKravchenko    6       

На рынок вышел смартфон без операционной системы

Новость Linux Гаджеты

Компания Pine Microsystems представила новый смартфон PinePhone Braveheart Edition. Устройство продается без операционной системы – установить один из дистрибутовов Linux придется самостоятельно.

28.01.2020    3152    user1015646    27       

PlayStation 5: новый логотип – новые функции

Новость Видеоигры

На пресс-конференции Sony, в рамках выставки CES 2020, компания представила логотип новой игровой консоли PlayStation 5, выпуск которой запланирован на 2020 год.

24.01.2020    2049    SKravchenko    3       

Рейтинг языков программирования TIOBE назвал самый популярный язык 2019 года

Новость Рейтинг Языки программирования

Первым, по версии составителей рейтинга TIOBE, ожидаемо стала Java, а второе место неожиданно досталось C. Серебряный призер рейтинга обогнал Python – лидера 2007, 2010 и 2018 годов. 

21.01.2020    3008    user1015646    47       

Доступно для всех: вышло приложение GitHub для Android

Новость GitHub Мобильные приложения

Крупнейший на планете хостинг репозиториев GitHub представил официальное приложение для Android. Ссылки на загрузку бета-версии получили пользователи, которые заранее оставили заявки на GitHub. 

21.01.2020    1845    user1015646    3       

Большие перемены: Google откажется от приложений для Chrome и сторонних cookies

Новость Google Интернет

Google рассказал о двух крупных изменениях в своей политике: компания перестанет поддерживать сторонние cookies в браузере Chrome и откажется от приложений для него. 

20.01.2020    2477    user1015646    1       

В России появится «медицинский» ИИ на отечественных нейропроцессорах 

Новость Искусственный интеллект Медицина Нейросети

Российские разработчики создадут программно-аппаратную базу для системы искусственного интеллекта, которую планируется использовать в медицине. Для ее создания задействуют отечественные нейропроцессоры.

17.01.2020    2276    user1015646    3       

Amazon представила библиотеку для создания приложений с применением ИИ

Новость Amazon Искусственный интеллект

Чтобы создать приложение с помощью ИИ, разработчику достаточно написать всего три строки кода. 

16.01.2020    2172    AnastasiaKl    7       

Microsoft предложила купить новый ПК вместо обновления старого до Windows 10

Новость Microsoft

Поддержка Windows 7 прекращается 14 января. Microsoft напоминает пользователям, что их устройство может не поддерживать «десятку», и рекомендует вместо обновления купить новый компьютер. 

14.01.2020    2536    VKuser24342747    20