Публикации по теме 'scalability'


Начало платформы для построения моделей машинного обучения Zendesk с помощью AWS Batch
Когда мы работали над Content Cues , одним из продуктов машинного обучения Zendesk, мы столкнулись с проблемой масштабируемости, связанной с ежедневным построением до 50 000 моделей машинного обучения (ML). Да, 50к моделей. Да это много! Просмотр данных поначалу нервировал. В этой статье основное внимание уделяется новой платформе для построения моделей, которую мы разработали и создали для Content Cues и уже несколько месяцев используют в производственной среде AWS Batch. От концепции..
Использование HAproxy в многоядерных средах
HAproxy - отличное решение для балансировки нагрузки, которое мы используем в Instela . Мы используем HAProxy на 8-ядерной машине без операционной системы, а также используем его для разгрузки SSL-шифрования. Хотя HAproxy является очень эффективным решением с точки зрения использования ЦП, разгрузка SSL, очевидно, требует большей мощности ЦП, поэтому использование только одного ядра может легко стать узким местом. Кроме того, мы не хотели тратить зря другие ядра и решили активировать..
2018 год может стать годом механизмов консенсуса, не основанных на лидерах
В то время как делегированное доказательство ставки получает все большее распространение в отрасли, консенсус, основанный не на лидерах, потенциально может решить серьезные проблемы на местах и ​​дать достойную борьбу. Индустрия блокчейнов предложила несколько механизмов для достижения консенсуса. Доказательство работы было первым, которое ввел Сатоши Накамото из Биткойна. В сфере платежей совершенно очевидно, что существует контрпродуктивная структура стимулов между необходимостью..
Зачем просто кешировать, когда вы можете мемоизировать (с истечением срока действия и согласованностью)
Мемоизация - это особый тип кэширования, который используется в качестве метода оптимизации программного обеспечения. Кэширование - это широко используемый метод оптимизации программного обеспечения, который используется во всех формах разработки программного обеспечения, будь то веб-сайт, мобильный телефон или даже настольный компьютер. Кэш хранит результаты операции для дальнейшего использования. Например, ваш веб-браузер, скорее всего, будет использовать кеш для более быстрой..
Параллельные вычисления с R для параллельного построения модели с использованием H2O
Параллельные вычисления с R Язык R предлагает выгодные средства, позволяющие создавать статистические модели, методы обработки и визуализации данных, но масштабирование может быть затруднено с увеличением объема данных. По умолчанию R ограничивается запуском только в одном потоке на ЦП . Если мы хотим получить более быстрые результаты или выполнять сложные задачи, нам нужно использовать некоторые пакеты, которые могут использовать преимущества нескольких ядер ЦП с нашей машины, чтобы..
Создание масштабируемых уведомлений в стиле Facebook с использованием событий, отправленных сервером, и Redis
Иногда мы хотим, чтобы сервер уведомлял клиента об изменениях. Это невозможно в традиционных веб-приложениях HTTP. В традиционных веб-приложениях клиент должен установить соединение с сервером, а затем ждать ответа от сервера. Это проблема, которую решает событие, отправленное сервером. Идея, лежащая в основе события, отправляемого сервером (SEE), заключается в том, что клиент подписывается на поток обновлений, генерируемых сервером, и уведомление отправляется клиенту всякий раз,..

Вопросы по теме 'scalability'

Можете ли вы порекомендовать базу данных, которая масштабируется горизонтально?
Как правило, сервер базы данных — это самая большая и самая дорогая коробка, которую мы должны купить, поскольку вертикальное масштабирование — единственный вариант. Существуют ли какие-либо базы данных, которые хорошо масштабируются по горизонтали...
5902 просмотров
database performance scalability
schedule 24.09.2022
Быстрый поиск текста по журналам
Вот проблема, с которой я столкнулся: у меня есть набор журналов, которые могут расти довольно быстро. Каждый день они разбиваются на отдельные файлы, и размер файлов может легко увеличиться до гигабайта. Чтобы уменьшить размер, записи старше 30...
3214 просмотров
search full-text-search scalability algorithm
schedule 11.11.2022
Что для вас означает масштабируемость?
Я опубликовал похожий вопрос о масштабируемости linq. В некоторых недавних разговорах было так много разных точек зрения на то, что на самом деле означает масштабируемость, поэтому я тоже задался этим вопросом. Что для вас означает масштабируемость?
6486 просмотров
architecture scalability
schedule 11.04.2022
Сравнение масштабируемой архитектуры веб-приложений на Java и .NET
Каковы рекомендуемые шаги для создания масштабируемых веб-/корпоративных приложений на Java и .NET? Меня больше интересует, что нужно, чтобы перейти от приложения с небольшим объемом к приложению с большим объемом (при условии отсутствия серьезных...
2248 просмотров
java .net architecture scalability
schedule 13.06.2022
Как поддерживать состояние на нескольких веб-серверах?
Могу ли я иметь несколько веб-серверов, подключенных к кластеру SQL Server, и при этом поддерживать сеанс пользователя? Я думал о различных подходах. На сайте Microsoft предлагается использовать response.redirect на «правильный» сервер. Хотя я...
2536 просмотров
architecture web-applications iis scalability
schedule 12.04.2024
Предостережения выбора / опроса по сравнению с реакторами epoll в Twisted
Все, что я прочитал и испытал (приложения на основе Tornado), наводит меня на мысль, что ePoll является естественной заменой сетей на основе Select и Poll, особенно с Twisted. Это делает меня параноиком: довольно редко за лучшую технику или...
24211 просмотров
networking scalability twisted capacity-planning
schedule 30.01.2023
обработка на стороне клиента и обработка на стороне клиента + ajax?
ищу общие советы и/или мысли... я создаю то, что, как мне кажется, больше похоже на веб-приложение, чем на веб-страницу, потому что я намереваюсь сделать его похожим на приложение Gmail, где вы оставите страницу открытой в течение всего дня,...
2662 просмотров
javascript ajax performance scalability
schedule 03.03.2024
Какова наилучшая архитектура для отслеживания изменений поля на объектах?
У нас есть веб-приложение, построенное поверх базы данных SQL. К объектам нескольких различных типов можно добавлять комментарии, и некоторые из этих объектов требуют отслеживания на уровне полей, аналогично тому, как изменения полей отслеживаются в...
7578 просмотров
sql architecture change-tracking scalability
schedule 02.11.2023
Каков предел IIS 6.0
Каков предел IIS 6.0? например, если мне нужно разместить 100 000 или 200 000 веб-сайтов на IIS 6.0, сколько машин мне потребуется? или по какой-то причине IIS7 будет лучшим выбором в этом случае?
337 просмотров
iis scalability iis-6
schedule 08.04.2022
Масштабируемая модель базы данных электронной коммерции
Я хотел бы понять масштабируемость базы данных, поэтому я только что услышал доклад о навыках высокомасштабируемых веб-приложений. http://techportal.inviqa.com/2010/03/02/habits-of-highly-scalable-web-applications/ На нем докладчики в основном...
1079 просмотров
nosql database web-applications scalability
schedule 01.02.2022
Облачные вычисления: научитесь автоматически масштабировать сервер вверх/вниз
Я действительно впечатлен мощью облачных вычислений, когда речь идет о возможности масштабирования ваших объектов в зависимости от вашей нагрузки. Как я могу изменить свою парадигму и научиться писать свои приложения таким образом? Написать один...
463 просмотров
cloud high-availability scalability
schedule 25.02.2024
Масштабирование нескольких запросов HttpWebRequests?
Я создаю серверное приложение, которому необходимо на постоянной основе выполнять множество HTTP-запросов к паре других серверов. В настоящее время я в основном настраиваю около 30 потоков и постоянно запускаю HttpWebRequests синхронно в каждом...
1122 просмотров
c# httpwebrequest scalability
schedule 31.03.2022
Как сбалансировать (масштабировать) нагрузку простое приложение PHP?
Я постоянно читаю в Интернете, как важно правильно спроектировать мои PHP-приложения, чтобы они могли масштабироваться. Я создал простую / небольшую CMS, написанную на PHP (подумайте о Wordpress, но еще проще). По сути, у меня есть такие...
3282 просмотров
load-balancing scalability
schedule 25.10.2023
Должен ли кто-то, у кого нет опыта работы с PHP, использовать такие фреймворки, как CakePHP или Symfony?
У меня есть простой сайт для разработки, и я хотел бы изучать PHP на ходу. Я хочу, чтобы сайт был безопасным, масштабируемым и простым в обслуживании. Должен ли я изучать фреймворк и PHP одновременно? Если я буду строить из фреймворка, в игре будет...
2006 просмотров
php security cakephp scalability symfony1
schedule 28.03.2022
Что СЛИШКОМ БОЛЬШОЕ для базы данных?
У меня есть приятель, который запускает веб-приложение для людей, выставляющих машины на продажу. Им пользуются несколько тысяч клиентов, и у каждого клиента есть сотни, а иногда и тысячи строк в базе данных (некоторые из них существуют в течение 5...
2089 просмотров
database scalability database-performance
schedule 30.10.2023
Как масштабируемо развернуть сайт [Ruby on Rails]?
Я работаю над своим [первым] стартапом уже месяц, и хотя до альфа-релиза, вероятно, еще как минимум месяц, я хочу знать, как правильно его развернуть. Сайт будет иметь первоначальную высокую нагрузку (сеть + ЦП) для нового пользователя, поэтому я...
1891 просмотров
ruby-on-rails scalability linode
schedule 31.05.2023
Использование Java в серверной части веб-приложения и php в промежуточном программном обеспечении
Я с нетерпением жду разработки социального веб-приложения с использованием Java в бэкэнде (для поддержки операций из базы данных Cassandra) и php в промежуточном программном обеспечении. Выгоден ли такой подход? Есть ли недостатки вышеописанной...
5043 просмотров
java php architecture scalability jsp
schedule 26.10.2022
Архитектура сервера для масштабируемой игры Facebook
Несколько друзей и я написали игру для Facebook, не особо задумываясь о фактической архитектуре игры — и представьте наше удивление, когда мы достигли более 300 000 уникальных игроков в месяц и когда наши серверы расплавились. Сейчас мы работаем...
793 просмотров
facebook .net caching cluster-computing scalability
schedule 07.04.2022
Кэширование данных из базы данных MySQL - техника и соответствующий контейнер STL?
Я разрабатываю систему кэширования данных, в которой одновременно может храниться очень большое количество записей, и мне нужно знать, какой stl-контейнер использовать и как его использовать. Приложение заключается в том, что у меня есть чрезвычайно...
616 просмотров
mysql c++ database scalability stl
schedule 02.06.2023
django iis6 с pyisapie и sqlite3 на рабочем сервере
Я использую Django на Windows 2003 Server SP2 и IIS 6 с pyisapi. Вы рекомендуете использовать sqlite3 на этом рабочем сервере? Каковы преимущества и недостатки использования sqlite3 на рабочем сервере в целом и особенно на Windows 2003 Server....
158 просмотров
sqlite scalability iis-6
schedule 01.05.2022