Category: компьютеры

Category was added automatically. Read all entries about "компьютеры".

Very high load: история одного тюнинга

На сервере у одного клиента, раздаюшего видео, возникла проблема: на 5 гигабитах начинаются провалы трафика. На сервере 6 SSD, два Xeon E5 и 128 GB памяти.


Сразу на сервере запустил htop и увидел, что иногда нагрузка на всех 16 ядрах (два 8-ядерных Xeon E5) взлетает до полных 1600%, при этом красного больше, чем зеленого. Красным индицируется sys load, т.е. загрузка ядра линукса, а зеленым — сам flussonic. Это очень нездоровая ситуация, потому что нормальное соотношение должно быть хотя бы 1:10.

В моменты всплеска нагрузки до 1600% происходит срыв трафика, поэтому было принято предположение,
что надо заняться уменьшением sys части нагрузки, т.е. выяснить, почему линукс потребляет столько CPU.

Collapse )

Про unix

Удивительно как получается.

В доисторическую эпоху (годах в 70-х) куча людей пользовалась одним компьютером для разных сервисов и они имели на этом компьютере консолидированный логин, который был универсальным идентификатором для разных услуг.

Потом началось черти-что, неразбериха.

Сегодня куча пользователей сидит на одном большом распределенном компьютере из одной, двух, ста, тысячи нод и получает разные услуги под одним консолидированным логином.

Какие ещё полезные вещи может почерпнуть из древности средний современный программист? Например, узнать, как постоянно поломанные почтовые сервера перегоняют друг между другом почту и скопировать это поведение для Message Queue?

Метрики, графики, статистика

Уже почти год эрливидео умеет рисовать всякие графики: отдача по сети, количество клиентов и т.п.

Сделано было сначала в режиме «нечего думать, программировать надо», сейчас, когда мы планируем хранить глубокую историю, пришлось подумать получше.

Итак, какая ситуация вырисовывается с бесконечными метриками и замерами.

TL;DR отдельно решается задача усреднения замеров отдельных HTTP запросов до красивого графика и отдельно решается задача хранения данных для построения графиков. statsd, rrdtool, whisper(graphite), opentsdb, pulsedb.

Collapse )

UPD: сдайте свои дипломы назад, на 3-й странице обнаружена опечатка.

Я назвал равномерные ряды монотонными и это была непростительная ошибка, простите.

Бесповоротный конец компании Apple

Фирма Apple, которая многие годы делала компьютеры и телефоны в принципе не имеющие себе равных, безусловно была фирмой одного человека. Джобса не стало и Эппл наглядно подтвердила что они не могут ничего делать без Джобса, выпустив iOS7

Проблема у iOS7 даже не в том, что я успеваю набрать целое предложение до того, как она начнет кликать и отрисовывать мои буквы на экране.

Проблема у iOS7 не в том, что её активация занимает час, требует 6 раз вводить разные пароли от разных служб Apple (почему-то iCloud и Apple ID у меня спрашивали разные, а потом ещё попросили и от Facetime).

Проблема прекрасно иллюстрируется одним единственным экраном во время активации.

Надо выбрать один пункт из двух на экране и идти дальше. В iOS6 надо было нажать на один из пунктов и отправиться дальше. в iOS7 надо нажать на один из двух пунктов и нажать на появившуюся кнопку Next.

Вот эта кнопка Next — это как раз и есть начало конца фирмы, которая раньше делала продукты, до которых бесконечно далеко было всем: и микрософту, и гуглу, и сони и всем-всем-всем. Больше она их делать не может.

Спутниковый захват или головная станция на PC

В видеостриминге часто возникает задача захвата видео со спутника.

Спутник — это способ широковещания видео с постоянными издержками вещателя при неограниченном количестве клиентов. Настоящий мультикаст, который в отличие от всех наших интернетно-пакетных технологий вообще никак не зависит от количества клиентов.

Поэтому когда строится IPTV (напоминаю, что IPTV означает обычное телевидение, но по сетям локального провайдера), берут видео со спутника. Это привычный всем вариант, ещё и не требующий прокладки выделенных каналов от различных поставщиков контента.

Collapse )

серверный обман

Народ, а когда произошел такой обман с серверами?

Двухлетний десктоп на Core i5 с 4 ядрами на 3,1 ГГц работает ощутимо быстрее, чем свеженький 8-ядерный Xeon E5 на 2,0 ГГц. Нафига вообще эти зеоны нужны такие?

Дисковое чтение в эрливидео

Вот уже несколько месяцев у меня никак не получается до конца решить проблему дискового чтения в эрливидео.

Задача ставится так: надо что бы эрливидео не пытался отправлять на диск запросов больше, чем диск сможет отдать за разумное время, т.е. 5 секунд. К сожалению, жесткий диск не умеет говорить 503 overloaded, асинхронное IO особо не помогает, поэтому приходится возиться внутри бизнес-логики.

Collapse )

Обработка календаря

Мне тут подумалось, что для полного счастья при обработке календарей в компьютерах, не хватает только недель, в которых есть бессистемно выпадающие четверги или дублирующиеся подряд понедельники.

Бывают же повторные номера секунд, отчего же не бывать дням недели?

(no subject)

Мехмат, мехмат. Два аспиранта и суперкомпьютер несколько месяцев раскладывали 2^^27 на простые множители.



Понятно, что он хотел сказать, но всё же очень смешно.

(no subject)

Чем хорош эрланг: beam.smp 676% CPU — и всё без хитрого кода синхронизации и мьютексов. Просто в одном адресном пространстве обсчитывается статистика сразу на куче ядер.