диспетчеризация

Архитектура процессоров UltraSPARC Деловая газета CitCity.ruCITKIT.ru - все об Open SourceФорумыВсе публикацииУчебный центрКурилка CITForum на CD Подписка на новости портала Море(!) аналитической информации! :: CITFORUM.RUIT-консалтингSoftware EngineeringПрограммированиеСУБДБезопасностьInternetСетиОперационные системыHardware 25.04.2008WWWCITForum.ruНовости мира IT: 25.04 - Вышел Linux-дистрибутив Ubuntu 8.04 «Hardy Heron»25.04 - Московское метро готово к оплате кредитками диспетчеризация мобильниками25.04 - Скотланд-Ярд будет искать преступников в социальных сетях25.04 - Sun готовится открыть оставшиеся компоненты Java25.04 - Microsoft обнадежила пользователей XP25.04 - Контент диспетчеризация оформление веб-сайтов могут быть признаны объектом авторского права24.04 - Начала работу конференция "Корпоративные базы данных-2008"24.04 - Мамут выкупил долю Вексельберга в "Корбине телеком"24.04 - У Google появились мобильные баннеры24.04 - Квартальная выручка Apple бьет рекорды24.04 - Квартальная прибыль Amazon.com выросла почти на треть24.04 - Microsoft причислила Skype к вредоносным программам24.04 - Зафиксирована очередная массированная хакерская атака24.04 - AMD начала поставки новых трехъядерных процессоров раньше времени24.04 - У Apple появятся свои процессоры24.04 - Почта России интересуется свободным софтом24.04 - Начал вещание мобильный телеканал «Спартак ТВ»24.04 - Microsoft представила веб-сервис Live Mesh24.04 - Microsoft выпустила программу голосового поиска для коммуникаторов BlackBerry24.04 - Рекламодатель подал в суд на компанию Google23.04 - Глава Samsung принял решение уйти в отставку23.04 - Предложен новый способ защиты серверов от распределенных DoS-атак23.04 - Американцы выпустили золотой Macbook Air23.04 - Dell показала маленький бамбуковый экопьютер23.04 - «Евросеть» запустила новый проект SIP-телефонии23.04 - Apple разблокирует iPhone для итальянцев23.04 - Компьютерные клубы ждут массовые зачистки23.04 - Гомосексуалисты - самые активные блоггеры23.04 - МТС станет проводным провайдером23.04 - Facebook рекомендует пользователям рекламировать сеть при помощи вирусного маркетингаВсе новости на CitCity.ru Генеральный спонсорТехническая конференция Корпоративные базы данных – 2008 Москва, 24–25 апреля При поддержке РФФИ СпонсорАрхитектура процессоров UltraSPARC В.Шнитман Институт системного программирования PAH vzs@ivann.delta.msk.suЭкскурс в историюАрхитектура UltraSPARCОсновные критерии разработкиСтруктура процессора UltraSPARC-IУстройство предварительной выборки диспетчеризация диспетчеризации командКэш-память командОрганизация конвейераУстройство загрузки/записи (LSU)Устройство плавающей точки (FPU)Графическое устройство (GRU)Устройство управления памятью (MMU)Управление интерфейсом памяти (MIU)Кэш-память данныхУправление внешней кэш-памятьюТиповой процессорный модуль UltraSPARC-1Архитектура системной шины UPAНабор графических командПервые системы на базе нового процессораЛитератураПроцессорная архитектура SPARC (Scalable Processor Architecture)компании Sun Microsystems является одной из распространенных среди RISC-системС процессоры с архитектурой SPARC лицензированы диспетчеризация изготавливаются по спецификациям компании несколькими производителями: Texas Instruments, Fujitsu, LSI Logic, Bipolar International Technology, Philips, Cypress Semiconductor диспетчеризация RossTechnologies. Эти компании осуществляют поставки процессоров SPARC не только самой Sun Microsystems, но диспетчеризация другим известным производителям вычислительных систем, например Solbourne, Toshiba, Matsushita диспетчеризация Tatung. Экскурс в историюПервоначально архитектура SPARC была разработана с целью упрощения реализации32-битового процессора. Впоследствии, по мере улучшения технологии изготовления интегральных схем, она постепенно развивалась, диспетчеризация сегодня существует 64-битоваяверсия этой архитектуры (SPARC-V9), которая положена в основу семейства новых микропроцессоров, получивших название UltraSPARC. Первый процессор SPARC был изготовлен компанией Fujitsu на базе вентильной матрицы, работающей на частоте 16.67 МГц. На основе этого процессора была разработана первая рабочая станция Sun-4 с производительностью 10 MIPS, объявленная осенью 1987 года. До этого времени компания Sun использовала в своих изделиях микропроцессоры Motorola 680X0. В марте 1988 года Fujitsu увеличила тактовую частоту до 25 МГц, создав процессор с производительностью15 MIPS. Позднее компания Sun умело использовала конкуренцию среди компаний-поставщиков интегральных схем, выбирая наиболее удачные разработки для реализации своих изделий SPARCstation 1, 1+, IPC, ELC, IPX, 2 диспетчеризация серверов серий 4xx диспетчеризация 6xx.Тактовая частота процессоров SPARC была повышена до 40 МГц, диспетчеризация производительность с до 28 MIPS. Дальнейшее увеличение производительности процессоров с архитектурой SPARC было достигнуто за счет реализации в кристаллах принципов суперскалярной обработки компаниями Texas Instruments диспетчеризация Cypress. Процессор SuperSPARC компании Texas Instruments стал основой серии рабочих станций диспетчеризация серверов SPARCstation/SPARCserver 10 диспетчеризация 20. В зависимости от смеси команд он обеспечивает выдачу до трех команд за один машинный такт. Процессор SuperSPARC имеет сбалансированную производительность на операциях с фиксированной диспетчеризация плавающей точкой. Он имеет внутренний кэш емкостью 36 Кбайт (20 С кэш команд диспетчеризация 16С кэш данных), раздельные конвейеры целочисленной диспетчеризация вещественной арифметики диспетчеризация при тактовой частоте 75 МГц обеспечивает производительность около 205MIPS. Компания Texas Instruments разработала также 50 МГц процессор MicroSPARC с встроенным кэшем емкостью 6 Кбайт, который ранее широко использовался в дешевых моделях рабочих станций SPARCclassic диспетчеризация LX. Затем Sun совместно с Fujitsu создали новую версию кристалла MicroSPARC II с встроенным кэшем емкостью 24 Кбайт. На его основе построены рабочие станции диспетчеризация серверы SPARCstation/SPARCserver4 диспетчеризация 5, работающие на частоте 70, 85 диспетчеризация 110 МГц. Хотя архитектура SPARC в течение длительного времени оставалась одной из наиболее заметной на рынке процессоров RISC, особенно в секторе рабочих станций, повышение тактовой частоты процессоров в 1992-1994 годах происходило более медленными темпами по сравнению с повышением тактовой частоты конкурирующих архитектур. Чтобы ликвидировать это отставание, диспетчеризация также в ответ на появление64-битовых процессоров компания Sun разработала диспетчеризация начала проводить в жизнь пятилетнюю программу модернизации. В соответствии с этой программой Sun планировала довести тактовую частоту процессоров MicroSPARC до 100 МГц в 1994 году (процессор MicroSPARC II с тактовой частотой 110 МГц используется в рабочих станциях диспетчеризация серверах SPARCstation 4 диспетчеризация 5). В конце 1994 диспетчеризация в течение1995 года на рынке появились микропроцессоры hyperSPARC диспетчеризация однопроцессорные диспетчеризация многопроцессорные рабочие станции SPARCstation 20 с тактовой частотой процессора 100, 125 диспетчеризация 150 МГц. К середине 1995 года тактовая частота процессоров SuperSPARC была доведена до 85 МГц (60, 75 диспетчеризация 85 МГц версии этого процессора применяются сегодня в рабочих станциях диспетчеризация серверах SPARCstation 20, SPARCserver1000, SPARCcenter 2000 диспетчеризация 64-процессорном сервере компании Cray Research).Наконец, в конце 1995 года появились 64-битовые процессоры UltraSPARC-I с тактовой частотой 143, 167 диспетчеризация 200 МГц, диспетчеризация были объявлены процессоры UltraSPARC-II с тактовой частотой от 250 до 300 МГц, серийное производство которых должно начаться в середине 1996 года. В дальнейшем планируется выпуск процессоров UltraSPARC-III с частотой до 500 МГц. Таким образом, компания Sun Microsystems имеет сегодня широкий спектр процессоров, способных, теоретически, удовлетворить нужды любого пользователя, как с точки зрения производительности выпускаемых ею рабочих станций диспетчеризация серверов, так диспетчеризация в отношении их стоимости, диспетчеризация судя по всему не собирается уступать своих позиций на быстро меняющемся компьютерном рынке. Архитектура UltraSPARC Основные критерии разработки Как известно, производительность любого процессора при выполнении заданной программы зависит от трех параметров: такта (или частоты) синхронизации, среднего количества команд, выполняемых за один такт, диспетчеризация общего количества выполняемых в программе команд. Невозможно изменить ни один из указанных параметров независимо от других, поскольку соответствующие базовые технологии взаимосвязаны: частота синхронизации определяется достигнутым уровнем технологии интегральных схем диспетчеризация функциональной организацией процессора, среднее количество тактов на команду зависит от функциональной организации диспетчеризация архитектуры системы команд, диспетчеризация количество выполняемых в программе команд определяется архитектурой системы команд диспетчеризация технологией компиляторов. Из этого видно, что создание нового высокопроизводительного процессора требует решения сложных вопросов во всех трех направлениях разработки. При этом эффективная с точки зрения стоимости конструкция не может полагаться только на увеличение тактовой частоты. Экономические соображения заставляют разработчиков принимать решения, основой которых является массовая технология. Системы UltraSPARC-1 обеспечивают высокую производительность при достаточно умеренной тактовой частоте (до 200 МГц) путем оптимизации среднего количества команд, выполняемых за один такт. Однако при таком подходе естественно возникают вопросы эффективного управления конвейером команд диспетчеризация иерархией памяти системы. Для увеличения производительности необходимо по возможности уменьшить среднее время доступа к памяти диспетчеризация увеличить среднее количество команд, выдаваемых для выполнения в каждом такте, не превышая при этом разумного уровня сложности процессора. При разработке суперскалярного процессора практически сразу необходимо "расшить" целый ряд узких мест, ограничивающих выдачу для выполнения нескольких команд в каждом такте. Таким узким местом является наличие в программном коде зависимостей по управлению диспетчеризация данным, аппаратные ограничения на количество портов в регистровых файлах процессора диспетчеризация устройствах, реализующих иерархию памяти, диспетчеризация также количество целочисленных конвейеров диспетчеризация конвейеров выполнения операций с плавающей точкой. При создании своего нового процессора UltraSPARC-1 конструкторы из Sun решили добиться увеличения производительности процессора в тех направлениях, где это не противоречило экономическим соображениям. Чтобы сократить число потенциальных проблем, было принято несколько принципиальных решений, которые определили основные характеристики UltraSPARC-1: Реализация на кристалле раздельной кэш-памяти команд диспетчеризация данных; Организация широкой выборки команд (128 бит); Создание эффективных средств динамического прогнозирования направления переходов; Реализация девятиступенчатого конвейера, обеспечивающего выдачу для выполнения до четырех команд в каждом такте; Оптимизация конвейерных операций обращения к памяти;Реализация команд обмена данными между памятью диспетчеризация регистрами плавающей точки, позволяющая не приостанавливать диспетчеризацию команд обработки;Реализация на кристалле устройства управления памятью (MMU); Расширение набора команд для поддержки графики диспетчеризация обработки изображений;Реализация новой архитектуры шины UPA. Структура процессора UltraSPARC-I Процессор UltraSPARC-1 представляет собой производительный, высокоинтегрированный суперскалярный процессор, реализующий 64-битовую архитектуру SPARC-V9.В его состав входят: устройство предварительной выборки диспетчеризация диспетчеризации команд, целочисленное исполнительное устройство, устройство работы с вещественной арифметикой диспетчеризация модуль графики, устройства управления памятью, загрузки/записи диспетчеризация управления внешней кэш-памятью, модули управления интерфейсом памяти диспетчеризация кэш-памяти команд диспетчеризация данных (рис. 1). Рисунок 1.Блок-схема процессора UltraSPARC-1.Устройство предварительной выборки диспетчеризация диспетчеризации команд Устройство предварительной выборки диспетчеризация диспетчеризации команд процессораUltraSPARC-1 (PDU) обеспечивает выборку команд в буфер команд, окончательную их дешифрацию, группировку диспетчеризация распределение для параллельного выполнения в конвейерных функциональных устройствах процессора. Буфер команд емкостью12 инструкций позволяет согласовать скорость работы памяти со скоростью обработки исполнительных устройств процессора. Команды могут быть предварительно выбраны из любого уровня иерархии памяти, например, из кэш-памяти команд(I-кэша), внешней кэш-памяти (Е-кэша) или из основной памяти системы. В процессоре реализована схема динамического прогнозирования направления ветвлений программы, основанная на двух битовой истории переходов диспетчеризация обеспечивающая ускоренную обработку команд условного перехода. Для реализации этой схемы с каждыми двумя командами в I-кэше связано специальное поле, хранящее двухбитовое значение прогноза. Таким образом, UltraSPARC-1 позволяет хранить информацию о направлении 2048 переходов, что на сегодняшний день превышает потребности многих современных прикладных программ. Поскольку направление перехода может меняться каждый раз, когда обрабатывается соответствующая команда, состояние двух бит прогноза должно каждый раз модифицироваться для отражения реального исхода перехода. Эта схема особенно эффективна при обработке циклов. Кроме того, в процессоре UltraSPARC-1 с каждыми четырьмя командами вI-кэше связано специальное поле, указывающее на следующую строку кэш-памяти, которая должна выбираться вслед за данной. Использование этого поля позволяет осуществлять выборку командных строк в соответствии с выполняемыми переходами, что обеспечивает для программ с большим числом ветвлений практически туже самую пропускную способность команд, что диспетчеризация на линейном участке программы. Способность быстро выбрать команды по прогнозируемому целевому адресу команды перехода является очень важной для оптимизации производительности суперскалярного процессора диспетчеризация позволяет UltraSPARC-1 эффективно выполнять "по предположению"(speculative) достаточно хитроумные последовательности условных переходов.Используемые в UltraSPARC-1 механизмы динамического прогнозирования направления диспетчеризация свертки переходов сравнительно просты в реализации диспетчеризация обеспечивают высокую производительность. По результатам контрольных испытаний UltraSPARC-188% переходов по условиям целочисленных операций диспетчеризация 94% переходов по условиям операций с плавающей точкой предсказываются успешно. Кэш-память команд Кэш-память команд (I-кэш) представляет собой двухканальную множественно-ассоциативную кэш-память емкостью 16 Кбайт. Она организована в виде 512 строк, содержащих по 32 байта данных. С каждой строкой связан соответствующий адресный тег. Команды, поступающие для записи в I-кэш проходят предварительное декодирование диспетчеризация записываются в кэш-память вместе с соответствующими признаками, облегчающими их последующую обработку. Окончательное декодирование команд происходит перед их записью в буфер команд. Организация конвейера В процессоре UltraSPARC-1 реализован девятиступенчатый конвейер. Это означает, что задержка (время от начала до конца выполнения) большинства команд составляет девять тактов. Однако в любой данный момент времени в процессе обработки могут одновременно находиться до девяти команд, обеспечивая во многих случаях завершение выполнения команд в каждом такте. В действительности эта скорость может быть ниже в связи с природой самих команд, промахами кэш-памяти или другими конфликтами по ресурсам. Первая ступень конвейера С выборка из кэш-памяти команд. На второй ступени команды декодируются диспетчеризация помещаются в буфер команд. Третья ступень осуществляет группировку диспетчеризация распределение команд по функциональным исполнительным устройствам. В каждом такте на выполнение в исполнительные устройства процессора могут выдаваться по 4 команды: не более двух целочисленных команд или команд плавающей точки/графических команд, одной команды загрузки/записи диспетчеризация одной команды перехода. На следующей ступени происходит выполнение целочисленных команд или вычисляется виртуальный адрес для обращения к памяти, диспетчеризация также осуществляются окончательное декодирование команд плавающей точки (ПТ) диспетчеризация обращение к регистрам ПТ. На пятой ступени происходит обращение к кэш-памяти данных. Определяются попадания диспетчеризация промахи кэш-памяти диспетчеризация разрешаются переходы. При обнаружении промаха кэш-памяти, соответствующая команда загрузки поступает в буфер загрузки. С этого момента целочисленный конвейер ожидает завершения работы конвейеров плавающей точки/графики, которые начинают выполнение соответствующих команд. Затем производится анализ возникновения исключительных ситуаций. На последней ступени все результаты записываются в регистровые файлы диспетчеризация команды изымаются из обработки.Целочисленное исполнительное устройство Главной задачей при разработке целочисленного исполнительного устройства (IEU) является обеспечение максимальной производительности при поддержке программной совместимости с существующим системным диспетчеризация прикладным программным обеспечением. Целочисленное исполнительное устройство UltraSPARC-1 объединяет в себе несколько важных особенностей:2 АЛУ для выполнения арифметических диспетчеризация логических операций, диспетчеризация также операций сдвига; Многократные целочисленные устройства умножения диспетчеризация деления; регистровый файл с восемью окнами диспетчеризация четырьмя наборами глобальных регистров;реализация цепей ускоренной пересылки результатов; реализация устройства завершения команд, которое обеспечивает минимальное количество цепей обхода (ускоренной пересылки данных) при построении девятиступенчатого конвейера. Устройство загрузки/записи (LSU) LSU отвечает за формирование виртуального адреса для всех команд загрузки диспетчеризация записи (включая атомарные операции), за доступ к кэш-памяти данных, диспетчеризация также за буферизацию команд загрузки в случае промаха D-кэша (в буфере загрузки) диспетчеризация буферизацию команд записи (в буфере записи). В каждом такте может выдаваться для выполнения одна команда загрузки диспетчеризация одна команда записи.Устройство плавающей точки (FPU) Конвейерное устройство плавающей точки построено в соответствии со спецификациями архитектуры SPARC-V9 диспетчеризация стандарта IEEE 754. Оно состоит из пяти отдельных функциональных устройств диспетчеризация обеспечивает выполнение операций с плавающей точкой диспетчеризация графических операций. Реализация раздельных исполнительных устройств позволяет UltraSPARC-1 выдавать диспетчеризация выполнять две вещественных операции в каждом такте. Операнды-источники диспетчеризация результаты операций хранятся в регистровом файле емкостью 32 регистра. Большинство команд полностью конвейеризованы имеют пропускную способность 1 такт, задержку в 3 такта диспетчеризация не зависят от точности операндов, имея одну диспетчеризация ту же задержку для одинарной диспетчеризация двойной точности. Команды деления диспетчеризация вычисления квадратного корня не конвейеризованы диспетчеризация без остановки процессора выполняются за 12/22 такта (одинарная/двойная точность). Команды, следующие за командами деления/вычисления квадратного корня, могут выдаваться, выполняться диспетчеризация изыматься из обработки для фиксации результата в регистровом файле до момента завершения команд деления/вычисления квадратного корня. Процессор поддерживает модель точных прерываний путем синхронизации конвейера плавающей точки с целочисленным конвейером, диспетчеризация также с помощью средств прогнозирования исключительных ситуаций для операций с большим временем выполнения. FPU может работать с нормализованными диспетчеризация ненормализованными числами с одинарной (32 бит) диспетчеризация двойной точностью (64бит), диспетчеризация также поддерживает операции над числами с учетверенной точностью(128 бит). Устройство FPU тесно взаимодействует с целочисленным конвейером диспетчеризация способно без каких-либо дополнительных задержек выполнять чтение вещественного операнда из памяти диспетчеризация следующую за ней операцию. IEU диспетчеризация FPU имеют выделенный интерфейс управления, который обеспечивает диспетчеризацию операций, выбранных PDU в FPU. Устройство предварительной выборки диспетчеризация диспетчеризации команд выполняет распределение находящихся в очереди команд в FPU. IEU управляет частью операций, связанных с D-кэшем, диспетчеризация FPU выполняет собственно операции обработки данных. При выполнении команд вещественной арифметики целочисленное устройство диспетчеризация FPU совместно определяют наличие зависимостей по данным. Существующий между ними интерфейс включает также взаимную синхронизацию при появлении исключительных ситуаций FPU. Для снижения взаимного влияния диспетчеризация увеличения общей производительности в FPU обеспечивается дополнительная буферизация команд, реализованная с помощью очереди размером в три команды. Графическое устройство (GRU) В процессоре UltraSPARC-1 реализован исчерпывающий набор графических команд, которые обеспечивают аппаратную поддержку высокоскоростной обработки плоских диспетчеризация трехмерных изображений, диспетчеризация также обработку видеоданных. GRU выполняет операции сложения, сравнения диспетчеризация логические операции над 16-битовыми диспетчеризация 32-битовымицелыми числами, диспетчеризация также операции умножения над 8-битовыми диспетчеризация 16-битовымицелыми. В GRU поддерживаются однотактные операции определения расстояния между пикселями, операции выравнивания данных, операции упаковки диспетчеризация слияния.Устройство управления памятью (MMU) Высокая суперскалярная производительность процессора поддерживается соответствующей скоростью поступления для обработки команд диспетчеризация данных. Обычно эта задача ложится на иерархию памяти системы. Устройство управления памятью процессора UltraSPARC-1 выполняет все операции обращения к памяти, реализуя необходимые средства поддержки виртуальной памяти. Виртуальное адресное пространство задачи определяется 64-битовым виртуальным адресом, однако процессор UltraSPARC-1 поддерживает только 44-битовое виртуальное адресное пространство. Соответствующее преобразование является функцией операционной системы. В свою очередь, MMU обеспечивает отображение 44-битового виртуального адреса в 41-битовый физический адрес памяти. Это преобразование выполняется с помощью полностью ассоциативных 64-строчных буферов: iTLB С для команд диспетчеризация dTLB С для данных. Каждый из этих буферов по существу представляет собой полностью ассоциативную кэш-память дескрипторов страниц. В каждой строке TLB хранится информация о виртуальном адресе страницы, соответствующем физическом адресе страницы, диспетчеризация также о допустимом режиме доступа к странице диспетчеризация ее использовании. Процесс преобразования виртуального адреса в физический заканчивается сразу, если при поиске в кэш-памяти TLB происходит попадание(соответствующая строка находится в TLB). В противном случае замещение строки TLB осуществляется специальным аппаратно-программным механизмом. MMU поддерживает четыре размера страниц: 8Кбайт, 64Кбайт, 512Кбайт диспетчеризация 4Мбайт.Как уже было отмечено, MMU реализует также механизмы защиты диспетчеризация контроля доступа к памяти. В результате выполняющийся процесс не может обращаться к адресному пространству других процессов, и, кроме того, гарантируется заданный режим доступа процесса к определенным областям памяти С на базе информации о допустимом режиме доступа к страницам памяти. Например, процесс не может модифицировать страницы памяти, доступ к которым разрешен только по чтению или которые зарезервированы для размещения системных программ.Наконец, MMU выполняет функции определения порядка (приоритета) обращений к памяти со стороны ввода/вывода, D-кэша, I-кэша диспетчеризация схем преобразования виртуального адреса в физический. Управление интерфейсом памяти (MIU) В процессоре UltraSPARC-1 применяется специальная подсистема ввода/вывода(MIU), которая обеспечивает управление всеми операциями ввода диспетчеризация вывода, осуществляемыми между локальными ресурсами: процессором, основной памятью, схемами управления диспетчеризация всеми внешними ресурсами системы. В частности, все транзакции, связанные с обработкой промахов кэш-памяти, прерываниями, наблюдением за когерентным состоянием кэш-памяти, операциями обратной записи диспетчеризация т.д., обрабатываются MIU. MIU взаимодействует с системой на частоте меньшей, чем частота UltraSPARC-1 в соотношении 1/2 или 1/3. Кэш-память данных В процессоре UltraSPARC-1 используется кэш-память данных D-кэш с прямым отображением емкостью 16 Кбайт, реализующая алгоритм сквозной записи. D-кэшорганизован в виде 512 строк, в каждой строке размещаются два 16-байтныхподблока данных. С каждой строкой связан соответствующий адресный тег. D-кэш индексируется с помощью виртуального адреса, при этом теги также хранят соответствующую часть виртуального адреса. При возникновении промаха при обращении к кэшируемой ячейке памяти происходит загрузка 16-байтногоподблока из основной памяти. Поиск слова в D-кэше осуществляется с помощью виртуального адреса, младшие разряды которого обеспечивают доступ к строке кэш-памяти, содержащей требуемое слово (прямое отображение). Старшие разряды виртуального адреса сравниваются затем с битами соответствующего тега для определения попадания или промаха. Подобная схема гарантирует быстрое обнаружение промаха диспетчеризация обеспечивает преобразование виртуального адреса в физический только при наличии промаха. Управление внешней кэш-памятью Одной из важнейших проблем построения системы является согласование производительности процессора со скоростью основной памяти. Основными методами решения этой проблемы, помимо различных способов организации основной памяти диспетчеризация системы межсоединений являются увеличение размеров диспетчеризация многоуровневая организация кэш-памяти. Устройство управления внешней кэш-памятью (ECU С E-кэш) процессораUltraSPARC-1 позволяет эффективно обрабатывать промахи кэш-памяти данных(D-кэша) диспетчеризация команд (Е-кэша). Все обращения к внешней кэш-памяти (E-кэшу)конвейеризованы, выполняются за 3 такта диспетчеризация осуществляют пересылку 16 байт команд или данных в каждом такте. Такая организация дает возможность эффективно планировать конвейерное выполнение программного кода, содержащего большой объем обрабатываемых данных, диспетчеризация минимизировать потери производительности, связанные с обработкой промахов в D-кэше. ECU позволяет наращивать объем внешней кэш-памяти от 512 Кбайт до 4 Мбайт. ECU обеспечивает совмещенную во времени обработку промахов обращений по чтению данных из Е-кэша с операциями записи. Например, во время обработки промаха по загрузке ECU разрешает поступление запросов по записи данных в E-кэш. Кроме того, ECU поддерживает операции наблюдения (snoops), связанные с обеспечением когерентного состояния памяти системы. Типовой процессорный модуль UltraSPARC-1 Типовой процессорный модуль (рис. 2) UltraSPARC-1 состоит из собственно процессора UltraSPARC-1, микросхем синхронной статической памяти (SRAM),используемых для построения памяти тегов диспетчеризация данных внешнего кэша диспетчеризация двух кристаллов буферов системных данных (UDB). UDB изолируют внешний кэш процессора от остальной части системы диспетчеризация обеспечивают буферизацию данных для приходящих диспетчеризация исходящих системных транзакций, диспетчеризация также формирование, проверку контрольных разрядов диспетчеризация автоматическую коррекцию данных (с помощью ECC-кодов). Таким образом, UDB позволяет интерфейсу работать на тактовой частоте процессора(за счет снижения емкостной нагрузки). Рисунок 2. Типовой процессорный модуль.Буфер данных обеспечивает также совмещение во времени системных транзакций с локальными транзакциями E-кэша. В состав процессора UltraSPARC-1 включена логика управления буферными кристаллами, которая обеспечивает быструю пересылку данных между процессором или внешним кэшем диспетчеризация системой. Для поддержки системных транзакций используется отдельная адресная шина диспетчеризация отдельный набор управляющих сигналов. Архитектура системной шины UPA Обеспечение высокой производительности процессора UltraSPARC-1 потребовало создания гибкой масштабируемой архитектуры межсоединений, позволяющей достаточно просто строить системы для широкого круга приложений от небольших настольных систем индивидуального пользования до больших многопроцессорных корпоративных серверов. Новая архитектура UPA (Ultra Port Architecture) определяет возможности построения целого семейства тесно связанных многопроцессорных систем с общей памятью. UPA представляет собой спецификацию, описывающую логические диспетчеризация физические интерфейсы порта системной шины, диспетчеризация требования, накладываемые на организацию межсоединений. К этим портам подключаются все устройства системы. Спецификация UPA включает также описание поведения системного контроллера диспетчеризация интерфейс ввода/вывода системы межсоединений. UPA может поддерживать большое количество (рис. 3) системных портов(32, 64, 128 диспетчеризация т.д.) диспетчеризация включает четыре типа интерфейса. Интерфейс главного устройства выдает в систему межсоединений транзакции чтения/записи по физическому адресу, используя распределенный протокол арбитража для управления адресной шиной. Главное устройство UPA, например процессорный модуль UltraSPARC-1,может включать физически адресуемую когерентную кэш-память, на размер которой в общем случае не накладывается никаких ограничений. Интерфейс подчиненного устройства получает транзакции чтения/записи от главных устройств UPA, поддерживая строгое упорядочивание транзакций одного диспетчеризация того же класса главных устройств, диспетчеризация также транзакций, направляемых по одному диспетчеризация тому же адресу устройства. Порт UPA может быть только подчиненным, например, для подключения графического буфера кадров. Двумя другими дополнительными интерфейсами порта UPA являются источник диспетчеризация обработчик прерываний. Источники прерывания UPA генерируют пакеты прерывания, направляемые к обработчикам прерываний UPA. Рисунок 3. Масштабируемая архитектура UPA.В отличие от традиционных мультипроцессорных систем, поддерживающих когерентное состояние кэш-памяти диспетчеризация разделяющих глобально наблюдаемую адресную шину, архитектура межсоединений UPA основана на пакетной коммутации сообщений по принципу точка-точка. Поддержка когерентного состояния кэш-памяти системы для настольных рабочих станций, включающих от 1 до 4 процессоров, осуществляется централизованным системным контроллером, диспетчеризация для больших серверов С распределенным системным контроллером. UPA может поддерживать дублирование наборов тегов всех кэшей системы диспетчеризация позволяет для каждой когерентной транзакции выполнять параллельно просмотр дублированных тегов диспетчеризация обращение к основной памяти.Отход от традиционных методов построения мультипроцессорных систем, основанных на наблюдаемой шине или на справочнике, позволяет существенно минимизировать задержки доступа к данным благодаря сокращению потерь на обработку промахов кэш-памяти. В итоге архитектура межсоединений UPA позволяет более эффективно использовать высокую пропускную способность процессораUltraSPARC-1. Максимальная скорость передачи данных составляет 1.3 Гбайт/с при работе UPA на тактовой частоте 83 МГц. Разработчики архитектуры UPA многое сделали для минимизации задержек доступа к данным. Например, UPA поддерживает раздельные шины адреса диспетчеризация данных. Именно эти широкие шины С адресная шина имеет 64 бит, диспетчеризация шина данных С 144бит (128 бит данных диспетчеризация 16 бит для контроля ошибок)) обеспечивают пиковую пропускную способность системы. Наличие отдельных шин позволяет устранить задержки, возникающие при переключении разделяемой шины между данными диспетчеризация адресом, диспетчеризация также возможные конфликты доступа к общей шине. UPA не только поддерживает отдельные шины адреса диспетчеризация данных, но диспетчеризация позволяет иметь несколько шин с организацией соединений точка-точка. Обычно в большинстве систем имеются несколько интерфейсов для обеспечения работы подсистемы ввода/вывода, графической подсистемы диспетчеризация процессора. В мультипроцессорных системах требуются также дополнительные интерфейсы для организации связи между несколькими ЦП. Вместо одного набора шин данных диспетчеризация адреса для всех этих интерфейсов UPA допускает создание неограниченного количества шин.Подобная организация имеет ряд достоинств. Наличие нескольких наборов шин позволяет минимизировать количество циклов арбитража диспетчеризация уменьшает вероятность конфликтов. Системный контроллер несет ответственность за работу диспетчеризация взаимодействие различных шин диспетчеризация может параллельно обрабатывать запросы нескольких шин. Он позволяет также уменьшить задержки, связанные с захватом шины. По существу, наличие нескольких шин адреса диспетчеризация данных означает меньшее число потенциальных главных устройств на каждом наборе шин. Для обеспечения наименьшей возможной задержки захвата шины используется распределенный конвейеризованный протокол арбитража. Каждый порт UPA имеет собственные схемы арбитража, при этом каждый порт в системе видит запросы шины всех других портов. Такая схема также позволяет уменьшить задержку доступа диспетчеризация обеспечивает увеличение общей производительности системы. Архитектура UPA легко адаптируется для работы почти с любой конфигурацией системы С от однопроцессорной до массивно-параллельной. Разработчиками были предусмотрены специальные меры с целью ее оптимизации для систем, содержащих от 1 до 4 процессоров. В результате до четырех тесно связанных процессоров диспетчеризация системный контроллер могут разделять доступ к одной диспетчеризация той же системной адресной шине. Однако на базе богатого набора транзакций диспетчеризация протокола когерентности, которые поддерживаются устройством интерфейса памяти процессора UltraSPARC-1, могут быть построены мультипроцессорные системы с большим количеством процессоров. В архитектуре UPA применяется протокол когерентности, построенный на основе операций записи с аннулированием соответствующих копий блока в кэш-памяти других процессоров системы диспетчеризация использующий для наблюдения дублированные теги. Процессор UltraSPARC поддерживает переходы состояний блоков кэш-памяти, соответствующие протоколам MOESI, MOSI диспетчеризация MSI.Следует отметить, что в основу архитектуры UPA положены принципы, позволяющие иметь в системе не только несколько мультиплексированных или раздельных шин, но диспетчеризация в широких пределах варьировать разрядность шины данных для удовлетворения различных требований к отношению стоимость/производительность. При этом в различных частях системы в зависимости от конкретных требований может использоваться разная скорость передачи данных. Например, разрядность шины данных системы ввода/вывода вполне может быть ограничена 64 битами, но для согласования с интерфейсом процессора более предпочтительна разрядность в 128 бит. С другой стороны, разрядность шины данных оперативной памяти системы может быть еще более увеличена для обеспечения высокой пропускной способности при использовании более медленных, но более дешевых микросхем памяти С в младших моделях компьютеров на базе микропроцессора UltraSPARC-1используется 256-битовая шина данных памяти, диспетчеризация в старших моделях С 512-битовая.Набор графических команд UltraSPARC является первым универсальным процессором с 64-битовой архитектурой, обеспечивающий высокую пропускную способность, необходимую для реализации высокоскоростной графики диспетчеризация обработки видеоизображений в реальном масштабе времени. Расширенный набор команд UltraSPARC позволяет за один такт выполнять сложные графические операции, для реализации которых обычно затрачивается несколько десятков тактов. При этом только три процента реальной площади кристалла используется для реализации графических команд. Высокая производительность UltraSPARC диспетчеризация его способность выполнять декомпрессию диспетчеризация обработку видеоданных в реальном времени позволяют в ряде случае при построении системы обойтись без специальных дорогостоящих видеопроцессоров. Высокоскоростная обработка графики диспетчеризация видеоизображений базируется на суперскалярной архитектуре процессора UltraSPARC. При этом для вычисления адресов команд загрузки диспетчеризация записи широко используются целочисленные регистры, диспетчеризация для манипуляций с данными С регистры плавающей точки. Такое функциональное разделение регистров существенно увеличивает пропускную способность процессора, обеспечивая приложению максимальное количество доступных регистров диспетчеризация параллельное выполнение команд. Специальный набор видеокоманд UltraSPARC (VIS С Video Instruction Set)предоставляет широкие возможности обработки графических данных: команды упаковки диспетчеризация распаковки пикселей, команды параллельного сложения, умножения диспетчеризация сравнения данных, представленных в нескольких целочисленных форматах, команды выравнивания диспетчеризация слияния, обработки контуров изображений диспетчеризация адресации массивов. Эти графические команды оптимизированы для работы с малоразрядной целочисленной арифметикой, при использовании которой обычно возникают значительные накладные расходы, вызванные необходимостью многократного преобразования из целочисленного формата в формат с плавающей точкой диспетчеризация обратно. Возможность увеличения разрядности промежуточных результатов обеспечивает дополнительную точность, необходимую для получения качественных графических изображений. Все операнды графических команд находятся в регистрах вещественной арифметики, что обеспечивает максимальное количество регистров для хранения промежуточных результатов вычислений диспетчеризация параллельное выполнение команд. UltraSPARC поддерживает различные алгоритмы компрессии, используемые для видеоприложений диспетчеризация обработки неподвижных изображений, включая H.261,MPEG-1, MPEG-2 диспетчеризация JPEG. Кроме этого, процессор может обеспечивать скорости кодирования диспетчеризация декодирования, необходимые для организации видеоконференций в реальном времени. Первые системы на базе нового процессора Сегодня компания Sun выпускает два типа настольных рабочих станций диспетчеризация серверов, оснащенных процессорами UltraSPARC: Ultra 1 диспетчеризация Ultra 2, архитектура которых представлена на рис. 4. Рисунок 4. Архитектура станций Ultra1 диспетчеризация Ultra 2. В моделях Ultra 1 используются процессоры с тактовой частотой 143 и167 МГц. При этом они комплектуются как стандартными видеоадаптерами TurboGX диспетчеризация TurboGXplus (модели 140 диспетчеризация 170), так диспетчеризация новыми видеоподсистемами Creator диспетчеризация Creator3D (модель 170Е). Объем оперативной памяти может наращиваться до 512 Мбайт, внутренних дисков до 4.2 Гбайт, можно устанавливать также накопители на магнитной ленте, флоппи-дисководы диспетчеризация считывающие устройства с компакт-дисков. Эти системы обеспечивают уровень производительности в252 SPECint92 диспетчеризация 351 SPECfp92 при тактовой частоте 167 МГц. Модели 170Еоснащаются контроллерами Fast& Wide SCSI-2 диспетчеризация 100Base-T Ethernet. Модели Ultra 2 С это однопроцессорные диспетчеризация двухпроцессорные системы на базе 200 МГц процессора UltraSPARC (332 SPECint92 диспетчеризация 505 SPECfp92), имеющие максимальный объем оперативной памяти 1 Гбайт. Появление следующих моделей, построенных на процессорах UltraSPARC II (420 SPECint92 диспетчеризация 660 SPECfp92),ожидается в середине 1996 года. Заключение Выпуск 64-разрядного процессора UltraSPARC диспетчеризация первых компьютеров на его основе ознаменовал собой новый этап в развитии компании Sun Microsystems, которая планирует постепенно перевести на эти процессоры все свои изделия, включая рабочие станции диспетчеризация серверы начального уровня. Конечно для широкого внедрения новой концепции обработки данных, получившей название UltraComputing, понадобится некоторое время, но уже сейчас очевидно, что ориентация Sun на обеспечение высокой сбалансированной производительности для широкого класса прикладных систем, пропускной способности передачи данных для сетевых приложений диспетчеризация построение эффективных средств визуализации диспетчеризация обработки видеоданных в реальном времени позволяет компании сохранять свои позиции на современном рынке научно-технических диспетчеризация бизнес-приложений. Литература [1]. "UltraSPARC-1. High-Performance 64-Bit RISC Processor", SPARCTechnology Business, May 1995. [2]. "UltraSPARC(TM). Universal Port Architecture: The New MediaSystem Architecture", White paper #95-023, SPARC Technology Business, 1995.[3]. "UltraSPARC . The Visual Instruction Set (VIS): On-Chip Supportfor New-Media Processing", Whitepaper #95-022, SPARC Technology Business,1995. Открытые Системы· # 2(16)/96 Редакция рекомендует:eSATA: ком, хотевший быть блиномБезопасность в Microsoft SQL Server 2005Руководство GNU по обеспечению конфиденциальностиДесять практических рекомендаций разработчикам на Perl \ Размещение рекламы - pr@citforum.ru, ICQ 232284597 Подписка на новости IT-портала CITForum.ru(библиотека, CITKIT.ru, CitCity)Новые публикации: 22 апреля Один из подходов к организации объектной системы на основе реляционной СУБД Обзор журнала Computer: Тинэйджеры диспетчеризация музыкальная коммерция CITKIT.ru: Диски, разделы, буквы... (В. Попов) Новые Блогометки: ingimp: повышение удобства интерфейса GIMP на основании статистики использования Screen-message: используйте экран для передачи сообщений knetworkmanager: победа над кошмарами WiFi-WLan-WEP-WPA revelation: менеджер паролей Gnome 17 апреля CITKIT.ru: Изучаем Linux: Подготовка к миграции Критерии выбора Дистрибутив ALTLinux ASPLinux Debian Linux XP Desktop Mandriva MOPSLinux openSUSE Ubuntu CitCity: Рынок BI-платформ. Мнение аналитиков Требования к инструментам интеграции данных Матрица. Эволюция (технология цифровой фотографии) 10 апреля Принципы организации иерархии атомарных литеральных типов объектной системы на основе РСУБД Microsoft SQL Server 2005 CITKIT.ru: Експресс полярный, он же - "галантный медведь" Новые Блогометки: Liquidsoap: гибкий клиент потокового аудиовещания для сервера Icecast диспетчеризация многое другое… KRename: мощное средство переименования apt-listbugs: узнавайте о критических ошибках перед каждой установкой с APT Несколько слов о ГИС... OpenOffice диспетчеризация все-все-все... Цифровые фотографии. Наводим порядок Фотоальбомы 2 апреля NULL, трехзначная логика диспетчеризация неопределенность в SQL: критика критики Дейта Критика критики критики Дейта Сервис-ориентированный подход в бизнес-аналитике от Oracle Хранение данных на клиенте. DOM Storage диспетчеризация его аналоги CITKIT.ru: Conky - системный монитор Звук в Linux Linux swap space Описание пакетов KDE 27 марта Обзоры журнала Computer: Мечты Дэвида Харела О вреде избыточного питания компьютеров SOA: просто для большинства, сложно для меньшинства CitCity: 12 дюймов диспетчеризация меньше - диспетчеризация стоит ли "овчинка" выделки? Сравнение электронных автомобильных карт диспетчеризация автонавигаторов BI-технологии, что нас ждет в ближайшие годы CITKIT.ru: И снова Старый Оскол: второй семинар по свободному софту Новые Блогометки: Xdiskusage: где место?! TTF-Inconsolata: открытый шрифт для вашего терминала диспетчеризация красивых распечаток кода Jed: карманный EMACS Ipcalc: полезная информация об IP диспетчеризация маске сети IPTraf: монитор локальной сети с интерфейсом ncurses Burgerspace: свободный клон классической аркады «Burgertime» 19 марта Технология проектирования модели предприятия на основе универсальной модели данных CitCity: Гимн героям Microsoft CITKIT.ru: Колонки Алексея Федорчука из журнала Linuxformat Завершение цикла Сергея Голубева "Linux для начинающих": Работа в сети Пользовательские приложения Новые Блогометки: И вечный бой... со шрифтами Введение в API для карт Google Conky: хорошо настраиваемый системный монитор для X Newsbeuter: чтение RSS из консоли Katapult: ускоренный диспетчеризация упрощенный доступ к приложениям, закладкам диспетчеризация файлам GPRename: пакетное переименование с интерфейсом GTK2-Perl Duplicity: шифрованное диспетчеризация экономное для трафика резервное копирование на основе алгоритма rsync Listadmin: консольное управление очередью модерации Mailman 12 марта Восход диспетчеризация закат High Performance Fortran: наглядный урок истории (пересказ: С.Кузнецов) CITKIT.ru: Новые Блогометки: Ccze: хорошее модульное средство подсветки логов PWSafe - кроссплатформенное средство для работы с паролями colordiff - подсветка для diff psmisc: рассмотрим ближе стандартный пакет Работа с сетью xkb, узелок на память ffmpeg-php debiannotes:desktop:prettyfonts 5 марта CITKIT.ru: Ричард Столлман в Москве О мудром доценте замолвите слово... (Интенсификация Малаховна) Новые Блогометки: "Десктопизация" OpenBSD weather: проверяйте сводку диспетчеризация прогноз погоды из командной строки hpodder: клиент подкастов, который просто работает bc: язык численных расчетов с произвольной точностью Decibel: аудиоплеер для людей GNU Wget: загрузите весь понравившийся сетевой контент на локальный компьютер Deborphan: найдите ненужные пакеты Kivio: мощный диспетчеризация простой в использовании редактор блок-схем Cowsay: настраиваемая говорящая диспетчеризация думающая корова Thoggen: основанная на GTK+ программа для извлечения видео с DVD 28 февраля Подбор диспетчеризация развитие команд Глава из книги «Руководство командой разработчиков программного обеспечения. Прикладные мысли» (С.Архипенков) CITKIT.ru: Дискуссия об анонимусах: К комментаторам Windows против Linux - психологический портрет участников форумов Новые Блогометки: Nokia N810 - Linux Inside LiMo - стандарты Linux для сотовых телефонов timer-applet: таймер для панели GNOME Debfoster: удалите пакет диспетчеризация все его зависимости GPW: генератор произносимых паролей AMOR: общество для рабочего стола 20 февраля CITKIT.ru: Новые Блогометки: Кое-что о приложениях KDE 4 Инструкция по установке KDE 4 в Ubuntu Настоящие мужчины ставят KDE из SVN! Начат переход Amarok на Qt 4.4 Marble Dillo - сверхбыстрый браузер Создаем резервные копии настроек программ диспетчеризация важных файлов в Ubuntu LInux NTP: всегда вовремя VYM - простое средство зарисовки мыслей диспетчеризация планирования KBibTeX: простой диспетчеризация гибкий редактор библиографий для KDE Дискуссия Windows vs Linux: Жил-был Мальчик, или Сказочка о Том, Откуда Берутся "КУЛХАЦКЕРЫ", ненавидящие Линукс диспетчеризация Юникс 13 февраля Терминологический словарь Wi-Fi Задача проектирования базы данных методом нормализации CitCity: Лучшие смартфоны начала 2008 года CITKIT.ru: Первый взгляд на Firefox 3.0 Open Source на Белгородщине: семинар в Старом Осколе Что такое KDE? Цикл о Slackware: Русский в консоли Быстрая настройка Иксов xorgconfig - консольный подход 6 февраля CITKIT.ru: Мобильный Linux – вчера, сегодня, завтра Чем записать диски в Linux? Попробуй Brasero! Консольные команды Рецепты. Кое-что о программе mplayer Slackware: Что такое Slackware? Установка Slackware - Загрузка Категории программного обеспечения Структура файловой системы Система инициализации Slackware Linux Скрипты инициализации уровня запуска 30 января Обзор алгоритмов MOLAP CitCity: BI-технологии 2007. Итоги года Рынок СУБД для Хранилищ данных 2007. Итоги года, тенденции Обзор рынка BI (по результатам исследований IDC, OLAP Report, Gartner) Модель зрелости BI CITKIT.ru: Владимир Попов: За что я люблю Linux Священные войны 23 января Data Mining от Oracle: настоящее диспетчеризация будущее Комментарии к статье Ч.Бергера «Data Mining от Oracle: настоящее диспетчеризация будущее» Байесовский классификатор диспетчеризация регрессионная модель в ORTD: практический пример CITKIT.ru: Дискуссия Windows vs Linux: Программисты диспетчеризация фирмы: кто кого О "чистых пользователях" Новые Блогометки: Почему Jabber, диспетчеризация не ICQ? Archlinux install quick Arch на IBM Z60m Arch + IBM R50e OpenBSD - сборка E17-cvs (или ещe одна маленькая победа разума) OpenBSD - всe для Человека диспетчеризация ради Человека... PekWM E17 диспетчеризация "прозрачность" E17 - приятные мелочи (multimedia) SuSE + Enlightenment = угробил целый день 16 января Вьетнам компьютерной науки (пересказ - С.Кузнецов) Пример построения автоматизированного управления дисками (ASM) (В. Пржиялковский) CitCity: 2008 год: антипрогноз CITKIT.ru: Новые Блогометки: Сети диспетчеризация Интернет: Mozilla firefox. Шрифты в меню Screen tips Liferea: программа чтения RSS для GNOME HTTrack: скачивание диспетчеризация зеркалирование сайтов Clusterssh: работа с несколькими сеансами SSH через общий интерфейс Десктопы: Fluxbox & xinitrc. Some new tips Как я конфигурировал xdm Системы: SuSE 10.2: zypper - еще один способ установки пакетов cpipe: определите пропускную способность конвейера команд gddrescue: средство восстановления данных с поврежденных носителей VirtualBox: ваш виртуальный ПК Приложения: MyTop: top для MySQL 10 января CITKIT.ru: Дискуссионный клуб: Краткое руководство по общению с никсофилами (Интенсификация Малаховна Сергина-Гейтс) О троллях Пещера горного короля: заметки о троллинге Новые Блогометки: Сети диспетчеризация Интернет: Делаем блог на Drupal Использование lftp Устанавливаем FTP сервер ProFTPd с TLS шифрованием Управляем файлами на FTP сервере с помощью FileZilla Десктопы: fluxbox.autorun 15 человек на сундук мертвеца! (или песнь о зарытых сокровищах) Системы: Живой Debian или рабочее место в кармане Разбивка hdd Приложения: Cat Excel files Vim: меню выбора кодировок 26 декабря CITKIT.ru: В Блогометках открыты разделы: Софт для Windows Сети диспетчеризация Интернет dwm. От статики к динамике Установил Solaris Новая Дискуссия: Нужен ли русский Linux? 19 декабря SQL Anywhere: встраиваемая СУБД CITKIT.ru: В разделе Блогометки появились рубрики: Десктопы Приложения Системы Подробно о разделе: Блоги диспетчеризация блогометки: открываем сезон промывки 13 декабря CitCity: Microsoft диспетчеризация Барселона: сюрреализм? CITKIT.ru: Открыт новый раздел Блогометки ZFS в подробностях. 1. Былое диспетчеризация ныне 5 декабря Архитектура предприятия: основные определения Архитектуры для государственных ведомств. Примеры Обзор журнала Computer: Высокопроизводительные встроенные системы CITKIT.ru: Продолжение цикла Linux для начинающих: Пользовательские интерфейсы Файлы Системы настройки Все публикации >>> На правах рекламы: Эффективные модели данных ключ к успеху в бизнесе Все публикации >>> IT-консалтингSoftware EngineeringПрограммированиеСУБДБезопасностьInternetСетиОперационные системыHardware Информация для рекламодателей PR-акции, размещение рекламы - pr@citforum.ru, тел. +7 495 4119920, ICQ 232284597 Пресс-релизы - pr@citcity.ru Послать комментарийИнформация для авторовThis Web server launched on February 24, 1997Copyright © 1997-2000 CIT, © 2001-2007 CIT Forum Внимание! Любой из материалов, опубликованных на этом сервере, не может быть воспроизведен в какой бы то ни было форме диспетчеризация какими бы то ни было средствами без письменного разрешения владельцев авторских прав. Подробнее... Качественный дизайн ресторан по индивидуальным проектам. разделы кострома риелтор охота зверь ларсен центр изделие слойка билет ммдм папиллома купить угольник перех черный кофе стелаж измерительный комплекс к2-79 qtek купить угольник перех луковичный цвет телевизионный антенна грунт экг 4у электропечь dimplex model lee rc подшипниковый узел шампанский заказ юр.адрес управление архангельск встраиваемый вытяжка альпинизм теплолюкс софт автошкола продать кайт touch screen пошив корпоративный костюм купить угольник рассылка база данный крот dr билет балет certification microsoft схема зал вахтангова southpark вымпел заказ тестоокруглитель ленточный устройство плавный пуск деловой костюм icq купить шарошка алмазный фейрверк праздник кострома жилье спецобувь заказ тонировка деловой разведка акриловый вставка вкладыш радиодоступ купить 6131 cad купить tag heuer съемный зубной протез калибровка цвет билет балет гипсокартон скачать длинный нард аденома предстательный железа обед рак простата стопный пластырь два цвет банковский сейфовые ячейка бахила производитель измеритель температры крутой xxx видео установка hotbird изготовление презентация бахила полиэтиленовый измерительный комплекс к2-79 бейсболки заказ эфирный антенна kaasi мачта флагшток уничтожитель измеритель температры красный площадь гум теплогенераторы master билет russia music awards мустанг лазер креатин ожирение кайт северский доломит корпаративные вечеринка рак пищевод дружкова кружка адресный база данный купить fifa 2006 жаропрочный фарфор revol управление ярославль эдас-134 аденома предст.ж-зы купить конденсатоотвод мужчина выходной вал редуктор поворот rittal диагностический стенд виниловый дирижабль кэрролл дж. страна смеха лечение зарубежом кулер винчестер вышивка флаг гиря торговый калибровочный 5004.13 (крышка) купить nokia 8910 слабость головокружение серверные корпус консольный переключатель промальп кайт управление ярославль кулер 775 ленинградский вокзал билет ваза 2115 изолента промышленный аккумулятор охота бабочка contiwinterviking купить восстановление информация вакуумный упаковочный хлеборезка ахм kiev apartaments service враждебный поглощение банковский ячейка огнестойкий краска купить яйцеварку апгрейд обезьяна пежо решетка оцинкованный тройник новосельский доломит силикон луковичный цвет дермато-венеролог спецобувь производитель врач акушер гинеколог фасадный покрытие сейфовые ячейка миканитовые втулка телематические служба беседка герб рф ферромолибден акриловый вкладыш инженерный геодезия шарошка алмазный 8800 gold ваза 2111 калибровка цвет бензопила stihl аденома предстательный железа холодильник оптом холодильник норд бахила оптом автоподъемник цвет город рукавица купить яйцеварку апгрейд обезьяна сушильный машина electrolux цвет город промальп 5440.14 (крышка) shell северный корона глюкозамин-хондроитиновый комплекс переводческий бюро ичп пбоюл прогрессирующий близорукость ночной очки вентеляционная решетка мачта флагшток белый кофе асбест а7-450 дирижабль телевизионный антенна электропечь dimplex model amesbury этикетировочные машина деловой костюм гуп ритуал устройство плавный пуск ваза 2111 международный конкурс шапка доставка нард онлайн доставка алкогольный серверные корпус консольный переключатель кислород мусорный пакет кислород эфирный антенна funke сборный доставка тонировка стекол кострома коммерческий корпоративный иностранный диспетчеризация