Многопоточность при работе со списком

[NieL]

Имеется массив целочисленных идентификаторов:

.., 1, 2, 7, 9, 10, 21, 23, ...

Задача: перебрать массив в несколько потоков (Поток будет брать из массива значение, подставлять его в get-запрос и отправлять на web-сервер (пишу утилиту для проверки существования картинок на web-сервере)). Собственно вопрос, как скармливать потоку значения массива, чтобы избежать одновременного доступа к ожному и тому же значению массива из других потоков. Все что находил - не фонтан, хотелось бы увидеть грамотный подход к этому вопросу. Наткнулся на похожий вопрос на одном из форумов, там советовали использовать пул потоков. Начал копать в сторону TIdSchedulerOfThreadPool. Описания его работы, примеров использования - ничего не нашел.

[mss]

избежать одновременного доступа к ожному и тому же значению массива из других потоков

Если предполагается мультипоточный доступ к ресурсу только для его чтения, то никаких специальных телодвижений по "избежанию" не требуется.

[NieL]

для примера, 2 потока работают с массивом A, одновременно и первый и второй взяли элемент N массива A, что делать?.

[mss]

одновременно и первый и второй взяли элемент N массива A, что делать?.

Пересмотреть в корне логику мультипоточной организации вычислений.
Потоки ничего не должны ни откуда "брать" сами, их задача - выполнять расчеты с переданными им потоком-диспетчером параметрами, а не лезть наперегонки кто во что горазд в глобальный массив.

Иллюстрация логики потока-диспетчера:

for i := 0 to N-1 do
  TMyThread.Create(MyIntArr[i]);

Для сравнительно небольшого по размеру массива это самое простое и вполне приемлемое решение.

[Johnson]

Посмотреть в сторону процедуры синхронизации потоков и в сторону критических секций.

[NieL]

Сообщение от mss

Пересмотреть в корне логику мультипоточной организации вычислений.
Потоки ничего не должны ни откуда "брать" сами, их задача - выполнять расчеты с переданными им потоком-диспетчером параметрами, а не лезть наперегонки кто во что горазд в глобальный массив.

Иллюстрация логики потока-диспетчера:

for i := 0 to N-1 do
  TMyThread.Create(MyIntArr[i]);

Для сравнительно небольшого по размеру массива это самое простое и вполне приемлемое решение.

сложно сказать какой массив будет (на сайте в среднем от 1500 до 7000 картинок, возможно и больше).

Вот к примеру:

unit Unit2;

interface

uses
  Windows, Messages, SysUtils, Variants, Classes, Graphics, Controls, Forms,
  Dialogs, StdCtrls;

type
  TForm2 = class(TForm)
    Button1: TButton;
    procedure Button1Click(Sender: TObject);
  private
    { Private declarations }
  public
    { Public declarations }
  end;

  TMyThread = class(TThread)
  protected
    procedure Execute; override;
  end;

var
  Form2: TForm2;

  IDs: array [1..14] of Integer =
    (1, 3, 4, 7, 8, 9, 17, 24, 26, 27, 29, 31, 42, 58);

  thread_for_run: Integer = 5;

implementation

{$R *.dfm}

{ TMyThread }

procedure TMyThread.Execute;
begin
  // как правильно брать из списка очередное значения?,
    // как правильно сделать проверку, пока не пройден весь массив
    // (на уровне всех потоков)
    // поток будет брать из списка очередное значение и подставлять в Get-запрос

  //...

  //IdHttp.Get(Format(..., [.., <значение из массива IDs> ,..]))

end;

procedure TForm2.Button1Click(Sender: TObject);
var
  I: Integer;
begin
  for I := 1 to thread_for_run do // для примера 5 потоков
  begin
    TMyThread.Create(False);

  end;

end;

end.

Если изначально я создаю 5 потоков, а в массиве 3000 элементов как мне каждый элемент передать потоку как параметр?

[Johnson]

В данном случае передавать потоку ничего не нужно. Пусть он сам берет из глобальной переменной данные. Чтоб не вышел случай запрета доступа - используйте критические секции во время чтения из переменной.

_CS:=TCriticalSection.Create;
/////
_CS.Enter;
{код }
_CS.Leave;

Внутри этой конструкции код будет исполняться только в одном потоке, остальные потоки (включая основной) будут приостановлены.
НО, есть одно "НО"... Для доступа к этому массиву даже из основного потока желательно так же использовать крит секции.

[veniside]

// как правильно брать из списка очередное значения?,
// как правильно сделать проверку, пока не пройден весь массив
// (на уровне всех потоков)

Все это можно сделать с помощью InterlockedIncrement(). Типа такого:

PHP код:

  // внутри вашего потока
while (okToRunThread) do begin
  //
  nextIndex := InterlockedIncrement(g_index);
  if (nextIndex < List.Count) then
    // делайте то, что вам нужно с List[nextIndex]
  else
    // завершить работу потока
end; 


g_index - глобальная переменная, которой присваивается индекс первого элемента списка - 1 перед запуском потоков.

[NieL]

Сообщение от veniside

Все это можно сделать с помощью InterlockedIncrement(). Типа такого:

PHP код:

  // внутри вашего потока
while (okToRunThread) do begin
  //
  nextIndex := InterlockedIncrement(g_index);
  if (nextIndex < List.Count) then
    // делайте то, что вам нужно с List[nextIndex]
  else
    // завершить работу потока
end; 


g_index - глобальная переменная, которой присваивается индекс первого элемента списка - 1 перед запуском потоков.

Круто, про InterlockedIncrement не знал. Встречный вопрос, с точки зрения организации кода, обращение из потока к данным извне (в данном случае к глобальной переменной) будет корректно, не будет противоречить логике многопоточности? Может разделить массив на количество потоков и каждому в конструктор скормить свой массив? Таким образом никакого обращения к данным из вне, все изолированно. Нужно ваше мнение.

[Johnson]

NieL, я для чего объяснял про критические секции?...